La IA puede ser privada y soberana. Este servidor de QNAP ofrece la potencia para procesarla fuera de la nube

Cuando ChatGPT salió al mundo, parecía que solo las grandes empresas podían ejecutar IA generativa.

Unos cuantos años después, vemos que cada vez son más las empresas que necesitan ejecutar modelos LLM en local.

QNAP ha querido ayudar a que esto sea posible con el QNAP QAI-h1290FX, un servidor Edge AI que no se trata de un NAS‎ convencional. Está concebido como un servidor de convergencia entre Edge Computing y almacenamiento, por lo que no solo guarda datos, sino que también los procesa cerca del lugar donde se generan o utilizan.

El hecho de que una empresa pueda ejecutar este tipo de cargas dentro de sus propias instalaciones hace que la latencia sea menor y cuente con más control sobre la información.

Un interior envidiable

Cuenta con una arquitectura de almacenamiento all-flash e integra 12 ranuras para SSD U.2 NVMe/SATA, lo que hace que el almacenamiento sea rápido y flexible, algo ideal cuando se ejecutan tareas de IA.

Por otra parte, cuenta con procesadores AMD EPYC de clase servidor con una configuración basada en el AMD EPYC 7302P de 16 núcleos y 32 subprocesos. Los procesadores EPYC son mejores para cargas sostenidas, virtualización y procesamiento en paralelo.

Por otro lado, cuenta con una memoria RDIMM DDR4 ECC de 128 GB, ampliable hasta 1 TB. Este tipo de memoria es capaz de detectar y corregir errores de memoria que podrían afectar a la estabilidad o integridad de los datos.

Por si fuera poco, está preparado para incorporar GPU Nvidia RTX PRO Blackwell, como la Nvidia RTX PRO 6000 Blackwell Max-Q Workstation o la Nvidia RTX PRO 4500 Blackwell. La primera de ellas incorpora 96 GB de memoria, y gracias a ella podrás ejecutar modelos LLM de gran escala, incluso de más de 70.000 millones de parámetros.

Por otro lado, incluye dos puertos de 25 GbE y dos puertos de 2,5 GbE, además de ranuras PCIe para subir hasta los 100 GbE. También es compatible con cajas de expansión JBOD de QNAP para así ampliar el almacenamiento a gran escala.

Software muy inteligente

Al igual que otros aparatos de la marca, el QNAP QAI-h1290FX funciona con QuTS Hero, el sistema operativo de QNAP basado en ZFS.

ZFS puede detectar corrupción silenciosa de los datos y aplicar mecanismos de autorreparación. Además, ofrece instantáneas prácticamente ilimitadas, compresión en línea, deduplicación en línea, SnapSync y carpetas WORM.

Por otra parte, uno de los objetivos del QAI-h1290FX es hacer que montar una infraestructura local de IA sea más fácil. Para ello, QNAP integra Container Station con plantillas de aplicaciones de IA y permite ejecutar contenedores Docker y LXD.

Además, el acceso a la GPU dentro de los contenedores también se ha simplificado. En vez de tener que configurar los recursos desde la línea de comandos, Container Station permite seleccionar la GPU Nvidia que quieras desde una interfaz.

Este nuevo servidor de QNAP incluye herramientas de IA precargadas como AnythingLLM, OpenWebUI y Ollama. También integra aplicaciones como Stable Diffusion, ComfyUI, n8n, vLLM y Whisper, lo que lo hace muy flexible para varios tipos de uso.

Otro uso muy práctico de este servidor es que los usuarios pueden consultar cualquier tipo de información de la empresa usando lenguaje natural, sin tener que escribir palabras clave exactas. QNAP ha relacionado también esta función con Qsirch, su herramienta de búsqueda inteligente de texto completo.

De las herramientas que hemos mencionado antes, Stable Diffusion y ComfyUI permiten generar imágenes con IA.

Además de los propios contenedores, este servidor admite virtualización mediante la Virtualization Station para asignar una GPU física a una máquina virtual para que pueda usarla casi como si estuviera instalada directamente en un equipo.

Y por si quieres trabajo híbrido o acceso remoto, podrás utilizar MyQNAPcloud DDNS y MyQNAPcloud Link. Además, es compatible con servidores VPN mediante QVPN.

La marca ha indicado que este nuevo servidor es ideal para varias áreas de la empresa. Podrás utilizarlo tanto en recursos humanos como en departamentos legales y financieros, equipos creativos y equipos de desarrollo e ingeniería.

QNAP ofrece un NAS para cada necesidad: cómo escoger el más adecuado