NVIDIA lance une plate-forme de centre de données AI

Au GTC de Tokyo, NVIDIA a annoncé le lancement de sa nouvelle plate-forme de centre de données AI, la NVIDIA TensorRT Hyperscale Platform. Cette nouvelle plate-forme est censée fournir l’accélérateur d’inférence le plus avancé pour les services voix, vidéo, image et recommandation. La plate-forme utilisera les nouveaux GPU Tesla T4 de la société, ainsi qu’un ensemble complet de nouveaux logiciels d’inférence.

Les centres de données traitent tous les types de requêtes, y compris la voix, les traductions, les images, les vidéos et diverses interactions sur les réseaux sociaux. Afin de répondre à tous ces besoins, qui nécessiteront différents types de réseaux neuronaux, les organisations doivent tirer parti de l’IA. La nouvelle plate-forme TensorRT Hyperscale de NVIDIA est une combinaison de matériel et de logiciels destinés à résoudre les problèmes ci-dessus. En exploitant les GPU Tesla T4, basés sur l’architecture Turing de la société, la nouvelle plate-forme sera en mesure de fournir des performances élevées avec une faible latence pour les applications de bout en bout.

Les éléments clés comprennent:

• GPU NVIDIA Tesla T4 – Doté de 320 cœurs Turing Tensor et de 2 560 cœurs CUDA, ce nouveau processeur graphique offre des performances exceptionnelles avec des capacités flexibles et à précision multiple, du FP32 au FP16 en passant par INT8 et INT4. Intégrant un petit facteur de forme PCIe de 75 watts à faible consommation d’énergie qui s’intègre facilement à la plupart des serveurs, il offre 65 téraflops de performances maximales pour le FP16, 130 teraflops pour INT8 et 260 teraflops pour INT4.
• NVIDIA TensorRT 5 – Optimiseur d’inférence et moteur d’exécution, NVIDIA TensorRT 5 prend en charge les cœurs Turing Tensor et étend l’ensemble des optimisations de réseaux neuronaux pour les charges de travail multi-précision.
• Serveur d’inférence NVIDIA TensorRT – Ce logiciel de microservice conteneurisé permet aux applications d’utiliser des modèles AI dans la production de centres de données. Librement disponible à partir du registre de conteneurs NVIDIA GPU Cloud, il optimise le débit du centre de données et l’utilisation du GPU, prend en charge tous les modèles et les frameworks AI les plus courants et s’intègre à Kubernetes et Docker.