![[podcast] L’Intelligence artificielle : utopie dystopique](https://www.radiofrance.fr/pikapi/images/c3fa27d4-1615-4438-8ac0-faa742fa8c39/200x200?webp=false)
JFrog Ltd. annonce son intégration avec NVIDIA Inference Microserves
JFrog annonce la livraison sécurisée de modèles d'IA accélérée par les microservices NVIDIA NIM Cette nouvelle intégration accélère le déploiement sécurisé des modèles d'IA génératives et des LLM - y compris les LLM Meta Llama 3 et Mistral AI packagés en NVIDIA NIM - avec une transparence, une traçabilité et une confiance accrues. - Produits
JFrog Ltd. annonce son intégration avec NVIDIA Inference Microserves (NIM), qui fait partie de la plateforme logicielle NVIDIA AI Enterprise. La plateforme JFrog est la seule solution DevSecOps et MLOps unifiée, de bout en bout, et sécurisée avec une intégration native de NVIDIA NIM. Cela permet un déploiement rapide de modèles de Machine Learning (ML) optimisés pour les GPU, pré-approuvés, et les grands modèles de language (LLM) en production, avec une sécurité de haut niveau, une visibilité accrue et des contrôles de gouvernance. Cette infrastructure unifiée permet aux développeurs de créer et de livrer des applications alimentées par l'IA avec plus d'efficacité et de sérénité.
Avec la montée en puissance et la demande accélérée d'IA dans les applications logicielles, les data scientists et les ingénieurs ML rencontrent d'importants défis lorsqu'ils tentent de mettre à l'échelle leurs déploiements de modèles ML en entreprise. Les complexités de l'intégration des workflows d'IA avec les processus de développement de logiciel existants, associées à une gestion fragmentée des actifs, des vulnérabilités de sécurité et des problèmes de conformité, peuvent conduire à des cycles de déploiement longs et coûteux et, souvent, à l'échec des initiatives en IA. Selon IDC, d'ici 2028, 65 % des organisations utiliseront des outils DevOps qui combinent les capacités MLOps, LLMOps, DataOps, CloudOps et DevOps pour optimiser la création de valeur de l'IA dans les processus de fourniture de logiciels.
L'intégration de JFrog avec NVIDIA NIM permet aux entreprises de déployer et de gérer en toute transparence les derniers modèles LLM fondamentaux – y compris Llama 3 de Meta et Mistral AI – tout en maintenant une sécurité de haut niveau et des contrôles de gouvernance tout au long de leur chaîne d'approvisionnement logicielle. JFrog Artifactory, le cœur de la plateforme JFrog, fournit une solution unique pour héberger et gérer de manière transparente tous les artefacts logiciels, binaires, packages, modèles ML, LLM, images de conteneurs et composants tout au long du cycle de vie du développement logiciel.
En intégrant NVIDIA NIM dans la plateforme JFrog, les développeurs peuvent facilement accéder à NVIDIA NGC - un hub pour l'apprentissage profond optimisé par le GPU, la ML et les modèles HPC. Les clients disposent ainsi d'une source unique de vérité pour les modèles et les outils logiciels, tout en s'appuyant sur les meilleures pratiques DevSecOps de l'entreprise pour gagner en visibilité, en gouvernance et en contrôle tout au long de leur chaîne d'approvisionnement logicielle.
La mise à jour de la plateforme JFrog offre aux développeurs IA et aux équipes DevSecOps de multiples avantages, notamment :
• Flux de travail ML et DevOps unifiés : Les data scientists et les ingénieurs ML peuvent désormais versionner, sécuriser et déployer des modèles en utilisant les mêmes workflows de développement logiciel DevSecOps de JFrog qu'ils connaissent et en lesquels ils ont confiance. Cela élimine le besoin pour les équipes d'utiliser des outils ML distincts tout en garantissant des vérifications automatisées de la conformité, des pistes d'audit et une gouvernance des modèles ML via JFrog Curation.
• Sécurité et intégrité de bout en bout : Mise en œuvre de scans de sécurité continus sur les conteneurs, les modèles IA et leurs dépendances – fournissant des informations contextuelles sur les microservices NIM – pour identifier les vulnérabilités, complétées par une détection intelligente des menaces axée sur les risques réels et une protection proactive contre les modèles IA et les packages compromis.
• Performances et évolutivité exceptionnelles des modèles : Optimisation des performances des applications d'IA en utilisant l'infrastructure de calcul accélérée NVIDIA, offrant une faible latence et un haut débit pour un déploiement évolutif des LLM dans des environnements de production à grande échelle. Regrouper facilement les modèles ML avec leurs dépendances pour réduire les exigences externes et utiliser les workflows existants pour un déploiement IA sans faille. De plus, la plateforme JFrog offre des options de déploiement flexibles pour augmenter l'évolutivité, y compris les déploiements auto-hébergés, multi-cloud et en environnement isolé.