Avancées de Traefik Labs dans la gouvernance des LLM et des MCP
Traefik Labs a récemment annoncé de nouvelles capacités qui renforcent l’architecture Triple Gate de Traefik Hub, composée de l’API Gateway, de l’AI Gateway et du MCP Gateway. Ces améliorations visent à offrir une gouvernance approfondie tout au long du flux de travail de l’IA.
Pipeline de sécurité composable
Le AI Gateway de Traefik Hub prend désormais en charge un pipeline de sécurité multi-fournisseurs, permettant aux organisations de choisir parmi plusieurs fournisseurs de garde-fous et de les combiner. La durée totale d’exécution est égale à celle du garde-fou le plus lent, et non à la somme des temps.
Quatre niveaux du pipeline
- Regex Guard (NOUVEAU): Un cadre permettant aux organisations d’écrire leurs propres garde-fous à l’aide de la correspondance de motifs regex, à une vitesse inférieure à une milliseconde sans dépendances externes.
- Content Guard (Microsoft Presidio): Détection et masquage des PII mondiaux avec reconnaissance d’entités basée sur le NLP statistique.
- LLM Guard avec NVIDIA NIMs: Détection de jailbreak accélérée par GPU, sécurité du contenu dans plus de 22 catégories et contrôle thématique.
- LLM Guard avec IBM Granite Guardian (NOUVEAU): Modèles de sécurité open-source d’IBM pour la détection de dommages et la gestion de la qualité RAG.
Exécution des gardes en parallèle
Les gardes basés sur des LLM, qui peuvent prendre plusieurs secondes à exécuter, fonctionnent désormais en parallèle plutôt qu’en série. Cela améliore considérablement l’efficacité du système de gouvernance.
Contrôles opérationnels : résilience, contrôle des coûts et application consciente des agents
Traefik Hub introduit également un routeur de secours qui permet une bascule automatique entre les fournisseurs et les modèles LLM. Cela permet un dégradé optimisé des coûts tout en maintenant les politiques de sécurité.
Nouveaux contrôles de coûts
- Limitation du taux de jetons et gestion des quotas (NOUVEAU): Suivi des jetons d’entrée, de sortie et totaux indépendamment, avec des limitations pour gérer les pics de demande.
- Gestion des erreurs gracieuses (NOUVEAU): Les garde-fous peuvent désormais être configurés pour retourner des réponses structurées au lieu de codes d’erreur techniques, permettant ainsi aux agents de continuer à fonctionner sans interruption.
Pourquoi cela est-il important maintenant ?
Les agents IA ne sont plus expérimentaux. Selon Gartner, 40 % des applications d’entreprise comporteront des agents IA d’ici fin 2026, contre moins de 5 % en 2025. Cependant, la gouvernance au niveau de l’infrastructure n’a pas suivi cette évolution.
Traefik Hub propose une approche unique au niveau de l’infrastructure pour gouverner la sécurité du contenu LLM, les coûts et la résilience, ainsi que l’autorisation des agents. Cette solution fonctionne avec n’importe quelle plateforme d’agents, car elle gouverne le trafic, indépendamment de l’environnement d’exécution.
Disponibilité
Traefik Hub v3.20 est désormais disponible en accès anticipé, avec une disponibilité générale prévue pour fin avril 2026. Pour une présentation technique détaillée, il est recommandé de consulter le blog associé.