LLM locaux, traduction, reconnaissance vocale, GPU, automatisation et restauration : mes travaux croisent expérimentation technique et contraintes d'exploitation.
IA · INFERENCECONCEPTION & TESTSRÉSILIENCE · DEVSECOPS
LE LABORATOIRE
Expériences et arbitrages.
La nature des travaux est précisée pour chaque sujet : expérimentation, étude, laboratoire personnel ou réalisation professionnelle.
Conseil et expérimentations · depuis 2022
LLM conteneurisés et traduction
Déployer des modèles sans lier systématiquement les données à une API externe.
STATUTExpérimentations documentées
Le problème posé
Disposer d'un environnement reproductible pour explorer les modèles, leurs contraintes d'exploitation et les possibilités d'intégration.
Travaux et choix techniques
Mise en place de modèles Mistral 7B et NLLB dans des environnements Docker.
Réflexion sur la séparation entre modèles, API, ressources de calcul et données utilisées.
Évaluation des arbitrages entre modèle local, hébergement dédié et service externe.
Mistral 7BNLLBDockerLLMInférence
ENSEIGNEMENT
Le choix d'un modèle dépend aussi du lieu de traitement des données, de la charge et du niveau de contrôle recherché.
UNE CHAÎNE COMPLÈTE
Le cas de l'agent vocal.
Un assistant vocal n'est pas seulement un LLM. La capture du son, l'identification, la transcription, les autorisations, l'inférence et la synthèse forment un ensemble à mesurer et à sécuriser.
La confidentialité, la qualité des résultats et l'autonomie des équipes entrent dans l'équation. C'est aussi le point de départ de mes réflexions sur les conséquences professionnelles et sociales de l'IA.