Formation Créer son propre agent IA avec les LLMs open source

INTRODUCTION AUX LLMS OPEN SOURCE

1. Enjeux de souveraineté et d'indépendance technologique

2. Comparatif

   • Mistral
   • LLaMA
   • Falcon
   • GPT-J...

3. Avantages, limites, licences d'usage (Apache 2,0, MIT...)

4. Choix selon objectifs

   • Taille
   • Performance
   • Contraintes hardware

GÉNÉRATION EN LOCAL OU VIA API

1. Utilisation de HuggingFace Hub pour déploiement rapide

2. Différences entre API distante (Inference API) et inférence locale

3. Benchmarks de performance sur pormpts standards (temps, cohérence, coût)

ASPECTS MATÉRIELS : CPU, GPU, QUANTIZATION

1. Importance de la RAM, VRAM et de l'optimisation mémoire

2. Formats de modèles

   • FP32
   • INT8
   • GGUF
   • Quantization à la volée

3. Usage de serveurs, colab ou modèles en local

BIBLIOTHÈQUE TRANSFORMERS (HUGGINGFACE)

1. Chargement de modèles

   • AutoModelForCausalLM
   • AutoTokenizer

2. Gestion des batchs, sampling, temperature, top-p, top-k

3. Tokenization : spécificités des modèles (Byte Pair Encoding, SentencePiece...)

PROMPT ENGINEERING AVANCÉ

1. Structure d'un prompt efficace

   • Consignes
   • Style
   • Format attendu

2. Définition de rôles (système de consignes persistantes)

3. Paramétrage de température et comportement selon le ton

CHAINING DE PROMPTS

1. Construction d'enchaînements logiques (task chaining, output <-> input)

2. Structuration de flux

   • Agent décisionnel
   • Etapes séquentielles

MÉMOIRE À COURT TERME

1. Gestion d'un historique de conversation

2. Mécanisme de buffer, résumé automatique, context compression

3. Usage de ConversationSummaryMemory ou de mémoires locales

GESTION DU CONTEXTE ET DES TOKENS

1. Calcul de la taille de contexte maximale selon modèle

2. Troncature intelligente, compression ou sélection sémantique

3. Réduction de charge contextuelle via embeddings

INTRODUCTION AU RAG (RETRIEVAL AUGMENTED GENERATION)

1. Intérêt : pallier la méconnaissance du modèle par adjonction documentaire

2. Architecture : embed -> store -> retrieve -> generate

3. Cas d'usage (FAX interne, support produit, base réglementaire)

ENCODAGE DE DOCUMENTS

1. Sentence Transformers

   • all-MiniLM
   • mpnet
   • bge
   • multilingual

2. Vectorisation texte brut, PDF, site web ou base structurée

3. Nettoyage des données, splitting optimal

INDEXATION DANS UNE BASE VECTORIELLE

1. Choix d'index

   • FAISS (Facebook)
   • ChromaDB
   • Weaviate

2. Création de bases persistantes, configuration de la similarité

3. Recherche vectorielle

   • top-k
   • score de similarité
   • hybridation

RÉCUPÉRATION ET GÉNÉRATION CONDITIONNÉE

1. Pipeline de RAG : retrieve -> rerank -> prompt final

2. Prompt enrichi vs prompt structuré (template + contenu injecté)

3. Optimisation