7 projets LLM pour booster votre portefeuille d'apprentissage automatique

Les grands modèles de langage (LLM) sont très utiles dans une variété de tâches. Créer des applications basées sur LLM peut sembler assez intimidant au début. Mais tout ce dont vous avez besoin est :

• la capacité de coder, de préférence en Python ou TypeScript et
• quelques tâches ou problèmes pas si amusants que vous aimeriez simplifier (je suis sûr que vous en avez beaucoup !).

Pour créer des applications LLM, vous devez être capable d'exécuter et d'interagir avec des LLM, de vous connecter à diverses sources de données : fichiers sur votre ordinateur local, API, bases de données, etc. Ce qui suit n'est pas une liste exhaustive, mais voici quelques outils et frameworks que vous pouvez utiliser pour créer des applications avec des LLM :

• Langages de programmation : Python, TypeScript
• Frameworks : LangChain, LlamaIndex
• API : API OpenAI, API Cohere
• Exécuter des LLM : Ollama, Llamafile
• Bases de données vectorielles : ChromaDB, Weaviate, Pinecone, etc.

Ce guide passe en revue sept projets intéressants que vous pouvez construire avec les LLM. En cours de route, vous apprendrez à travailler avec des bases de données vectorielles, des frameworks et des API utiles. Nous partageons également des ressources d’apprentissage et des exemples de projets pour vous aider à démarrer. Commençons.

1. Application de questions et réponses basée sur la récupération pour la documentation technique

Créez un système de questions et réponses pour les développeurs qui utilise RAG pour extraire divers documents techniques, des réponses Stack Overflow ou des documents internes et des bases de connaissances selon les besoins. Une telle application peut résumer et clarifier des concepts complexes ou répondre à des questions techniques spécifiques.

Les éléments clés du projet comprennent :

• Framework RAG qui récupère les documents et extraits pertinents

• LLM open source pour interpréter les questions et générer des réponses
• Intégration avec des API pour des sources externes telles que Stack Overflow, Confluence

Aider les développeurs avec des réponses instantanées et fiables aux questions techniques sans effectuer de recherche manuelle dans des documents volumineux. Cela peut être particulièrement utile pour les frameworks comme Django où la documentation est complète.

Pour tout savoir sur RAG, consultez LangChain : Discutez avec vos données de DeepLearning.AI et Learn RAG From Scratch.

2. Agent d'automatisation du flux de travail basé sur LLM

Créez un agent capable de simplifier les flux de travail répétitifs et les tâches ennuyeuses basés sur des instructions en langage naturel. L'agent doit être capable de suivre une séquence d'étapes soit prédéfinies à l'avance, soit de manière autonome compte tenu de l'objectif final.

Un tel agent devrait être capable de gérer des tâches telles que la création de nouveaux dossiers de projet, la configuration de référentiels Git, la création des fichiers de dépendances du projet, etc.

Les composants clés, outre le LLM, sont :

• Intégrations d'API pour divers outils tels que Docker, Git et AWS
• Moteur pour exécuter les scripts générés par LLM

Vous pouvez améliorer la première version que vous créez pour obtenir une application plus utile qui réduit les tâches de configuration manuelle et d'administration pour les développeurs ou les équipes, leur permettant ainsi de se concentrer sur un travail à plus forte valeur ajoutée.

3. Générateur de requêtes texte vers SQL

Il est toujours intuitif et plus simple de réfléchir aux questions commerciales dans un anglais simple. Cependant, une question simple comme « Quelles sont les ventes trimestrielles d'un produit spécifique sur différents segments de clientèle ? " peut se traduire par une requête SQL assez complexe avec des jointures et plusieurs sous-requêtes. C'est pourquoi la création d'un générateur de texte vers SQL peut être utile.

Vous pouvez créer une application qui traduit les requêtes en langage naturel en SQL à l'aide de LLM. L'application doit :

• Convertir les entrées utilisateur en requêtes SQL basées sur un schéma de base de données prédéfini
• Les exécute sur une base de données connectée pour renvoyer les données pertinentes

Voici un exemple de procédure pas à pas de projet : Application LLM Text-To-SQL de bout en bout par Krish Naik.

4. Générateur de documentation alimenté par l'IA pour les bases de code

Créez un outil qui utilise un LLM pour analyser les référentiels de code et générer automatiquement une documentation complète. y compris des résumés de fonctions, des descriptions de modules et des aperçus de l'architecture. Vous pouvez le créer en tant qu'outil CLI ou en tant qu'action GitHub.

Vous aurez besoin de :

• Intégration avec les services de référentiel pour analyser les fichiers de base de code
• Options pour réviser et ajouter des commentaires pour affiner ou modifier les documents générés

Une version plus avancée d'un tel générateur peut en réalité être utilisée pour générer automatiquement de la documentation technique pour les équipes de développement. Même si obtenir des documents parfaits peut être un défi, un tel outil vous fera certainement gagner des heures de travail !

5. Assistant de codage IA

Créez un assistant de codage alimenté par LLM qui peut agir comme un programmeur en binôme en temps réel. Cet outil doit fournir des suggestions, écrire des extraits de code, déboguer le code existant et même proposer des explications en temps réel sur une logique complexe lors d'une session de codage en direct.

Lorsque vous créez une telle application, assurez-vous :

• Bon choix de LLM bons pour la génération de code
• Intégration IDE, telle que l'extension VS Code, pour les fonctionnalités dans l'éditeur.
• Connaissance contextuelle de l'environnement de codage actuel : bibliothèques utilisées, fichiers ouverts, etc.

Consultez le didacticiel ADVANCED Python AI Agent - Utilisation de RAG pour une présentation complète de la création d’un assistant de codage.

6. Générateur de pipeline de données basé sur du texte

Développez une application LLM qui permet aux utilisateurs de décrire les pipelines de données en langage naturel. Dites : « Écrivez un script ETL pour ingérer un fichier CSV depuis S3, nettoyez les données et chargez-le dans une base de données PostgreSQL ». L'application doit ensuite générer le code pour un pipeline ETL complet, à l'aide d'outils tels qu'Apache Airflow ou Prefect.

Vous devrez donc vous concentrer sur :

• Prise en charge de diverses sources de données (S3, bases de données) et destinations.
• Automatisation de la création et de la planification de pipelines avec des outils comme Airflow.

Cela devrait vous aider à créer et planifier des pipelines de données complexes avec un minimum de codage. Même si le code n'est pas tout à fait précis, il devrait vous aider à prendre de nombreuses mesures en avance par rapport à l'écriture du pipeline à partir de zéro.

7. Outil de migration de code alimenté par LLM

Il existe des solutions disponibles dans le commerce, mais vous pouvez également essayer de créer des outils de migration de code à partir de zéro. Créez un outil capable d'analyser le code écrit dans un langage de programmation et de le convertir dans un autre langage, en utilisant des LLM pour comprendre la logique d'origine et la réimplémenter dans le langage cible. Par exemple, vous souhaiterez peut-être migrer le code Python vers Go ou Rust.

Vous devez expérimenter ce qui suit :

• Choix de LLM pour la traduction de code entre langues
• Outils d'analyse statique pour garantir l'exactitude logique après la traduction
• Prise en charge de différents paradigmes et constructions spécifiques au langage

Une telle application peut aider à migrer les bases de code existantes vers des langages plus récents et plus performants avec une réécriture manuelle minimale.

Conclusion

C'est fini ! J'espère que vous avez trouvé ces idées de projets intéressantes.

Ceux-ci devraient constituer un bon point de départ pour des idées plus intéressantes et utiles que vous pourriez avoir. Une fois que vous avez créé une application fonctionnelle, vous pouvez explorer d’autres directions. Par exemple, vous souhaiterez peut-être créer un analyseur d'états financiers ou votre assistant de recherche personnalisé à l'aide de RAG.

Comme mentionné, vous n’avez besoin que d’un problème à résoudre, d’un intérêt pour construire des choses et d’un café ?

Bon codage !