Les quatre sources de données d’entraînement
- Web public : pages, code et livres collectés, de plus en plus limités par les refus explicites et les procès.
- Données sous licence : archives d’éditeurs, de plateformes et d’entreprises, utilisées par contrat.
- Données créées par des humains : exemples rédigés, classés ou corrigés par des spécialistes rémunérés.
- Données synthétiques : exemples générés par des modèles ou des simulateurs.
Pourquoi les données d’entreprise licenciées sont recherchées
Epoch AI estime que le stock de texte humain public exploitable pourrait être entièrement utilisé entre 2026 et 2032 (Epoch AI). Les données web en disent aussi peu sur la façon dont le travail professionnel se fait en entreprise. Les dossiers d’entreprise, tickets, plans, journaux et rapports, comblent ce manque, et c’est pourquoi les labos et leurs partenaires les licencient désormais.
Pré-entraînement, ajustement fin et évaluation
Le pré-entraînement utilise des jeux de données immenses et larges. L’ajustement fin et l’apprentissage par renforcement utilisent des ensembles plus petits et de meilleure qualité, souvent produits par des experts. Les jeux d’évaluation vérifient qu’un modèle fonctionne vraiment. Les dossiers d’entreprise sont utiles aux trois, surtout aux deux derniers. Voir quelles données achètent les entreprises d’IA.
Comment une entreprise fournit des données d’entraînement
Une entreprise licencie à un acheteur une copie définie et anonymisée de ses dossiers par contrat écrit, et garde les originaux. Lisez comment vendre des données aux entreprises d’IA pour le processus complet, ou faites le diagnostic gratuit de deux minutes de Calto Data pour savoir si vos dossiers correspondent aux demandes actuelles.
Questions fréquentes
Que sont les données d’entraînement d’un LLM ?
Les textes et autres données dont un grand modèle de langage apprend : pages web, livres, code, archives sous licence, exemples rédigés par des experts et texte synthétique.
Qui fournit les données d’entraînement de l’IA ?
Les collectes web, les éditeurs et plateformes, les entreprises d’étiquetage et réseaux d’experts, les partenaires de licence de données et les entreprises qui licencient leurs propres dossiers.
Utiliser des données d’entreprise pour entraîner une IA est-il légal ?
En général oui lorsque l’entreprise possède les données, que les informations personnelles sont retirées ou reposent sur une base légale, et qu’une licence fixe les usages autorisés. Ceci est une information générale, pas un conseil juridique.