学習データの四つの入手元
- 公開ウェブ：収集されたページ、コード、書籍。オプトアウトや訴訟で制限が強まっています。
- ライセンスデータ：出版社、プラットフォーム、企業のアーカイブを契約に基づいて利用。
- 人が作成したデータ：報酬を受けた専門家が書き、順位付けし、修正した例。
- 合成データ：モデルやシミュレーターが生成した例。
ライセンスされた企業データが求められる理由
Epoch AIは、使える公開の人間のテキストが2026年から2032年の間に使い尽くされる可能性があると推計しています（Epoch AI）。また、ウェブのデータからは企業内で専門的な仕事がどう行われているかはほとんどわかりません。チケット、図面、ログ、報告書といった企業の記録がその空白を埋めるため、AIラボとそのデータパートナーはこれらをライセンスしています。
事前学習、ファインチューニング、評価
事前学習には巨大で幅広いデータセットを使います。ファインチューニングや強化学習には、多くは専門家による、小規模で質の高い例を使います。評価用データはモデルが実際に機能するかを確かめます。企業の記録は三つすべて、特に後の二つに役立ちます。AI企業が買うデータをご覧ください。
企業が学習データを提供する方法
企業は、定められた匿名化済みのコピーを書面の契約に基づいて買い手にライセンスし、原本は手元に残します。全体の流れはAI企業にデータを売る方法で解説しています。Calto Dataの2分の無料チェックで、御社の記録が現在の需要に合うかを確認できます。
よくある質問
LLMの学習データとは何ですか？
大規模言語モデルが学ぶテキストなどのデータです。ウェブページ、書籍、コード、ライセンスされたアーカイブ、専門家が書いた例、合成テキストが含まれます。
AIの学習データは誰が提供していますか？
ウェブクロール、出版社やプラットフォーム、データラベリング企業や専門家ネットワーク、データライセンスパートナー、そして自社の記録をライセンスする企業です。
企業データをAI学習に使うのは合法ですか？
企業がデータを所有し、個人情報を除去しているか法的根拠があり、ライセンスで利用目的を定めていれば、一般に合法です。これは一般的な情報であり、法的助言ではありません。