訓練資料的四個來源
- 公開網路：抓取的網頁、程式碼和書籍，越來越受到退出機制和訴訟的限制。
- 授權資料：出版商、平臺和企業的檔案，依合同使用。
- 人工製作的資料：由付費專家撰寫、排序或修正的示例。
- 合成資料：由模型或模擬器生成的示例。
為什麼經授權的企業資料需求旺盛
Epoch AI 估計，可用的公開人類文字存量可能在 2026 至 2032 年間被完全用盡（Epoch AI）。網路資料也很少反映企業內部的專業工作是如何完成的。工單、圖紙、日誌、報告等企業紀錄正好填補了這一空白，這也是 AI 實驗室及其資料合作伙伴如今授權這些資料的原因。
預訓練、微調與評估
預訓練使用規模龐大、覆蓋廣泛的資料集。微調和強化學習使用規模較小、質量更高的示例，通常來自專家。評估集用於檢驗模型是否真正有效。企業紀錄對這三個環節都有用，尤其是後兩個。參閱AI 公司購買哪些資料。
企業如何提供訓練資料
企業根據書面協議，向買方授權一份範圍明確、經過去標識化的紀錄副本，並保留原始資料。完整流程請閱讀如何向 AI 公司出售資料，或參加 Calto Data 的兩分鐘免費評估，瞭解您的紀錄是否符合當前需求。
常見問題
什麼是 LLM 訓練資料？
大語言模型學習所用的文字和其他資料：網頁、書籍、程式碼、授權檔案、專家撰寫的示例以及合成文字。
誰在提供 AI 訓練資料？
網路爬取、出版商和平臺、資料標註和專家網路、資料授權合作方，以及授權自身紀錄的企業。
將企業資料用於 AI 訓練合法嗎？
如果企業擁有資料、個人資訊已移除或具備法律依據，並透過授權協議規定了允許的用途，一般是合法的。本文為一般資訊，不構成法律意見。