训练数据的四个来源
- 公开网络：抓取的网页、代码和书籍，越来越受到退出机制和诉讼的限制。
- 授权数据：出版商、平台和企业的档案，依合同使用。
- 人工制作的数据：由付费专家撰写、排序或修正的示例。
- 合成数据：由模型或模拟器生成的示例。
为什么经授权的企业数据需求旺盛
Epoch AI 估计，可用的公开人类文本存量可能在 2026 至 2032 年间被完全用尽（Epoch AI）。网络数据也很少反映企业内部的专业工作是如何完成的。工单、图纸、日志、报告等企业记录正好填补了这一空白，这也是 AI 实验室及其数据合作伙伴如今授权这些数据的原因。
预训练、微调与评估
预训练使用规模庞大、覆盖广泛的数据集。微调和强化学习使用规模较小、质量更高的示例，通常来自专家。评估集用于检验模型是否真正有效。企业记录对这三个环节都有用，尤其是后两个。参阅AI 公司购买哪些数据。
企业如何提供训练数据
企业根据书面协议，向买方授权一份范围明确、经过去标识化的记录副本，并保留原始数据。完整流程请阅读如何向 AI 公司出售数据，或参加 Calto Data 的两分钟免费评估，了解您的记录是否符合当前需求。
常见问题
什么是 LLM 训练数据？
大语言模型学习所用的文本和其他数据：网页、书籍、代码、授权档案、专家撰写的示例以及合成文本。
谁在提供 AI 训练数据？
网络爬取、出版商和平台、数据标注和专家网络、数据授权合作方，以及授权自身记录的企业。
将企业数据用于 AI 训练合法吗？
如果企业拥有数据、个人信息已移除或具备法律依据，并通过授权协议规定了允许的用途，一般是合法的。本文为一般信息，不构成法律意见。