학습 데이터의 네 가지 출처
- 공개 웹: 크롤링한 웹페이지, 코드, 도서. 옵트아웃과 소송으로 점점 제한되고 있습니다.
- 라이선스 데이터: 계약에 따라 사용하는 출판사, 플랫폼, 기업의 아카이브.
- 사람이 만든 데이터: 유료 전문가가 작성, 순위 평가 또는 수정한 예시.
- 합성 데이터: 모델이나 시뮬레이터가 생성한 예시.
라이선스된 기업 데이터의 수요가 높은 이유
Epoch AI는 활용 가능한 공개 인간 텍스트가 2026~2032년 사이에 모두 소진될 수 있다고 추정합니다(Epoch AI). 또한 웹 데이터는 기업 내부에서 전문 업무가 어떻게 이루어지는지 거의 알려 주지 않습니다. 티켓, 도면, 로그, 보고서 같은 기업 기록이 그 빈틈을 채우며, 이 때문에 AI 연구소와 데이터 파트너가 이를 라이선스하고 있습니다.
사전 학습, 파인튜닝, 평가
사전 학습에는 방대하고 폭넓은 데이터셋이 쓰입니다. 파인튜닝과 강화 학습에는 주로 전문가가 만든 더 작고 품질 높은 예시가 쓰입니다. 평가 세트는 모델이 실제로 작동하는지 검증합니다. 기업 기록은 세 단계 모두, 특히 뒤의 두 단계에 유용합니다. AI 기업이 구매하는 데이터를 참고하십시오.
기업이 학습 데이터를 공급하는 방법
기업은 범위를 정한 비식별화 사본을 서면 계약에 따라 구매자에게 라이선스하고 원본은 그대로 보유합니다. 전체 절차는 AI 기업에 데이터를 판매하는 방법을 읽어 보시거나, Calto Data의 2분 무료 진단으로 귀사의 기록이 현재 요청에 맞는지 확인하십시오.
자주 묻는 질문
LLM 학습 데이터란 무엇인가요?
대규모 언어 모델이 학습하는 텍스트와 기타 데이터입니다. 웹페이지, 도서, 코드, 라이선스된 아카이브, 전문가가 작성한 예시, 합성 텍스트 등이 포함됩니다.
AI 학습 데이터는 누가 공급하나요?
웹 크롤링, 출판사와 플랫폼, 데이터 라벨링 및 전문가 네트워크, 데이터 라이선스 파트너, 그리고 자체 기록을 라이선스하는 기업입니다.
기업 데이터를 AI 학습에 쓰는 것은 합법인가요?
기업이 데이터를 소유하고, 개인정보를 제거했거나 법적 근거가 있으며, 라이선스로 허용 범위를 정했다면 일반적으로 합법입니다. 이는 일반 정보이며 법률 자문이 아닙니다.