コーパスとは？

言語研究やAI学習のために集められた、大量のテキストの集合体。LLMはWeb・書籍などの巨大コーパスで言葉を学ぶ。RAGで参照させる社内文書群もコーパスと呼ばれる。

コーパスはもともと言語学の用語で、「言葉の標本箱」です。新聞記事を集めたコーパス、話し言葉のコーパス——言葉の実際の使われ方を調べるための資料体を指します。LLMの学習データも、Web・書籍・論文などを束ねた超巨大コーパスです。

実務では「AIに参照させる文書のまとまり」という意味でよく登場します。社内規程AIなら規程集がコーパス、当サイトのAI司書なら用語集やFAQなどサイト内の全ドキュメントがコーパスです。AIの答えの質はコーパスの質で決まる——データセットと並んで、「AIの中身は結局データ」を思い出させてくれる言葉です。