AIが一度に覚えていられる情報量の上限。会話の履歴や渡した資料はすべてこの「作業机の広さ」の中に収まっている必要がある。
長く会話していると、AIが最初のほうの指示を忘れたように振る舞うことがあります。これはコンテキストウィンドウ(文脈の窓)から古い情報があふれたため。AIの記憶力ではなく「机の広さ」の問題です。
対策はシンプルで、①大事な前提は要所で言い直す、②長い作業は区切って新しい会話で始める、③資料は必要な部分だけ渡す、の3つ。最近のモデルは窓がかなり広くなりましたが、「無限ではない」と知っているだけでAIとの付き合い方が変わります。
最近の主要モデルのコンテキストウィンドウは数十万トークン級が当たり前になってきました。日本語でいえば文庫本数冊ぶんの文章を一度に机に載せられる計算です。数年前は「長いメール1通で限界」だったので、拡張のスピードは驚異的です。
ただし具体的な上限はモデルと料金プランで違い、更新も頻繁です。「いま使っているモデルの窓はどれくらいか」を公式ページで一度確認しておくと、資料の渡し方の感覚がつかめます。
窓が広くても、AIは机の上の全部を均等に見ているわけではありません。長大な資料の真ん中あたりの情報を見落としやすい「lost in the middle」という現象が知られており、たくさん載せるほど1つあたりの注目度は薄まります。人間も、散らかった机では大事なメモを見失いますよね。
また、入力トークンはそのまま料金なので、毎回全資料を載せるのはコスト的にも無駄が多い。「入るから全部渡す」ではなく「必要なものだけ渡す」が、品質とコストの両面で正解です。
机に載りきらない量の資料はどうするか——その答えがRAGです。資料は倉庫(データベース)に置いておき、質問のたびに関係する部分だけを検索して机に載せる。コンテキストウィンドウの物理的な限界を、検索で回避する仕組みといえます。
一方、ChatGPTなどの「メモリ(記憶)機能」は、会話をまたいで覚えておきたい情報を別の場所に保存し、必要に応じて机に載せ直す仕組みです。どちらも「狭い机をどう賢く使うか」の工夫で、この設計技術全体がコンテキストエンジニアリングと呼ばれています。
コンテキストウィンドウは「いま一度に見られる範囲(机の広さ)」、メモリ機能は「会話をまたいで覚えておくノート」です。ノートの内容も、使うときは机に載せ直されて窓を消費します。
古い会話や資料の先頭から押し出されて、AIが「忘れた」ように振る舞います。エラーになる場合もあります。長い作業は区切って新しい会話で始めるのが実務的な対策です。
用語を覚えるより、ストーリーで体感するほうが早い。