クラウドのAPIではなく、自分のPCや自社サーバー上で動かすLLM。データを外部に送らずに済むため、機密情報を扱う用途で注目されている。
ChatGPTやClaudeは基本的にクラウド上のAIに文章を送って使いますが、オープンなモデル(Llama、Gemmaなど)を手元のマシンで動かすのがローカルLLMです。データが社外に出ない、通信費がかからない、カスタマイズしやすいのが利点です。
一方で、最高性能のクラウドモデルには賢さで及ばないこと、動かすためのマシンスペックが必要なことがトレードオフ。「機密データはローカル、それ以外はクラウド」のような使い分けが現実的な落としどころです。
用語を覚えるより、ストーリーで体感するほうが早い。