手元のPCでLLMを手軽に動かすための定番ツール。コマンドひとつでオープンモデルを取得・実行でき、ローカルLLM入門の事実上の標準になっている。
「ローカルLLMは面倒」という常識を変えたのがOllamaです。インストールして、モデル名を指定してコマンドを一行打つだけで、LlamaやQwenなどのオープンモデルが自分のPCで動き出します。かつて環境構築に丸一日かかった作業が、コーヒー1杯の時間で済むようになりました。
データが一切外に出ないため、機密文書の処理や、通信のない環境での利用、API課金なしの実験し放題が魅力です。性能はPCの性能(特にメモリ)に依存し、クラウド最上位モデルには及びませんが、「AIを所有する」感覚は一度体験する価値あり。ローカルLLMの世界への、いちばん敷居の低い入口です。
用語を覚えるより、ストーリーで体感するほうが早い。