まず押さえる：ローカルモデルに必要な2つの条件

Hermes Agentの公式ドキュメントを読むと、ローカルモデルを使う場合に満たすべき条件が2つあることが分かります。この2つを外すと、モデル自体は動いてもエージェントとしては機能しません。

条件1：ツール呼び出し（Tool Calling）に対応していること

エージェントは「ファイルを読む」「コマンドを実行する」「検索する」といった動作を、ツール呼び出しという仕組みでモデルに指示させます。モデルがこの機能に対応していないと、Hermesは何も実行できず、ただ文章を返すだけになります。

条件2：コンテキスト長が64,000トークン以上あること

公式ドキュメントは、Hermes Agentをエージェントとして使う場合に最低64,000トークンのコンテキスト長を要求すると明記しています。エージェントはツールの実行結果や過去のやり取りを常に文脈として抱えるため、チャットよりもはるかに多くのコンテキストを消費するからです。

ここで重要なのは、これが推奨ではなく必須要件である点です。公式ドキュメントには、これより小さいコンテキストウィンドウは起動時に拒否される（rejected at startup）と明記されています。システムプロンプト・ツール定義・作業中の会話状態を保持する領域が確保できないため、というのが理由です。つまり「精度が落ちる」のではなく、そもそも起動しません。

用語の整理：Ollamaは「モデル」ではありません

モデル選びの前に、混同されやすい用語を整理しておきます。ローカルAIの環境は、役割の違う3つの層でできています。

つまりOllamaとQwen・Gemma 4は比較対象ではありません。「OllamaでGemma 4を動かし、そこにHermes Desktopから接続する」という組み合わせになります。この記事で「どのモデルを選ぶか」と言う場合は、一番下の層の話をしています。

条件を満たす主要モデルの一覧

Ollamaの公式ライブラリと各モデルの公式モデルカードで確認した、対応状況とサイズの一覧です。ファイルサイズはOllamaで配布されている既定タグのものです。

ファイルサイズ＝必要VRAMではありません

表のファイルサイズは、あくまでダウンロードされる重みの容量です。実際に必要なメモリは、これにKVキャッシュという作業領域が上乗せされます。KVキャッシュはコンテキストが長くなるほど線形に増える性質があり、一般的な目安として9B〜27Bクラスのモデルで64Kのコンテキストを使う場合、2〜4GB程度の追加を見込むという解説が多く見られます。ただし必要量はモデルの構造によって大きく変わるため、あくまで概算として扱ってください。

実務的には「ファイルサイズ＋3GB前後」に収まるかどうかを目安に判断し、余裕がなければ一段小さいモデルを選ぶのが安全です。

VRAM別のおすすめ構成

ここまでの条件を踏まえた、スペック帯ごとの現実的な構成です。

セットアップ手順

実行基盤別に、Hermes Desktopから接続するまでの手順をまとめます。共通して重要なのは、コンテキスト長を明示的に64,000以上に指定することです。既定値のままだと条件を満たしません。

Ollamaを使う場合

ollama pull gemma4:12b

OLLAMA_CONTEXT_LENGTH=64000 ollama serve

echo -e "FROM gemma4:12b\nPARAMETER num_ctx 64000" > Modelfile
ollama create gemma4-12b-64k -f Modelfile

model:
  default: gemma4:12b
  provider: custom
  base_url: http://localhost:11434/v1
  context_length: 64000

LM Studioを使う場合

lms server start
lms load gemma4:12b --context-length 64000

model:
  default: gemma4:12b
  provider: lmstudio

より本格的な構成（llama.cpp・vLLM）

複数人で使う、あるいはスループットを重視する場合は以下の実行基盤も選べます。いずれもツール呼び出しを有効にするフラグを明示しないと機能しません。

モデルの品質はどう判断するか

公表されているベンチマーク

Gemma 4については、最上位の31BモデルでAIME 2026が89.2%、MMLU Proが85.2%という数値が公表されています。またエージェント・ツール使用を測定するτ²-benchの結果も公開されており、MoE構成の26B A4Bはツール使用・エージェント用途で強みがあるとされています。各モデルの詳細な比較はGemma 4 完全解説で扱っています。

Qwen3については、公式モデルカードがエージェント用途での強みを明記しており、思考モード・非思考モードの両方でツール呼び出しに対応すると記載されています。Qwen3-Coderはコード生成に特化したバリエーションです。

ベンチマーク数値の読み方

実用上、体感差が出やすいポイント

エージェント用途では、単純な知識量よりも次の要素が効いてきます。

• ツール呼び出しの安定性：正しい形式のJSONを返し続けられるか。ここが崩れるとタスクが止まります
• 長い文脈での一貫性：作業が進んで文脈が伸びたときに、最初の指示を保持できるか
• 日本語での指示理解：日本語は英語よりトークン消費が多く、コンテキストを圧迫しやすい点にも注意が必要です
• 応答速度：MoE構造のモデル（gemma4:26b、qwen3:30b系）は、総パラメータの割に推論時の計算量が小さく、体感が軽くなります

動かない時のトラブルシューティング

ツールが実行されず、文章だけが返ってくる

ツール呼び出しが有効になっていない可能性が高いです。実行基盤ごとの必須フラグ（llama.cppの--jinja、vLLMの--enable-auto-tool-choiceなど）を確認してください。LM Studioの場合はバージョンが0.3.6以上かを確認します。あわせて、選んだモデル自体がツール呼び出しに対応しているかも確認が必要です。

起動時にエラーになる・接続が拒否される

コンテキストウィンドウが64,000未満だと、公式仕様どおり起動時に拒否されます。まず実行基盤側の設定を確認してください。OllamaならOLLAMA_CONTEXT_LENGTH=64000を付けて起動しているか、LM Studioなら--context-length 64000を指定して読み込んでいるかです。設定済みでも解決しない場合は、モデル自体のネイティブ対応長が64,000に届いていない可能性があります（Qwen3の8B・14B・32Bなど）。その場合はモデルを変えるのが最短です。

作業の途中で指示を忘れる・話が噛み合わなくなる

コンテキスト長が足りていない典型的な症状です。Ollamaの場合はOLLAMA_CONTEXT_LENGTHを設定せずに起動していないか確認してください。設定したつもりでも、サーバーを再起動していないと反映されません。

メモリ不足で落ちる・極端に遅くなる

ファイルサイズはVRAMに収まっていても、KVキャッシュを含めると溢れているケースです。一段小さいモデルに変えるか、コンテキスト長を64,000ちょうどに絞って余裕を作ってください。搭載メモリを共有するMacでは、他のアプリを終了させるだけで改善する場合もあります。

応答が途中で切れる

SGLangを使っている場合、既定の最大出力トークンが128と短いため、この設定が原因のことがあります。実行基盤側の出力上限を確認してください。

よくある質問

まとめ

最初の一歩としては、手元の環境に合うモデルを1つ選び、コンテキスト長を明示して起動したうえで、Hermesから簡単なファイル操作を頼んでみるのがおすすめです。ツールが実際に実行されれば、2つの条件は満たせています。そこから徐々に複雑なタスクを任せていき、精度が足りないと感じた時点でモデルを大きくするか、クラウドAPIとの併用を検討するとよいでしょう。