エラー

モデルを実行するメモリが足りません

モデルとそのコンテキストが利用可能なメモリに収まりません。収める方法です。

どういう意味か

モデルには、重みと処理中のコンテキストのための場所が必要です。グラフィックスカードのメモリ、 ない場合はシステムメモリに置かれます。エンジンは空きより多くを要求し、断られました。

対処方法

  • より小さなモデル、または同じモデルのより小さな量子化を選んでください。 Wiki の表で、どのハードウェアに何が収まるかを確認できます。
  • 設定 → モデル でコンテキストウィンドウを小さくしてください。
  • ゲーム、動画編集ソフト、ほかの AI ツールなど、グラフィックスカードを使っているプログラムを閉じてから、もう一度お試しください。

それでも詰まったら

ログは 設定 → データ → ログフォルダーを開く にあり、app.log は安心して共有できます。表示されたメッセージとそのログを添えて issue を立ててください。トラブルシューティングもご覧ください。