はじめに

モデルを選ぶ

どのモデルがグラフィックカードに収まるか、そしてそれを決める一つの数字。

Draggy は各モデルに何ができるかを名前から推測せず、Ollama に尋ねます。クラウドのモデルは隠され、埋め込みモデルは一覧に出ますが返答はできません。

Windows と Linux

まずグラフィックカードのメモリで選びます。少ないか無いマシンでも、一番小さいモデルではなく、システムメモリが支えられる大きさのモデルが選ばれます。

名前を挙げられるすべてのモデルを、パラメータ数・得意な用途・対応機能とともに掲載した モデル一覧があります。

Apple Silicon

Ollama 0.19 以降はモデルを MLX で動かすため、Draggy は -mlx ビルドを選びます。Mac には独立したビデオメモリがないため、下の数字は Mac が販売されたときのそのままの、減らしていない数字です。ベースまたは Pro チップは左の列のモデルを、メモリ帯域幅がはるかに大きい Max や Ultra は隣のモデルを担当します。

2020年の最初の一台から、自社モデルを動かせるすべての Mac：

2019年以前の Mac は Intel 製で、代わりに独立した本物のグラフィックカードを持ち、上の Windows と Linux の表を参照します。

同じ表を VRAM の代わりにユニファイドメモリで示したものが Mac 版モデル一覧です。

効いてくる数字

設定 → モデルに、各モデルのどれだけがビデオメモリに収まるかが出ます。GPU 100 % なら読む速さで返ってきます。60 % でも動きますが、数倍遅くなります。それより下ならひとつ小さいものへ。

読み込み済みのモデルにはモデルをアンロードボタンが付き、何も消さずにビデオメモリだけ解放します。

音声用のモデル

音声モードは小さめの専用モデルを使い、 設定 → Chat → 音声会話で設定します。ここでは上手に答えるより速く答える方が大事なので、小さいままにしておきます。