Para empezar

Elegir un modelo

Qué modelo cabe en tu tarjeta gráfica, y el único número que lo decide.

Draggy le pregunta a Ollama qué sabe hacer cada modelo instalado en vez de adivinarlo por el nombre. Los modelos en la nube están ocultos; los de embedding aparecen pero no responden.

Windows y Linux

Elegido primero según la memoria de la tarjeta gráfica. Una máquina con poca o ninguna igual recibe un modelo del tamaño que su memoria RAM puede sostener, en vez del más pequeño que existe.

Todos los modelos que puede nombrar, con sus parámetros, mejor uso y lo que admiten, están en la tabla completa de modelos.

Apple Silicon

Ollama 0.19+ ejecuta los modelos con MLX, así que Draggy elige la versión -mlx. En un Mac no hay memoria de vídeo separada, así que los tamaños de abajo son el número entero, sin reducir, con el que se vendió el Mac. Un chip base o Pro toma el modelo de la columna izquierda; uno Max o Ultra, con mucho más ancho de banda de memoria, toma el de al lado.

Todos los Mac capaces de ejecutar sus modelos, desde el primero en 2020:

Un Mac de 2019 o anterior es Intel: tiene una tarjeta gráfica real y separada en su lugar, y lee la tabla de Windows y Linux de arriba.

La misma tabla, a la medida de la memoria unificada en vez de la VRAM, es la tabla completa de modelos para Mac.

El número que importa

Ajustes → Modelos muestra cuánto de cada modelo cabe en la memoria de vídeo. Al 100 % en la GPU responde a la velocidad a la que lees. Al 60 % funciona, varias veces más lento. Por debajo, baja una talla.

Un modelo cargado tiene ahí un botón Descargar modelo, que libera la memoria de vídeo sin borrar nada.

El modelo de voz

El modo de voz usa su propio modelo, más pequeño, ajustado en Ajustes → Chat → Hablar. Responder rápido vale más que responder bien aquí, así que mantenlo pequeño.