Para começar

Escolher um modelo

Que modelo cabe na tua placa gráfica, e o único número que decide.

O Draggy pergunta ao Ollama o que cada modelo instalado sabe fazer em vez de o adivinhar pelo nome. Os modelos na nuvem ficam escondidos; os de embedding aparecem mas não respondem.

Windows e Linux

Escolhido primeiro pela memória da placa gráfica. Uma máquina com pouca ou nenhuma continua a receber um modelo do tamanho que a sua memória RAM aguenta, em vez do mais pequeno que existe.

Todos os modelos que consegue nomear, com os parâmetros, o melhor uso e o que suportam, estão na tabela completa de modelos.

Apple Silicon

O Ollama 0.19+ corre os modelos por MLX, por isso o Draggy escolhe a versão -mlx. Num Mac não há memória de vídeo separada, por isso os tamanhos abaixo são o número inteiro, sem redução, com que o Mac foi vendido. Um chip base ou Pro fica com o modelo da coluna da esquerda; um Max ou Ultra, com muito mais largura de banda de memória, fica com o do lado.

Todos os Mac capazes de correr os seus próprios modelos, desde o primeiro em 2020:

Um Mac de 2019 ou anterior é Intel: tem, em vez disso, uma placa gráfica real e separada, e lê a tabela do Windows e Linux acima.

A mesma tabela, à medida da memória unificada em vez da VRAM, é a tabela completa de modelos para Mac.

O número que interessa

Definições → Modelos mostra quanto de cada modelo cabe na memória de vídeo. A 100 % na GPU responde à velocidade a que lês. A 60 % funciona, várias vezes mais devagar. Abaixo disso, desce um tamanho.

Um modelo carregado ganha ali um botão Descarregar modelo, que liberta a memória de vídeo sem apagar nada.

O modelo de voz

O modo de voz usa o seu próprio modelo, mais pequeno, definido em Definições → Chat → Falar. Responder depressa vale mais do que responder bem aqui, por isso mantém-no pequeno.