시작하기

모델 고르기

어떤 모델이 그래픽 카드에 들어가는지, 그리고 그것을 정하는 숫자 하나.

Draggy는 각 모델이 무엇을 할 수 있는지 이름으로 짐작하지 않고 Ollama에 물어봅니다. 클라우드 모델은 숨겨지고, 임베딩 모델은 목록에는 있지만 답하지 못합니다.

Windows와 Linux

먼저 그래픽 카드 메모리를 기준으로 고릅니다. 그래픽 메모리가 적거나 없는 컴퓨터도 가장 작은 모델이 아니라 시스템 메모리가 버틸 수 있는 크기의 모델을 받습니다.

이름을 댈 수 있는 모든 모델을 매개변수, 적합한 용도, 지원 기능과 함께 담은 전체 모델 표가 있습니다.

Apple Silicon

Ollama 0.19 이상은 모델을 MLX로 돌리므로 Draggy는 -mlx 빌드를 고릅니다. Mac에는 별도의 비디오 메모리가 없으므로 아래 크기는 Mac이 판매될 때의 줄이지 않은 전체 숫자입니다. 베이스나 Pro 칩은 왼쪽 열의 모델을, 메모리 대역폭이 훨씬 넓은 Max나 Ultra는 옆의 모델을 받습니다.

2020년 첫 모델부터, 자체 모델을 돌릴 수 있는 모든 Mac:

2019년 이전 Mac은 인텔 모델로, 대신 진짜 별도 그래픽 카드가 있으며 위의 Windows와 Linux 표를 따릅니다.

같은 표를 VRAM 대신 통합 메모리로 나타낸 Mac용 전체 모델 표도 있습니다.

정작 중요한 숫자

설정 → 모델에 각 모델이 비디오 메모리에 얼마나 들어가는지 표시됩니다. GPU 100 %면 읽는 속도로 답합니다. 60 %면 동작은 하지만 몇 배 느립니다. 그 아래라면 한 단계 낮추세요.

올라와 있는 모델에는 모델 내리기 버튼이 붙습니다. 아무것도 지우지 않고 비디오 메모리만 비웁니다.

음성용 모델

음성 모드는 더 작은 전용 모델을 쓰며, 설정 → Chat → 대화에서 지정합니다. 여기서는 잘 답하는 것보다 빨리 답하는 쪽이 중요하니 작게 두세요.