Fehler

Nicht genug Speicher, um das Modell auszuführen

Das Modell und sein Kontext passen nicht in den verfügbaren Speicher, und wie du sie passend machst.

Was das bedeutet

Ein Modell braucht Platz für seine Gewichte und für den Kontext, den es verarbeitet, im Speicher deiner Grafikkarte oder, ohne eine solche, im Arbeitsspeicher. Die Engine hat mehr angefordert, als frei war, und wurde abgewiesen.

Was du tun kannst

  • Wähle ein kleineres Modell oder eine kleinere Quantisierung desselben Modells. Die Tabellen im Wiki zeigen, was auf welche Hardware passt.
  • Verkleinere das Kontextfenster unter Einstellungen → Modelle.
  • Schließe Programme, die die Grafikkarte nutzen, etwa Spiele, Videoschnitt und andere KI-Werkzeuge, und versuche es dann noch einmal.

Immer noch hängen geblieben

Einstellungen → Daten → Protokollordner öffnen enthält die Protokolle, und app.log kannst du bedenkenlos weitergeben. Öffne ein Issue mit der Meldung, die du gesehen hast, und diesem Protokoll, oder lies Fehlerbehebung.