错误

内存不足,无法运行该模型

模型及其上下文放不进可用内存,以及如何让它们放得下。

这是什么意思

模型需要空间存放它的权重和它正在处理的上下文,放在显卡显存中,没有显卡时放在系统内存中。 引擎申请的空间超过了空闲的部分,因此被拒绝。

你可以怎么做

  • 选择更小的模型,或同一模型的更小量化版本。Wiki 中的表格列出了各种硬件能放下什么。
  • 在 设置 → 模型 中调小上下文窗口。
  • 关闭使用显卡的程序,例如游戏、视频剪辑软件和其他 AI 工具,然后再试一次。

还是不行

日志在 设置 → 数据 → 打开日志文件夹 中,其中 app.log 可以放心分享。请附上你看到的提示和这份日志提一个 issue,或者阅读疑难解答。