错误
内存不足,无法运行该模型
模型及其上下文放不进可用内存,以及如何让它们放得下。
这是什么意思
模型需要空间存放它的权重和它正在处理的上下文,放在显卡显存中,没有显卡时放在系统内存中。 引擎申请的空间超过了空闲的部分,因此被拒绝。
你可以怎么做
- 选择更小的模型,或同一模型的更小量化版本。Wiki 中的表格列出了各种硬件能放下什么。
- 在
设置 → 模型中调小上下文窗口。 - 关闭使用显卡的程序,例如游戏、视频剪辑软件和其他 AI 工具,然后再试一次。
还是不行
日志在 设置 → 数据 → 打开日志文件夹 中,其中 app.log 可以放心分享。请附上你看到的提示和这份日志提一个 issue,或者阅读疑难解答。