09.19
8 GB 显存里塞一个 27B 模型→
GGUF 不等于兼容性保证、手动 -ngl 会关掉自动拟合，以及上下文长度对生成速度的真实影响。
标签 · 2 篇
本地推理
「本地推理」下的全部记录，共 2 篇，按时间倒序。
08.31
那 7 秒里，6 秒在加载模型→
让它对外说话、确认它在用什么算，以及把 7.13 秒拆成加载、读题、作答三笔账。
「本地推理」下的全部记录，共 2 篇，按时间倒序。
GGUF 不等于兼容性保证、手动 -ngl 会关掉自动拟合，以及上下文长度对生成速度的真实影响。
让它对外说话、确认它在用什么算，以及把 7.13 秒拆成加载、读题、作答三笔账。