14
8 GB 显存里塞一个 27B 模型→
GGUF 不等于兼容性保证、手动 -ngl 会关掉自动拟合,以及上下文长度对生成速度的真实影响。
写给未来的自己:那些在串口日志里泡了一整天,最后发现问题出在电源上的事。 这里记录嵌入式开发里的失败、数据,以及被我自己推翻过的结论。
GGUF 不等于兼容性保证、手动 -ngl 会关掉自动拟合,以及上下文长度对生成速度的真实影响。
设备每 40 秒掉线一次,规律得让人怀疑人生。我把三天的串口输出打印出来铺在地板上,才发现那段 3.2 秒的沉默里,藏着一个和电源有关的答案。
让它对外说话、确认它在用什么算,以及把 7.13 秒拆成加载、读题、作答三笔账。
transient_local 遇上 volatile:消息就躺在话题里,订阅者却主动拒绝接收。