|
由于使用的mac进行生成的,FlushOut无法使用。只能通过虚拟机来运行(尝试过兼容层软件,但FlushOut不支持有问题)。 1. 两个模型都是qwen蒸馏Claude4.7Opus的,千问模型生成不太合适。 2. 两个模型都是A3B版本,Qwen3.5-27B-Writer-V2 模型试过,生成都是按5-7token/s来算的。只能通过A3B这种只激活3B而且影响不大的模型提速。 3. Ollama与oMLX对比: - Ollama使用过程中内存占用会不断升高,oMLX相对来说内存管理更好。 - MLX架构模型是对mac有优化的模型,Ollama支持MLX架构模型但需要使用GGUF文件格式的,基本没有适合的模型,只能在魔塔或huggingFace来找MLX模型提速。 - Ollama对token输出监控需要通过ollama-gui工具,oMLX内置就有监控。 4. 由于通过虚拟机来使用FlushOut导致存在延迟问题,生成效率有部分影响。 |
|
Ollama与oMLX生成速度慢与失败的问题基本已查明,通过底层输入与输出排查确定: 1. FlushOut底层为http1.1 + 非流式输出。 PS:通过Wireshark进行确认了。 2. 模型需要使用 porschefreak:Huihui-Qwen3.6-35B-A3B-Claude-4.7-Opus-abliterated-mlx-4Bit 这种有 abliterated 标识的模型。 PS:不使用这种模型会有2分之1几率出现,系统提示词 破甲协议 破甲失败,被模型伦理规则约束。会出现章节分析失败、正文循环请求等问题。导致算力浪费一半以上。润色小说成本极速增加。硅基流动网站提供的算力模型不清楚是不是去限制的模型,不是的话应该有部分润色费用浪费在了这一步。 |
designwife 发表于 2026-8-1 15:15 原先使用的模型生成质量堪忧,替换使用了 zviratko/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-oQ5e-mtp 模型。生成效果与效率都挺不错的,M4Pro + 48G 生成速度13KB。 FlushOut存在很大问题,通过Wireshark看到一个章节润色重复生成了好几次,返回的数据没问题但会出现格式问题。 PS:使用最新模型润色小说的话,由于模型伦理能力的提升导致多次请求被道德限制拦截,从而造成token消耗飙升,这应该是FlushOut多次请求的原因。旧版本模型伦理能力低于最新模型,在可以接受的润色效果内最好选择旧的模型,这样可以保证token消耗。 |
| 老哥,提示词很不错,ai写出来的大部分不需要修改就能用,谢谢你的分享 |
| JSON合适无效导入不了,手动粘贴太麻烦了 |
巴西琉斯 发表于 2026-9-6 09:22 添加了简易教程,审核中 |
大佬,您自制的那篇加料软件专栏不见了,请问能在发一遍吗。![]() |
2486132341 发表于 2026-9-1 11:17 主要看是否高频率的 伦理拒绝 和 并发数 来控制的。 经常伦理拒绝会导致浪费大量token并多次尝试。 |
| 兄弟,问下Qwen3.6-27B一晚上才总结200章是正常速度吗 |
我拿他们的模板试了,好多重复的而且输出质量都不咋样 确实有重复的,而且还是直接照抄,不知道是不是我自创的“加料模型”有问题。不过我也是在原模型的基础上增加了一点识别场景而已,其他都是保留原内容的。用起来可以识别,但最后改写出来的效果就发现照抄原文段落,还重复粘贴两三遍,估计是改写字数不低于1000字的问题,导致AI也开始忽悠用户了,为了凑字数。 ![]() |
| 看截图自己对应找。 |
|
对,直接在里面修改就行。你的截图是大语言模型修改的界面,在主界面最左侧的第二个(类似星星状)图标进入, 你要选的是第三个(类似气泡状)图标进入,这个才是提示词修改的界面,看截图,注意左边带蓝边的图标。 http://E:\\toolsE\\tool-box\\204_42.png http://E:\\toolsE\\tool-box\\203_42.png http://E:\\toolsE\\tool-box\\205_42.png |
zhaojunren 发表于 2026-8-5 04:50 直接在flushout里面修改吗,我拿他们的模板试了,好多重复的而且输出质量都不咋样 |
| 这个还不错了,其他的都会社区限制,但有时跑得通,有时跑不通,现在每次测试同一个段落,都要重新启动一次主界面,希望后续能更稳定些。 |
| 鼠标点击主界面左侧从上往下第三个图标,就是“加料模型”的管理界面,进入后,在右上角有个“+新建模板”,点进去就是自创模版的界面了。 |
designwife 发表于 2026-7-31 17:45 兄弟我想学写提示词,能给一个方向吗。目前我都不懂这种在哪编辑 |
|
Mac搞了个Parallel Desktop虚拟机,有时间我重新搞下。 Ollama安装了DeepSeekR1蒸馏Qwen32B的Q8_0模型,后续会对提示词内容重新做一次优化。 |