常见问题(FAQ)

第一次下载建议选择哪个 GGUF 文件?
多数具备足够内存的用户可先从 Q4_K_M 或 Q4_K_P 测试;资源更有限可尝试 IQ3_M,重视质量且硬件充足再考虑 Q6 或 Q8。
为什么 Hugging Face 的硬件兼容提示可能不显示 K_P 量化?
模型作者说明兼容组件可能不认识自定义 K_P 名称。可进入文件列表查看全部变体,并以实际运行时是否支持 GGUF 为准。
运行视觉功能为什么还需要 mmproj?
主 GGUF 负责语言模型推理,多模态投影由独立 mmproj 文件提供。没有加载该文件时,通常只能进行文本对话。
MoE 模型只有约 3B 激活参数,是否意味着普通电脑一定能流畅运行?
不意味着。完整权重仍需占用大量存储与内存,长上下文还会增加 KV Cache,实际速度取决于量化、内存带宽、显卡和卸载配置。
无审查模型可以直接对外提供服务吗?
技术上可以部署,但不建议无保护上线。公开服务应增加内容过滤、访问控制、日志、速率限制和人工复核,并遵守所在地法律及平台政策。