模型推理是将训练完成的人工智能模型用于实际输入处理和生成输出的过程,通常涉及硬件后端、量化、算子与运行时适配。
MNN 是阿里巴巴开源的轻量深度学习框架与推理引擎,提供 MNN-LLM 端侧大模型运行方案,覆盖手机、PC …