INT4量化

INT4量化通过将模型权重或部分计算压缩至4比特，降低模型存储与显存占用，但需平衡精度、算子支持与端到端性能。