VLM Latent Shaping - 3D场景拓扑与视觉语言模型空间分析代码

项目是什么？

VLM Latent Shaping是匹兹堡大学智能系统实验室公开的研究代码，目标是从视觉语言模型的隐藏状态中提取3D场景拓扑子空间，并用Dirichlet能量正则化增强空间推理。对应论文入选NeurIPS 2026 Spotlight。

代码包含什么？

• 基于对象掩码的视觉Token聚合与物体级激活提取。
• 跨场景身份属性估计、SVD投影和空间子空间分离。
• PCA可视化、Dirichlet能量分析与层间比较。
• 多种场景布局、模型配置、队列脚本和自动化测试。
• 面向Qwen-VL等模型的可选推理依赖。

基础环境

项目要求Python 3.10以上，核心依赖包括NumPy、SciPy、scikit-learn、pandas、PyArrow、Pillow、PyYAML与einops；运行VLM还需要PyTorch 2.1以上、Transformers 4.49以上、Accelerate和qwen-vl-utils。

推荐复现流程

1. 先阅读论文，明确物体身份与空间成分的线性分离假设。
2. 建立独立环境并安装项目，先运行测试确认依赖。
3. 从小型合成场景和单个配置开始提取激活，避免直接启动完整实验队列。
4. 比较原始激活、移除身份方向后的激活与随机置换基线。
5. 复现PCA和Dirichlet能量曲线后，再尝试LoRA空间正则微调。

使用提醒

这是一套研究复现代码，不是开箱即用的3D重建工具。结果依赖合成场景、对象掩码、模型层选择与线性分离假设；用于新模型和真实视频前，应重新验证空间信号、基线和迁移效果。