做视频AI导航网
做视频AI导航网
AI导航
  • 热门工具
  • Agent智能体
  • Skills技能
  • AI大模型
  • AI创作
  • AI工具集
视频Video
  • 素材下载
  • 创作灵感
Github神器
  • 导航
  • 资讯
  • 视频素材
  • 视频模版
  • 音乐音效
  • Luts调色预设
  • 整合包
首页/
打开 MD 链接

H-JEPA - 分层视觉规划世界模型开源项目

9
高层设定子目标,低层执行动作的开源视觉世界模型
评分
项目类型:分层动作条件世界模型核心架构:Hierarchical JEPA研究任务:视觉导航 / 机器人操作 / 潜空间规划代码框架:Python / PyTorch开放内容:代码 / 配置 / 预训练权重开源许可:MIT License
H-JEPA开源分层动作条件世界模型,用高层子目标和多时间尺度潜空间预测提升长时序视觉规划能力。
Github神器|H-JEPA·世界模型·开源模型·视觉规划

H-JEPA是什么?

H-JEPA是一套面向长时序视觉规划的分层动作条件世界模型。它不是直接生成视频像素,而是在多个潜空间层级中预测未来:高层看得更远、负责粗粒度子目标,低层处理短时间尺度的具体动作。

项目状态:研究团队已开放论文、训练与评估代码、配置以及预训练权重。项目适合世界模型、机器人规划和具身智能研究,目前不是面向普通用户的一键式应用。

H-JEPA论文标题与研究团队
H-JEPA论文标题与研究团队。

核心机制

  • 多时间尺度:每一层在自己的潜空间中预测不同跨度的未来。
  • 自上而下规划:高层预测会变成下一层的子目标,让长路径被拆成可执行的短步骤。
  • 动作条件预测:模型同时编码状态和动作,在潜空间评估候选动作序列。
  • SIGReg正则:训练时约束表示分布,降低潜空间坍塌风险。
  • 离线规划:论文在多个视觉控制环境和DROID离线机器人数据上进行验证。
H-JEPA高层子目标驱动低层规划的结构示意
H-JEPA高层子目标驱动低层规划的结构示意。

论文结果应该怎样理解?

论文中最显眼的数字来自Visual AntMaze:三层H-JEPA取得73.3%的任务成功率,而平坦LeWorldModel基线为18.0%。这说明分层子目标对长路径视觉规划很有帮助,但该数字只对应论文的特定环境、数据和评估设置。

Visual AntMaze分层子目标与规划成功率对比
Visual AntMaze分层子目标与规划成功率对比。

层级也并非越多越好。论文在Push-T实验中观察到两层结构更合适,继续增加层数反而可能受限于轨迹长度和数据量。复现时应把层数视为需要验证的超参数。

安装与复现

项目当前建议使用Python 3.11.13,并通过Conda创建独立环境。基础安装流程如下:

git clone https://github.com/kevinghst/H-JEPA.git
cd H-JEPA
conda create -n hjepa python=3.11.13
conda activate hjepa
pip install -e ".[train,env]" --extra-index-url https://download.pytorch.org/whl/cu128

随后设置数据目录环境变量,按照仓库中的环境说明准备数据集与评估依赖。预训练模型可从项目公开的Hugging Face仓库获取。

export HJEPA_HOME=/path/to/data

适合谁使用?

  • 研究长时序世界模型、潜空间规划和JEPA架构的开发者。
  • 希望比较平坦模型与分层规划模型的机器人研究团队。
  • 研究视觉导航、操作任务或离线机器人数据的高校与实验室。
  • 关注虚拟制作、智能摄影机和交互式预演长期技术路线的CG技术人员。

许可与风险

仓库使用MIT许可证。代码和权重开放不代表已经达到生产级稳定性;不同GPU、CUDA版本、数据预处理和随机种子都可能影响复现结果。部署前应核对仓库README、配置文件和许可证原文。

官方入口

访问H-JEPA官方GitHub仓库

阅读H-JEPA论文

获取H-JEPA预训练权重

常见问题(FAQ)

H-JEPA是做什么的?
H-JEPA是一种分层动作条件世界模型,用多个潜空间层级按不同时间尺度预测未来,并通过高层子目标帮助低层完成长时序视觉规划。
H-JEPA是视频生成模型吗?
不是。它主要在潜空间中学习环境动态并进行规划,不以生成可观看的视频画面为核心目标。
H-JEPA的73.3%成功率代表什么?
这是论文在特定Visual AntMaze设置中的结果,对比的平坦LeWorldModel基线为18.0%;不能直接外推为现实机器人或所有任务的成功率。
H-JEPA是否已经开源?
是。研究团队开放了GitHub代码仓库、训练与评估配置,并在Hugging Face提供预训练权重。
H-JEPA层数是不是越多越好?
不是。不同任务的最佳层级数量不同,论文中的Push-T实验就显示继续增加层数不一定提升效果。
0 / 600
细中粗
0 讨论
热门最新
总结
暂无总结

相关网站

热门最新
暂无链接数据;请在后台添加链接或调整分类筛选。
所有的成功,都源自一个勇敢的开始
不辜负每一个勇敢的开始
做视频AI导航网 © 2026闽ICP备16009488号-1