诺亚 发自 凹非寺量子位 | 公众号 QbitAI
2009年，，李飞飞团队正式宣布ImageNet。。。。。。
随后，，以ImageNet为基础形成的大规模视觉识别使命，，让差别机构第一次能够围绕配合的数据集、种别系统和评测指标训练模子、较量效果。。。。。。
得益于这套可以一连扩展、统一较量的数据与评测基础设施，，图像识别和深度学习最先快速生长。。。。。。
17年后，，李飞飞的博士生Danfei Xu，，最先为机械人学习寻找类似的协作基础设施。。。。。。
Danfei Xu现在担当佐治亚理工学院交互盘算学院助理教授，，也是机械人学习与推理实验室（RL2）的认真人。。。。。。他在斯坦福大学攻读博士时代，，由李飞飞和Silvio Savarese配合指导。。。。。。已往几年，，他一连研究一个问题：机械人怎样从人类演示中学习，，并将这些履历迁徙赴任别使命、情形和机械人本体上。。。。。。
这条研究线，，最终汇入了EgoVerse——“第一视角人类操作数据生态”。。。。。。
EgoVerse是一套一连增添的第一视角人类操作数据生态与标准。。。。。。EgoVerse最新果真的同盟同伴中，，除了佐治亚理工、斯坦福、苏黎世联邦理工和UC San Diego等学术机构，，还包括Meta、Scale AI、光轮智能、Mecka AI、MicroAGI、Trace Labs等公司。。。。。。
最值得的关注是，，光轮智能作为唯逐一家中国公司，，泛起在这个顶级大佬云集的全球标准牌桌上。。。。。。
EgoVerse：Danfei想做的不但是一个数据集
机械人学习恒久面临一个显着的数据悖论。。。。。。
现在机械人训练仍然依赖真机遥操作，，每增添一条演示，，都需要机械人硬件、操作职员、实验园地和复位流程。。。。。。收罗速率慢、本钱高，，能够笼罩的使命和场景也很有限。。。。。。
而人类的种种行为自然包括富厚的视觉信息、行动历程、物体交互和使命战略，，显着是机械人更好的先生。。。。。。
第一视角人类数据提供了新的蹊径：先纪录人怎样在真真相形中完成使命，，再把这些履历迁徙给差别机械人。。。。。。
但已往的人类数据集大多是一次性项目。。。。。。
差别团队使用各自的收罗装备、坐标系统、行动标签和使命界说，，数据宣布后也很难一连扩张。。。。。。纵然两家机构都收罗了“把杯子放到碟子上”，，两份数据也未必能够直接放在一起训练。。。。。。
Danfei及其相助者因此没有把EgoVerse设计成又一份静态数据集，，而是做成了一套“活”的协作框架。。。。。。
EgoVerse目今果真版本包括1362小时人类演示数据、约8万个episode、1965项使命、240个场景和2087名收罗者。。。。。。数据不但包括第一视角视频，，还提供相机位姿、三维手部信息以及细粒度语言形貌，，并在差别实验室、差别使命和差别机械人本体上验证人类数据的迁徙效果。。。。。。
一套事实标准形成之前，，往往要先完成几件事：
让加入者接纳配合的数据结构，，遵守配合的使命语义，，生产可以相互兼容的数据，，并用统一要领磨练这些数据是否真的有用。。。。。。
EgoVerse正在做的，，正是这一步：先让全球具身数据最先凭证统一套“语言系统”流动。。。。。。
EgoVerse的焦点共建方，，都是什么配景？ ？？？？
具身人类数据并不是戴上一副眼镜、录一段视频，，再加几个标签那么简朴。。。。。。完整收罗流程至少包括研究问题界说、收罗硬件、行动迁徙、规；； ；；；擞⑹荼曜⒑突等搜橹。。。。。。任何一家机构，，都很难单独完成所有环节。。。。。。
EgoVerse召集了具身领域里最头部的高校、学者、机构举行全球协作，，配合界说具有划时代意义的数据标准。。。。。。
佐治亚理工Danfei Xu教授：具身人类数据收罗蹊径标记性代表，，EgoVerse的提倡人
佐治亚理工肩负的是EgoVerse的组织中枢和研究框架角色。。。。。。Danfei Xu与RL2团队恒久关注机械人怎样从人类数据中学习。。。。。。到了EgoVerse，，问题不再只是“某一批人类视频能不可改善某一台机械人”，，而是进一步升级为：人类数据的效果能否跨实验室复现？ ？？？？能否跨机械人本体建设？ ？？？？数据规模增添时，，能力是否稳固增添？ ？？？？哪些类型的数据才真正具有迁徙价值？ ？？？？
EgoVerse让差别实验室在共享协议下重复实验。。。。。。佐治亚理工学院认真的代表使命是object-in-container，，斯坦福大学认真双臂细腻操作，，UC San Diego和ETH Zurich则加入长时序双臂使命验证。。。。。。由此，，Danfei搭起一种新的协作方式，，使已往互不兼容的数据、算法、机械人和实验室，，最先在共享协议下回覆统一组问题。。。。。。
斯坦福Shuran Song教授：UMI发明人，，让人类操作履历能够迁徙给机械人
人类有柔软无邪的双手，，机械人可能只有两指夹爪；； ；；；人可以依赖触觉、履历和身体协调完成使命，，机械人却需要明确的视察和行动体现。。。。。。因此，，人类数据并不会自然酿成机械人能力，，中心横着一道“具身鸿沟”。。。。。。
Shuran Song向导的斯坦福REAL Lab，，是买通这条路径的代表团队之一。。。。。。其团队开创的UMI——Universal Manipulation Interface，，使用便携式手持夹爪收罗真真相形中的人类操作，，再将这些演示转化为可安排的机械人战略。。。。。。
UMI的要害价值，，是让数据收罗挣脱牢靠机械人和实验室。。。。。。人可以带着装备进入真真相形举行重大长时序使命，，学习获得的战略还能迁徙赴任别机械人平台。。。。。。
简朴说，，斯坦福要解决的是：让人类履历酿成机械人能执行的行动。。。。。。
Meta：为EgoVerse提供专用数据收罗眼镜
第一视角数据收罗首先需要一双及格的“眼睛”。。。。。。Meta研发的Project Aria，，是行业首个专为“大规；； ；；；∧Ｗ印鄙杓频淖ㄓ檬菔章抻布，，可以纪录第一视角视频、手部行动、相机位姿和空间信息。。。。。。装备包括面向前方的RGB相机，，以及用于SLAM和手部追踪的同步场景相机。。。。。。没有这类空间感知能力，，第一视角数据很容易只是一段“看起来像人在干活”的视频。。。。。。Meta解决的是怎样把“人看到了什么”，，升级为“人在三维天下中怎样行动”。。。。。。
Mecka：人类数据先驱，，把数据收罗从专用眼镜普及到手机
若是一套人类数据生态只能依赖少数专用硬件，，它能够笼罩的收罗者与真真相形就始终有限。。。。。。
Mecka AI推动了一条更便携的收罗蹊径：使用iPhone与轻量化头戴装置完成第一视角收罗，，再通过云端处理恢复头部轨迹与双手三维要害点。。。。。。
这一方案让第一视角数据不再只来自少数机械人实验室，，而能够进入家庭、市肆、事情场合和更多真实使命情形。。。。。。
Mecka AI所解决的，，是怎样让人类数据收罗从专用装备走向更低门槛、更广笼罩的生产方式。。。。。。
Scale AI：人类数据的规；； ；；；圃旃こ
数据采回来之后，，还要履历洗濯、标注、质检、结构化和版本治理。。。。。。
Scale AI从2016年起恒久从事AI数据基础设施建设，，最早以自动驾驶等场景中的大规模数据处理能力著名。。。。。。进入Physical AI阶段后，，它又把数据工厂数据扩展到机械人数据收罗、标注、人工反馈和模子验证。。。。。。
Scale更善于把数据生产酿成一套成熟的运营和处理系统，，从而在人类演示从几百条酿成几万小时后，，把大规模、异构的原始收罗效果，，转化为稳固可用的数据产品。。。。。。
光轮智能：在规；； ；；；奶跫下，，构建人类数据最高质量标准
当具身数据生产真正迈向万万级小时，，单单依赖收罗工具和后处理，，无法知足规；； ；；；碌氖葜柿啃枨。。。。。。同时，，收罗装备越多、收罗职员越多、场景越重大的趋势下，，视角偏移、行动遗漏、使命中止、装备异常和标注纷歧致等问题也会被同步放大。。。。。。
数据可以快速增添，，但真正能被机械人学习的有用信息，，并纷歧定同步增添。。。。。。
而光轮智能补上的，，是一套贯串端侧收罗、云端处理和仿真验证的质量控制系统。。。。。。
与绑定某一款眼镜或收罗装备的方案差别，，光轮智能的目的是让数据管线兼容差别硬件。。。。。。无论原始数据来自Aria、iPhone、头戴相机照旧其他多模态装备，，都可以进入统一的云端管线，，通过VIO、三维手部与Body标注、V7级行动语义标注，，被转化成统一质量标准下的训练资产。。。。。。
数据完成处理之后，，光轮智能还会使用物理仿真SimFoundry和模子评测能力RoboFinals，，进一步验证行动轨迹、物理关系和使命历程能否被合理还原，，并判断数据是否真正具有机械人学习价值。。。。。。通过一直的回环评价，，掌握最快速的质量反馈，，并且一直迭代，，引领标准。。。。。。
因此，，光轮在EgoVerse中的孝顺，，是让数据在规；； ；；；幸廊蛔龅皆赐房煽亍⒖缬布统一、价值可验证。。。。。。
别的，，MicroAGI也在探索漫衍式众包收罗，，通过让操作职员在真实家庭情形中自然完成使命，，将人类数据生产从实验项目转化为可一连运营的收罗网络。。。。。。
规；； ；；；，，光轮智能怎样界说高质量人类数据
古板数据质量控制，，通常关注文件是否完整、名堂是否准确、轨迹是否缺失，，以及标注是否通过。。。。。。
但这些指标最多只能证实一条数据在生产流程上“及格”，，不可证实它真的值得机械人学习。。。。。。
一段视频可能拍摄完整，，行动轨迹却无法被机械人执行；； ；；；一条标注可能切合规范，，其中的使命历程却缺少要害方法；； ；；；一批数据看起来数目重大，，现实笼罩的人群、场景与行动漫衍却高度重复。。。。。。
光轮智能将人类数据质量拆成三个一连环节。。。。。。
首先，，用Agent驱动数据收罗质量与数据漫衍。。。。。。
在光轮智能看来，，具身数据最大的质量风险，，经常爆发在收罗现场。。。。。。
要害行动是否进入画面？ ？？？？手与物体的交互是否被遮挡？ ？？？？使命起点和终点是否完整？ ？？？？收罗者是否偏离操作要求？ ？？？？一个episode虽然录制完成，，是否真正包括完整的学习历程？ ？？？？
若是这些问题比及数据上传后才被发明，，往往只能整段作废，，或者重新组织职员补采。。。。。。
光轮智能的Agent驱动收罗系统，，会围绕装备状态、使命流程、行动完整性和有用视角举行实时检查，，并在发明风险时推动现场纠偏或补采。。。。。。
更主要的是，，Agent不但认真单条数据质检，，也可以凭证已有数据漫衍，，调控下一轮需要收罗的人群、场景、使命与行动类型，，阻止数据规模增添后泛起大宗重复样本。。。。。。
这使数据质量从事后抽检，，转化为生产历程控制。。。。。。
其次，，通过兼容多种收罗硬件的云端平台，，实现统一的数据标准。。。。。。
无论原始数据来自眼镜、手机、头戴相机照旧其他多模态装备，，都需要经由云端统一的处理和质量控制，，才华进入统一个训练系统。。。。。。
光轮的处理流程包括视觉惯性里程计，，也就是VIO，，用于恢复相机在空间中的运动；； ；；；三维手部与Body标注，，用于还原人的身体行动和手物交互；； ；；；以及V7级行动标注，，把一段一连视频进一步切分为可以与使命历程对齐的行动语义。。。。。。
光轮智能的人类数据解决方案EgoSuite，，能够在生产规模上提供三维手部、三维全身姿态和帧级语义标注，，并强调在遮挡和近距离物体交互情形下维持稳固追踪。。。。。。其平台也果真强调对差别商业装备、研究型眼镜、行动相机和定制收罗系统的兼容能力。。。。。。
这套思绪可以用一句话概括：硬件可以多元，，进入模子之前的数据标准必需一致。。。。。。
最后，，用仿真与评测磨练数据价值。。。。。。
数据处理完成后，，还要回覆一个更要害的问题：这些数据，，是否真的值得机械人学习？ ？？？？
光轮智能将自研仿真平台SimFoundry与工业级评测平台RoboFinals接入人类数据质量闭环。。。。。。SimFoundry将人类数据中的行动轨迹、物体关系和使命流程，，转化为机械人可执行、可复现的仿真使命；； ；；；RoboFinals则通过标准化评测，，验证这些数据事实提升了哪些使命，，又会在哪些机械人本体、场景和物理条件下失效。。。。。。
因此，，数据价值不再由生产方自行界说，，而是由机械人训练和评测效果配合验证。。。。。。评测历程中发明的失败案例，，也会进一步反馈给收罗端，，指导下一轮需要增补哪些数据、扩大哪些漫衍、修正哪些收罗规则，，形成一连优化的数据闭环。。。。。。
最终，，高质量具身人类数据形成一条完整的数据质量闭环：
端侧Agent实时控制收罗质量 → 多种收罗硬件统一接入云端 → VIO、手部、Body Pose与行动语义标准化处理 → SimFoundry将人类数据转化为机械人可执行使命 → RoboFinals验证数据学习价值并定位失败模式 → 评测效果反馈下一轮数据收罗。。。。。。
唯一中国公司，，进入全球两大具身基础设施标准
随着具身智能从单点手艺验证走向规；； ；；；，，行业竞争正在从模子能力，，进一步延伸究竟层基础设施与标准系统。。。。。。
其中，，两条要害主线正在形成。。。。。。
一条是以EgoVerse为代表的数据基础设施，，界说高质量具身人类数据怎样收罗、组织、处理、共享和一连迭代；； ；；；另一条是以Newton为代表的物理仿真基础设施，，界说机械人怎样在遵照真实物理纪律的仿真天下中完成训练、验证和评测。。。。。。
Newton由NVIDIA、Google DeepMind和Disney Research联合提倡，，由NVIDIA、Google DeepMind、Disney Research、光轮智能和Toyota Research Institute（TRI）五家企业配合组成手艺指导委员会（TSC），，一连界说机械人仿真与物理建模的手艺蹊径，，正逐渐成为全球具身智能的主要物理仿真基础设施。。。。。。
前者解决机械人从那里获得可规；； ；；；难奥睦，，后者解决这些履历怎样在物理天下中被复现和验证。。。。。。数据与仿真，，配合组成物理AI走向规；； ；；；牧酱蟮鬃。。。。。。
光轮智能成为现在唯一同时加入这两套国际标准系统的中国企业。。。。。。
在EgoVerse中，，光轮带入的是一套贯串人类数据生产全流程的质量系统：从端侧Agent治理收罗历程，，到多种硬件数据进入统一云端管线，，再到通过仿真与模子评考试证数据价值。。。。。。人类数据质量由此从依赖人工抽检和履历判断，，走向可界说、可较量、可验证、可一连优化的工程标准。。。。。。
在Newton中，，光轮加入物理求解、仿真资产、机械人训练与评测等焦点能力建设，，推动真实天下中的物体、使命和物理历程，，转化为机械人可以交互、训练和验证的仿真基础设施。。。。。。
这意味着，，光轮加入界说的不但是某一种数据名堂，，也不但是某一套仿真工具，，而是毗连真实天下数据、物理仿真、模子训练与能力验证的底层标准。。。。。。
若是说ImageNet为视觉AI建设了配合的数据基础设施，，那么EgoVerse与Newton则划分从数据和仿真两个偏向，，为物理AI建设新的全球基础设施。。。。。。
光轮同时进入EgoVerse与Newton，，加入建设的已经不但是今天的工具链，，而是未来全球具身智能工业配合遵照的底层基础设施。。。。。。这也意味着，，中国企业最先从标准的使用者，，走向全球物理 AI 基础设施规则的配合界说者。。。。。。
