诺亚 发自 凹非寺量子位 | 公众号 QbitAI
2009年，，，，，，李飞飞团队正式宣布ImageNet。。。 。
随后，，，，，，以ImageNet为基础形成的大规模视觉识别使命，，，，，，让差别机构第一次能够围绕配合的数据集、种别系统和评测指标训练模子、较量效果。。。 。
得益于这套可以一连扩展、统一较量的数据与评测基础设施，，，，，，图像识别和深度学习最先快速生长。。。 。
17年后，，，，，，李飞飞的博士生Danfei Xu，，，，，，最先为机械人学习寻找类似的协作基础设施。。。 。
Danfei Xu现在担当佐治亚理工学院交互盘算学院助理教授，，，，，，也是机械人学习与推理实验室（RL2）的认真人。。。 。他在斯坦福大学攻读博士时代，，，，，，由李飞飞和Silvio Savarese配合指导。。。 。已往几年，，，，，，他一连研究一个问题：机械人怎样从人类演示中学习，，，，，，并将这些履历迁徙赴任别使命、情形和机械人本体上。。。 。
这条研究线，，，，，，最终汇入了EgoVerse——“第一视角人类操作数据生态”。。。 。
EgoVerse是一套一连增添的第一视角人类操作数据生态与标准。。。 。EgoVerse最新果真的同盟同伴中，，，，，，除了佐治亚理工、斯坦福、苏黎世联邦理工和UC San Diego等学术机构，，，，，，还包括Meta、Scale AI、光轮智能、Mecka AI、MicroAGI、Trace Labs等公司。。。 。
最值得的关注是，，，，，，光轮智能作为唯逐一家中国公司，，，，，，泛起在这个顶级大佬云集的全球标准牌桌上。。。 。
EgoVerse：Danfei想做的不但是一个数据集
机械人学习恒久面临一个显着的数据悖论。。。 。
现在机械人训练仍然依赖真机遥操作，，，，，，每增添一条演示，，，，，，都需要机械人硬件、操作职员、实验园地和复位流程。。。 。收罗速率慢、本钱高，，，，，，能够笼罩的使命和场景也很有限。。。 。
而人类的种种行为自然包括富厚的视觉信息、行动历程、物体交互和使命战略，，，，，，显着是机械人更好的先生。。。 。
第一视角人类数据提供了新的蹊径：先纪录人怎样在真真相形中完成使命，，，，，，再把这些履历迁徙给差别机械人。。。 。
但已往的人类数据集大多是一次性项目。。。 。
差别团队使用各自的收罗装备、坐标系统、行动标签和使命界说，，，，，，数据宣布后也很难一连扩张。。。 。纵然两家机构都收罗了“把杯子放到碟子上”，，，，，，两份数据也未必能够直接放在一起训练。。。 。
Danfei及其相助者因此没有把EgoVerse设计成又一份静态数据集，，，，，，而是做成了一套“活”的协作框架。。。 。
EgoVerse目今果真版本包括1362小时人类演示数据、约8万个episode、1965项使命、240个场景和2087名收罗者。。。 。数据不但包括第一视角视频，，，，，，还提供相机位姿、三维手部信息以及细粒度语言形貌，，，，，，并在差别实验室、差别使命和差别机械人本体上验证人类数据的迁徙效果。。。 。
一套事实标准形成之前，，，，，，往往要先完成几件事：
让加入者接纳配合的数据结构，，，，，，遵守配合的使命语义，，，，，，生产可以相互兼容的数据，，，，，，并用统一要领磨练这些数据是否真的有用。。。 。
EgoVerse正在做的，，，，，，正是这一步：先让全球具身数据最先凭证统一套“语言系统”流动。。。 。
EgoVerse的焦点共建方，，，，，，都是什么配景？？ ？ ？ ？ ？
具身人类数据并不是戴上一副眼镜、录一段视频，，，，，，再加几个标签那么简朴。。。 。完整收罗流程至少包括研究问题界说、收罗硬件、行动迁徙、规；；擞⑹荼曜⒑突等搜橹。。。 。任何一家机构，，，，，，都很难单独完成所有环节。。。 。
EgoVerse召集了具身领域里最头部的高校、学者、机构举行全球协作，，，，，，配合界说具有划时代意义的数据标准。。。 。
佐治亚理工Danfei Xu教授：具身人类数据收罗蹊径标记性代表，，，，，，EgoVerse的提倡人
佐治亚理工肩负的是EgoVerse的组织中枢和研究框架角色。。。 。Danfei Xu与RL2团队恒久关注机械人怎样从人类数据中学习。。。 。到了EgoVerse，，，，，，问题不再只是“某一批人类视频能不可改善某一台机械人”，，，，，，而是进一步升级为：人类数据的效果能否跨实验室复现？？ ？ ？ ？ ？能否跨机械人本体建设？？ ？ ？ ？ ？数据规模增添时，，，，，，能力是否稳固增添？？ ？ ？ ？ ？哪些类型的数据才真正具有迁徙价值？？ ？ ？ ？ ？
EgoVerse让差别实验室在共享协议下重复实验。。。 。佐治亚理工学院认真的代表使命是object-in-container，，，，，，斯坦福大学认真双臂细腻操作，，，，，，UC San Diego和ETH Zurich则加入长时序双臂使命验证。。。 。由此，，，，，，Danfei搭起一种新的协作方式，，，，，，使已往互不兼容的数据、算法、机械人和实验室，，，，，，最先在共享协议下回覆统一组问题。。。 。
斯坦福Shuran Song教授：UMI发明人，，，，，，让人类操作履历能够迁徙给机械人
人类有柔软无邪的双手，，，，，，机械人可能只有两指夹爪；；人可以依赖触觉、履历和身体协调完成使命，，，，，，机械人却需要明确的视察和行动体现。。。 。因此，，，，，，人类数据并不会自然酿成机械人能力，，，，，，中心横着一道“具身鸿沟”。。。 。
Shuran Song向导的斯坦福REAL Lab，，，，，，是买通这条路径的代表团队之一。。。 。其团队开创的UMI——Universal Manipulation Interface，，，，，，使用便携式手持夹爪收罗真真相形中的人类操作，，，，，，再将这些演示转化为可安排的机械人战略。。。 。
UMI的要害价值，，，，，，是让数据收罗挣脱牢靠机械人和实验室。。。 。人可以带着装备进入真真相形举行重大长时序使命，，，，，，学习获得的战略还能迁徙赴任别机械人平台。。。 。
简朴说，，，，，，斯坦福要解决的是：让人类履历酿成机械人能执行的行动。。。 。
Meta：为EgoVerse提供专用数据收罗眼镜
第一视角数据收罗首先需要一双及格的“眼睛”。。。 。Meta研发的Project Aria，，，，，，是行业首个专为“大规；；∧Ｗ印鄙杓频淖ㄓ檬菔章抻布，，，，，，可以纪录第一视角视频、手部行动、相机位姿和空间信息。。。 。装备包括面向前方的RGB相机，，，，，，以及用于SLAM和手部追踪的同步场景相机。。。 。没有这类空间感知能力，，，，，，第一视角数据很容易只是一段“看起来像人在干活”的视频。。。 。Meta解决的是怎样把“人看到了什么”，，，，，，升级为“人在三维天下中怎样行动”。。。 。
Mecka：人类数据先驱，，，，，，把数据收罗从专用眼镜普及到手机
若是一套人类数据生态只能依赖少数专用硬件，，，，，，它能够笼罩的收罗者与真真相形就始终有限。。。 。
Mecka AI推动了一条更便携的收罗蹊径：使用iPhone与轻量化头戴装置完成第一视角收罗，，，，，，再通过云端处理恢复头部轨迹与双手三维要害点。。。 。
这一方案让第一视角数据不再只来自少数机械人实验室，，，，，，而能够进入家庭、市肆、事情场合和更多真实使命情形。。。 。
Mecka AI所解决的，，，，，，是怎样让人类数据收罗从专用装备走向更低门槛、更广笼罩的生产方式。。。 。
Scale AI：人类数据的规；；圃旃こ
数据采回来之后，，，，，，还要履历洗濯、标注、质检、结构化和版本治理。。。 。
Scale AI从2016年起恒久从事AI数据基础设施建设，，，，，，最早以自动驾驶等场景中的大规模数据处理能力著名。。。 。进入Physical AI阶段后，，，，，，它又把数据工厂数据扩展到机械人数据收罗、标注、人工反馈和模子验证。。。 。
Scale更善于把数据生产酿成一套成熟的运营和处理系统，，，，，，从而在人类演示从几百条酿成几万小时后，，，，，，把大规模、异构的原始收罗效果，，，，，，转化为稳固可用的数据产品。。。 。
光轮智能：在规；；奶跫下，，，，，，构建人类数据最高质量标准
当具身数据生产真正迈向万万级小时，，，，，，单单依赖收罗工具和后处理，，，，，，无法知足规；；碌氖葜柿啃枨。。。 。同时，，，，，，收罗装备越多、收罗职员越多、场景越重大的趋势下，，，，，，视角偏移、行动遗漏、使命中止、装备异常和标注纷歧致等问题也会被同步放大。。。 。
数据可以快速增添，，，，，，但真正能被机械人学习的有用信息，，，，，，并纷歧定同步增添。。。 。
而光轮智能补上的，，，，，，是一套贯串端侧收罗、云端处理和仿真验证的质量控制系统。。。 。
与绑定某一款眼镜或收罗装备的方案差别，，，，，，光轮智能的目的是让数据管线兼容差别硬件。。。 。无论原始数据来自Aria、iPhone、头戴相机照旧其他多模态装备，，，，，，都可以进入统一的云端管线，，，，，，通过VIO、三维手部与Body标注、V7级行动语义标注，，，，，，被转化成统一质量标准下的训练资产。。。 。
数据完成处理之后，，，，，，光轮智能还会使用物理仿真SimFoundry和模子评测能力RoboFinals，，，，，，进一步验证行动轨迹、物理关系和使命历程能否被合理还原，，，，，，并判断数据是否真正具有机械人学习价值。。。 。通过一直的回环评价，，，，，，掌握最快速的质量反馈，，，，，，并且一直迭代，，，，，，引领标准。。。 。
因此，，，，，，光轮在EgoVerse中的孝顺，，，，，，是让数据在规；；幸廊蛔龅皆赐房煽亍⒖缬布统一、价值可验证。。。 。
别的，，，，，，MicroAGI也在探索漫衍式众包收罗，，，，，，通过让操作职员在真实家庭情形中自然完成使命，，，，，，将人类数据生产从实验项目转化为可一连运营的收罗网络。。。 。
规；；，，，，，，光轮智能怎样界说高质量人类数据
古板数据质量控制，，，，，，通常关注文件是否完整、名堂是否准确、轨迹是否缺失，，，，，，以及标注是否通过。。。 。
但这些指标最多只能证实一条数据在生产流程上“及格”，，，，，，不可证实它真的值得机械人学习。。。 。
一段视频可能拍摄完整，，，，，，行动轨迹却无法被机械人执行；；一条标注可能切合规范，，，，，，其中的使命历程却缺少要害方法；；一批数据看起来数目重大，，，，，，现实笼罩的人群、场景与行动漫衍却高度重复。。。 。
光轮智能将人类数据质量拆成三个一连环节。。。 。
首先，，，，，，用Agent驱动数据收罗质量与数据漫衍。。。 。
在光轮智能看来，，，，，，具身数据最大的质量风险，，，，，，经常爆发在收罗现场。。。 。
要害行动是否进入画面？？ ？ ？ ？ ？手与物体的交互是否被遮挡？？ ？ ？ ？ ？使命起点和终点是否完整？？ ？ ？ ？ ？收罗者是否偏离操作要求？？ ？ ？ ？ ？一个episode虽然录制完成，，，，，，是否真正包括完整的学习历程？？ ？ ？ ？ ？
若是这些问题比及数据上传后才被发明，，，，，，往往只能整段作废，，，，，，或者重新组织职员补采。。。 。
光轮智能的Agent驱动收罗系统，，，，，，会围绕装备状态、使命流程、行动完整性和有用视角举行实时检查，，，，，，并在发明风险时推动现场纠偏或补采。。。 。
更主要的是，，，，，，Agent不但认真单条数据质检，，，，，，也可以凭证已有数据漫衍，，，，，，调控下一轮需要收罗的人群、场景、使命与行动类型，，，，，，阻止数据规模增添后泛起大宗重复样本。。。 。
这使数据质量从事后抽检，，，，，，转化为生产历程控制。。。 。
其次，，，，，，通过兼容多种收罗硬件的云端平台，，，，，，实现统一的数据标准。。。 。
无论原始数据来自眼镜、手机、头戴相机照旧其他多模态装备，，，，，，都需要经由云端统一的处理和质量控制，，，，，，才华进入统一个训练系统。。。 。
光轮的处理流程包括视觉惯性里程计，，，，，，也就是VIO，，，，，，用于恢复相机在空间中的运动；；三维手部与Body标注，，，，，，用于还原人的身体行动和手物交互；；以及V7级行动标注，，，，，，把一段一连视频进一步切分为可以与使命历程对齐的行动语义。。。 。
光轮智能的人类数据解决方案EgoSuite，，，，，，能够在生产规模上提供三维手部、三维全身姿态和帧级语义标注，，，，，，并强调在遮挡和近距离物体交互情形下维持稳固追踪。。。 。其平台也果真强调对差别商业装备、研究型眼镜、行动相机和定制收罗系统的兼容能力。。。 。
这套思绪可以用一句话概括：硬件可以多元，，，，，，进入模子之前的数据标准必需一致。。。 。
最后，，，，，，用仿真与评测磨练数据价值。。。 。
数据处理完成后，，，，，，还要回覆一个更要害的问题：这些数据，，，，，，是否真的值得机械人学习？？ ？ ？ ？ ？
光轮智能将自研仿真平台SimFoundry与工业级评测平台RoboFinals接入人类数据质量闭环。。。 。SimFoundry将人类数据中的行动轨迹、物体关系和使命流程，，，，，，转化为机械人可执行、可复现的仿真使命；；RoboFinals则通过标准化评测，，，，，，验证这些数据事实提升了哪些使命，，，，，，又会在哪些机械人本体、场景和物理条件下失效。。。 。
因此，，，，，，数据价值不再由生产方自行界说，，，，，，而是由机械人训练和评测效果配合验证。。。 。评测历程中发明的失败案例，，，，，，也会进一步反馈给收罗端，，，，，，指导下一轮需要增补哪些数据、扩大哪些漫衍、修正哪些收罗规则，，，，，，形成一连优化的数据闭环。。。 。
最终，，，，，，高质量具身人类数据形成一条完整的数据质量闭环：
端侧Agent实时控制收罗质量 → 多种收罗硬件统一接入云端 → VIO、手部、Body Pose与行动语义标准化处理 → SimFoundry将人类数据转化为机械人可执行使命 → RoboFinals验证数据学习价值并定位失败模式 → 评测效果反馈下一轮数据收罗。。。 。
唯一中国公司，，，，，，进入全球两大具身基础设施标准
随着具身智能从单点手艺验证走向规；；，，，，，，行业竞争正在从模子能力，，，，，，进一步延伸究竟层基础设施与标准系统。。。 。
其中，，，，，，两条要害主线正在形成。。。 。
一条是以EgoVerse为代表的数据基础设施，，，，，，界说高质量具身人类数据怎样收罗、组织、处理、共享和一连迭代；；另一条是以Newton为代表的物理仿真基础设施，，，，，，界说机械人怎样在遵照真实物理纪律的仿真天下中完成训练、验证和评测。。。 。
Newton由NVIDIA、Google DeepMind和Disney Research联合提倡，，，，，，由NVIDIA、Google DeepMind、Disney Research、光轮智能和Toyota Research Institute（TRI）五家企业配合组成手艺指导委员会（TSC），，，，，，一连界说机械人仿真与物理建模的手艺蹊径，，，，，，正逐渐成为全球具身智能的主要物理仿真基础设施。。。 。
前者解决机械人从那里获得可规；；难奥睦，，，，，，后者解决这些履历怎样在物理天下中被复现和验证。。。 。数据与仿真，，，，，，配合组成物理AI走向规；；牧酱蟮鬃。。。 。
光轮智能成为现在唯一同时加入这两套国际标准系统的中国企业。。。 。
在EgoVerse中，，，，，，光轮带入的是一套贯串人类数据生产全流程的质量系统：从端侧Agent治理收罗历程，，，，，，到多种硬件数据进入统一云端管线，，，，，，再到通过仿真与模子评考试证数据价值。。。 。人类数据质量由此从依赖人工抽检和履历判断，，，，，，走向可界说、可较量、可验证、可一连优化的工程标准。。。 。
在Newton中，，，，，，光轮加入物理求解、仿真资产、机械人训练与评测等焦点能力建设，，，，，，推动真实天下中的物体、使命和物理历程，，，，，，转化为机械人可以交互、训练和验证的仿真基础设施。。。 。
这意味着，，，，，，光轮加入界说的不但是某一种数据名堂，，，，，，也不但是某一套仿真工具，，，，，，而是毗连真实天下数据、物理仿真、模子训练与能力验证的底层标准。。。 。
若是说ImageNet为视觉AI建设了配合的数据基础设施，，，，，，那么EgoVerse与Newton则划分从数据和仿真两个偏向，，，，，，为物理AI建设新的全球基础设施。。。 。
光轮同时进入EgoVerse与Newton，，，，，，加入建设的已经不但是今天的工具链，，，，，，而是未来全球具身智能工业配合遵照的底层基础设施。。。 。这也意味着，，，，，，中国企业最先从标准的使用者，，，，，，走向全球物理 AI 基础设施规则的配合界说者。。。 。
