整合营销服务商
电脑端+手机端+微信端=数据同步管理
免费咨询热线：
电脑端+手机端+微信端=数据同步管理
免费咨询热线：
器人技术在智能制造设施、商用厨房、医院、仓储物流和农业领域等各种环境中的应用正在迅速扩大。该行业正在向智能自动化转型，因此要求机器人具备更强的能力来执行感知、测绘、导航、负载处理、物体抓取、复杂装配任务等功能。
AI 由于能够增强机器人的性能，因此在这一发展演进过程中起到了举足轻重的作用。通过集成 NVIDIA AI 加速功能，机器人能够以更高的精度和效率处理复杂的任务，充分发挥出它们在各种应用中的潜能。
NVIDIA 在 COMPUTEX 上发布了几项新功能来帮助机器人专家和工程师打造智能机器人，包括：
<script src="https://lf6-cdn-tos.bytescm.com/obj/cdn-static-resource/tt_player/tt.player.js?v=20160723"></script>
视频 1. 全球机器人开发领域的领先者正在采用 NVIDIA Isaac
来研究、开发和生产新一代 AI 机器人
NVIDIA Isaac Perceptor
AMR 和 AGV 对装配线效率、材料搬运和医疗物流至关重要。由于这些机器人需要在复杂的非结构化环境中穿梭，因此必须具备对周围环境的感知和反应能力。
Isaac Perceptor 建立在 NVIDIA Isaac 机器人操作系统（ROS）上，能够帮助原始设备制造商（OEM）、货运服务供应商、软件厂商和 AMR 生态系统加速机器人技术的开发。开发团队可以为移动机器人加入感知能力，使其能够在非结构化环境中成功导航和避障。
Isaac Perceptor 的早期合作伙伴中既有仓储/内部物流行业的领先企业，也有汽车制造商、工业机器人制造公司和机器人解决方案提供商，例如 ArcBest、比亚迪电子、Gideon、凯傲、Kudan、idealworks、RGo 和泰瑞达机器人。
Isaac Perceptor 的关键功能
Isaac Perceptor 为基于 AI 的自主移动机器人提供多摄像头 3D 环视功能。
基于 AI 的多摄像头深度感知
Isaac Perceptor 能够以 30 赫兹的频率，每秒处理每个摄像头的 1650 万个深度点。立体视差是根据来自立体摄像头的同步图像对计算得出的，并将其用于生成深度图像或场景点云。高效半监督深度神经网络（ESS DNN）为基于 DNN 的立体视差提供了 GPU 加速软件包。
图 1. ESS DNN 检测 5 米处的障碍物
多摄像头视觉惯性测距
Isaac ROS Visual SLAM 提供用于视觉同步定位与映射（VSLAM）和视觉里程测量（VO）的 ROS 2 软件包。该功能基于 NVIDIA CUDA Visual SLAM（cuVSLAM）库，在无特征环境中导航时，可提供平移误差小于 1% 的稳健导航。
众所周知，VSLAM 解决方案所面临的挑战之一是在视觉特征稀疏或模式重复的环境中导航。通过融合来自多个视角的输入，可以缓解这一问题。在最新的更新中，cuVSLAM 融合了来自多个立体摄像头的并发视觉里程测量估算值。
我们的测试结果显示出明显的改进。使用多个摄像头时，机器人始终能够实现导航目标；而使用单个摄像头时，这一比例不到 25%。
表 1 cuVSLAM 与 FRVO、S-PTAM 和 ORB-SLAM2 的性能比较。cuVSLAM 在使用多摄像头的机器人导航中展现出更强大的性能
在 GitHub 页面了解更多信息：
https://nvidia-isaac-ros.github.io/repositories_and_packages/isaac_ros_visual_slam/isaac_ros_visual_slam/index.html
图 2. Isaac ROS Visual SLAM 使用一个摄像头与使用两个摄像头和四个摄像头的比较
实时多摄像头体素网格映射
Isaac Perceptor 的核心是 nvblox，它是一个由 CUDA 加速的 3D 重构库，可以识别五米以外的障碍物，从而提供 2D 成本图并在 300 毫秒内完成更新。
Isaac ROS nvblox 提供了用于重建 3D 场景和生成进行导航的本地障碍物成本图的 ROS 2 软件包。该软件包可用于静态环境以及有人员和移动物体的场景。
该版本新增了多摄像头支持，最多可使用三个 HAWK 摄像头扩大覆盖范围，提供约 270° 的视野。
有关更多信息，请访问 Isaac ROS nvblox 文档：
https://isaac_ros.gitlab-master-pages.nvidia.com/isaac_ros_docs/repositories_and_packages/isaac_ros_nvblox/index.html
图 3. 使用 Isaac ROS Nvblox 进行体素 3D 重建，包括悬置障碍物的重建
NVIDIA Nova Orin 开发者套件
该开发者套件采用 NVIDIA Jetson AGX Orin，可支持多达六个摄像头，包括三个立体摄像头和三个鱼眼摄像头，摄像头内的延迟低于 100 微秒。
立体摄像头的分辨率为每台 200 万像素，视野为 110X70，适用于 3D 占用网格映射、深度感知、视觉里程测量和人员检测。通过 Segway 或 Leopard Imaging 购买 Nova Orin 开发者套件后，即可使用 Isaac Perceptor。
Isaac Perceptor 的参考图最多可支持三个立体摄像头。该版本通过 ROS 2 软件包加强了模块化，并提供与 Nova Carter 参考机器人上的 Nav2 的参考集成：
https://nav2.org/
增强与摄像头和传感器的兼容性
Isaac Perceptor 为摄像头和传感器合作伙伴提供更加强大的集成支持。Orbbec 成功地将其 Gemini 335L 摄像头与 NVDIA Isaac Perceptor 组件集成在一起，并在 NVIDIA Jetson AGX Orin 上使用 Isaac ROS Visual SLAM 和 Nvblox 进行了演示。
LIPS 也成功地将其 AE450 摄像头与 Isaac Perceptor 组件 nvblox 进行了集成。
NVIDIA Isaac Manipulator
Isaac Manipulator 是 NVIDIA 加速库和 AI 模型的一个工作流。开发者能够使用它为机械臂或机械手带来 AI 加速功能，使其能够无缝感知、理解环境并与环境互动。
其基础模型和加速库可以作为独立模块，也可以集成为解决方案开发中的整个工作流。除了独立的模块化组件外，开发者还能获得工作流示例（ROS 2 启动脚本），这些示例结合了 Isaac Manipulator 组件，能够实现完整的端到端参考集成。
图 4. 利用 NVIDIA 组件（绿色）的 Isaac Manipulator 工作流示例
Isaac Manipulator 的早期合作伙伴包括机器人开发平台公司、原始设备制造商和 ISV/SI，例如 Intrinsic（Alphabet 旗下公司）、西门子、所罗门、达明机器人、泰瑞达机器人、Vention 和安川电机。
Isaac Manipulator 的主要特点
Isaac Manipulator 带来了可加速机械臂开发的 AI 功能。
cuMotion 加速路径规划
这款 GPU 加速运动规划器有助于缩短周期时间。cuMotion 可作为 MoveIt 2 运动规划框架的一个插件使用，该框架是由一个国际社区开发的开源项目，并由 PickNik Robotics 领导。
cuMotion 可在多个种子上并行运行轨迹优化，并返回最佳解决方案。
图 5. PickNik MoveIt 2 的 NVIDIA cuMotion 插件
所罗门是先进视觉和机器人解决方案领域的领先企业，同时也是 Isaac Manipulator 的早期合作伙伴。与传统算法相比，其拾取系统通过 Isaac Manipulator cuMotion 的增强，路径规划速度提高了 8 倍，路径奇异性的发生率降低了 50%。
表 2. 使用 Isaac Manipulator 的所罗门拾取系统的性能提升情况。
所罗门在成功率、移动时间、轨迹长度和规划时间方面都有明显改善，路径奇异性现象也有所减少。该数据由所罗门公司提供。
FoundationPose
FoundationPose 是一种新的统一基础模型，适用于单样本 6D 姿态估计和新物体追踪。该模型在遇到以前未见过的物体时，无需进行微调即可在应用中高精度地工作。
目前，FoundationPose 在 2023 BOP 未见物体 6D 定位排行榜上名列前茅。它在遮挡、快速运动以及纹理和比例等各种物体属性下都具有很强的鲁棒性，在各种场景中都能发挥可靠的性能。开发者可以从任何角度生成逼真的物体视图。从 GitHub 获取 FoundationPose 模型：
https://nvidia-isaac-ros.github.io/repositories_and_packages/isaac_ros_pose_estimation/index.html
图 6. 使用 NVIDIA FoundationPose 进行姿态估计和追踪
SyntheticaDETR
SyntheticaDETR 是一套基于实时检测转换器（DETR）的模型，用于在使用 NVIDIA Omniverse 生成的合成数据上进行单样本图像空间物体检测训练。与传统的物体检测器相比，它采用转换器编码器-解码器架构一次性预测所有物体，从而实现了一种更加高效的方法。
图 7. 使用 SyntheticaDETR 进行物体检测和追踪
SyntheticaDETR 使用合成数据和真实数据进行训练而成。它在使用 YCB-Video 数据集对可见物体进行 2D 检测的 BOP 排行榜上名列前茅（平均精确度为 0.885，平均召回率为 0.903）。
这些模型还可以将物体检测为 NVIDIA FoundationPose 等姿态估计器的 2D 边界框感兴趣区域。下载 SyntheticaDETR 模型：https://catalog.ngc.nvidia.com/orgs/nvidia/teams/isaac/models/synthetica_detr
下载 Isaac Manipulator：
https://developer.nvidia.com/isaac/manipulator
NVIDIA JetPack 6.0
NVIDIA Isaac ROS 3.0 兼容 JetPack 6.0，并支持所有 NVIDIA Jetson Orin 模块和开发者套件。
NVIDIA Jetson 平台服务即将推出 API 驱动的模块化服务，使用户能够更加快速、轻松地构建生成式 AI 和机器人应用，这些预构建和可定制的服务将加速 NVIDIA Jetson Orin 系统模块上的 AI 应用开发。
NVIDIA Isaac Sim 4.0
使用 Isaac Sim，开发者可以通过业界领先的传感器和机器人类型测试生成合成数据和各种虚拟复杂测试环境，从而进行高度逼真的仿真，同时对数千个机器人进行实时测试。
NVIDIA Isaac Lab
Isaac Lab 是一款基于 Isaac Sim 平台构建的轻量级参考应用，它在机器人基础模型训练中发挥着举足轻重的作用。Isaac Lab 支持强化学习、模仿学习和迁移学习，它可以训练各种机器人模型以供开发者研究设计和功能。
新版本还通过兼容性检查器实现与 VSCode 的轻松集成、为强化学习提供多 GPU 支持、通过 RTX 传感器平铺渲染提高性能，并提供优化的缓存和着色器管理。
Isaac Sim 的其他新特点包括：
立即开始使用
开发者需要先下载 Isaac ROS、Isaac Perceptor、Isaac Manipulator 和 Isaac Sim 才能开始使用。
其他资源：
物理 AI 驱动的 AI 机器人时代已经来临。物理 AI 模型能够理解周围环境，并在物理世界中自主完成复杂的任务。许多复杂任务都难以编程（如灵巧的操作和人形机器人在崎岖的地形上运动），需要依赖在仿真环境中使用强化学习（RL）训练而成的生成式物理 AI 模型。
借助基于 NVIDIA Omniverse 的参考应用 NVIDIA Isaac Sim，开发者可以在遵守物理定律的虚拟环境中设计、仿真、测试和训练 AI 机器人和自主机器。
NVIDIA Isaac Sim 可帮助团队生成合成数据、训练机器人策略，并运行多种假设场景，以便在部署前验证整个机器人堆栈。
本文介绍了最新的 Isaac Sim 4.0 版本，其中包括 NVIDIA PhysX 5.4 和 Isaac Lab。Isaac Sim 4.0 现已开放下载，它基于 NVIDIA Omniverse Kit 106 构建，让开发者能够更轻松地控制工作流。
NVIDIA Isaac Sim 4.0 的新功能
Isaac Sim 4.0 提供强大的新功能并增强了现有功能，为您的机器人工作流提供强大助力，其中包括：
以下将对这些新功能进行详细介绍，并介绍在仿真阶段使用的全新 PhysX 和传感器功能。
通过 PIP 安装更快地上手
现在，您可以使用 Python 包管理器（例如 PIP）在本地或远程系统上安装 Isaac Sim。这极大地加速并简化了使用开发者所熟悉的相同开发环境的安装过程，在基于云的 IDE（如 Jupyter）中轻松部署 Isaac Sim。
此外，您现在还可以使用兼容性检查器来检查系统需求和兼容性，在开始安装之前获得即时反馈：
https://docs.omniverse.nvidia.com/isaacsim/latest/installation/requirements.html#isaac-sim-compatibility-checker
改进基于向导的导入的可用性
每次仿真都需要先构建虚拟环境和其中的机器人。为了加快这项工作，Isaac Sim 现在提供了一个向导，引导用户如何在预先设计的环境中导入和调优机器人。向导中还有大量其它选项文档，最常见的工具包括 CAD 导入器、传感器、装配机器人等。
图 1. Isaac Sim 中的导入向导提供了用于导入机器人的相关工具、每个工具的离线指南
以及一系列按顺序排列的建议步骤
更多资产库
使用以下新资产进行仿真：
优傲机器人 UR20 和 UR30 机械臂
波士顿动力公司的 Spot 机器人
1X Neo
宇树 Unitree H1
Agility Digit
傅利叶 Fourier GR1
Sanctuary AI Phoenix
小鹏 PX5
Ouster
SICK
Velodyne
用于仿真和检查关节的
全新 PhysX 5.4 功能
一旦场景构建完成、机器人在环境中设置完毕，您就可以在机器人模型上使用 NVIDIA PhysX 5.4 的一些新功能。
例如，“仿真关节”功能让您可以对机器人的耦合关节位置进行建模。您可以对平行夹爪机制、四连杆、平行夹爪或机械手的机械耦合元件进行建模。仿真关节可以捕捉 URDF 规范关系：
关节位置=倍增器*参考关节位置 + 补偿
关节速度受到类似约束，并且相互作用是双向的。仿真关节为满足约束条件而施加的力会根据倍增器反馈给参考关节（即齿轮传动装置）。
图 2. 在 Isaac Sim 中仿真的用于机器人操作的平行夹爪。可使用 “仿真关节” 功能来仿真平行机制
通过在特定仿真场景中将机械臂定位到特定的姿势，“物理检查器”功能支持创建单个关节和最多关节。在实际仿真之前，团队还可以直观地检查碰撞和自由度。
图 3. “物理检查器” 用户界面显示了 ANYmal 四足机器人的腿部定位调整情况
全新仿真功能
仿真阶段的一些新功能旨在帮助增强物理和传感器仿真。
增强的物理仿真
物理仿真在机器人整体运动和性能中起着不可或缺的作用。Isaac Sim 4.0 中新的增强功能提供了更好的仿真、可视化和调试工具。
最新的 TGS 求解器采用了一种新模式，有助于提高求解器的收敛性和碰撞保真度。通过新引入的求解器选项，TGS 能够考虑重力和其它外力，并在每个 TGS 位置迭代（子步骤）中阐明关节动作，而不是在时间步开始时。在 “物理场景高级”选项或 USD PhysxSceneAPI EnableExternalForcesEveryIteration 属性中启用该模式：
http://omniverse-docs.s3-website-us-east-1.amazonaws.com/omni_usd_schema_physics/106.0/class_physx_schema_physx_scene_a_p_i.html#a042cd436d556038793473c3bcc5b1d0c
对于高性能仿真，在求解器迭代次数和仿真保真度之间找到适当的平衡是非常重要的。新的残差报告功能可在时间步结束时显示与求解器收敛质量相对应的数据，从而帮助完成仿真调优。数据可以在物理场景中汇总查询，也可以按关节和最大坐标关节进行查询。
图 4. 移动机器人越过障碍物，仿真数据可视化器显示相关仿真的残差数据
您不仅可以看到求解器的残差数据，还可以通过新的“仿真数据可视化窗口”检测位置和方向等仿真数据。支持的属性包括身体位置和方向、求解器残差等。欲了解更多信息，请参阅可视化工具文档：
https://docs.omniverse.nvidia.com/extensions/latest/ext_physics/simulation-control/physics-settings.html
此外，还可以使用统一的 API 来查询刚体和关节链接的线性加速度和角加速度。例如，报告的值可用于计算惯性测量单元的仿真输出。
其它功能包括 SDF 碰撞改进、接触摩擦力报告等。
更好地支持传感器仿真
传感器是机器人感知堆栈的核心。Isaac Sim 拥有一套不断扩增的真实传感器模型库，可以仿真地面真实感知和基于物理的传感器。
最新版本包括对非可视材料的 RTX 支持，其中材料的光学特性扩展到非可视光谱，如红外线、无线电波和紫外线，从而实现了更先进的新型传感器建模。此外，您还可以利用基于 RTX 的雷达，这些雷达使用新型 RTX 非可视材料功能集，来准确地模拟雷达对不同类型材料和环境的响应。
此外，IMU 传感器后端现在兼容 Tensor API。这有助于将 IMU 传感器的物理后端与其它 Isaac Sim 传感器和节点统一起来，从而能够更一致地访问最新的物理数据。
基于 OmniGraph 的传感器管线的性能改进包括：只在需要时运行管线，而不是每帧都运行，从而减少了管线的开销。
利用 Isaac Lab 加速强化学习
基于 Isaac Sim 的 Isaac Lab 是一个统一、模块化、开源的机器人学习框架，旨在简化强化、仿真和演示学习以及运动规划等常见工作流。它集成了开源框架 Orbit 的功能，该框架由 NVIDIA、波士顿动力人工智能研究所、苏黎世联邦理工学院和多伦多大学联合开发。
Isaac Lab 利用 PyTorch 分布式框架在 Linux 上进行多 GPU 和多节点训练，帮助团队进行扩展。使用 OSMO 可以轻松地在异构环境上扩展这些作业，OSMO 是一个云原生协调平台，用于调度复杂的多阶段和多容器异构计算工作流。
当在多个 GPU 上运行时，可实现更高的 rollout FPS（如图 5 所示）。FPS 的提高意味着可以在相同的时间内生成更多的轨迹和经验，从而为模型提供更丰富的数据集以供其学习。与在单个 GPU 上进行训练相比，该模型可以更快地收敛并达到更高的性能水平。
图 5. 使用多个 GPU 进行强化学习时每秒生成帧数的性能比较
在强化学习中，机器人必须执行大量相互独立的场景。当这些机器人在多个摄像头上执行任务时，对这些机器人的进展进行可视化可能会非常繁琐，而分块渲染有助于在单一视图中可视化所有这些场景。分块渲染的工作原理是将多个摄像头输出的图像串联起来，渲染出一张大图像，而不是每个摄像头生成的多张小图。
图 6. 分块渲染将多个摄像头的输出合并为一张大图像
此外，对于有许多环境的大型强化学习场景，PhysX 5.4 中的新优化功能最多可将环境克隆速度提高到上一版本的 3 倍。
生态系统的采用情况
1X、Agility Robotics、波士顿动力人工智能研究所、波士顿动力、傅立叶、银河通用、逐际动力、星动纪元、Sanctuary AI 和优必选等领先的机器人开发商正在整合 Isaac Lab，用于开发下一代机器人和人形机器人。其中许多公司已经利用 Isaac Sim 在真实环境中测试了他们的机器人，并生成用于模型训练的合成数据。
了解波士顿动力公司与 NVIDIA 以及波士顿动力人工智能研究所合作开发 Spot 强化学习研究工具包：
https://developer.nvidia.com/blog/closing-the-sim-to-real-gap-training-spot-quadruped-locomotion-with-nvidia-isaac-lab/；
https://bostondynamics.com/products/extras/reinforcement-learning-research-kit/
该工具包整合了先进的仿真、NVIDIA Jetson AI 技术和精准机器人控制，可高效地将四足机器人从虚拟环境过渡到真实世界的应用中。
Isaac Lab 在 BSD-3 许可下开源，可通过 GitHub 上的 isaac-sim/IsaacLab 获取：
https://github.com/isaac-sim/IsaacLab
在 Isaac Sim 中
更好地支持 ROS 开发者
Isaac Sim 的最新版本为 ROS 开发者提供了丰富的新功能，使得在 Isaac Sim 中测试和仿真机器人变得前所未有的简单。首先是更易于使用，支持从 ROS2 节点导入 URDF，可在 URDF 文件或包含机器人描述的 ROS2 节点之间切换。对于 Cyclone DDS 用户，Isaac Sim 也在 Linux 系统上支持 Isaac ROS 或 Nav2 相关的工作流。
其它新功能包括：
开始开发您的机器人解决方案
要想获取以下附加资源和参考架构的更新信息，来支持您的开发目标，请注册 NVIDIA 开发者计划：
https://developer.nvidia.com/developer-program
加入 NVIDIA 机器人开发者论坛，通过有关 Isaac ROS 和 Isaac Sim 的自学培训和网络研讨会了解更多信息：
https://forums.developer.nvidia.com/c/agx-autonomous-machines/55
物理 AI 驱动的 AI 机器人时代已经来临。物理 AI 模型能够理解周围环境，并在物理世界中自主完成复杂的任务。许多复杂任务都难以编程（如灵巧的操作和人形机器人在崎岖的地形上运动），需要依赖在仿真环境中使用强化学习（RL）训练而成的生成式物理 AI 模型。
借助基于 NVIDIA Omniverse 的参考应用 NVIDIA Isaac Sim，开发者可以在遵守物理定律的虚拟环境中设计、仿真、测试和训练 AI 机器人和自主机器。
NVIDIA Isaac Sim 可帮助团队生成合成数据、训练机器人策略，并运行多种假设场景，以便在部署前验证整个机器人堆栈。
本文介绍了最新的 Isaac Sim 4.0 版本，其中包括 NVIDIA PhysX 5.4 和 Isaac Lab。Isaac Sim 4.0 现已开放下载，它基于 NVIDIA Omniverse Kit 106 构建，让开发者能够更轻松地控制工作流。
NVIDIA Isaac Sim 4.0 的新功能
Isaac Sim 4.0 提供强大的新功能并增强了现有功能，为您的机器人工作流提供强大助力，其中包括：
以下将对这些新功能进行详细介绍，并介绍在仿真阶段使用的全新 PhysX 和传感器功能。
通过 PIP 安装更快地上手
现在，您可以使用 Python 包管理器（例如 PIP）在本地或远程系统上安装 Isaac Sim。这极大地加速并简化了使用开发者所熟悉的相同开发环境的安装过程，在基于云的 IDE（如 Jupyter）中轻松部署 Isaac Sim。
此外，您现在还可以使用兼容性检查器来检查系统需求和兼容性，在开始安装之前获得即时反馈：
https://docs.omniverse.nvidia.com/isaacsim/latest/installation/requirements.html#isaac-sim-compatibility-checker
改进基于向导的导入的可用性
每次仿真都需要先构建虚拟环境和其中的机器人。为了加快这项工作，Isaac Sim 现在提供了一个向导，引导用户如何在预先设计的环境中导入和调优机器人。向导中还有大量其它选项文档，最常见的工具包括 CAD 导入器、传感器、装配机器人等。
图 1. Isaac Sim 中的导入向导提供了用于导入机器人的相关工具、每个工具的离线指南
以及一系列按顺序排列的建议步骤
更多资产库
使用以下新资产进行仿真：
优傲机器人 UR20 和 UR30 机械臂
波士顿动力公司的 Spot 机器人
1X Neo
宇树 Unitree H1
Agility Digit
傅利叶 Fourier GR1
Sanctuary AI Phoenix
小鹏 PX5
Ouster
SICK
Velodyne
用于仿真和检查关节的
全新 PhysX 5.4 功能
一旦场景构建完成、机器人在环境中设置完毕，您就可以在机器人模型上使用 NVIDIA PhysX 5.4 的一些新功能。
例如，“仿真关节”功能让您可以对机器人的耦合关节位置进行建模。您可以对平行夹爪机制、四连杆、平行夹爪或机械手的机械耦合元件进行建模。仿真关节可以捕捉 URDF 规范关系：
关节位置=倍增器*参考关节位置 + 补偿
关节速度受到类似约束，并且相互作用是双向的。仿真关节为满足约束条件而施加的力会根据倍增器反馈给参考关节（即齿轮传动装置）。
图 2. 在 Isaac Sim 中仿真的用于机器人操作的平行夹爪。可使用 “仿真关节” 功能来仿真平行机制
通过在特定仿真场景中将机械臂定位到特定的姿势，“物理检查器”功能支持创建单个关节和最多关节。在实际仿真之前，团队还可以直观地检查碰撞和自由度。
图 3. “物理检查器” 用户界面显示了 ANYmal 四足机器人的腿部定位调整情况
全新仿真功能
仿真阶段的一些新功能旨在帮助增强物理和传感器仿真。
增强的物理仿真
物理仿真在机器人整体运动和性能中起着不可或缺的作用。Isaac Sim 4.0 中新的增强功能提供了更好的仿真、可视化和调试工具。
最新的 TGS 求解器采用了一种新模式，有助于提高求解器的收敛性和碰撞保真度。通过新引入的求解器选项，TGS 能够考虑重力和其它外力，并在每个 TGS 位置迭代（子步骤）中阐明关节动作，而不是在时间步开始时。在 “物理场景高级”选项或 USD PhysxSceneAPI EnableExternalForcesEveryIteration 属性中启用该模式：
http://omniverse-docs.s3-website-us-east-1.amazonaws.com/omni_usd_schema_physics/106.0/class_physx_schema_physx_scene_a_p_i.html#a042cd436d556038793473c3bcc5b1d0c
对于高性能仿真，在求解器迭代次数和仿真保真度之间找到适当的平衡是非常重要的。新的残差报告功能可在时间步结束时显示与求解器收敛质量相对应的数据，从而帮助完成仿真调优。数据可以在物理场景中汇总查询，也可以按关节和最大坐标关节进行查询。
图 4. 移动机器人越过障碍物，仿真数据可视化器显示相关仿真的残差数据
您不仅可以看到求解器的残差数据，还可以通过新的“仿真数据可视化窗口”检测位置和方向等仿真数据。支持的属性包括身体位置和方向、求解器残差等。欲了解更多信息，请参阅可视化工具文档：
https://docs.omniverse.nvidia.com/extensions/latest/ext_physics/simulation-control/physics-settings.html
此外，还可以使用统一的 API 来查询刚体和关节链接的线性加速度和角加速度。例如，报告的值可用于计算惯性测量单元的仿真输出。
其它功能包括 SDF 碰撞改进、接触摩擦力报告等。
更好地支持传感器仿真
传感器是机器人感知堆栈的核心。Isaac Sim 拥有一套不断扩增的真实传感器模型库，可以仿真地面真实感知和基于物理的传感器。
最新版本包括对非可视材料的 RTX 支持，其中材料的光学特性扩展到非可视光谱，如红外线、无线电波和紫外线，从而实现了更先进的新型传感器建模。此外，您还可以利用基于 RTX 的雷达，这些雷达使用新型 RTX 非可视材料功能集，来准确地模拟雷达对不同类型材料和环境的响应。
此外，IMU 传感器后端现在兼容 Tensor API。这有助于将 IMU 传感器的物理后端与其它 Isaac Sim 传感器和节点统一起来，从而能够更一致地访问最新的物理数据。
基于 OmniGraph 的传感器管线的性能改进包括：只在需要时运行管线，而不是每帧都运行，从而减少了管线的开销。
利用 Isaac Lab 加速强化学习
基于 Isaac Sim 的 Isaac Lab 是一个统一、模块化、开源的机器人学习框架，旨在简化强化、仿真和演示学习以及运动规划等常见工作流。它集成了开源框架 Orbit 的功能，该框架由 NVIDIA、波士顿动力人工智能研究所、苏黎世联邦理工学院和多伦多大学联合开发。
Isaac Lab 利用 PyTorch 分布式框架在 Linux 上进行多 GPU 和多节点训练，帮助团队进行扩展。使用 OSMO 可以轻松地在异构环境上扩展这些作业，OSMO 是一个云原生协调平台，用于调度复杂的多阶段和多容器异构计算工作流。
当在多个 GPU 上运行时，可实现更高的 rollout FPS（如图 5 所示）。FPS 的提高意味着可以在相同的时间内生成更多的轨迹和经验，从而为模型提供更丰富的数据集以供其学习。与在单个 GPU 上进行训练相比，该模型可以更快地收敛并达到更高的性能水平。
图 5. 使用多个 GPU 进行强化学习时每秒生成帧数的性能比较
在强化学习中，机器人必须执行大量相互独立的场景。当这些机器人在多个摄像头上执行任务时，对这些机器人的进展进行可视化可能会非常繁琐，而分块渲染有助于在单一视图中可视化所有这些场景。分块渲染的工作原理是将多个摄像头输出的图像串联起来，渲染出一张大图像，而不是每个摄像头生成的多张小图。
图 6. 分块渲染将多个摄像头的输出合并为一张大图像
此外，对于有许多环境的大型强化学习场景，PhysX 5.4 中的新优化功能最多可将环境克隆速度提高到上一版本的 3 倍。
生态系统的采用情况
1X、Agility Robotics、波士顿动力人工智能研究所、波士顿动力、傅立叶、银河通用、逐际动力、星动纪元、Sanctuary AI 和优必选等领先的机器人开发商正在整合 Isaac Lab，用于开发下一代机器人和人形机器人。其中许多公司已经利用 Isaac Sim 在真实环境中测试了他们的机器人，并生成用于模型训练的合成数据。
了解波士顿动力公司与 NVIDIA 以及波士顿动力人工智能研究所合作开发 Spot 强化学习研究工具包：
https://developer.nvidia.com/blog/closing-the-sim-to-real-gap-training-spot-quadruped-locomotion-with-nvidia-isaac-lab/；
https://bostondynamics.com/products/extras/reinforcement-learning-research-kit/
该工具包整合了先进的仿真、NVIDIA Jetson AI 技术和精准机器人控制，可高效地将四足机器人从虚拟环境过渡到真实世界的应用中。
Isaac Lab 在 BSD-3 许可下开源，可通过 GitHub 上的 isaac-sim/IsaacLab 获取：
https://github.com/isaac-sim/IsaacLab
在 Isaac Sim 中
更好地支持 ROS 开发者
Isaac Sim 的最新版本为 ROS 开发者提供了丰富的新功能，使得在 Isaac Sim 中测试和仿真机器人变得前所未有的简单。首先是更易于使用，支持从 ROS2 节点导入 URDF，可在 URDF 文件或包含机器人描述的 ROS2 节点之间切换。对于 Cyclone DDS 用户，Isaac Sim 也在 Linux 系统上支持 Isaac ROS 或 Nav2 相关的工作流。
其它新功能包括：
开始开发您的机器人解决方案
要想获取以下附加资源和参考架构的更新信息，来支持您的开发目标，请注册 NVIDIA 开发者计划：
https://developer.nvidia.com/developer-program
加入 NVIDIA 机器人开发者论坛，通过有关 Isaac ROS 和 Isaac Sim 的自学培训和网络研讨会了解更多信息：
https://forums.developer.nvidia.com/c/agx-autonomous-machines/55
*请认真填写需求信息，我们会在24小时内与您取得联系。
