主要内容
Nvidia推出Medical Physics Simulation框架,将医疗机器人视为需通过接触、力与结果学习的物理AI系统,而非仅依赖代码。物理AI是Nvidia及机器人行业对这类机器的描述——它们需通过实际接触、力反馈和结果学习,而非仅靠文本或图像。
医疗机器人在真实手术中缺乏物理接触经验,且受严格监管,难以生成所需场景。该框架作为Isaac医疗平台的开源补充,可生成手术或诊断机器人需多年临床经验才能遇到的场景:导丝卡住钙化血管壁、肾结石以异常角度嵌入,或仅在少数手术中出现的软组织反应等极端情况。
框架结合两种建模方式:经典物理模拟处理已知机械规则(如导管弯曲、血管壁阻力);生成式AI通过Cosmos-H Dreams组件处理难以编码的视觉场景动态,两者结合形成物理AI方案。经典模拟提供机器人操作所需的物理规则,生成式模拟则提供视觉和解剖学变化的泛化能力。
在GPU上通过Warp和Newton库运行时,框架支持大量并行训练环境,而非单次场景。8192个并行环境的基准测试将训练时间从5小时以上缩短至2分钟以内,虽提升效率,但需验证模拟场景与实际手术的匹配度。
早期采用者包括CMR Surgical和Capgemini旗下的Cambridge Consultants。CMR贡献500小时匿名临床数据,生成患者特定模拟;双方正利用Cosmos-H Dreams建模软组织交互物理,构建开放共享的物理AI训练环境。