在今年秋季 NVIDIA GTC 上，NVIDIA 发布了 NVIDIA Omniverse 新功能、NVIDIA Studio产品更新，以及众多合作伙伴的案例。在近期 NVIDIA 组织的一次线下沟通会上，NVIDIA 中国区高级技术市场经理施澄秋和 NVIDIA 中国区传媒娱乐行业经理何展就此次发布会上关于 NVIDIA Omniverse和 NVIDIA Studio 两款产品的新技术、软硬件综合堆栈等相关话题，与媒体进行了深度的交流与沟通。
NVIDIA Omniverse：加速互联网从 2D 向 3D 世界演变
作为 NVIDIA 的巅峰之作，Omniverse 自 2020 年 12 月正式对外公测，仅仅不到一年的时间，就发布了很多重要的更新，进一步加速了互联网从 2D 向 3D 世界的演进。
在今年的 GTC 上，NVIDIA 不但通过发布 Omniverse Avatar 和 Omniverse Replicator 两大功能实现了连接了NVIDIA的语音AI、计算机视觉、自然语言理解、推荐引擎和模拟方面技术等能力，而且还发布了NVIDIA CloudXR、Omniverse VR、Omniverse XR Remote、Omniverse Farm、Omniverse Showroom 等新的功能，使其真正成为物理级准确的 3D 虚拟世界的“连接件”，并且集成基础设施和工业孪生应用程序与 Bentley Systems 和 Esri 的软件。
在本次媒体沟通上，施澄秋着重针对协同分布式工作、设计数字孪生，以及在 Omniverse 平台上如何改变数字化身机器人、自动驾驶汽车、自主行驶车辆、机器开发和行业格局等方面与记者进行了深度的交流与沟通，并通过大量的案例，详细介绍了 NVIDIA Omniverse 在不同行业以及不同场景中的应用落地。
施澄秋表示，以前的网站非常简陋，只有文字、MIDI 音乐、 Flash 等，它与虚拟现实、虚拟世界、3D数字分身和虚拟数字人偶完全不同，不具备 AI 能力。NVIDIA Omniverse 能够创造一个全新且真正的虚拟世界，能够为科学家、创意工作者、大型商业公司建造并且遵循真实世界中物理定律的虚拟世界增加很多内容和创新。
据介绍，Omniverse 支持工程师和设计师为建筑和产品构建物理级准确的数字孪生，或者创建大规模的逼真仿真环境，以便在现实世界中部署机器人或自动驾驶汽车之前对其进行训练。
沟通过程中，施澄秋还详细介绍了合作伙伴的应用案例。Bentley Systems 借助适用于 NVIDIA Omniverse 的 Bentley iTwin，能够以虚拟方式探索大规模、物理级准确的工业工厂和离岸结构，就像他们实时穿行其中一样。Esri 为 Omniverse 引入 Esri ArcGIS CityEngine 应用程序，将数百万 ArcGIS 生态系统用户连接到 Omniverse 平台，轻松提供实时逼真的完整 3D 城市模型和地理环境，为机器人、自动驾驶汽车、零售或电信等行业构建大规模数字孪生环境提供新机会。
除了 NVIDIA Omniverse 新增加的功能之外，NVIDIA 还宣布正式发布 Omniverse Enterprise，它允许跨多个软件套件工作的全球 3D 设计团队在共享虚拟空间中通过任意设备实时协作。基于 Omniverse Enterprise，NVIDIA 还宣布发布为数字孪生开发的物理人工智能开发框架NVIDIA Modulus。
NVIDIA Modulus 能够通过使用物理加速的机器学习和训练数据，进行深度神经网络模型训练，同时把自然界的物理规律分装到数字孪生中去，让虚拟出来的替代模型，能够拥有跟自然界真实物理定律相媲美的真实性。除此之外，NVIDIA Modulus 能够输出一个替代模型，应用在各种各样的应用程序上面。
“Omniverse是 NVIDIA 整个工作体系中的巅峰之作，能够把领先的图形计算、物理模拟和人工智能全部融合在一起。”施澄秋表示，作为 GPU 的发明者，NVIDIA 在多年前就提出了物理模型、物理加速的概念，让电脑渲染出来的画面和图象，不仅逼真而且更符合自然规律。
据了解，自去年 12 月发布 Omniverse 公测版以来，已有 70,000 多个创作者下载。此外，还有 700 多家公司的专业人士使用。这些公司包括宝马集团、CannonDesign、Epigraph、Ericsson、建筑公司 HKS 和 KPF、Lockheed Martin 以及 Sony Pictures Animation。
Omniverse Avatar：实时对话的人工智能助手
Omniverse Avatar能够连接NVIDIA在语音AI、计算机视觉、自然语言理解、推荐引擎和模拟方面的技术。在该平台上创建的虚拟形象是具有光线追踪3D图像效果的交互式角色，可以看到、说话、谈论各种主题，以及合理地理解表达意图。
施澄秋借助一个视频演示了 NVIDIA Avatar。演示视频中，Jensen 数字分身说话的语音、语速、语调、感情，以及投射到他的脸上的过程，都是用 NVIDIA Avatar 来完成的。据了解，它是一个复杂的全方位的系统组件的集成，能让很多功能都在 Omniverse Enterprise 中实现。
Avatar的另一个应用 Project Maxine是基于NVIDIA Maxine的SDK去做视频会议、远程协作、远程呈现数字人偶、数字化身的对话。
Project Maxine 能帮助到视频会议和主播，利用NVIDIA Studio 中的 NVIDIA Broadcast 功能、Maxine SDK 可以开发一些端到端的应用案例，让 Riva 以自然语言处理方式帮助J ensen 提取声纹，把人工智能计算处理的文本文字，用他的声音合成出来。就仿佛 Jensen 和你面对面说话一样，能进行实时转录、翻译，把虚拟人物语音、语调、感情都保持传统个人的特色。最后，还能够根据语音来模拟 3D 面部动画，且任何语音的虚拟头像都可以播放。
NVIDIA Studio：跨平台应用Omniverse
本次沟通会上，NVIDIA Studio 是 NVIDIA 重点介绍的第二大主题。
NVIDIA Studio组件的核心是NVIDIA RTX GPU(Quadro、GeForce等)。何展告诉记者，RTX GPU里不只有渲染的核心、光线追踪的核心，还有基于人工智能运算的加速引擎，可以确保RTX GPU有最高的性能。据介绍，NVIDIA Studio将横跨企业级和消费级应用，通过 Omniverse平台进行落地，NVIDIA Studio的用户可以通过NVIDIA Studio认证的设备，使用NVIDIA Omniverse平台。
由于横跨企业级和消费级，因此 NVIDIA Studio 有着非常庞大的用户数量，除了数以亿计PC爱好者以外，还有4500万专业人士和自由职业者，他们其实是以创作内容为生的。
何展表示，借助NVIDIA Studio ，超过3千万的实时流媒体UP主将会用来加速后期创意工作流程，以制作更好的特效，实现更逼真、更栩栩如生、更有亲和力的画面效果、数字内容，还有8500万的学生，其中学习媒体、工程、数学、技术、理工等科目的学生需要配备非常强大的GPU的PC。
实际上，在 NVIDIA Omniverse 中的许多组件，比如Replicator、Maxine、Avatar，都是通过Studio SDK来进行随时调用的。无论是物理模拟、仿真、加速、光线追踪等，还是基于Maxine的人工智能视频会议加速、调用Riva做嘴形的匹配，都可以融合到 NVIDIA Studio SDK 中，进而加速应用程序，并且优化应用程序在 Omniverse、NVIDIA GPU 上的性能。
本次沟通会上，何展还演示了基于NVIDIA Studio的Photoshop加速功能。利用RTX GPU里的Tensor Core加速做超级分辨率，可以先让你看到超分图像，再让你看到基于超分运算过之后的精准图像，几乎是无延时而且平滑的。
沟通会上，NVIDIA还展示了NVIDIA Broadcast的更新，利用了NVIDIA Studio SDK做了很多新功能，而这些功不断地增强的增强、迭代。比如把Riva加进SDK，拥有了对于自然语言处理能力，它能识别人声里的尖叫声不是噪声不需要过滤，利用AI的方式把背景里的杂音，比如小孩跑闹、来自其他环境的尖叫的声音给滤掉，这是非常智能的。其背后是整个Omniverse平台，整个STUDIO SDK全网站堆栈的综合性的应用表达。
写在最后：在“元宇宙”概念不断被提及，企业及个人围绕生活、社交、学习、工作等状态及方式正在发生着天翻地覆的变化的情况下，NVIDIA再次夯实基于AI的智能创作之路。在此次沟通会上，无论是务实的 NVIDIA Studio，还是面向未来的Omniverse，不难发现NVIDIA的布局越来越细致，而这些技术与能力，也正是基于强大的RTX GPU和NVIDIA多年来深厚的技术沉淀的基础所在。
