在元宇宙概念火爆的当下，XR硬件设备作为进入元宇宙这一未来世界的重要“入场券”，在短时间内受到了各大科技企业的关注。Rokid作为专注于人机交互技术与人工智能硬件研发的科技企业，在AR眼镜的研发道路上深耕已久，并积累了大量的技术实践经验。

在不久前由51CTO举办的MetaCon元宇宙技术大会上，Rokid产品技术总监赵维奇带来了《戴上AR眼镜·与未来交互》专题演讲，重点介绍了Rokid如何借助AI与5G技术的融合，对AR眼镜进行赋能，以实现3D空间的虚实结合与沉浸感升级。51CTO将本次分享的核心内容进行了整理，希望能给大家带来一些启发：

AR的使命是将真实世界与虚拟世界融合。利用AR技术创造场景下更自然的虚实结合交互，是Rokid一直的努力的方向。想要实现这一目标，则需要具备以下几方面的能力：

 1.感知力：利用硬件上的传感器与模组以及软件上的各种应用功能，使用户能够更好地去获取环境和自身的相关信息。

2.理解力：借助AI技术，基于感知获得信息，包括对人的理解、对物体的理解、对环境的理解、对行为意图的理解，以及周边信息的理解。

3.协同能力：人类脱离不开社交与协作，每天我们都需要与人沟通合作。如何更好地、更低成本、更高效地协同在目前环境下异常重要。

4.展现力：更多的形式、多模态的内容呈现方式，例如2D音视频、3D的模型等，空间让更丰富的交互成为可能。

5.内容生产及数字资产管理能力：AR使平面升维到空间，这带来了大量的数字内容需求与数字资产管理要求。此情景下，高效生产和管理数字资产的能力是不必可少的。

Rokid通过软件、硬件能力的融合以实现这些的能力：

1.芯片：Rokid与国内头部企业海思共同开发了XR平台，提供了芯片平台等级的能力。

2.解决方案：Rokid在toC、toBtoC、toB与toG的各个行业，均有非常成熟的解决方案。

3.语音交互：Rokid深耕语音交互技术多年，在离线语音和精准识别上已经达到99%的准确率。

 4.硬件：硬件设计是Rokid的强项，Rokid会结合ID、ME以及供应链，提供完善的硬件能力，以保证硬件设备拥有更高的舒适度以及更强的基础能力。

5.光学显示：Rokid提供全球领先的光波导技术，也将这一技术应用在了大量产品之中。

6.视觉算法：AR眼镜通过视觉算法了解、感知并理解环境，以此提供对应的内容呈现方式。

通过上述基础，Rokid能够更好地将AR与AI的能力进行融合。

细节方面，Rokid软件层提供了更加多模态的交互能力，包括兼容2D、3D生态的操作系统、功能丰富的SDK、便捷的开发工具，以及支持全球开发者的社区与应用发布平台。

无论是合作伙伴还是开发者，都能够方便快捷地应用这些能力。此外，在整体XR系统之中，Rokid始终坚持围绕AI与AR打造面向未来的技术能力。包括主流芯片平台、AR硬件平台，AR头环/头盔、单目/双目眼镜、一体/分体设备设计、消费级/工业级设备的配置与设计等。

Rokid在基础OS之上，拥有较为完善的感知系统与理解系统。感知系统目前已有多个引擎，包括平台支持、AI服务、AR服务以及云存储服务。同时，Rokid也为开发者提供了大量平台SDK与基础SDK，以便开发者在OS之上以及面向行业进行应用开发。

目前，Rokid已经拥有大量的合作伙伴，无论对于应用开发者、应用制作者、解决方案商或是系统集成商，Rokid都能够赋予其软硬件能力。借助这些能力，无论是toB、toBtoC还是toC场景下的应用，都能够轻松实现。Rokid打造了XR元宇宙的基础能力，以帮助人们在元宇宙环境下释放更多的创造力。

产品层面，Rokid也有着大量的积累与技术创新。

新发布的Rokid  Air，是面向toC市场的AR产品，拥有着轻巧便携、视角广阔、清晰度高等优势，两个高品质扬声器所带来的环绕立体声能够让音效更加震撼。同时，Rokid Air还拥有着强大的语音交互能力，通过非常简单的语音指令就能够完成大量操作，真正实现解放使用者双手，让用户能够沉浸式享受AR带来的快乐。

除此之外，Rokid Air支持500度以下的近视的调节，通过旋钮调节，近视用户也能够轻松使用这款产品。即插即用，适配手机与各类娱乐硬件设备的特性，也为Rokid Air的使用带来了更高的灵活性与便捷性。

目前Rokid Air的适用场景主要有以下几类：

1.音视频体验：Rokid Air能够随时收纳，无论在家中、飞机上还是火车上，你都能够使用Rokid Air连接手机与其他娱乐设备。此时，一个120寸的高清屏幕、一个独享私人版的巨幕影院就将呈现在你的面前。

2.游戏体验：Rokid应用商店拥有大量游戏内容，支持用户在真实世界里通过创造3D空间来完成游戏体验。此外，Rokid Air也支持移动端游戏，包括连接游戏主机及游戏手柄。不但是手机，Switch、SteamDeck甚至PS，Rokid Air都能够“照单全收”，并为用户带来低延时、高画质的巨屏享受。

Rokid Air Pro是一款toBtoC的AR产品，其与Rokid最大的不同点在于交互。第一，Rokid Air Pro拥有定向出音设计，用户自己所说的话只有自己能够听到，不会打扰到周边的人。此外，Rokid Air Pro提供了更多的交互功能。除语音交互外，由于Rokid Air Pro拥有摄像头，因此其能提供更加丰富的视觉识别功能。通过摄像头，Rokid Air Pro能识别更多场景并感知到周遭环境，以呈现和提供更加定制化和场景化的应用与交互。

目前Rokid Air Pro已在许多toBtoC的场景下进行了应用，包括各大博物馆与展览，Rokid Air Pro能够提供一种新的观展打开方式，原有的知识壁垒会被打破，用户的好奇心和求知欲将被充分调动。Rokid Air Pro能够让用户完全通过AR和AI能力享受更多展馆背后的知识的传播和体验。

Rokid与苏州博物馆和大英博物馆合作的国际导览项目，可以利用AR设备让用户方便、快捷地获取到来自大英博物馆展品背后的讲解。这是原来的导览员与讲解员很难做到的。除语音介绍外，AR设备还能够用视频、图文、3D模型的方式，将难以理解的部分海外文化讲解得更加透彻，让用户能够在短时间内更好地能获得所需知识，给用户带来更加优质的参观体验。

Rokid与腾讯及故宫合作的数字特展，让用户能够通过AR设备参观故宫中的知名的避暑的圣地——倦勤斋。通过AR的方式，用户能够环绕整个虚拟空间，一目了然地了解到故宫中建筑的外观形状、用料、颜色以及尺寸大小等以往难以观测到的建筑细节。这在一定程度上可以使故宫文化得到更好的传承和传播。

Rokid与故宫合作的另一个项目是故宫书画展。书画观赏的过程始终有一个痛点，就是人们只能看到表面，并不知道书画背后的故事，也无法看到书画所呈现的场景。通过AR的方式，我们能够将2D升维成3D，使用户能够看到书画的真实形态，用最简单和高效的方式去呈现书画背后、文化背后的故事与渊源。

Rokid与腾讯游戏合作的AR观影台对《英雄联盟》的游戏场景进行了复现，使用户能够通过AR眼镜看到一条巨龙从东方明珠上盘旋而下。此外，AR也能将游戏中的许多元素，包括比赛的现场、比赛选手特写以及一些重要的指标进行虚实结合，这也是目前AR主要的发展方向之一。

未来，Rokid希望能够更多地探索元宇宙领域，通过软件与硬件相结合的方式，将AR与AI两种能力结合起来，创造更实用、更智能、更自然的内容呈现解决方案与交互能力。为场景赋能、为场景下的用户赋能、为合作伙伴及开发者赋能。使用大家够在元宇宙的环境中获得更多样化、多模态的体验。