探秘国内首个端云协同的多模态AI应用开发平台——华为云HiLens

人工智能时代的‘慧眼’

随着互联网行业的迅猛发展，全球正在加快新一轮的技术演进。未来，在5G、人工智能、AR/VR等新技术的推动下，世界将进入万物互联的时代，经济发展、城市运行乃至个人生活都将实现数字化、智能化，社会的各个角落都将深度融合到现实与虚拟高度连接的数字世界。

文字、图片、语音图像、视频流等成为连接物理世界与数字世界的神奇通道。著名神经科学家Chris Frith 在《心智的构建》一书中提到，我们对世界的感知不是直接的，而是依赖于“无意识推理”，也就是说在我们能感知物体之前，大脑必须依据到达感官的信息来推断这个物体可能是什么，这构成了人类最重要的预判和处理突发事件的能力。而视觉是这个过程中最及时和准确的信息获取渠道，占据了人类对外捕获信息的80%，视觉AI之于人工智能的意义就是视觉之于人类的意义。

我们期待通过视觉AI这个连接未知世界的窗口，赋予各行业设备一双“慧眼”，在看的同时捕获颜色、光照、形状和距离等相关细节，并作出理解和预判，并不断“自主学习”帮助它越发了解这个未知世界，从而将人们从大量重复的劳动中解放出来，代替我们完成更多的任务，让智慧生活从想象成为现实。

高成本、高门槛成AI应用发展瓶颈

新一代技术创新推动新一轮产业发展的同时，也带来了对全新AI应用体验的海量需求。视觉AI在不断深化传统汽车、安防、娱乐、物流、医疗、交通等行业与“智能化”概念融合，并逐步改变传统行业格局的同时，也为各行业开拓了全新、海量的应用场景，如无人机、无人驾驶、人脸识别闸机、AR/VR、物流包裹分拣、癌症诊断、病理切片、智慧城市等“智能体”。然而，面对全新视觉AI应用场景的海量需求，单靠算法支持是远远不够的，离实现真正的智能化还有很长的路要走。

想象一个普通场景，假设我们要开发一款应用于园区、商场等门岗的能自动识别进出车辆号牌的智能监控摄像头，代替大量简单重复的人力劳动，节约商家成本，自然需要智能系统满足至少接近人类水平的车牌号识别能力和迅速的推理结果响应。对商家而言，最关注的是：以尽可能少的成本开发具有更大价值的产品，其中，成本包括智能系统开发成本、支撑系统运行的软硬件成本以及后期维护和管理成本，而且注重数据安全性。而对于开发者来说，想要模型部署到边缘设备，还需要考虑芯片 (CPU/GPU)、内存、网络带宽和稳定性等各种设备规格在内的开发问题，在性能极度受限的芯片上高效地开发高质量推理摄像机是一个挑战系数较高的难题：首先涉及到端侧设备采集到的原始数据的存储、预处理问题，如果海量数据上云将消耗大量带宽，服务响应也会产生严重时延问题；其次，模型训练不仅依赖算法和由硬件支配的强大算力，而且，支撑深度学习框架的底层相关组件的开发非常复杂，系统平台兼容性问题的处理较繁琐；再者，不仅需要关注技术，还需要聚焦业务，如何有效管理和维护海量设备和其具有的各项技能？涉及个人隐私及安全问题如何有效处理？等等。延伸至各行业不同场景下的AI应用发展现状，无论对于个人、团体还是企业，开发一套智能系统成本高、门槛高，这已成为视觉类AI应用快速落地面临的首要挑战。

华为云HiLens助力AI应用快速落地

针对以上难题，华为依托领先的“AI + IoT”能力和工程化能力，面向开发者、企业以及设备生产厂商，发布了一套完整可靠的一站式视觉AI应用开发、部署和管理服务平台——HiLens，着力解决当下共同面临的开发问题，提供“端”、“云”、“芯”为一体的多种开发方式和视觉设备的端云协同管理服务，进一步降低开发门槛，帮助实现覆盖商超、园区、家庭、车联网、安平、工地、广告媒体等多种领域、不同场景下的定制化视觉AI应用开发。

与此同时，华为云HiLens还发布了一款专为开发者用于端云协同视觉应用开发的载体——Hilens Kit。它针对开发者专用于端云协同视觉应用开发，搭载了华为AI芯片Ascend 310(8GB RAM)和CPU Hi3559A(4GB)，可以实现1秒百帧的处理能力，毫秒级人脸检测；同时，内置轻量级容器，具备内存和网络带宽资源占用少、降低网络带宽、下载启动时间快等特性。通过HiLens开发生成的AI技能可以直接批量部署到端侧HiLens Kit, 方便开发者调试，极大降低后期技能的维护成本。

另外，华为云HiLens平台还提供技能市场，预置丰富的技能，针对园区、商超、交通路口等不同场景，覆盖人形检测、人脸识别、异常声音检测等多种应用，供开发者和企业使用。同时，开发者还可将自己开发好的技能一键发布到技能市场，供其他人购买和安装，也可分享为技能模板，给他人开发技能时做参考。

华为云HiLens作为可定制化的高效视觉应用开发平台，与计算强劲的HiLens Kit一起，将通过端云协同管理和软硬件一体化开发方案持续降低开发门槛，并通过HiLens技能市场衔接上下游企业，加速各行业场景下的AI应用落地实施，让智慧生活从想象加速变成现实。

开发者视窗

华为云HiLens作为视觉AI领域通用的开发平台，结合华为云其他综合服务，从易用、可靠、开发效率、隐私、硬件适配与系统兼容、个性化定制服务等方面全方位考虑开发者使用感受。通过HiLens,开发者可以获得开发效率和设备管理效率的最大限度提升，同时，华为Ascend 310 AI芯片以其强劲的双精度运算能力为模型高性能保驾护航。

从开发者角度而言，只需简单的四步：创建模型、导入模型、创建入口代码（即端侧设备的逻辑代码）、模型部署，最快10分钟即可定制符合场景需求的模型，部署到任意已注册的端侧设备运行，后期还能通过HiLens技能管理平台一键实现端侧设备的技能升级和卸载。

开发者操作模型导入时，既可在HiLens平台一键导入已有模型，也可基于华为云一站式AI开发平台ModelArts，使用任何熟悉的开发语言（如python, java等）和各种深度学习框架进行模型开发和训练（ModelArts可提供全面的AI计算基础设施，包括硬件基础设施、支持多种语言和不同深度学习框架的开发环境），HiLens平台支持导入ModelArts训练的模型来开发技能。针对端侧，华为云HiLens对外提供一套统一的Skill Framework Python API接口，屏蔽了不同的开发语言，并支持多种开发框架（Caffe、Tensorflow等）；另外，其底层封装了系统平台适配层，且基于HiAI Engine自适配底层芯片，可无缝对接端侧设备，让开发者无需操心底层硬件的适配和系统平台的兼容问题，使开发更容易上手，开发效率更高。

对于模型训练和推理，华为云HiLens具有独特的端云协同推理模式，利用每个端侧设备独有的部署环境和原始数据进行初步数据处理和推理，而在云侧针对设备的个性化需求进行在线训练，实现设备的在线自动学习与更新，提高模型精度，让摄像头更聪明；其次，HiLens提供的端云连接持续可靠的通信组件，使端侧设备对于与云端仅有间歇性连接或者无连接的场景，也具备制定决策的能力，在未连接网络的情况下也能保持设备状态同步；端侧支持HiAI移动计算架构，内置专用硬件加速单元，与CPU处理AI运算相比，拥有约50倍能效和25倍性能优势，成为具有强大AI算力、支持硬件加速、性能强劲的开源开发板；另外，端侧针对深度学习还预装了高效、高性能且经过优化的推理引擎，进一步提高模型训练与推理过程的性能。

未来是智能主宰的时代，华为将在人工智能领域不断发掘和深入，全方位打造良好的人工智能生态，希望华为云HiLens可以激发广大开发者的创造性，开发出更具有想象力和全新体验的技能，为建设万物互联的智能世界增砖添瓦。

华为云HiLens团队将于12月26日首次对外直播教学 ，结合刚上新的深度学习推理摄像机HiLens Kit，安装并展示多个AI算法，让观众对HiLens如何实现AI落地有一个更直观的了解。

作者：赵老师  华为云高级解决方案工程师