所谓"模态"，英文是modality，用通俗的话说，就是"感官"，多模态即将多种感官融合。

目前的人机智能交互比如语言控制不如屏幕控制那么精准，很多时候会误判指令和错误唤醒，比较语言充满了不确定性;再比如，语音交互的物联网设备还是缺乏主动服务的能力，只是换了操作方式而已，用户体验没有本质提升。

假如我们把"模态"通俗地理解为感官，那么智能音箱就是只具备听觉模态的物联网设备，而加载AI分析能力的摄像头可以视为视觉模态的物联网设备。把听觉、视觉甚至更多模态组合到一起，多模态物联网也就诞生了。

目前的AI设备中感知模态主要包括三种。第1种是、语音交互，包括语音指令控制、语义理解、多轮对话、NLP、语音精准识别等领域;第2种叫做机器视觉，包括自然物体识别、人脸识别、肢体动作识别等;第3种则是传感器智能，包括AI对热量、红外捕捉信号、空间信号的阅读与理解。