智能舞台异网融合接口规范应用研究

打开文本图片集

【摘要】 在演艺呈现系统的递阶结构基础上，研究智能舞台的功能结构模型，并设计异网融合接口规范，给出一种基于TCP/IP的协议实现方法。

【关键词】智能舞台；人工智能；DSS；MAS；LAVMNET；TCP/IP

随着人工智能（Artificial Intelligence）等新技术与舞台技术相互融合，带动现代舞台技术装备和舞美创意作品的不断升级，如智能体技术、多媒体技术、机械控制技术、计算机科学和仿真技术集成到舞台的设计和制作中。这些新技术和装备在为舞台艺术呈现注入新的活力的同时，也为舞台装备的集成应用和监管的智能化、网络化和数字化增加新的内涵，进而需要规范对这些异种数据的导入、信息提取、挖掘、应用和管理。

本文在演艺装备融合技术延展的基础上，给出智能舞台异网融合架构，介绍智能舞台异网融合关键技术“异种协议集成网络接口规范”的研究内容，并给出接口的技术实现案例。文中“异种协议集成网络接口”、“异网融合接口”也可称为“LAVMNET接口”（其中，“LAVMNET”是Lighting， Audio， Video， and Mechnical Networks的缩写）。

1、 智能舞台的概念及应用的关键问题

智能舞台是指应用人工智能等先进技术，有效融合舞台装备和创意作品，为演员提供表演的设施或平台。以数据挖掘、信息应用、知识推理和模型规则等为技术特征的人工智能技术是智能舞台实现的灵魂。

国际上，现代化的智能舞台采用全新的系统设计方法和理念，通过普适计算（Pervasive Computing）、物联网、虚拟现实（Virtual Reality，简称VR）、增强现实（Augmented Reality，简称AR）等智能技术综合应用，融入艺术创作，拓展舞台的时空展现效果，营造出身临其境的效果。由此，对舞台音视频制作、灯光控制、舞台机械控制、舞台表演协作等多方面提出了更高层次的融合要求。

在中国，随着剧场、影剧院、音乐厅、歌舞厅、演播厅、迪斯科厅、多功能厅、俱乐部、体育场馆、电教馆、会议厅、宴会厅、礼堂、露天广场等舞台相关工程的建设，对于舞台艺术智能呈现技术应用及研究已很活跃。文化部已牵头组织研发舞台系统集成技术，随着国务院积极推进“互联网+”行动，演出业必然走向网络化、信息化和智能化。《中华人民共和国公共文化服务保障法》的出台，弥补了中国文化立法的短板，进一步完善了中国文化法律体系，对推进公共文化服务的法治化、规范化具有重要意义。

智能技术、信息技术与舞台技术的交汇融合将引发智能舞台的深入研究和应用。智能舞台应用的关键问题是实现异种协议集成网络接口规范研究，涉及融合机械、音视频、灯光、特效等异种系统接口的数据汇聚、安全监测、设备和内容控制、剧院信息传递等，还要解决数据、信息、知识和模型等人工智能处理，并应用于演艺呈现的智能决策支撑系统，以达到提升和扩展各种装备技术性能和功能的便捷性和高效性，为观众呈现更佳的演出效果。因此，建立面向智能舞台异网融合应用的异种协议接口规范具有关键的基础性意义。

2 、智能舞台异网融合架构

一种智能舞台系统包括两大系统和四种接口，结构模型为递阶开放的异网融合。

其中，两大系统包括舞台装备系统和智能演艺呈现系统；四种接口包括数据汇聚、控制、安全监测和智能剧院接口。

（1）舞台装备系统包括声、光、视、械和舞美特效等呈现子系统和各类环境和位置等信息传感器。这些呈现子系统也是舞台异网融合的重要目标，其内部构成包括呈现信息源、调节/处理设备、传输/交换网络、呈现终端设备和管控处理单元。

（2）智能演艺呈现系统是智能舞台的技术核心。该系统以智能决策支撑系统（Decision Supporting System，简称DSS）为核心，通过数据、信息、知识和模型库，与场馆信息处理、演艺呈现控制和设备/环境监测、报警/预警和应急预案处理等信息呈现单元相关联。其中，演艺呈现控制是智能舞台实现现场控制管理的关键部分，包括舞台总监等现场指挥人员使用的演出控制单元、智能舞台装备互联互通的集成控制以及用于演艺信息（如场景、节目和剧目等）的协调和同步呈现控制。

（3）智能演艺呈现系统通过智能剧院接口与智能剧院/剧场的演艺场所管理信息系统（如场地使用的行事历、票务和物业信息等）、建筑物联动设施和设备（如安防、消防、空调通风、配电等）、云平台等接口连接通信。

（4）智能演艺呈现系统的演艺信息控制和设备控制通过控制接口与舞台装备各呈现子系统管控单元连接通信，以此实现异网设备现场总线的数据集成、同步和冗余等，以及演出场景（Cue）、节目（Sequence）和剧目（Show）的内容呈现的同步和统一协调的演出控制（Show Control）。

（5）各呈現子系统的数据信息（如运行环境信息、设备操作维护O&M信息和演艺信息等）以及各类传感器数据，通过数据汇聚接口存入智能演艺呈现系统的数据库。通过智能舞台异网融合的开放结构模型可知，智能舞台异网融合接口包括数据汇聚、控制、安全监测和智能剧院四类接口。

3、 智能舞台实现的关键技术

智能舞台实现的关键技术，包括人工智能技术、设备控制的现场总线技术、演艺呈现控制技术等。

3.1 人工智能技术

人工智能是计算机科学、控制论、信息论、神经生理学、心理学、语言学等多种学科互相渗透的一门综合性学科。在智能舞台，虚拟现实（VR）和增强现实（AR）的不同应用，都或多或少地采用了人工智能技术。利用人工智能技术VR和AR，通过虚拟画面表现故事情节。真实与虚拟集合，在藝术表演中融入科技，打造一种全新的视觉感受和情感体验，还可以使情感体验进行延伸，通过特定技术，营造一种更加真实的虚拟境界。大部分VR/AR的应用采用以时间码（TC）为同步信号的信息控制方式，没有脱离演员按照时间码配合虚拟视频内容的技术效果。

然而，僅仅引进人工智能技术不是最终目的，智能舞台是为演员服务的平台。应用物联网技术，采用基于模式识别和普适计算等技术，可以营造出舞台装备作为资源配合演出呈现的智能演艺技术效果。普适计算是一种把技术和装备变成为演员服务的资源的智能算法，其显著目标之一是使得舞台设备可以感知周围的环境变化，从而根据环境的变化做出自动的基于演出内容需要或者设定的行为，如灯光、音响和视频设备感知现在演员正在某特定演出场景的运动轨迹和表演姿态，自动切换表演场景的呈现效果模式等。Jeff Burke等人建立了用于演艺的普适计算模型，这种人工智能技术代表智能决策支撑系统的发展方向。

智能体（Agent）既是人工智能最初的目标，也是人工智能最终的目标（Hayes-Roth，1995），因此采用多智能体系统（MAS）的决策支撑系统（DSS）（即MAS-DSS）成为智能舞台重要的技术实现方式。MAS是指由多个自治智能主体组成的合作系统，是一个松散耦合的问题求解器网络，其目标是为了解决那些超出每个问题求解器的单独能力或知识的问题。应用MAS可以解决智能舞台应用LAVMNET接口获取数据的挖掘、分析和决策等支撑问题。应用MASDSS可解决智能舞台的数据、信息、知识和模型的智能处理和综合运用问题。

MAS-DSS实现数据挖掘、知识推理机制和基于模型和知识的学习机制，产生用于演艺呈现的控制信息、安全监测信息和报警/预警等信息。具有学习机制的智能舞台也可称为智慧舞台。

3.2 现场总线技术

智能舞台的设备控制要解决数据集成、冗余和时钟同步等问题，应用现场总线技术可有效解决这些问题。目前，由国际电工委员会IEC（International Electrotechnical Commission）制定的IEC61158现场总线标准收录了20种现场总线技术规范。

由于以太网具有普适性和便捷性，随着冗余及时钟同步应用研究进展，基于以太网的现场总线技术已开始显现优势，也进入舞台装备集成应用领域，图3所示为实时以太网现场总线的控制及时钟同步原理示意图。

时钟统一是以太网现场总线设计需要解决的一个关键问题，控制时钟模块在物理层直接对实时以太网报文发送时间戳和接收时间戳进行捕获。分布时钟管理模块通过对各结点之间的传输延迟测量、参考时钟偏移误差的补偿、本地时钟与参考时钟的漂移补偿来实现整个系统的时钟同步。

3.3 演艺呈现控制技术

演艺呈现控制技术，包括演出控制、演艺信息控制和设备控制等实现技术。其中，演出控制（Show Control）是演艺呈现控制信息协调和监管的核心技术。演出控制由电影与电视工程师协会（Society of Motion Picture and Television Engineers，SMPTE）提出，是一个应用于娱乐产业的计算机系统，将异种设备和软件控制的灯光、音响和视觉效果等结合进统一的同步演出系统。演出控制系统可集成通用的技术和标准，如DMX512、MediaLink、MIDI、MIDI Show Control以及其他SMPTE标准。

演艺呈现控制技术实现包括专业音视频处理、播放、控制和用户界面等部分，一般可实现以下功能：

（1）用于智能舞台的声、光、视、械、图片和多媒体文件等剧目、节目和场景的专业演出控制和播放功能；

（2）用于排演的剧目、节目和场景的存储、备份和恢复功能；

（3）场景和音视频多轨混合和播放功能；

（4）按照时间码自动播放功能；

（5）剧目行事历的编辑和自动提醒播放功能；

（6）场景现场指挥和插入等功能；

（7）应用MIDI控制其他设备等。

4、 异网融合接口协议架构

智能舞台的异网融合（LAVMNET）接口协议架构，涉及到的接口包括数据汇聚、控制、安全监测和智能剧院四类，按照统一的TCP/IP协议规范，在舞台装备、管理界面和智能剧院设备和设施之间，通过Agent实现数据、信息的传递、汇聚和控制。

异网融合接口协议架构，包括呈现单元、管控单元和协议转换接口三个协议栈抽象部分，应用IP通道传递LAVMNET接口协议包，并完成处理。异网融合接口协议具有开放融合特征，可与Dante、ARTNET、RDM、Fieldbus等协议共用IP通道。

（1）呈现单元包括表示层、专业音视频处理、LAVMNET智能处理、数据存储和LAVMNET接口协议处理等部分。表示层包括演艺呈现、设备管理、环境安全管理和开放系统配置管理，演艺呈现通过演出控制模块与专业的音视频处理和投影机等演艺呈现设备连接，演艺呈现的设备控制和演艺信息控制则通过LAVMNET智能处理的各种Agent实现。LAVMNET智能处理是MAS-DSS的技术实现，包括协调、组织、安全、管理接口、推理、数据挖掘、协议服务等Agent，實现异网融合的数据汇聚、控制、安全监测和与智能剧院接口的功能。（2）管控单元实现各演艺呈现子系统的数据信息获取、LAVMNET接口协议解析、控制输出等功能。由管控Agent实现与LAVMNET接口协议解析模块的通信连接；实现呈现子系统的运行信息、操作维护O&M信息与演艺信息等的获取，并将这些信息数据汇聚到呈现单元的数据库；实现呈现子系统的设备控制，包括场景的设置、演艺信息同步控制和各种设备控制等接口功能。

（3）RDM舞台灯、现场总线设备、电力监测设备、环境或位置传感器等各种协议接入经由LAVMNET接口协议转换，实现数据汇聚和命令执行等功能。

呈现单元、管控单元和各协议转换接口通过LAVMNET接口协议实现智能舞台的智能演艺呈现、设备集中管理、环境安全管理和开放系统互联及配置等功能。

5、 异网融合接口协议的应用规范及测试效果

异网融合接口协议的应用规范见图5。LAVMNET接口协议包在应用层，承载在Socket抽象层上，整个协议包包括协议控制信息、控制命令、数据和校验码四大部分。协议控制信息也称为信令，这些信息按照既定的通信协议工作，将应用数据信息安全、可靠、高效地传送到目的地，纯协议控制信息包又叫信令包。控制命令定义包括数据汇聚、控制、安全监测和智能剧院接口等类型。各种数据、信息、文件等都打包在数据段，校验码由协议包前面的数字通过某种运算得出，用以检验该组数字的正确性。

基于LAVMNET接口协议原理，应用规范设计如下。

（1）根据LAVMNET接口协议架构，设计通信协议原语，采用客户端/服务器模式进行数据通信，应用Socket方式实现；

（2）协议通信采用安全加密方式，保证通信的安全性；

（3）采用多线程的关系数据库，用于存储通信协议原语、数据和控制命令，以及智能舞台的数据、信息、知识和模型等表项；

（4）为适应演出实际现场需要，调光台、调音台、媒体处理器和舞台控制器等管控单元的本地控制命令的优先级别高于呈现单元，数据获取的优先级别低于控制命令；

（5）采用MAS的设计方法实现呈现单元、管控单元的功能，程序设计采用C/C++语言，采用多线程设计，开发适用于主流Windows/Linux的操作系统的MAS执行程序；

（6）预留报警/预警协议接口，以及智能剧院接口。接口类型包括数据库接口、API接口和BACnet等接口。

LAVMNET接口协议是采用客户端/服务器模式进行数据通信，其流程图见图6。管控/管理接口Agent等作为客户端与协议服务Agent首先进行握手，建立连接。双方确认后，客户端与服务器之间就可以进行双向通信。当通信结束时，由客户端发送结束通信信令，以结束客户端与服务器连接。

一次握手协议包括客户端请求连接与服务器接收到请求后返回给客户端的同意连接，握手协议可采用WebSocket规范。

由客户端或服务器接收的所有TCP数据包符合LAVMNET接口协议规范定义，数据包基本格式如下。

数据包都是采用JSON格式，其书写的语法规则为：数据在键值对中；数据由逗号分隔；花括号保存对象；方括号保存数组。

具体的例程可参考ECMA-262标准。LAVMNET接口协议中每个数据包使用一个对象方式表示，即：

{ 键1：值1， 键2：值2，…… }

表1为基本包结构表。

LAVMNET接口协议是一种基于TCP/IP协议栈的以太网协议，协议包可分为信令、信息与数据、控制三类，目的在于使用标准的网络技术，实现智能舞台的灯光系统、扩声系统、视频系统、机械系统及其他与剧场相关的系统组成的异种网络产生的数据，能够相互透传、相互协同运行，实现智能舞台增强演艺呈现体验的功能。

针对上述LAVMNET接口协议，在Windows 7操作系统下。

通过呈现系统控制多套不同的网络设备，要求设备的响应时间尽可能短，即使增加多台设备，响应时间也要在正常的范围之内。如将界面响应时间作为评判指标，定义如下判据：（1）在3 s之内，可认为是“很不错的”；（2）在3 s～5 s，可认为是“好的”；（3）在5 s～10 s，可认为是“勉强接受”；（4）超过10 s，认为“难以接受”。

依据上述判据和测试结果，呈现单元在1 500个连接数以下为“很不错的”；在1 500个～2 000个连接数为“较好”；2 000个～4 000个连接数为“勉强接受的”。因此，呈现单元协议并发连接数的设计指标为2 000以下。

6、 结论

本文根据演艺装备的集散递阶结构，在调研智能舞台实现技术的基础上，提出智能舞台异网融合架构，界定异种网络协议接口规范研究的内容，并介绍了一种应用TCP/IP协议栈实现LAVMNET接口协议的应用。“异种协议集成网络接口规范”是实现智能舞台异网融合的关键技术，结合智能决策支撑系统等核心应用研究，希望探索出一条以演艺呈现内容为中心，演艺装备作为资源主动配合的智能舞台实现途径。

未来几十年，相信现代文化及娱乐各个方面將会产生重大智能化变革，超出任何人的想象。这种AI技术革新无论从规模、范围和行业融合上，都将是惊人的，演艺行业也将是这场变革的重要参与者。

注：本文部分内容得到“演艺装备系统技术文化部重点实验室”资助（Supported by Key Laboratory of Performing Art Equipment & System Technology）。

参考文献：

[1] Barbara Hayes-Roth. Agents on stage： Advancing the state of the art of AI[C]. Proc 14th Int. Joint Conf. on AI， Montreal， 1995： 967-971.