2021世界人工智能大会科艺同频 算法引擎探秘声音可视化

• 2021-07-08 14:20:52 来源：第一财经

当，当，当!上海海关大楼的钟声响起，《东方红》旋律转换为红太阳升起，伴随数字化城市律动，献礼建党百年。

在2021年的世界人工智能大会上，汽笛声、语音助手和机械手臂工作的声音都可以跨越感官界限，从听闻变成眼见。这，是声声不息的城市乐章。人工智能，让生命之声清晰可见。融AI于万物，汇众智于城市，正是2021世界人工智能大会“智联世界 众智成城”的最佳诠释。

“我个人认为最好的科学就是艺术，最好的艺术也会为科学提供另外一个认知维度。”同济大学副校长娄永琪接受第一财经采访时表示。

相比多以实体建筑为背景的设计语言，本届大会的主题背景以声音可视化算法生成视觉特效，融合了实体的上海城市特征与虚拟化的AI艺术化风格，表现出本届大会“科艺同频”的审美追求。

算法引擎，探秘声音可视化

为什么会想到用声音可视化呈现本届的大会主题?

上海的海关大楼钟声体现了上海特色，而上海是中国共产党的诞生地，也是大会对中国共产党百岁华诞的致敬，而机械臂工作的声音、在线支付的声音、语音助手的应答，这些都是城市生活中的数字之声，通过律动音符和数字乐章的串联，构建起人工智能与城市数字化转型的意象连接。再通过现场视觉表现和艺术氛围烘托，打造极致的仪式感——开幕式总导演葛晓耕将这次的创意理念娓娓道来。

本次开场片由同济大学设计创意学院的声音实验室设计，幻维数码制作。多种日常城市之声在主屏幕中一一呈现，让观众在熟悉的听觉感受同时看见声音形态，切身感受智能技术带来的感官冲击。这寓意着城市数字化转型过程中，人工智能于寻常场景孕育出突破性变革。在开幕式的结尾，由声音转换渲染而成的艺术作品，与所有嘉宾一同见证了“点亮数字之都”环节。

“我们承办世界人工智能大会的开幕式已经有四年了，最初的感受是很难表达人工智能。今年，我们运用人工智能声音图像化不仅是将城市声音转化为画面，也在这四年的时间里看到了越来越多AI赋能城市生活的场景，从原来的有所耳闻到眼见为实。以音符象征数字、以音符构成的旋律象征数字化进程、以‘跃动’表现城市活力及基于数字化转型达成的城市能级跃升，这样组织内容话题就是起承转合的乐章结构。”葛晓耕说。

过去声音的图像处理是提取频率、响度、节奏这类低维特征然后转化成图形、颜色、形态、笔触，但现在人工智能技术可以提取图像的高维特征，比如风格、音色、情感。通过将大量的频谱信息映射到多维的数据矩阵上，并使用音色与情感信息生成相应的氛围色彩与重复图形，结合参数化设计工具制作程序生成动画(Procedural Animation)以及三维网格(3D Mesh)数据。在媒体输出时，通过着色器(Shader)及其他图形学工具将可视化算法运用在动画、视频特效中生成了美轮美奂的场景。不仅如此，还可通过程序化建模(Procedural Modeling)把数据运用在3D打印产品制造流程中，将AI对声音的处理结果转化为艺术装置。

“声音是一种源动力，是能量震动，也是宇宙最基本的元素。我们用算法作为引擎，给声音插上翅膀，可视化是转换方法之一。”同济大学设计创意学院副教授、同济大学声音实验室负责人张屹南告诉第一财经。

说起人工智能在其中的作用，同济大学设计创意学院副教授郁新安告诉记者：“这是很多参数综合来决定的。传统的计算方法没有办法判定这种高维信息，但人工智能可以识别、模仿这些过去计算机无法识别的信息，也就是说现在计算机能够更像人的思维去感知。”从数据集到声音的数据训练均由声音实验室完成。算法设计中有一部分机器学习，，还有一部分靠数学公式，当然，也取决于设计者需要的效果，最终通过计算让人工智能在美学上让声音和视觉产生连接。

在这次的呈现中可不仅仅是合成片子这么简单，因为声音实验室提供的画面是用编程编出来的，和通常片子的拼接渲染还有差异。“采集上海城市声音是我们一直在做的课题，所以这次驾轻就熟，也很开心能够在这么好的舞台上展现。从导演来讲，要驾驭通俗和艺术之间的平衡。这里面的复杂性相对来说用软件比较难实现的。”张屹南说。

“最终我们的目的是能够做出一个有标识性的艺术品，所以会用各种不一样的算法手段，但这显然不是在ps这类软件中实现而是用算法生成或者程序化生成的。”张屹南说。

这是基于深度学习中的循环生成对抗网络(Cycle GAN)模型，在无配对的图像数据间实现风格迁移(Style Transfer)，是人工智能增强人类想象力的范例。

科艺相通，与城市共融

“我想我可以不拘一格，做你无法到达的探索。”还记得2020年泠鸢yousa、小爱同学、小度和小冰四位AI虚拟偶像演绎的《智联家园》主题曲吗?

今年小爱同学、小冰承担了引导嘉宾的主持工作，而新加入的祝融号火星车数字人和百度创始人、董事长兼首席执行官李彦宏还有现场合影的互动环节。

“很荣幸有这样的机会登上WAIC的舞台，也希望能借此提升外界对虚拟偶像的了解，能让更多的人认识和接纳我们。”泠鸢告诉第一财经。

去年献唱了WAIC的MV歌曲后，泠鸢的大型舞台经验日益丰富，并逐渐“多栖”发展。这次为了现场有更好的主持效果，泠鸢要在专业的光学动作捕捉摄影棚中通过信号传输和现场主持人的互动，光学捕捉会比由算法运算填充动作的惯性捕捉更为细致。为了在本次实时对话中体现惊喜感，还将展现泠鸢的一键换装。为此，SMG团队不断调优，最终实现了以1个数据驱动两个骨骼，再通过过场特效完成形象交叠的全套换装过程。

“去年第一次登上WAIC舞台是主题曲现场，是才艺表演;而本届展现了虚拟偶像活泼可爱的一面，生动展示了数字世界与人的互动可能。”哔哩哔哩直播的虚拟偶像经纪负责人范逸白对泠鸢未来的发展充满了期待。

“这是一种新的视觉艺术展现，借助更多的智能化技术设备既能保留真人表演的特点，还有超越现实之外的体验。我们在现在无法想象未来。”泠鸢表达了作为普通民众享受科技，对数字化未来的向往。

艺术和科学正在交融，不仅仅是在WAIC的舞台上。“这个时代让编程成为了非常创新、或者说是非常艺术化的手段，这在近10年里是很显著的变化。编程和算法是把理工科、工程、设计和艺术结合起来。”张屹南也提到了。

“大数据的算法，最终有现实的服务意义，我们可以用算法来整体指引城市运作的系统。这个系统其实都是系统化设计，它的意义并不只是说做一张画，做个装置那么简单。”设计创意学院的老师们并不那么在意人工智能对未来人类设计的冲击，他们看到的，是人工智能未来的赋能。“人工智能显然在设计领域还没有工具化，很多时候设计师也是在用一些比较基础的工具去探索它到底可以用在什么地方，有哪些可能性，这个我觉得是比较有意思的地方。”

科技的发展终将“以人为本”。同济大学设计创意学院研究生、本次画面的主要算法设计师谭丞超也提到了课堂上老师们关于人工智能的观点交锋，“有的老师认为人不可以被替代，因为人工智能无法产生艺术领域讲的顿悟，所有的创造都基于前人的基础，不能完全凭空出现一些东西;有的老师认为可以替代，因为要做一个好的设计师肯定也需要学习传统的经验和基本的美学能力，新的技术能力就相当于是迭代进阶了。”

“以人为本”是上海建设人民城市的核心，是推动城市发展的核心取向，也是城市数字化转型的出发点和落脚点。人工智能的发展和应用为的是展现城市数字化进程中的人本价值。归根到底，城市数字化转型是为了提升居民获得感、幸福感、安全感。

智慧芽数据显示，上海地区关于人工智能相关的专利申请已超4.2万件，其中有效专利占比22.11%，超9400件。从整体申请量趋势来看，近五年上海在人工智能领域技术创新活跃度高，相关专利申请量快速增长。在已有的专利申请类型中，发明专利占了绝大多数，占比90.96%。其中，专利申请量排名第一的机构是上海交通大学，相关专利申请量已超1500件，其中有效专利436件;同济大学、复旦大学在排名中也颇为靠前。这些专利终将落地转化为应用，成为服务城市生活的一部分。

未来会如何?声音可视化、虚拟主持和真人的互动，这些不仅仅是是2021世界人工智能大会的亮点、呈现活动艺术品位，同时也是观众沉淀记忆、社会传播，表现城市活力以及基于数字化转型的城市生活跃升。展现“城中蕴智，赋智为人，人因智惠，城以智美”的转型愿景，是2021世界人工智能大会的核心灵魂。

标签： 艺术化风格 审美追求 设计语言 视觉特效

推荐阅读

猜您喜欢