郭毅可教授（右）和Johnny M Poon教授（左）接受项目资助

郭毅可院士在该次课程上介绍到的研究项目，由郭毅可及港科大协理副校长Johnny M Poon教授共同领导。该项目“香港人机共生艺术创造平台技术” 为期五年, 这是研究资助局首次为艺术科技项目分配大量资金。研究团队将开发共生创造力的平台技术，为人类提供无限的艺术内容，包括艺术数据存储库、人工智能（AI）创意算法系统、数字艺术以及一些独特的创意应用项目，开创艺术科技新时代。“这个研究项目获得研究资助局资助，显示香港高度重视发展以人工智能为基础的艺术创意科技。该项目站在艺术与科学联系的最前沿，利用科学技术的力量促进艺术创作中人类与人工智能的互动。它将为人类和机器创造的艺术开辟一个新的方向”， 郭教授介绍到。

《圣保罗页报》媒体报导 （点击‘阅读原文’可查看原报道）

郭毅可的演讲和该研究项目受到了国内外媒体的广泛报道。巴西以及南美洲发行量最大的报纸 Folha de S. Paulo 《圣保罗页报》对该演讲做了特别宣传，该新闻的作者为葡萄牙诺瓦商学院（NOVA School of Business and Economics）客座教授Rodrigo Tavares，他在2017年被世界经济论坛（World Economic Forum）被授予年轻全球领袖（Young Global Leader）称号。报道的部分内容如下：

“不要害怕，它很美”，中国教授郭毅可带着顽皮的微笑说，他正在展示由人工智能（AI）创建的第一个艺术创作平台。这不是一个用于重新生成已由人类创造的无限数量艺术作品的系统，而是一个让机器有意识地共同创作艺术的平台。这一演示是在香港进行的，受众是世界经济论坛的30位余全球领袖，在香港科技大学（HKUST）的人工智能专业课程期间进行的。“我们消费的艺术作品什么时候将由机器干预来创作？”  有人在听众中问道。“五年”，郭毅可教授回答道。“但这不会导致机器取代艺术家，而是共同创造独特、美丽和个人化的东西。”

郭毅可及其在HKUST的团队正在开发他们所称的“人机共生艺术创造平台技术”。该平台将为人类提供无限的艺术内容，包括艺术数据存储库和人工智能创意算法系统，旨在开启艺术技术的新时代。该平台将在沉浸式和互动式的扩展中现实艺术创作和欣赏过程中捕捉人类数据，包括艺术家和观众的认知、情感和生理数据，如脑波、体温和心率、步态和动作等。因此，它在算法上映射了人类体验，包括人在创作时的感受以及人在接触所创作的东西时的感受。根据他的说法，这一调查的层次要比人类对自己进行的自我诊断要高得多。对于所创作作品的“喜欢”或“不喜欢”超越了抽象、随机或直觉层次，而是在数学层次上详细记录下来。比如，机器会记录下观众在听音乐家在乐团演奏时的感受，而这对坐在观众席上的人类来说是察觉不到的。除了音乐家，各种类型的艺术家都可以被制作成个体模型：作家、画家、舞者、电影制作人，将能够创建个体模型。然后，该平台将这些数据转化为认知、情感和行为模式的描述。研究人员将艺术作品与这些描述符关联并链接，以建立一个用于训练人工智能模型的全面和广泛的数据存储库。这就是使机器能够学习人类美学并创建开创性作品，而不仅仅是模仿人类创作的艺术。

在演示中，郭毅可详细解释了图像/视频、音频、运动和文本的艺术创作背后的科学。他还给出了他的实验室正在准备的世界上无数例子。根据他的说法，他的目标不是要创建一台能通过图灵测试通过的机器艺术家，而是比人类艺术家更好。20世纪50年代，英国计算机科学家艾伦·图灵（Alan Turing，1912-1954）提出了一项测试，用于确定计算机是否能够思考。如果一个人在获得来自人类和机器的回应时无法区分它们，那么可以得出结论认为机器是智能的。但郭毅可不希望他的机器创作出与人类艺术家的无法区分的艺术。模仿人类才华不是他的目标。他的目标是创建一种新的艺术创作体验。

但从实际角度来看，郭毅可和他的团队正在开发什么？

该平台创建了世界上第一个双重数字唱歌系统。在对大量歌手（包括一些著名的歌手，如席琳·迪翁）的美学、情感和技术进行建模后，该系统允许任何人以与席琳·迪翁相同的质量水平演唱。它的工作原理是这样的：只需录制‘我’的声音100秒，我就可以以与席琳·迪翁相同的美学、情感和技术质量演唱，对听众产生相同的感觉影响，但使用我的语言和我的语言标记（音色、音域、唱法等）。任何人都可以成为职业歌手。这种机器和人类之间的融合创造了独特的艺术身份，可以在法律上受到保护和货币化。由于输入声音不同，输出的歌声也是独特的和个性化的。这一经历还可以获得视觉维度，因为我的独特的身体特征和面部表情也可以被记录和操作，以创造独特的物理呈现。该系统相对于由人工智能生成的声音模仿软件表示了重大进展，例如那些最近出现在美国的具有特拉维斯·斯科特、萨维奇或德雷克音乐声音的声音。

该平台还拥有世界上第一个和最大的三维拉邦符号轨迹数据库。鲁道夫·拉邦（Rudolf Laban，1879-1958）创建了一个运动注释系统（Labanotation），提出观察运动的四个组成要素：身体、努力、平面和空间。使用所接收的输入——文本、视频或图像、音乐或生理信号——来生成3D运动。任何人都可以成为职业编舞者。机器将创造出表达编舞家的物理和情感敏感度的舞者和舞蹈动作。郭毅可将这一领域称为“MotionGPT”，并向听众展示了巴赫的例子：舞者根据人类创作者的技术期望、生理表达和敏感度自动跳舞。通过结合生成文本、音乐和运动的能力，郭毅可还计划创建电影，或者他称之为AI电影（AIM）。该平台将创建剧本（情节、角色图像、对话、动作、情感）、场景生成（静态图像、动态场景、动态照明、摄像机运动）、物体生成（纹理、结构和交互）和角色生成（面部、身体、服装）。结果，AI将生成对白、表现动作、情感和声音。任何人都可以成为职业电影制作人或演员。

2024年，HKUST的机器将在中国、奥地利和英国巡回演出《四季》重新创作瓦瓦尔第。AI舞者和人类舞者将同时进行现场表演，一名AI制片人将实时创建一个沉浸式电影，AI歌手将演唱根据观众愿望自动生成的歌词，AI指挥将呈现新的编曲，以适应巴洛克乐曲到21世纪的共生创作，机器和中国中央音乐学院交响乐团之间的共生创作通过观众的情感和生理阅读来创造最高期望和坐在观众席上的个人特征的艺术表现。

我们阅读的书籍将根据读者和/或作者的感觉、情感和期望的实时收集而自动编写。如果我们愿意，所有文学作品都可以成为杰出的艺术作品，是马查多、托尔斯泰和卡缪的最高水平的混合体。所有这些都将根据我们的兴趣和敏感度进行全面定制。没有两本书将相同。在音乐、绘画、电影和歌剧领域也会发生同样的情况。这些独特的经历将成为作品的新定义——个体化和可销售。作为消费者，将能够购买专为/与泰勒·斯威夫特合作制作的书籍和为/与玛格丽特·阿特伍德合作制作的歌曲。这将是一种独特的方式，以最大的细节来了解他们的敏感度。

当被问及他的工作的伦理界限以及他希望入侵唯一可能是人类的领域时——艺术时，郭毅可认为，他的研究代表了一个将从根本上改变创意产业和文化的革命。他含蓄地表示：“我不想杀死艺术家，我希望每个人都能成为艺术家。”他强调：“我不希望科学进入艺术领域并毁掉它，我不希望科学家成为艺术家，但我希望艺术家拥抱科学和技术。当我们团结科学家和艺术家时，我们将最大化人类的条件。” 在他看来，技术是人类创造力的激发器，将其推向个体或集体水平无法达到的高度。他的工作的具体应用被称为“Al超级艺术家”、“AI共情共享思维”和“共生歌剧”。在这三个维度中，艺术制作是由艺术家、观众和机器以和谐、整合和实时的方式进行的。

历史上存在着可有益和可破坏的技术，如核能、基因工程、无人机或人脸识别。为了使艺术创作达到创意的新高度，电影和娱乐产业（950亿美元市场）、音乐（280亿美元）或艺术（680亿美元）等现有产业将不得不被解构和重塑，这将对涉及的专业人员产生痛苦的影响。中国教授在讲座中三次提到了物理学家J·罗伯特·奥本海默。即使您的工作旨在创建书籍、交响乐、绘画、编舞或电影，所有这些人形、历史和物质概念都需要重新定义，以便在人类和机器之间的共同作者环境中使用。由机器合著的书是否仍然是原始版本的书？“书”这个词，源自拉丁语“liber”，指的是制作纸张的原材料。如今，艺术是人类主观性的表达。HKUST的研究也没有区分数量和质量。随着资源提供更多，创作的潜力也会增加。但呈现艺术、高质量艺术，是另一回事。

直觉上，我们预期AI只能创建艺术，如果它借用了已由人类创作的大量艺术作品以找到新的模式和方法。这就是ChatGPT或Claude在文本或DALL-E-2、MidJourney和Stable Diffusion在图像领域所做的。从表面上看，这已经在视觉和文学艺术领域发生了。数百万的图像和成千上万的书籍都是用AI编写的，尽管一些法院开始裁定这些作品不能受版权保护，因为它们不是由人类创作的。必然地，这种由AI进行的占用引发了许多伦理和法律问题。 在郭毅可的演讲后的第二天，“权力的游戏”的创作者和其他16位作者起诉OpenAI进行“大规模和系统性的侵犯”版权。这家美国公司在没有法律授权的情况下依赖于无限数量的版权作品来制作新的方法。就此，一些艺术家对人工智能侵占他们的领域表示担忧。

如果艺术和人工智能之间的结合只能以这种方式实现，那么机器只能基于已有的一切来创建新的东西。机器将没有成为未来派、先锋、真正的实验家的机会。创作的力量将仅限于过去的经验，正如哈佛教授所强调的那样。最终，我们还可以想象，机器有一天可能会完全独立于人类，发挥自己的艺术能力。从表面上看，这也是已经发生的。1952年，英国计算机科学家克里斯托弗·斯特拉奇在曼彻斯特马克1号计算机上创建了一个自动生成诗歌和情书的程序。

但来自HKUST的研究反映了比前两个假设更高级的水平：人类和机器将融合以制作艺术。这种共生的结果可能比任何艺术家已经创作的更好。技术将使艺术家能够访问更多和更好的创作工具。“人类创造智能机器，智能机器创造更聪明的人类，人类总是领先一步。” 郭毅可教授总结道。

郭毅可的团队包括认知科学家、人工智能和数据科学家、媒体科学家、伦理和艺术政策专家，既有中国研究员，也有与西方大学（如耶鲁大学、剑桥大学、伦敦帝国学院和肯特大学）有关的研究员。微软、华为和香港歌剧是合作伙伴。郭毅可被认为是最有才华的中国计算科学家之一。

郭毅可，计算机科学家，英国皇家工程院院士、欧洲科学院院士、香港工程科学院院士, IEEE 会士，曾任英国帝国理工学院数据科学研究所所长、香港浸会大学副校长（研究及拓展），现任香港科技大学首席副校长、计算机科学及工程学系讲座教授，英国帝国理工学院教授。郭毅可院士同时也担任全英清华校友会的会长。近日，郭毅可教授因其卓越的科研贡献，被清华大学聘用为 “杰出访问教授” ， 聘期三年。