6月6日 ， 2021全球人工智能技术大会“发展与挑战”专题论坛在杭州举行 。 快手技术副总裁、MMU&Y-tech负责人王仲远出席论坛并发表《音乐与技术的碰撞交融——艺术如何随时代变迁》主题演讲 ， 分享快手在AI音乐方面的动态与进展 ， 充分展现快手领先的人工智能技术 ， 以及AI音乐为短视频带来的强大助力 。
文章图片
AI技术+音乐深度融合 ， 快手持续提升短视频观看体验 作为国民短视频APP ， 快手拥有海量内容、超大流量和高用户粘性 。 数据显示 ， 平均每月快手用户上传的短视频数量超11亿 ， 整体日活达3.7亿+ ， 用户平均每日在快手平台观看短视频和直播内容的时长近100分钟 。
在丰富的快手社区生态中 ， 音乐成为激励用户创作的因素之一 。 在快手 ， 76%的快手作品有配乐 ， 90%的快手用户期望大部分短视频有配乐 。
为何用户在创作短视频时 ， 对于音乐有如此强的依赖性？王仲远表示：“对于短视频的制作体验而言 ， 音乐的正向影响至关重要 。 比如唯美风短视频如果去掉背景音乐只剩原始声音 ， 就会削弱其氛围感 ， 给用户留下与之前截然不同的印象 。 ”
文章图片
对此 ， 王仲远进一步分析了音乐的独特魅力 。 在他看来 ， 音乐可以与人的思想情绪联系在一起 ， 能够让人感到欢喜 ， 感到悲伤 ， 感到期待等 。 当中国人听到春节序曲时 ， 往往会产生一种春回大地、万物复苏的感受 ， 央视春晚主持人的开场词也不自觉在脑海中浮现 。
作为一种具有魔力的艺术表现形式 ， 音乐也随着技术的发展而产生新的形式 。 在工业化时代 ， 制造工艺的改进使得乐器可以发出的声音更加丰富、层次化 。 在电子化时代 ， 电子技术的发展创造出自然界机械无法发出的声音 ， 音乐的表现力更加多元化 。
如今 ， 步入人工智能时代 ， AI技术则帮助音乐实现全面的个性化和智能化 ， 为音乐和短视频带来了新的发展空间 。 据王仲远介绍 ， 前段时间火爆全网的《蚂蚁呀嘿》正是将音乐和视觉AI技术进行了创意融合 ， 用户只需要一张照片就可以自动生成诙谐好玩的动态唱歌视频 ， 再加上魔性的BGM ， 很快成为短视频用户争相创作的模板 。
AI技术推动音乐大众化 ， 快手自建模型还原专业级演唱 在技术的加持下 ， 音乐制作进入大众化时代 。 如何帮助更多用户创作出个性化的音乐？快手自主研究了AI音乐创作模型和AI歌手 。
从音乐制作流程上来看 ， 大多偏向于流水线化、工程化和模块化 ， 首先是把握创作动机 ， 然后进行作词、作曲 ， 之后进行编曲 ， 最后录音和混音 。 而通过快手搭建的AI模型 ， 其中的每一步都可以借助AI完成 。
王仲远表示：“在AI时代 ， 动机变得十分简单 。 把随机关键词输入快手AI音乐模型中 ， 模型就能把词转换成动机的一种表示 ， 乃至于各种初始化的音乐 。 ”
文章图片
确定好动机之后就可以利用快手AI模块生成歌词 。 在AI歌词方面 ， 快手针对数百万已有歌曲对模型进行重新训练 ， 以确保AI可以很好地理解词义 ， 让用户只需输入一个主题、一个情感、一个风格 ， 就能在数秒内生成数十首歌词 。
在AI旋律的创作上 ， 快手也采用类似方法 ， 搭建了数十万首曲谱和百万首歌曲音频训练模型再通过迷你数据库让模型自监督学习歌曲的内在关联 ， 从而训练AI旋律生成的能力 。
文章图片
据了解 ， 快手邀请了平台内的音乐人使用AI模型来创作新歌曲 ， 已创作的流行音乐有《甜甜的味道》《夜》《勇往直前》等 。
录制一首高质量的成品歌曲 ， 对歌手的演唱水平要求极高 。 为了解决部分用户面临的唱歌跑调、音色不好听等问题 ， 快手则推出了AI歌手辅助创作功能 ， 并不断提升其模型的精准度 。
据介绍 ， 2020年5月 ， AI歌手的演唱还是KTV水平；到2020年12月 ， 普通人已经很难发现AI歌手演唱中的瑕疵；如今 ， 模型会根据曲谱自动调整音高、节拍和歌词 ， AI歌手可以逼真地还原出专业级歌手的演唱水平 。
【模型|快手技术副总裁王仲远：快手以AI技术推动音乐大众化发展】演讲最后 ， 王仲远表示：“未来 ， 快手还将探索更多新技术 ， 丰富生成侧的玩法 。 借助语音识别技术 ， 快手希望AI歌手将来可以模仿个人音色 ， AI音乐则能够把说的话直接转成歌曲 ， 满足用户更个性化的音乐创作需求 ， 持续助力短视频领域创作 。 ”
推荐阅读
- 技术|“2”类医械有重大进展：神经介入产品井喷、基因测序弯道超车
- 选型|数据架构选型必读：2021上半年数据库产品技术解析
- 技术|使用云原生应用和开源技术的创新攻略
- 技术|聚光科技旗下临床质谱仪获批医疗器械注册证
- Apple|苹果高管解读AirPods 3代技术细节 暗示蓝牙带宽可能成为瓶颈
- MateBook|深度解析：华为MateBook X Pro 2022的七大独家创新技术
- AirPods|苹果谈论AirPods 3：最大榨取蓝牙技术，希望获得“更多带宽”
- 人物|印度人接管硅谷的背后：技术军团整体作战
- Intel|Intel谈DDR5内存价格贵、缺货问题：新技术升级在所难免
- Tesla|特斯拉新款Model S电池体积小能量密度高 外媒揭秘三大关键技术