融云2021 X-Meetup续航上海以场景应用解析音视频技术新方向
2021年5月15日 ， 融云X-Meetup技术沙龙第三站继续上海 。本场沙龙聚焦音视频技术新方向 ， 由融云音视频研发高级工程师姜春雨、时光机器人创始人兼CEO徐晶、融云IM研发中心高级工程师刘佳、学而思网校架构师李亚龙 ， 和资深音视频技术专家栗伟 ， 五位技术大咖出任演讲嘉宾 ， 他们以时下热门应用场景为视角 ， 从技术实践出发 ， 与开发者们交流分享了关于音视频技术的新观察 。
iOS上的音频开发
今年 ， 由于Clubhouse和Tiya的示范效应 ， 语聊房产品大火 ， 音频的开发技术备受开发者的关注 。来自融云的音频视频开发高级技术人员姜春雨 ， 多年专注于移动终端和音频视频领域的技术开发 ， 共享了iOS音频设备开发-Core关于Audio的主题内容 。
融云音频开发高级技术人员姜春雨演讲
姜春雨认为:单从iOS设备来说 ， 要突破这些难点 ， iOS提供的AudioUnit是必不可少的 ， 是一种强大灵活的音响处理技术 ， 支持混合、均衡、格式转换和实时输入/输出 ， 用于录制、播放、离线渲染和实时对话 。融云SDK基于AudioUnit ， 构建了长音效、短音效等多个功能模块 ， 最终在音响设备上完成混音输出 。在场景化实践中 ， 姜春雨以音乐聊天室和百人超大会议室两个典型场景为例 ， 分享了融云SDK的技术开发优化方案 。例如 ， 音乐聊天室重视高音质、美音变声 ， 最好是舒适的噪音 ， 开发人员必须根据这些需求进行算法调整 ， 但是大型会议室的优化要求服务方面的智能发射 ， 多人的声音同时可以智能地选择会议发言人的声音 。
【融云2021 X-Meetup续航上海以场景应用解析音视频技术新方向】姜春雨总结:Audio.Unit是一个强大的音频处理框架 ， 音频处理应基于Audio.Unit框架构建内容 ， 并不断磨练和优化音频处理内容 。未来 ， 融云音视频SDK将不断基于不同场景开发新功能 ， 不断优化音频产品 ， 为开发者提供更好的解决方案 。
构建低延迟高可靠的命令系统
融云作为互联网通信云课程的领先制造商 ， 2020年在业界率先提出了IMRTCUSH的整体通信解决方案 。融云RTC唤起用户的通道就是依赖于IM的SDK信令 ， 因此 ， 本次融云的IM研发中心高级工程师刘佳 ， 分享了《构建低延迟高可靠信令系统的探索与实践》 ， 帮助开发者更好地了解融云IM如何协同RTC ， 提供高可靠的通信能力 。融云IM研发中心高级工程师刘佳
刘佳介绍 ， 高可靠音视频信令系统的构建在IM信令系统设计时 ， 首先要进行服务分层 ， 包括接入层、内部服务和数据存储的分层 。而拆分原则要根据业务差异和服务对象的不同 ， 拆分为API和 CMP ， 整体做到可监控、可维护 。其次 ， 建立完整的监视系统 ， 通过可视化图表 ， 监视网络性能状况 ， 及时处理系统瓶颈 。
关于实现低延迟信令系统 ， 刘佳共享道 ， 融云不仅利用世界性的加速网络 ， 降低网络延迟 ， 还基于融云自有的通信协议降低数据传输量 ， 利用缓存机制 ， 提高服务业务处理速度 。另外 ， 刘佳以缓存设计为例 ， 通过一致性hash提高缓存命中率 ， 高效利用CPU的处理能力 ， 实施异步存储等 ， 也是实现低延迟系统设计的目的 。
基于这些设计要点 ， 刘佳展示了大量并发用户场景下的语言聊天系统结构 ， 为开发人员提供了干货解决方案 。同时 ， 他总结了融云现有音频视频整体服务结构的三大优势:第一 ， 命令服务和媒体服务解除莲藕 ， 两项服务之间也不需要状态同步 ， 第二 ， 媒体服务集中在通信上 ， 命令服务集中能力第三 ， 配置简单 ， 全球媒体服务
实时系统结构设计满足用户实时需求
本沙龙中 ， 音频视频实时场景也是重点话题 。深耕网络音视频12年 ， 在直播领域积累了丰富实战经验的拾光机器人公司创始人兼顾CEO徐晶 ， 通过他的网络直播快速实战 ， 分享了基于直播回答场景的结构设计 ， 特别是一些重要的技术点和对策 ， 以及如何保证直播中的视频和音频质量在
沙龙中 ， 专注于在线教育的学校思考网络学校的构造者李亚龙 ， 对于教育低延迟班的直播场景 ， 给开发者带来了在线教育直播系统构造升级的共享 。他着重从网校视频技术的发展、网校大班直播系统、网校公益直播课、低延迟直播探索这四个方面的设计要点 ， 进行了分析讲解 。对于专注于在线教育的开发人员来说 ， 具有普遍的示范意义 。除了
之外 ， 资深音视频技术专家栗伟还发表了《使用WebRTC构建实时在线课堂》的演讲 。栗伟曾任中国科学院计算所、CC视频 ， 在任期间利用网络RTC技术开发现场直播、在线教室、视频会议等商业产品 ， 用户数达到500万人 。他还主写了《网络RTC技术详细说明:从0到1构建多个视频会议系统》 ， 在这个领域有多年的实践经验 ， 对网络RTC有着非常深入的研究 ， 他的实践共享也给开发者们带来了利益 。
结语
在这次沙龙中 ， 5位讲师的共同特征是他们根据现在受欢迎的场景展开话题 。由此可见 ， 应用场景是讨论音频视频技术新方向的基础 ， 越受欢迎的场景越代表该领域的发展潜力 ， 越需要承载新技术、新产品 。
随着5G的进一步落地 ， 网络带宽、网络质量的优化 ， 音频通信在使用量水平和使用场景中都有更多的可能性 。对于开发者而言 ， 只有及早储备 ， 尽可能多地掌握新技术 ， 关注新方向 ， 才能赢在当下 ， 赢在未来 。
推荐阅读
- 2021年12月因受疫情影响杭州多个寺庙暂停开放
- 20条 平安夜的创意精选短句 2021年平安夜的简短寄语
- 2021年退休工资调整方案开始公布 退休工资改革
- 2021年河北疫情预计什么时候解封？过年前能解封吗？附最新消息
- 2021春节回家过年需要被隔离吗？回国人员和这类人员会被隔离
- 2021年大一报到可以送父母去车站吗？大一报到想退学复读学费会退吗？
- 2021年1月回国机票好买吗？2021年回国还需要隔离吗
- 2021秋季开学前多久做核酸检测合适？2021大学开学后能不能点外卖
- 2021年冬至出太阳了是不是要下雪？2021冬至下雨春节会下雨吗？
- 2021年3月16号以后进京、返京需要7日内核酸检测阴性报告吗？