文章图片
以深度学习框架为例 ， 我们能注意到的一个标准化的趋势是接口的标准化 ， 工程师最喜欢PyTorch的接口算法 ， 我们会发现所有的框架在API设计层面都去学它 ， 各个框架之间有迁移的需求 ， 训练和部署不是用的同一种框架 ， 中间格式的标准化其实也在发生 ， 每个框架自己做的IR都大同小异 。
硬件层面 ， 虽然芯片市场也打的如火如荼 ， 但是API设计层面也越来越像 。 首先大家的API应该会模仿CUDA ， 图编译器层面也有一些标准化的趋势 ， 有一些通用组件出现 ， 比如MLIR 。 这些芯片和上层软件对接的接口比较一致 ， 从芯片到集群层面的架构也非常接近 。
技术平台的话 ， 有的人会有痛点——如果个人要搞一台服务器去装框架 ， 会发现要处理驱动、版本 ， 装好几个框架 ， 可能还有冲突；训练模型的时候 ， 有一些文件访问可能在别的网络文件系统 ， 如果这个服务器是多个用户共享的话 ， 还要协调时间 ， 可能还涉及到数据权限 ， 文件隔离等等一系列问题 。 但现在也出现了K8S、Docker这些越来越标准化的解法 ， 有的企业会需要弹性扩容 ， 有的在私有云上去用 ， 有的偶尔需要扩容去公有云用等 ， 这需要多云的支持 。
我们探讨深度学习的本质和局限性提到的调参问题 ， 在实际落地业务的时候也会涉及到 ， 比如哪些模块用AI解决 ， 哪些模块不用？要标多少数据 ， 怎么标这些数据？模型用CNN、BERT ， 还是用Transformer？这样一系列问题 ， 比较大的企业可能已经发现和沉淀出了一些最佳实践 ， 有的东西不需要工程师去重复踩坑 。
最近有个比较热门的词叫MLOps ， 一系列原则和理念都准确应对了上面提及的问题 。 比如 ， 它能自动化 ， 有很多模型、超参 ， 能跟踪每个模型训练中间的结果和过程 ， 能debug ， 能测试监控可视化 ， 将这些持续集成 ， 训练完之后自动上线 。
文章图片
我们会看到 ， 从数据准备、模型加工到测试监控、资源管理 ， 所有这些标准化之后 ， 在一个平台上就可以完成 。 算法科学家或业务人员在这样的平台上去工作时 ， 使用最少的算力成本 ， 同时流程又非常科学 ， 工作效率最高 ， 人力成本极大的降低 。
我们相信标准化的趋势 ， 从框架标准化到平台标准化、工作流标准化 ， 要在不久的将来 ， 能给企业客户提供一个像现在使用数据库一样的AI产品 ， 传统企业不需要有非常专业的科学家 ， 只要懂接口 ， 通过非常标准化的操作 ， 就能获得 AI的能力 。
历史总在重演 。 数据库几十年的历史形成了非常大的产业 ， 现在结合云又有新的商业机会 ， 数据库经历了什么 ， 对人工智能产业化也很有启发 。
推荐阅读
- 产品|泰晶科技与紫光展锐联合实验室揭牌
- 空间|（科技）科普：詹姆斯·韦布空间望远镜——探索宇宙历史的“深空巨镜”
- 相关|科思科技：无人机地面控制站相关设备产品开始逐步发力
- 机身重量|黑科技眼控对焦23年后回归，升级！ 江一白解读EOS R3
- 公司|科思科技：正在加速推进智能无线电基带处理芯片的研发
- 项目|常德市二中2021青少年科技创新大赛再获佳绩
- 视点·观察|科技巨头纷纷发力元宇宙：这是否是所有人的未来？
- 技术|聚光科技旗下临床质谱仪获批医疗器械注册证
- 视点·观察|科技股连年上涨势头难以持续：或已透支未来涨幅
- 视点·观察|科技行业都在谈论“元宇宙”，可是它还不存在