AI 技术让古籍数字化回归：AI识别20万页古籍 准确率达97.5%
5月18日，一批珍藏于加州大学伯克利分校的中文古籍善本，以数字化方式回归故土，落地汉典重光古籍平台 。借助阿里达摩院的技术，首批20万页古籍已完成数字化，并沉淀为覆盖3万多字的古籍字典，公众可通过汉典重光平台翻阅、检索古籍 。据悉，达摩院AI对20万页古籍的识别准确率达到97.5% 。
文章图片
“汉典重光”项目由阿里巴巴公益基金会、四川大学、美国加州大学伯克利分校、中国国家图书馆、浙江图书馆合作开展，旨在寻觅流散海外的中国古籍并将其数字化、公共化，让普通人也能亲近古籍，通过古籍与先贤对话，与优秀传统文化对话 。
古籍数字化尝试由来已久，但难度大、成本高 。古籍文字字类多、字体多样，外加流传过程中出现的各类损坏，使得识别难度极高 。由于缺乏充足的训练数据，常规OCR识别方法高度依赖人工，几乎需要专业人员逐字标注，导致古籍数字化无法形成规模效应，总体进程缓慢 。
2019年，阿里巴巴和四川大学提出“数字化回归”设想，四川大学历史文化学院王果副院长与该院教授、中央文史研究馆馆员陈力牵线搭桥，沟通北美、欧洲、日韩等地藏书机构，获得加州大学伯克利分校支持，达成共识，将伯克利东亚图书馆的中文古籍善本逐步数字化 。
据了解，常规的古籍数字化完整流程分为几大环节：采集侧（纸质书变为电子扫描版）-数字化生产侧（电子扫描版变为文字版）-应用侧（文字版变为古籍研学系统，涵盖检索、字典、知识图谱等功能） 。
而达摩院所做的工作，主要集中于数字化生产侧、应用侧两个环节 。在数字化生产侧，达摩院自研了一套全新的AI古籍识别系统，可以规模化、系统化对电子扫描版古籍进行识别 。
达摩院团队通过调研发现，既有技术存在较大瓶颈，AI的古籍识别能力未能达到业界认可的标准，且始终高度依赖人工标注、人工校验 。人工成本已成阻碍古籍数字化的重要原因，今天很难找到众多识得古籍文字的专家来开展浩繁的人工录入和检校工程 。因此，中文古籍数字化的技术进展一直比较缓慢 。
在此之前，达摩院沉淀了完整的OCR技术能力，主要用于解决现代场景中的文字识别需求，比如文档、卡证、表单等识别 。而古籍识别与现代场景的文字识别存在巨大差异，在现代场景下识别准确率超过99%的算法，应用到古籍识别上识别率不足40% 。
达摩院视觉实验室负责人徐盈辉介绍，基于上述原因，达摩院的识别技术并没有走传统OCR的模式，即做行检测、列检测，反而是做单字识别 。
达摩院技术团队与四川大学专家联手研发了一套全新的古籍识别系统 。利用单字检测、无监督单字聚类、小样本学习、主动学习等机器学习方法，构造了一套边识别古籍、边训练模型的系统，在首批数字化的20万页古籍上，达到了97.5%的识别准确率，AI现已能够识别3万类古籍文字 。这套人机交互的识别方案，其效率比人工录入效率提升近30倍，并且大大降低了对录入人员的专业要求 。
徐盈辉介绍，通过视觉手段，让机器学习到单字，字和字之间的差异 。通过这种技术手段，解决了字的聚合问题，解决了字的聚合问题以后，再由四川大学的古籍专家，包括老师带的古籍界的学生们一起帮助做识别检查，同时把专家的建议注入到系统里面 。“我们构建一套先基础感知模块去进行单字表征，单字表征以后做单字聚合，做完单字聚合以后，再由我们古籍专家跟我们系统发生交互，来告诉我们什么做对了，什么做错了 。这个反馈的信息会到我们后台，再进一步的去更新我们的表征模型，我们再会产生相应的单字聚合结果，再回馈给我们的古籍专家，形成这样一个闭环的工作模式 。”徐盈辉说道 。
【AI|技术让古籍数字化回归：AI识别20万页古籍 准确率达97.5%】目前，首批20万页古籍已完成数字化，并沉淀为覆盖3万多字的古籍字典，公众可通过汉典重光平台翻阅、检索古籍 。
在中央文史研究馆馆员、四川大学教授陈力看来，古籍数字化对于原件、文物价值本身也是一种很好的保护 。作为一个开放平台，汉典重光能够为学者提供一个研究平台，同时为普通大众提供一个学习的平台 。陈力说道：“这才是让古籍真正活起来，既能为研究者所使用，也能为我们的普通大众所使用，它对于文化传承来说，意义是十分大的 。”
推荐阅读
- 伺服 “窝工”技术又双叒叕助力中国“太空首单”
- 研制 好消息中国航空航天技术飞速进步，有望彻底打破西方垄断
- 通信技术 轮值董事长徐直军：华为2009年已开始研究5G
- 无限挑战 直接让明星去坐牢？韩国这档综艺实在太猛，我们没办法模仿
- 马伯骞 《心动4》回归，杨超越首次缺席录制，这两位女星加盟却让人炸锅
- 广电 胡可晒安吉小鱼儿上跑男，网友：广电又让未成年人上节目了？
- 红包 两人的感情真好！《创4》龚俊透露张哲瀚发红包让他给吴宇恒撑腰
- 魏彩英 风云四号B星今日成功发射！实现三大技术突破，有效提升我国天气预警能力
- AMD AMD FSR技术被挑出毛病：极限质量下仍有肉眼可见画面损失
- 发射 相比较嫦娥4号来说，英称这颗卫星更具威胁，美方希望公开技术！