可视化通过图像迅速吸收、消化数据并把特征信息形象的传递给我们 , 使我们能够直观、快速的获取信息 , 让数据开口讲故事 。 然而 , 随着数据越来越大 , 怎么画数据成为了一个难题 , 想要让可视化成为“指哪打哪的望远镜” 。 未来的可视化是什么样子?可视化有哪些实际应用?
出品:格致论道讲坛
以下内容为中国科学院计算机网络信息中心研究员单桂华演讲实录:
可视化是什么?其实可视化离我们很近 , 比如堪称年度恐怖大片的支付宝账单 , 年年刷爆朋友圈 , 大家可能都被吓到过 。
这是因为可视化太直观了 , 它们把数据转化为形象的图表 , 让人们一目了然、快速地获取信息 , 可以追踪自己的饮食和消费习惯 , 于是人们看完就想剁手 。
当然还可以复杂一些 。 这是大家熟悉的excel数据表 , 它记录的是世界银行统计的各国GDP的历史数据 。
密密麻麻的几页 , 给我们一天的时间也很难发现里面有什么规律 。 那我们把它可视化出来看看 。
可以看到各个国家不同年度的GDP值和排序变化 , 美国遥遥领先 。 总体来说 , 各个国家的GDP值都在增长 , 增长的快慢决定其排名的变化 。
中国上下徘徊几次后 , 从1990年开始就义无反顾往上窜 , 势头很猛 , 直到2010年稳定在第二 。
我们还可以跟这个图进行交互 , 如果很想看看法国和中国 , 我们就可以选中它们 , 重点看它们的变化和相互关系 , 可以看到中国在哪一年超越了法国 。
这就是可视化 , 把隐藏在数据中的规律化作直观的图像 , 让数据开口讲故事 。 这里用到的是最简单的可视化元素——柱状图 。
数据的表现形式——统计图
说到柱状图 , 我们不得不提一个重要的人物——威廉·普莱费尔 , 他是苏格兰一位非常有名的政治经济学家 。
两百多年前他就意识到一个现象:那些身居高位、业务繁忙的商人只需要关注一些统计结果 , 根本不需要大费周折去研究具体细节 。
于是他设计出世界上第一个柱状图 。 世界上第一台计算机是1946年才问世 , 所以这个柱状图是纯手工绘制 。
上图展示了苏格兰与其它各国的进出口贸易额 。 17年后 , 他又再接再厉 , 创造了世界第一个饼图 , 曲线图 。
这个饼图展示了土耳其帝国当时在非洲、欧洲、亚洲所占领的土地面积 。
这个曲线图展示的是英国与北美的进出口贸易差 。 虽然这些是200年前绘制的图表 , 但这些表现形式我们到现在还经常使用 , 可见这位普莱费尔的伟大 。
这张图很像盛开的玫瑰 , 它有一个美丽的名字——玫瑰图 。
故事发生在1855年 , 克里米亚战争期间 , 英军伤亡惨重 。
当时一个叫南丁格尔的战地护士 , 她通过搜集数据 , 发现很大部分死亡原因其实并非是“战死沙场” 。
而是因为在战场外感染了疾病 , 或是在战场上受伤 , 却没有得到适当的护理 。 于是她设计了这个玫瑰图 。
把圆分成12分 , 代表十二个月 。
蓝色面积表示死于感染的士兵 , 红色表示死于战场的重伤 , 灰色表示其它原因 。 很明显 , 蓝色区域的面积明显远大于其他区域 , 这张图一目了然地揭示了战士死亡的真正原因 。
南丁格尔把这份结果呈现给军队和维多利亚女王 , 促成了世界第一座战地医院的建立 。
也正因为有了战地医院及时的医治与护理 , 死亡率从42%减低到2.2% , 可以说这张图挽救了很多战士的生命 , 这也足以证明可视化对信息传递的重要性 。
无论是柱状图饼图还是曲线图玫瑰图 , 从本质上来说 , 都是统计结果的可视化 。 统计对分析当然很重要 , 但是光有统计是不够的 。
图中有四组数据 , 每组数据都不一样 。
当我们用通常的统计方法来看这个数据的时候发现 , 它x轴的均值y轴均值 , 方差、相关性系统值都完全一样 , 看不出任何差别 , 很多特征信息都丢失了 。
看来统计方法是不行了 , 那我们用更高级的可视化方法试一下 。
我们把这些数据画出来 , 就能一眼发现它们的不同 , 有九个点状的、有X形的、有五角星形状的 , 特别是第四组是一只可爱的恐龙 。
很有意思 , 可视化通过图像迅速吸收、消化数据并把特征信息形象的传递给我们 。 可是当数据越来越大 , 故事越来越复杂 , 怎么画数据就是一个难题了 。
如果我们像刚才画恐龙那样把数据直接画出来 , 问题又来了 , 什么也看不见 , 所以我们需要研究新的可视化算法 。
“体绘制技术”可以帮我们穿透这团迷雾 。 通过这种方法可以清晰地看到它是一只手 , 还可以透过皮肤 , 看到血管与骨骼 。
可视化的实际应用
一个天文学家给我们的140亿年宇宙演化的模拟数据 , 大概有90TB的数据量 , 我们翻一年也翻不完 。
这么大的数据 , 这么复杂的故事 , 需要用到超级计算机和各种复杂的可视化算法 , 才能把它里面隐藏的特征信息形象的表达出来 。
天文学家只能把它们画成简单能量谱的曲线 。
当我们把它可视化出来的时候 , 跟我们合作的天文学家震惊了 , 这是他们第一次可以直观地看到自己模拟的整个宇宙及其动态演化 。
上图是这个数据的可视化结果 , 就是我们现在宇宙的样子 。
这些星系经历了140亿年的穿行 , 形成现在的各种星系团结构 , 这些星团之间有一些丝状结构的连接在一起 , 也许左下角飞过的小亮点就是我们的地球 。
这个是最大的星系团 , 是我们银河系的一万倍 , 我们可以清晰地看到它的内部层次 , 它通过140亿年不断吞噬合并其它星系而形成了现在这样一个庞大的天体结构 。
天文学家还想看看这些大星系团是怎么一步一步演化而来的 。 于是我们可以挑出天文学家感兴趣的局部的区域 。
可以看到 , 一开始粒子均匀分布 , 后来在引力的作用下 , 逐渐成各种不同的小团 , 大团直接吞噬小团 , 两个相当的大团相互碰撞 , 合并最终形成一个超大的星系团 。
天文学家还需要进一步分析其中的一个小的星系团 , 想看看它们在这场大的演化运动中 , 怎么由小小的几个星系团合并 。
我们可以看到 , 刚开始 , 慢慢形成几个小团 , 然后合并 , 之后几度险些被冲散 , 最终有惊无险顽强地合并在一起 。
有了可视化 , 天文学家不费吹灰之力 , 就有了一台指哪打哪的望远镜 , 而且还可以穿越历史 。
当然要实现这些 , 我们突破了一系列关键技术 , 从数据组织与压缩、并行与GPU加速绘制、色调映射、所见即所得的时序分析及特征结构挖掘等一系列算法来做支撑 。
黑洞也是天文学家特别关心的问题 。
我们都知道黑洞无限制吞噬吸收周围的物质 , 实际上在这个过程中也会产生高速的喷流 。
2013年欧洲XMM牛顿太空望远镜发现了黑洞会喷射重金属流的现象 。 这些现象的背后的具体机制是个不解之谜 , 也是天文界的重大科学问题 。
如果想要研究这个问题 , 首先需要用计算机来模拟这个现象 。
中科院上海天文台的科学家们想要进一步研究它的机理 。 但是模拟的结果对不对 , 模型算法合不合理 , 没有标准去验证 。
同时 , 对于粒子是怎么进入黑洞 , 他们内部也有不同的看法 。
所以他们找到我们 , 问我们有没有什么办法让他们直观看看数据 , 来验证他们的方法 。
我们为他们定制了这样一个可视化的工具 , 帮助他们直观地分析数据 , 看看物质是怎么进入黑洞 , 以什么样的轨迹进入黑洞 , 有没有物质喷射出来 , 如何喷射出来 。
采用轨迹线的方法 , 手动在他们感兴趣的区域撒点 , 就像我们在河里撒一些泡沫以观察河流的缓急 。
我们可以清楚到看到粒子是怎么运动的 , 在哪儿开始被吞噬 , 正如科学家期待的那样 , 这里确实有物质喷出 。
我们都知道洋流对海洋航运 , 气候、地理环境都有很重要的影响 。 可是面对茫茫的大海 , 观测资料很少 , 科学家迫切需要清楚地看到整个海洋的洋流情况 。
直到有了卫星 , 有了超级计算机之后 , 我们才得到了更准确高精度的模拟数据 。
将这些数据可视化可以让科学家直观地看到上图的画面 , 这对科学家来说是非常关键的 , 因为他们能清楚地看到洋流的速度、方向、温度变化情况 。
比如说图中这些涡和流 , 它们的相互作用但对科学家来说意义重大 。
【数据可视化|90TB数据,如何还原140亿年宇宙演化过程?】通过可视化我们甚至还可以观测海洋污染 , 比如石油泄漏 , 潜水艇可以更加安全地航行 。
我们经常遇到雾霾天 , 可能你们没有从这个角度来看过雾霾 。
这是中国局部地形图 , 红色代表北京 , 黄色代表武汉 , 中间就是雾霾 , 不同的颜色代表不同浓度 , 底层像河流一样的代表大气的风场 。
通过这样的可视化 , 科学家从这里可以看到雾霾是怎么在风场和地理环境的影响下 , 从北京传输到武汉的 。
这对他们理解雾霾的传输过程很重要 , 可以更好地揭示不同地区间雾霾发生的相互关系 。
我们不仅帮助大气学家来寻找雾霾来源 , 也在辅助物理学家去寻找清洁能源 。
核能就是一种清洁能源 , 但是核废料却对环境有污染 , 处理核废料 , 国际上最有效的方法 , 就是利用ADS嬗变系统 。
它可以用核废料发电 , 还能解决核辐射问题 。
中科院近代物理所牵头研究这一技术 , 以上是他们委托我们做的嬗变系统的可视化 。
这些粒子正在直接加速器上冲刺 , 下方条状图显示 , 一开始 , 粒子团变化巨大 , 在加速过程中慢慢趋向稳定 。
管道中 , 红色和蓝色的椎体是不同的磁极 , 这些磁极的强度与分布 , 还有粒子的初始速度 , 都是可以调节的 。
科学家可以直观地看到这些数值调节以后的效果 。
目前 , 该研究工作已成功结题 , 正转化为国家大科学装置 , 准备开工建设 。
最后说说大家都熟悉的高铁 。
其实 , 高铁投入生产之前 , 科学家需要做很多工作 。
比如 , 为了以最少能量获取最高的速度 , 我们需要让尾部的涡旋尽可能地小 , 这样行驶过程中的阻力更小 。
我们要从高铁尾部产生的海量流线里 , 帮助科学家找到最感兴趣的尾部涡旋 , 也就是大家看到视频当中运动的曲线 。
在这个过程中 , 科学家通过可视化 , 可以看到不同参数情况下涡旋的大小变化 , 就可以辅助高铁的设计优化 。
未来的可视化会是什么样子呢?
可视化也许会脱离屏幕的限制 , 真正走到我们面前 , 或许你一个动作 , 一个眼神 , 就可以进行可视化的互动 , 就跟现在科幻电影里的场景一样 。
我相信 , 这一天很快就会到来 。
“格致论道” , 原称“SELF格致论道” , 是中国科学院全力推出的科学文化讲坛 , 由中国科学院计算机网络信息中心和中国科学院科学传播局联合主办 , 中国科普博览承办 。 致力于非凡思想的跨界传播 , 旨在以“格物致知”的精神探讨科技、教育、生活、未来的发展 。 获取更多信息 。 本文出品自“格致论道讲坛”公众号(SELFtalks) , 转载请注明公众号出处 , 未经授权不得转载 。
推荐阅读
- 区块|面向2030:影响数据存储产业的十大应用(下):新兴应用
- 选型|数据架构选型必读:2021上半年数据库产品技术解析
- 殊荣|蝉联殊荣!数梦工场荣获DAMA2021数据治理三项大奖
- 数据|数智安防时代 东芝硬盘助力智慧安防新赛道
- 平台|数梦工场助力北京市中小企业公共服务平台用数据驱动业务创新
- 数据|中标 | 数梦工场以数字新动能助力科技优鄂
- 建设|数据赋能业务,数梦工场助力湖北省智慧应急“十四五”开局
- 市民|大数据、人工智能带来城市新变化 科技赋能深化文明成效
- 趋势|[转]从“智能湖仓”升级看数据平台架构未来方向
- 数据|天问一号火星离子与中性粒子分析仪首个成果面世