分享好友 资讯首页 频道列表

关于交通大数据平台的数据架构思考

2021-05-08 00:006590

2021年4月16日,交通运输部印发《交通运输政务数据共享管理办法》的通知,对政务部门在履行职责过程中直接或通过第三方依法采集、产生、获取的,以电子形式记录、保存的各类非涉密数据、文件、资料和图表等交通运输政务数据的共享做出了规范要求,为推动交通运输数字政府建设,助力智慧交通发展,加快交通强国建设奠定了基础。

交通大数据平台建设的政策背景

自2019年9月,中共中央 国务院印发《交通强国建设纲要》,提出要大力发展智慧交通,推动数据资源赋能交通发展;2020年8月,交通运输部印发《关于推动交通运输领域新型基础设施建设的指导意见》也提出要助力信息基础设施建设,完善综合交通运输数据中心,推动跨部门、跨层级综合运输数据资源充分汇聚、有效共享,深化行业大数据创新应用,以数据资源赋能交通运输发展;2020年12月,国家发展改革委 中央网信办工业和信息化部国家能源局联合发布《关于加快构建全国一体化大数据中心协同创新体系的指导意见》,再次提出数据是国家基础战略性资源和重要生产要素,引导数据中心集群化发展,牵引带动数据加工分析等大数据产业生态集聚发展,深化大数据在交通领域协同创新,繁荣数据智能应用。

交通大数据平台建设的现实意义

一系列政策文件出台,逐步明晰基于信息化发展的数据收集、数据加工,是数据赋能传统交通行业促进智慧交通发展的必然路径。以智慧道路为代表的新型基础设施,在进行试点项目的建设模式探索中也深刻意识到,基于大数据的应用层体系是整个智慧交通系统的核心。

湖南长益智慧高速公路体系架构的四个层次【图片来源于2020智慧交通高峰论坛资料-于凯《湖南省长益高速公路扩容工程》】

湖南长益智慧高速公路体系架构的四个层次【图片来源于2020智慧交通高峰论坛资料-于凯《湖南省长益高速公路扩容工程》】

但以大数据为基础的智慧交通产品应用体系建设,需要完善的数据平台和数据共享机制作为支撑前提。目前,我国交通行业信息化水平不断提升,收集存储了大量的交通数据,但各区域数据交换形式各异,形成了一个个信息烟囱,且由于涉及数据安全、数据的资产价值越来越得到认可,跨区域数据交互和数据获取难度大,大数据加工程度低,无法发挥其更强决策力、洞察发现力和流程优化能力。

因此,制定统一的标准、协议、为数据互联互通建立基础,确定数据共享机制,搭建架构清晰的大数据体系和数据平台,实现交通大数据交互,对智慧交通快速、稳健、市场化发展具有重要意义。

大数据平台的数据架构

交通大数据平台汇聚的数据体量大、来源多、类型杂,服务用户类别多样,包括交通决策者、管理者、交通规划师、系统开发人员等,用户需求也各不相同,在进行平台数据架构设计时,必须考虑数据特性,并分析不同用户的使用需求、目的、方式,对交通大数据的应用场景进行归纳分类,建立面向交通应用场景的大数据平台数据架构,解决数据汇聚难、现状分析难、决策支撑难等问题。

结合数据集成原则和数据仓库的面向主体,可以将数据架构分为原始库、标准库和指标库三个层级。

交通大数据平台数据架构【来源于参考文献1】

交通大数据平台数据架构【来源于参考文献1】

01原始库

原始库存储未经过任何处理的原始数据,是数据平台最基础的层级。任何对数据的处理都会带来信息的丢失,为了尽可能地保留原始信息,需要设置原始库,尽可能地保留未经任何处理的原始数据。原始库由平台管理员进行清洗和标准化,一般不直接面向终端用户。

02标准库

标准库存储经过数据清洗和标准化的格式化数据,是交通大数据处理计算的基础。在原始数据中,不同来源的数据可能出现重复、矛盾、字段不一致,经过清洗、融合和标准化,形成统一的标准化数据进入标准库,对用户提供数据服务,用户不需要考虑不同来源之间的数据差异,也不需要再进行数据转换。

03 指标库

指标库存储面向交通业务应用的数据,是用户按维度建模进行统计、计算或汇总形成的具有交通意义的指标数据,如根据浮动车GPS 数据处理、计算、统计汇总得到的路段平均速度、交通流量等能够体现交通运行特征的指标,这类指标可以用于挖掘交通出行规律,支撑交通运行监测,进行交通分析研判,支持交通规划决策等各类应用。

原始库、标准库与指标库的三级层级架构,能够基于分布式大数据计算框架实现多元异构数据的标准化治理,满足不同场景下交通大数据的分析能力和实时服务能力。

结语

科学合理的数据架构能够在交通大数据分析应用时解决数据汇集难、现状分析难、决策支撑难问题。《交通运输政务数据共享管理办法》印发,代表部政务数据共享平台建设工作正式推动,随着政务数据目录编制、平台数据接入、数据申请流程和使用要求明确,将推动交通运输数字政府建设,助力智慧交通发展,加快交通强国建设。

参考文献:

[1]谭章智、丘建栋、易双、傅恺延、林青雅、郑又伦. 场景驱动的交通大数据平台数据架构设计[J]. 交通与运输, 2020, v.33;No.48(S2):67-71.

[2]吴克寒,王芮,高唱,等. 面向城市交通规划的大数据平台构建方法研究[C] . 2019 年中国城市交通规划年会,中国四川成都,2019.

[3]《交通运输政务数据共享管理办法》

[4]《交通强国建设纲要》

[5]《关于推动交通运输领域新型基础设施建设的指导意见》

[6]《关于加快构建全国一体化大数据中心协同创新体系的指导意见》

责编:李震 | 总监:万军伟

反对 0
举报 0
收藏 0
打赏 0
评论 0
Supabase 获8000 万美元新融资,累计融资 1.96 亿美元
Supabase 提供了许多开发人员开始构建应用程序所需的相同核心功能,其主要组件是 Postgres 数据库。

0评论2024-09-26733

科创板大数据与云计算企业Q1:营收放光 股价齐跌
根据上交所披露的公告显示,科创板公司一季度共计实现营业收入981.55亿元,同比增长70.88%;实现归母净利润119.91亿元,同比增长216.40%。截至4月底,科创板一季报正式收官。

0评论2021-05-13754

大数据分析公司Palantir已开始接受比特币付款 并考虑投资加密货币
5月11日消息,据国外媒体报道,比特币价格在去年下半年持续上涨,今年以来持续在高位运行,使不少投资者选择投资比特币,也有多家公司参与投资,并接受比特币付款,电动汽车厂商特斯拉,在一季度就买入了15亿美元的比特币,并在该季出售部分变现,获利超过2亿美元,他们也在考虑接受消费者用比特币付款。

0评论2021-05-13776

以大数据助推新时代党建工作
2019年7月9日,习近平总书记在中央和国家机关党的建设工作会议上的讲话中指出:“要紧扣机关党建时代特点和党员思想行为特征开展工作,积极探索有利于破解难题的新途径新办法,积极探索信息化条件下开展工作的新载体新路数。”

0评论2021-05-13779