适逢空间大数据爆发性增长,大数据时代已经到来,传统国土、测绘、规划领域的业务正在向空间大数据分析转型,2015年国务院印发《促进大数据发展行动纲要》,指出大数据已经成为国家基础型战略资源,运用大数据推动经济发展、完善社会治理、提升政府服务和监管能力正成为趋势,并要求全面推进我国大数据发展和应用,加快建设数据强国。
空间大数据解决方案主要包括五大步骤:
数据接入存储、空间分析挖掘、时空大数据存储、可视化展现、业务系统集成
1、空间数据接入存储:这里包含了数据清洗、数据质检、转换加载的全过程,通过平台提供的工具、模型和方法,结合实际业务需求,进行数据预处理,目的是抽取出适用于接入到大数据平台分析计算的文件型数据源。也就是说,实现了现有的业务数据库与大数据分析计算库相分离。大数据分析数据源接入类型支持:文件型数据、HDFS分布式文件系统、Hive数据源以及云存储(亚马逊S3存储、微软 Azure数据湖);
2、空间分析挖掘:这一步也就是大数据分析场景设计,需要结合数据结构、业务需求,进行分析工具的选择,可以是多种分析工具流程化应用,通过GeoAnalyticsServer集群的分布式计算,能够充分利用硬件资源,使传统几小时甚至几天的计算量,在秒级和分钟级完成;
3、时空大数据存储:空间大数据的两个关键能力是分布式计算和分布式存储,在高效计算的能力下,需要配备分布式、高性能的时空大数据存储,ArcGISSpatiotemporalDataStore通过数据分片存储机制,提供了高效的数据写入和查询检索能力。同时,可以动态增加和减少集群节点,不存在单点故障,保障了业务连续性;
4、可视化展现能力:大数据分析结果可以通过多种方式进行展现和查看,如PortalMapViewer、ArcGISPro、Insights等丰富的可视化展现;
5、业务系统集成能力:大数据平台建设是一个系统性工程,解决具体需求难点很重要,突破以往技术瓶颈很重要,但是整个平台的完整性、流程化也同样重要。空间大数据分析结果均以服务形式提供,可以通过RestAPI、PythonAPI,高效地实现大数据平台的能力展示。
空间大数据价值:
1.大数据已经上升为国家战略,而几乎所有的大数据,都需要而且可以与地理信息数据紧密融合。空间大数据是大数据与地理信息数据的融合体。由此,空间大数据正在全球范围内迅速崛起,给政府用户、企业用户与个人用户提供前所未有的应用价值和服务能力。空间大数据的崛起,带来的远比我们想象的要多得多。“空间大数据崛起给我们带来的是时空大数据,不只是告诉位置,也不只是告诉时间,更重要是有了内涵和内容。这为城市智能化和个人的位置服务提供了非常好的机遇。
2.空间大数据可以分为五大形态,第一是基础地理信息数据,即按照国家标准精准测绘所形成的政府数据;第二是专题地理信息数据,比如地理国情所获取的大量与经济、社会有关的数据;第三是专业地理信息数据,如农业部门、国土部门等专业部门的数据;第四是传感地理信息数据,也是时空大数据里面重要且有活力的部分,并涵盖很多的领域;第五是社交地理信息数据,比如采集的共享单车所走的轨迹等数据。
3.把“一带一路”沿线和区域的大坐标关联起来,形成基础地理数据和系列的地图成果,用于规划、建设、感知,借助互联网时代的物联网、云计算和大数据技术,时空数据在数字空间串接起来,形成物理世界的虚拟再现,支持混合现实的智能化管理,为地理信息产业发展提供全新的渠道和原动力,物联网、云计算、大数据、人工智能的迅速发展,正在催生一个庞大的空间大数据产业链。空间大数据是全球政府管理和经济发展的基础设施,随着产业的迅速发展,空间大数据将会在社会经济的各个领域发挥不可替代的重要作用,尤其是在智慧城市和智慧汽车领域。