智慧黄山时空大数据建设与应用实践

　　摘要:基于时空大数据技术、面向服务模式、高性能计算和分布式计算等相关理论和技术，本文设计并实现了时空大数据平台，集合了时空数据整合、处理、存储、分析、可视化等功能，并具备后台资源弹性分配和管理能力。规划了适合本地情况的时空大数据重点应用方向，基于大数据空间分析模型，分析了土地利用现状数据变化情况;运用机器学习的方法构建地价预测模型，实现了远期地价预测能力;利用大数据分析及存储手段，实现了基于手机信令数据的旅游景区流量分析。为黄山市提供了统一的时空大数据服务基础设施，并为智慧城市全面应用积累了经验。

　　关键词:智慧城市;时空大数据;云平台;数据挖掘

　　0引言

　　随着数据密集型时代的到来，城市管理与建设环境发生了变化，新形态的城市精细化运营和发展面对巨大挑战。当前正在建设的智慧城市是在数字城市的基础框架上，通过物联网将现实的城市与数字城市进行有效融合，自动和实时地感知现实城市中人和物的各种状态和变化，基于时空大数据挖掘技术由云计算中心处理其中海量和复杂的计算与控制，为经济发展、城市管理和公众生活提供各种智能化的服务[1]。

　　智慧城市时空大数据云平台作为城市可持续发展的 需求与新一代大数据技术、地理信息技术相结合的产物，保证时空大数据能力与服务的可持续发展，迫切需要通过构建时空一体化的信息模型，将人类知识物化到信息化条件下的城市规划、建设、管理、运营和发展等各项活动中，形成不依赖人或少依赖人的智能化解决方案，才能解决目前城市海量信息资源的逻辑离散、多源异构、低可用、空间化利用不足等问题。

　　1发展现状及存在问题

　　在我国，地理空间信息基础设施在数字城市阶段称为数字城市地理空间框架。原国家测绘地理信息局于2012年启动了智慧城市时空大数据云平台建设试点工作，被视为地理空间信息基础设施在智慧城市阶段的升级版，暨时空信息基础设施。试点工作启动以来，国家出台了一系列指导意见、技术指南、技术大纲，并历经了从“时空信息云平台”到“时空大数据与云平台”再到“时空大数据平台”的名称演变[2-4]。

　　在8年多的建设中，很多试点城市取得了瞩目的成就，也积累了丰富经验。武汉、重庆与其他政府部门建立了较好的数据共享交换机制，平台汇聚了丰富的专题数据资源;宁波也借助于与大数据管理局的协同共享，获得了较好的专题数据来源，地理空间框架数据参照技术大纲要求添加了三域标识，同时接入了城市态势感知的实时数据，初步实现了向时空数据模型的转变;广州在应用拓展方面别具特色;北京虽然不是试点城市，但是多年以来已经积累了丰富的时空数据资源，城市“体检”开展得有声有色，并且写入了政府年度工作报告，成为一项常态化的工作。尽管在运作方式、建设内容和应用拓展方面存在差异，但其体系框架具有共性[5]。

　　例如，都能满足《技术大纲》有关要求，从时空大数据、时空大数据云平台，到基础支撑环境、应用示范、标准规范，内容完整，而又各具特色[6]。根据国家、安徽省关于新型智慧城市建设的部署和要求[7]，以及《黄山市新型智慧城市建设规划(2018—2020)》[8]，对黄山市未来3年新型智慧城市建设进行顶 层规划和设计。新型智慧城市建设进程中，时空信息数据的需求呈逐级递增的趋势，目前已有的地理信息公共服务平台和数据资源无法满足对时空数据的需求，主要存在以下问题:1)数据覆盖范围达不到要求且缺少时间属性，缺乏地名地址、法人、人口和宏观经济、空间规划等数据，不能智能感知实时信息。2)已有地理信息公共平台无法适用云部署、智能装配和按需服务。

　　3)缺乏广泛服务于政府和行业各部门的专业化平台，无法满足专题系统建设需要。另外，黄山市有着得天独厚的自然资源，拥有2个世界遗产———黄山和西递宏村，是中国著名的AAAAA级旅游景区。但面对日益变化的自然资源环境、社会经济运行所带来土地问题，以及急速增长的旅游市场，如何智能规划城市建设、分析土地空间潜在价值、促进旅游信息传递和消费、加快城市精细化管理进程，已经成为黄山市非常紧迫的课题。因此，需要全面整合多类型的时空信息资源，建立统一的时空信息服务框架，提供城市高质量发展所需的智慧时空信息服务。

　　2时空大数据云平台设计智慧黄山时空大数据云平台引入Kafka、ElasticStack、Redis和多种的持久层技术，搭建高性能、可扩展的 伸缩式云平台，对外提供RestAPI和SDK，将GIS数据资源、GIS平台资源进行深度整合，可直接提供多种类型的 云服务，为时空大数据挖掘与应用提供服务支持。

　　2.1时空大数据设计

　　2.1.1时空大数据汇聚

　　为了解决异构数据源的共享问题，本文开发了时空大数据汇聚系统作为中间传输载体负责连接各种数据源，将复杂网状的同步链路变成了星型数据链路。将新数据源对接到时空大数据汇聚系统，便能与已有的数据源做到无缝数据同步。支持主流关系型数据库、非关系型数据库、文件型数据和变量等的连接配置，具体包括Postgresql、SQLServer、Oracle、MySQL等关系型数据库，Redis、MongodDB等非关系型数据库。系统基于NiFi的实时ETL技术架构，数据源和数据目的地之间由管道连接在一起。数据从源端接入后，可以极低的时间延迟被采集、加工，并输出到目的地。系统基于Web图形界面，通过拖拽、连接、配置完成基于流程的编排，还提供了对这些数据流进行监视和管理的机制。对数据的提取、清洗、转换、输出、装载等一系列处理操作后，形成成果数据并入库。

　　2.1.2时空大数据管理时空大数据管理系统开发采用了C/S架构，通过增加插件的方式使软件的功能得到扩充，还采用了数据建模技术，完成了多源数据的模型构建和库体的快速搭建，实现了黄山市各网段的时空大数据资源的组织和管理。另外，时空大数据管理系统设计了统一的数据库连接配置，可以动态分配数据的存储空间。具备空间数据的查询检索和可视化能力，可以通过目录、元数据等信息查询到所需数据并加载到地图中。

　　2.2时空信息云服务资源池设计采用了虚拟化、弹性化、服务化的设计思想，基于时空大数据库的数据模型，实现了时空信息云服务资源池的设计，以计算存储、数据、功能、接口和知识服务为核心，通过时空信息云平台系统实现，为各种业务应用按需提供大数据支撑和各类服务资源。服务资源池中能够提供的服务包括时空数据服务、接口服务、功能服务、基础设施服务、知识服务，这些服务构成了时空信息云平台的核心能力。

　　2.2.1时空数据服务时空信息数据服务包括黄山市基础地理数据服务、专题数据服务、新型产品数据服务(倾斜影像、激光点云等新型产品数据)、实时位置数据服务以及智能感知的流式数据服务等。

　　2.2.2接口服务应用程序接口服务是通过开发或集成等形式来构建的，包括基本API、地图类API、事件类API、控件类API、数据解析类API、三维类API、物联网API、历史分析API、比对分析API和模拟推演API。可根据应用的需要预留扩展空间。

　　2.2.3功能服务时空信息云平台服务资源池提供的功能服务是依托于GIS可视化或数据服务来实现的。主要包括地图查询服务、地图查找服务、地图编辑服务、空间数据抽取服务、空间数据复制服务、空间分析服务、地理处理服务和地理编码服务等。还根据业务场景需求增加了针对实时数据的可视化及分析处理的功能服务。

　　2.2.4基础设施服务基础设施服务通过对云环境中的服务器、存储设施 等基础设施进行虚拟化后形成服务资源池来构建，根据业务需求设计了云GIS桌面服务、云站点服务。通过网络可以像操作本地的计算机一样操作平台中的虚拟计算机、虚拟存储器以及GIS资源。

　　2.2.5知识服务本项目研究设计了10种大数据分析工具:数学汇总、创建缓冲区、密度计算、叠加分析、邻近分析、点聚合分析、要素连接、范围内汇总、热点查找、轨迹构建。

　　4种机

　　器学习分析工具:地理加权分析、广义线性回归、密度聚类回归、随机森林分类与回归。以上分析工具作为知识服务供主题挖掘应用调用，从数据检索获取开始，可以进行数据范围的选择和模型参数的设置，执行触发后台模型算法的运行并得到挖掘分析结果，并可在系统中进行可视化查看。

　　3时空大数据挖掘与应用

　　本研究中时空大数据挖掘系统利用上述服务资源池中提供的服务，根据相关时空大数据中分析和挖掘潜在的数据及规律等信息进行挖掘分析，解决关于土地利用现状、地价以及基于信令数据的道路以及景区流量问题。

　　3.1土地利用现状变化监测研究在国土行业应用中，土地利用现状分析是较为复杂的场景，涉及复杂的空间分析和大量的业务逻辑运算。针对海量时空数据，本研究框架采用基于Spark的空间数据处理和分析框架，计算性能大幅提高。

　　本研究中土地利用现状变化监测主要是对同类型多时相土地利用现状数据的叠加分析，分析两个不同年份的土地利用现状数据的差异性。进一步可以根据分析结果提取出某一种地类的流量。针对选择的两年地类图斑数据，对选择的行政区，或绘制的任意范围，或者上传的shp数据范围内的数据进行变化监测，并统计每类地块流向信息，同时以图表方式展示变化面积。经过对比分析测试，服务器配置统一为8核16G内存、Windowsserver2012操作系统时，统一进行黄山市土地利用现状变化分析，当图层要素数量约30万，数据量471MB，采用传统非分布式运算时间为小时级，采用本研究中的大数据服务框架，大约需要5min。当图层要素数量约700万时，数据量为4.6GB，传统方式无法计算，采用大数据服务框架计算时间约90min。

　　3.2远期地价预测研究以全市历年地价数据及影响因子数据为基础，利用随机森林分类与回归工具，对数据进行模型训练、机器学习，从而预测规划地块地价。

　　4关键技术

　　4.1时空大数据汇聚技术

　　采用基于Nifi的实时ETL技术架构，数据源和数据目的地之间由管道连接在一起，能够从多种数据源动态拉取数据，自动化系统之间的数据流，实现数据采集、处理等功能。数分钟之内即可连接各类数据源并汇聚数据。支持跨数据库、大数据、云应用程序、文件、电子表格、网站等集成数据。通过时空大数据汇聚引擎，实现空间数据与非空间数据、实时数据和离线数据、结构化数据和非结构化数据的全量汇聚。集成编排平台实现可视化、友好的操作界面和调试环境，大幅提升开发效率，增加IT资源的可复用性，优化系统间的对接模式。数据流全生命周期内的运行状况，做到过程可监控，历史可追溯。

　　5结束语

　　本文利用开发的时空大数据汇聚系统、时空大数据管理系统对时空大数据进行汇聚以及标准化、统一的数据处理和管理;将GIS数据资源、GIS平台资源进行深度整合，形成时空信息云服务资源池，可直接提供多种类型的云GIS服务，并利用汇聚整合的时空大数据以及云服务资源池的服务能力，进行了土地利用现状变化检测、远期地价预测、手机信令数据挖掘研究:

　　1)分析得出黄山市土地利用现状数据变化情况;2)基于地价及相关影响因子数据，采用机器学习、模型训练等技术，对未来地价进行了预测;3)基于手机信令数据，利用大数据分析及存储手段，分析并得出黄山旅游景区人员运动轨迹、道路流量、景区流向、人口热力、轨迹密度。

　　大数据建设论文投稿刊物： 《卫星应用》(月刊)创刊于2010年，现由国防科工委、总装备部、中国航天科技集团公司多家单位主办的中国航天科技集团公司卫星应用专业信息网网刊，内部发行。

　　本研究紧密结合黄山市信息化建设的实际情况，设计实现了时空大数据云平台，以满足政府部门、企事业单位及社会公众对时空大数据的智能化应用需求;根据平台所提供的服务资源，在土地利用现状变化检测、手机信令数据挖掘分析中，通过对研究区域定性、定量分析，得到结果与实际相符;远期地价预测研究中，利用历史数据测试，预测结果较为准确。本研究中的系统实现与数据挖掘应用充分体现了千万级手机信令数据清洗能力、多源数据融合分析能力、时空大数据实时渲染能力、海量时空数据的分布式计算能力。研究结果对精细化城市管理背景下的时空基础设施建设具有普遍的参考价值。

　　参考文献:

　　[1]李德仁，马军，邵振峰.论时空大数据及其应用[J].卫星应用，2015(9):7-11.

　　[2]自然资源部办公厅.智慧城市时空大数据平台建设技术大纲(2019版)[G].北京:自然资源部办公厅，2019.

　　[3]国家测绘地理信息局办公室.智慧城市时空大数据与云平台建设技术大纲(2017版)[G].北京:国家测绘地理信息局办公室，2017.

　　[4]国家测绘地理信息局.智慧城市时空信息云平台建设技术大纲(2015版)[G].北京:国家测绘地理信息局办公室，2015.

　　作者：马霖，余倩男