28智慧城市时空大数据平台构建关键技术研究与应用.pdf
28智慧城市时空大数据平台构建关键技术研究与应用.pdf
二、项 目 简 介 项目简介（限1000字） 1.建设背景 本项目面向矢量、栅格两种数据类型，综合应用云计算、大数据、深度学习技术 ，解决了时空数据在线整合、多平台时空分析互操作、遥感影像自动解译等方面的一 系列技术问题，构建了时空大数据挖掘与分析技术体系，开发了一套支撑时空大数据 获取、整合、存储、分析与应用的系统平台，实现了对数据的多维度、多主题、多层 次分析计算，为城市规划、生态保护等工作提供科学、丰富的信息服务。 2.主要技术内容 2.1研发时空大数据获取、处理、集成技术，实现多主题时空大数据在线整合 提供兴趣点、房产、坐标转换等数据整合服务，作为基础测绘数据和地理国情数 据的佐证和补充，进一步丰富智慧城市数据内容。 2.2研发了时空知识引擎，实现了地理分析互操作与在线地理建模 项目组基于多个异构平台开发了空间分析算法与模型，将模型封装为OGC WPS服 务，方向涵盖通用分析算法、城市空间格局分析工具等。在此基础上构建了面向OGC WPS标准的在线地理建模软件，通过可视化方式在线组合异构分析服务完成地理建模 。 2.3研究实时地理信息接入与处理技术，实现动态地理信息实时分析 对不同输入数据格式进行同构处理，并针对车辆轨迹数据的分段和漂移问题进行 预处理，设计了一套完整的更新数据推送与即时分发方案，实现了基于地理围栏的车 辆动态监控，并以应用系统的方式接入时空云平台。 2.4构建土地覆盖样本库，基于深度残差全卷积神经网络进行地表覆盖分类 项目对地理覆盖数据进行预处理和标注，构建样本库，基于深度残差全卷积神经 网络对水系、居民地、交通道路、植被等典型地物进行自动提取，构建了高性能遥感 影像地表覆盖自动化分类系统。 3.技术应用 本项目研究技术在江苏省多个智慧城市时空信息云平台建设与示范应用中得到了 应用，如在智慧淮安项目中，通过“多主题时空大数据在线整合技术”，实现国土、 地理国情、税务、供电供水、电信等数据的在线融合，分析城市人口流向及土地利用 效能；在智慧洪泽项目中，通过“时空大数据分析技术”和“实时动态地理信息数据 接入与处理技术”，基于高分一号影像数据和深度学习方法，实现了洪泽湖采砂船的 实时监控，基于“地理信息分析互操作与动态组合技术”，搭建了南京市玄武湖烟火 晚会人流实时监控平台和南京市出租车辆监控监管系统。 三、科 技 创 新 科技创新（限5000字） 1.立项背景 原国家测绘地理信息局于2017年8月正式推出《智慧城市时空大数据与云平台技 术大纲（2017版）》，要求“通过提供不同层级能力的大数据分析工具，帮助用户完 成对数据的深度挖掘，进而获取有价值的知识”。自然资源部组建后，于2019年1月 修订完成的《智慧城市时空大数据平台建设技术大纲（2019版）》中明确要求“利用 空、天、地一体化对地观测传感网实时获取基础时空数据和依托专业传感器感知获取 可共享的行业专题实时数据，以及其元数据”。 建设智慧城市时空大数据平台，需要解决时空大数据获取、数据整合、数据分析 、数据应用多方面的问题，形成完整的解决方案。 当前，时空大数据来源广泛，除权威部门外还有社交网络、开源地图、垂直网站 等多种数据源，这些数据格式多样、内容繁杂、体量巨大，传统处理方法无法满足日 益增长的处理整合、组织存储以及分析应用需求。其次，各部门共享的时空大数据遵 循本部门的相关数据规范，在跨部门应用需要经过处理才能使用，经常出现“不要服 务要数据”的情况。再次，目前智慧城市实现了数据服务方式共享，而分析方法，分 析模型或因异构平台无法互操作，或因服务器软件缺乏而无法共享，信息共享尚处于 低层次。最后，卫星遥感和航空摄影数据更新日益频繁，是更新时空大数据良好的数 据来源，但是人工解译速度远跟不上更新频率，亟待使用新技术提高解译速度。 为此，作为基础测绘转型升级的重要任务，项目组围绕时空大数据存储管理、时 空大数据清洗、时空大数据分析与挖掘、时空大数据可视化、遥感影像自动解译等领 域开展研究，形成了先进实用的时空大数据产品体系，为新型基础测绘、地理国情监 测和智慧城市发展应用提供了关键技术支撑，显著提高了时空大数据存储、管理、分 析与挖掘的水平。 2.科技含量 2.1总体思路 项目以“全流程、先进性、开放性、灵活性”为原则，依托包含遥感影像数据在 内的基础测绘数据、行业专题数据，集成感知数据，获取网络爬虫数据，构建时空大 数据库，打通了智慧城市时空大数据获取、整合、挖掘、分析、展示等环节之间的壁 垒，形成了一套完整的时空大数据处理、分析与可视化的方案，打造了“从模型到服 务，一切皆服务”的一站式时空大数据技术体系和产品体系，为智慧城市时空大数据 与云平台建设提供了切实有效的技术支撑。 具体技术路线为，依据智慧城市时空大数据平台相关标准，结合市县级时空大数 据平台项目及示范应用建设，开展以下工作：①面向互联网数据源，开发时空大数据 整合工具；②面向智慧城市构建时空大数据分析模型库；③研发面向异构平台的时空 知识引擎；④研发基于深度残差全卷积神经网络的高性能遥感影像地表覆盖自动化分 类系统；⑤开展典型应用。 2.2技术方案与创新成果 2.2.1时空大数据在线整合与处理技术 （1）时空大数据在线整合技术 利用爬虫伪装技术（User Agent），把程序请求伪装为浏览器请求，将互联网信 息获取工具伪装成普通浏览器规避爬虫限制；通过动态代理切换技术，自动更换代理 ，规避同一IP地址访问频率限制；借助验证码自动获取等技术，利用Selenium工具， 针对需要交互式验证（比如输入验证码）的情况，配合计算机视觉识别验证码并自动 登录。 互联网获取的数据以半结构化文本为主，在入库之前采取以下四个步骤进行处理 ：①数据清洗，查漏补缺；②空间化，构建几何对象；③一致性处理，确保属性、空 间一致性；④统一数据格式输出。 项目组将上述过程集成，形成多个通用模板，并发布为服务，既保证了数据在入 库前处理为适合空间分析挖掘算法与软件使用的格式，又与其他分析数据能够进行关 联分析。 （2）实时地理信息数据接入与处理技术 通过搭建不同格式的连接器和定义适配器解释各类数据格式，解决实时数据异构 问题，目前采用JSON规范输入数据。利用WebSocket通信机制，搭建Kafka消息中间件 ，制定车辆定位信息传输通信方案。 为保证轨迹数据的分析效果，项目组针对以下两个方面进行了预处理：1）轨迹 分段，针对轨迹数据局部时间连续但整体时间不连续的特征，研究时间轴，确定时间 间隔设置参数；2）轨迹漂移，主要解决了以下三种情况，一是去除停车期间车辆定 位点团状现象，二是去除定位漂移造成的轨迹尖角现象，三是区别处理车辆转弯掉头 和定位漂移两种现象。 2.2.2时空大数据知识引擎技术 （1）面向异构平台的WPS服务技术 项目组研发了具备适配异构GIS平台功能的软件，该软件将基于不同GIS平台开发 的分析功能，转换为符合OGC WPS标准规范的Web接口，从而屏蔽了不同实现方式的区 别，满足后续分析功能互操作前提条件。 （2）面向服务的时空知识引擎技术 项目研发了知识引擎，自动识别注册WPS服务器中的各类分析服务，并包装为流 程处理节点。用户拖拽分析服务节点，构建时空大数据分析模型，知识引擎按照BPMN 2.0规范存储流程配置，形成知识链，知识引擎可以读取知识链配置从不同容器中自 动调用并执行服务，对数据集进行一系列运算分析，得出最终结果。 （3）地理围栏技术 项目组预创建服务流程模板，在字段处理与围栏过滤器之间动态创建的路径为车 辆系统新增规则，即属性监控和空间围栏监控，根据用户填写的监控名称和条件生成 相应属性过滤器，根据目前设定的Enter Any、Inside Any、Exit Any三种指定动作 生成围栏处理器。将围栏的动态“增、删、改、查”转变为对要素服务的动态“增、 删、改、查”，提高用户浏览器编辑的自由度。 2.2.3基于深度学习的遥感影像自动解译技术 （1）土地地表覆盖训练样本库构建技术 针对数据的采集时间与影像的采集时间不一致，语义上存在一定误差，部分矢量 数据标注精细程度不足，项目组将人工筛选与异常值检测算法结合，清洗包含噪声的 矢量数据与对应影像区块，利用人工重新标注方式对数据进行清洗，并通过矢量标注 、地理坐标对齐、地物优先级设置、影像掩膜裁剪等步骤构建训练样本库。 （2）基于深度残差全卷积神经网络的遥感影像分类技术 项目综合应用ResNet编码器、轻量级编码器、多尺度空洞金字塔针对不同地物使 用优化方案进行自动化解译，如，水系采用可形变卷积优化；居民地采用实例分割方 法、多分辨率多尺度金字塔、边缘约束损失优化；交通道路采用多任务网络构建、多 尺度特征提取、网络模型优化；植被采用多尺度分割网络、空洞空间金字塔池化优化 ，使用pytorch框架开发了高性能遥感影像地表覆盖自动化分类系统。 2.3实施效果 本项目技术成果和软件成果在智慧洪泽时空大数据与云平台、智慧淮安时空大数 据与云平台、智慧新沂时空信息云平台、智慧海安时空信息云平台等项目的建设中得 到了大量应用，项目总金额达3000余万元。 3.创新点 创新点1：构建了时空大数据平台，实现一站式时空大数据获取、分析与制图 项目自主研发了时空大数据整合工具、时空大数据知识引擎、数据挖掘可视化系 统，研制了具有资源汇聚、整合、处理、管理等功能的时空大数据平台，通过在线整 合技术在线爬取数据，在线处理数据解决数据来源单一，共享数据结构与应用需求不 一致问题，通过知识引擎实现在线地理建模，通过数据挖掘可视化系统实现分析结果 制图，创新了时空大数据在线整合技术体系，形成完整的时空大数据应用体系（见评 价意见）。以上成果获得软件著作权两项（编号：2018SR1062287，2018SR1086066） 。 创新点2：研发了时空知识引擎，实现多平台GIS分析能力互操作与在线组合定制 项目研发了具有自主知识产权的时空知识容器，将不同GIS平台下构建的时空大 数据分析算法、模型发布为在线服务。通过自主研发的在线建模工具，采用拖拽、组 合和属性配置等操作，对各类算法、模型进行组合，构建时空分析知识链，解决时空 大数据分析互操作问题，实现在线定制化时空大数据分析挖掘（见评价意见创新点） 。本创新点已申请发明专利1项（申请号：201910140329.0），获得软件著作权1项（ 编号：2018SR1086066）。 创新点3：基于深度残差全卷积网络实现地表覆盖同步解译 项目针对已有高分辨率遥感地物要素信息提取方法中面临的遥感影像土地覆盖分 类数据集规模有限、传统方法尚未考虑地物分布特性、增量学习能力有限等问题，研 究了高分辨率遥感影像城市土地覆盖分类的深度学习理论，构造了基于样本数据自动 生成的可泛化深度学习框架，进行城市房屋建筑信息提取，实现快速、准确的城市地 物要素提取与更新（见查新结论2）。本创新点已申请发明专利1项（申请号：201911 423825.3）。 创新点4：赋能智慧城市应用，提升行业智能化水平 项目组实现了多种时空大数据的算法，目前已经开发并封装了包括深度学习在内 的知识服务26个，其中基础知识服务17个，城市空间格局分析和基础测绘更新相关的 服务9个，通过以上分析模型组合，组成多个分析模型应用于市县级智慧城市时空大 数据平台以及相关应用。如：建立模型分析每块土地的使用效能，深度挖掘土地潜力 ，盘活全市工业、企业用地存量；基于深度学习对水体、植被、建筑三种地物进行了 识别，并自动生成矢量数据；利用高分一号影像数据，实现了采砂船、采沙井的动态 监控和执法取证。项目首次在地理国情监测数据综合分析领域应用在线分析知识链模 型（见查新结论1），提升了国土空间规划、生态监测、地理国情监测等专题应用智 能化水平（见评价意见）。 4.国际比较 4.1科技查新 查新结论1（查新报告编号201832B2511475）如下：国内已见对智慧城市的时空 知识搜索引擎进行研究的报道，但本委托项目所述时空知识引擎将时空知识服务组合 成流程化的时空分析知识链，在所检文献中未见述及；分别已见地理国情普查数据和 传感网数据在智慧城市中应用和分析的报道，但本委托项目所述基于时空知识引擎， 提供地理国情普查数据和对地传感网数据的在线分析知识链模型，支持城市空间格局 分析指标的在线计算和分析结果的动态渲染，在所检文献中未见述及。 查新结论2（查新报告编号202032B2502765）如下：已见深度残差全卷积网络采 用空洞空间金字塔池化，融合了多尺度特征改进云检测技术的报道，但未见所属深度 残差全卷积网络在改进后同步解译主要地表覆盖类型（水系、植被、道路、居民地、 其他类），在所检问下种未见述及。 4.2评价意见 2019年3月1日，江苏省测绘地理信息学会组织成立了由中国工程院、欧亚科学院 郭仁忠院士，中国测绘科学研究院刘纪平副院长，南京大学李满春教授，武汉大学杜 清运教授等5名知名专家组成的评价委员会，与会专家一致认为：项目研发具有自主 知识产权的时空大数据知识引擎、数据挖掘可视化系统和时空大数据在线整合工具， 集成通用和专题模型库，研制具有资源汇聚、整合、处理、管理等功能的时空大数据 平台。平台架构科学，技术先进。 成果主要创新点：研发了面向智慧城市的时空知识容器，构建了时空分析知识链 ，支持在线定制化时空大数据分析挖掘，创新了时空大数据在线整合技术体系。 成果成功应用于江苏省多个智慧城市建设，提升了国土空间规划、生态监测、地 理国情监测等专题应用智能化水平，经济社会效益显著，具有重要的示范作用和应用 推广价值。 评价委员会专家一致认为“成果总体上达到国内领先水平”。 4.3项目的主要成果与技术指标 依托项目技术成果，开发时空大数据整合工具软件、时空大数据挖掘与可视化软 件、时空大数据知识引擎系统和北斗车辆监控系统，申请国家发明专利2项，登记软 件著作权9项。 四、推广应用情况 1、推广、应用情况及社会评价（限 2000字） 本项研究的技术成果和软件成果对智慧城市的建设具有推广意义，特别是对市县 级智慧城市时空大数据平台的建设具有普适性的推广意义。研究成果已经成功应用在 智慧淮安、智慧洪泽、智慧新沂、智慧海安4个市县级时空大数据平台、时空信息云 平台的建设项目中，以此为基础在公安、城管、水利、交通、环保、政法、规划、税 务、自然资源等十几个领域广泛开展示范应用，建成示范应用20多个，在建示范应用 50多个，取得了良好的社会经济效益。 （1）在市县级智慧城市建设中取得良好应用 项目研究软件成果“智慧城市时空大数据平台”，应用在智慧淮安、智慧洪泽、 智慧新沂、智慧海安4个市县级智慧城市建设项目中。其中，智慧洪泽时空信息云平 台是自然资源部（原国家测绘地理信息局）试点项目，智慧淮安时空信息云平台、智 慧新沂时空信息云平台是江苏省自然资源厅（原江苏省测绘地理信息局）试点项目。 2018年12月，智慧淮安时空信息云平台项目通过了原江苏省测绘地理信息局组织的专 家验收，获得了充分好评。2019年8月，智慧洪泽时空信息云平台通过了原江苏省测 绘地理信息局组织的省级验收，得到了专家的充分肯定。智慧新沂、智慧海安建设项 目，已完成全部建设工作，等待项目验收。2019年3月，江苏省测绘地理信息学会组 织成立了由中国工程院、欧亚科学院郭仁忠院士，中国测绘科学研究院刘纪平副院长 ，南京大学李满春教授，武汉大学杜清运教授等5名知名专家组成的评价委员会，与 会专家一致认为：项目研发具有自主知识产权的时空大数据知识引擎、数据挖掘可视 化系统和时空大数据在线整合工具，集成通用和专题模型库，研制具有资源汇聚、整 合、处理、管理等功能的时空大数据平台。平台架构科学，技术先进。未来，将进一 步推广应用到江苏省内乃至全国的其他城市的智慧城市建设中，其中智慧泰州、智慧 常州、智慧盱眙等项目正在有序推进。 （2）依托平台构建的智能分析能力广泛开展行业应用解决行业痛点 项目使用时空大数据技术与知识流引擎构建时空大数据平台的智能分析能力，广 泛开展行业应用、解决行业痛点，建成示范应用20多个，在建示范应用50多个，取得 了良好的社会经济效益。依托时空大数据平台构建的智能分析能力，解决了很多行业 的痛点问题，具有广泛的推广应用效益。比如，淮安市使用时空大数据分析挖掘及可 视化系统，以税务部门的企业产值数据、地理国情院落数据为基础，综合企业用电、 用水情况，建立模型分析每块土地的使用效能，深度挖掘土地潜力、减少占用农田土 地面积，从而盘活全市工业、企业用地存量。新沂市基于深度学习技术扩展了植被指 数模型、水体指数模型、建筑指数模型，以航飞的高清影像数据为基础数据，分别对 水体、植被、建筑三种地物进行了识别，并自动生成矢量数据，以多期影像数据为基 础实现了城镇开发边界的快速提取和动态监测、水库库容量的快速评估和变化监测等 。淮安市洪泽区通过“时空大数据分析技术”和“实时动态地理信息数据接入与处理 技术”，基于高分一号影像数据和深度学习方法，实现了洪泽湖采砂船、采沙井的实 时监控和执法取证。基于“地理信息分析互操作与动态组合技术”，搭建了南京市玄 武湖烟火晚会人流实时监控平台和南京市出租车辆监控监管系统。 （3）整合时空大数据资源和时空大数据分析能力服务自然资源两统一 项目以时空大数据资源、时空大数据分析能力为基础，建成了空间规划综合信息 平台和生态环境监测信息平台两个专业化应用平台，服务自然资源与生态环境，引导 示范应用建设。遵循“一个市县、一本规划、一张蓝图”核心理念，统筹专项规划， 搭建空间规划综合信息平台。从规划核心资源整合和规划业务管理出发，实现规划成 果的统一管理、深度分析和全面融合，支撑政务信息共享。基于地理国情普查数据、 土地年度变更数据和基础测绘的集成融合，按照生态环境专业部门的需求，构建生态 环境监测信息平台，对各类数据进行了梳理和整合，以实际业务需求出发，实现了成 果管理系统、基本统计系统、专题分析系统、数据比对系统、门户系统、信息服务系 统六大子系统。 项目研究成果以时空大数据为抓手，推动技术融合、数据融合、业务融合，实现 跨层级、跨地域、跨系统、跨部门、跨业务的协同管理和服务，为建设政府决策科学 化、社会治理精准化、公共服务高效化提供了有力支撑。