88广东省自然资源大数据挖掘分析关键技术应用研究.pdf

二、项 目 简 介 项目简介（限1000字） 围绕国家大数据战略部署，面向自然资源管理改革、省“数字政府”改革建设、 粤港澳大湾区协同创新和社会经济持续发展的新形势、新需求，广东省自然资源数据 挖掘分析工作迎来了良好机遇。 针对自然资源管理领域国土、规划、海洋、林业等各类海量、异构、多源基础空 间数据存储和计算效率不佳、应用深度和多样性不足、需求响应灵活程度不高、数据 应用缺乏体系化等问题，自2018年3月至2019年12月，由广东省国土资源技术中心和 北京吉威数源信息技术有限公司联合开展广东省自然资源大数据挖掘分析关键技术应 用研究，工程围绕自然资源管理“两统一”职责，梳理自然资源数据应用需求，充分 运用大数据存储、计算、服务引擎、模型构建、数据挖掘和可视化等技术，构建大数 据挖掘分析能力和挖掘分析应用体系，有效挖掘自然资源数据价值。 主要创新成果包括： 1、构建自然资源一体化空间大数据基础框架，采用混合存储架构与混合计算模 式，实现一站式自然资源大数据存储、处理、分析与挖掘。 2、研究和开发覆盖广泛、层次丰富、灵活构建的自然资源一体化大模型库，共 定制9个基础模型和32个业务模型，支撑了调查监测、政务服务、监管决策等应用体 系。 3、研发自然资源大数据挖掘分析系统，面向业务应用和宏观决策建立大数据分 析处理建模，实现各类自然资源数据的快速接入、融合、分析、挖掘，并对挖掘分析 成果进行可视化设计与分发，可视化成果通过服务对接形式在各业务系统中进行展现 。 4、围绕“两统一”核心职责，按照“资源资产、规划配置、管制利用、保护修 复”的体系设计，实现面向常规统计、高级分析、深入挖掘等不同应用场景的快速响 应及拓展，形成21项挖掘分析应用。 5、打造了“数据驱动、平台支撑、应用牵引”的省级“数治自然资源”管理模 式，加快数字化转型打造智能化政府。 6、申请国家发明专利1项，登记软件著作权5项，发表了学术论文10篇。 工程成果支持省域海量数据分析高可用、高并发，可快速响应灵活多样的自然资 源业务分析需求，精准支撑了自然资源信息服务、业务审核、形势分析和决策支持等 领域的应用，为省厅领导决策、省市县三级业务审批以及行业间政务应用提供了有效 支撑。自然资源部信息中心领导以及吉林、宁夏、青海、江苏等省厅领导先后前来广 东考察学习相关成果，给予高度肯定。 三、科 技 创 新 科技创新（限5000字） 1、立项背景 当前，自然资源管理领域国土、规划、海洋、林业等各类海量、异构、多源基础 空间数据存在存储和计算效率不佳、应用深度和多样性不足、需求响应灵活程度不高 、数据应用缺乏体系化等问题，传统的技术架构以及缺乏强有力后台支撑的系统已经 很难满足自然资源时空大数据的存储、计算和应用需求。自2017年起，广东省通过持 续的国土资源信息化和自然资源大数据建设，初步构建了自然资源一体化数据库。面 向自然资源管理改革、省“数字政府”改革建设、粤港澳大湾区协同创新和社会经济 持续发展的新形势、新需求，自然资源调查评价、政务管理、社会服务、党风廉政等 工作对于信息化的应用需求进一步深化，自然资源机构改革调整及自然资源业务的进 一步整合，自然资源数据挖掘分析工作迎来了良好的机遇。因此，亟需开展广东省自 然资源大数据挖掘分析关键技术应用研究，构建一套适用于自然资源行业管理的数据 计算和应用技术体系，从而提升自然资源数据应用水平和服务共享水平。 2、科技含量 （1）总体思路 按照实施国家大数据战略的要求，本工程围绕自然资源管理“两统一”职责，梳 理自然资源数据应用需求，充分运用大数据存储、计算、服务引擎、模型构建、数据 挖掘和可视化等技术，创建自然资源大数据混合存储计算生态链，打造挖掘分析模型 服务引擎，针对自然资源一体化数据库中的多源异构数据在资源资产、规划配置、管 制利用和保护修复等方面构建挖掘分析应用体系，有效挖掘自然资源数据价值，从而 精准支撑各级自然资源主管部门在自然资源信息服务、业务审核、形势分析和决策支 持等领域的应用，并将应用成果向其他行业共享，创新自然资源管理方式，强化政府 管理和服务的科学性和前瞻性，提升自然资源管理智能决策支持能力。 （2）技术方案与创新成果 项目基于自然资源大数据基础框架和一体化数据库成果，结合业务需求分析，通 过自然资源大数据挖掘分析系统的模型计算、数据集成、服务发布、分析计算和成果 可视化等过程，对外提供数据服务、分析服务、挖掘服务和更新服务，支撑自然资源 管理和应用。 ①搭建自然资源大数据基础框架 面向自然资源大数据分析挖掘需求和计算性能瓶颈，本工程综合利用分布式数据 库、分布式计算、实时计算等大数据技术构建自然资源一体化空间大数据基础框架， 采用混合存储架构与混合计算模式，解决应用系统从传统IT架构向大数据架构迁移的 共性问题，实现一站式自然资源大数据存储、处理与分析。 ②构建自然资源一体化大模型库 为满足广东省自然资源管理业务应用需求，支撑大数据挖掘分析，本工程利用基 于插件的应用服务工具快速搭建等技术，采用面向对象的方法，研究和开发覆盖广泛 、层次丰富、灵活构建的自然资源一体化大模型库，具体包括挖掘分析基础模型库和 挖掘分析业务模型库。模型库面向常规统计、高级分析、深入挖掘等不同应用层级， 可应对自然资源管理领域各类标准化业务场景和探索性的深度挖掘场景，实现自然资 源海量数据应用模型和算法的业务化运行。 ③研发自然资源大数据挖掘分析系统 基于自然资源一体化数据库和大模型库，依托自然资大数据基础框架，充分发挥 大数据优势，研发自然资源大数据挖掘分析系统，挖掘和释放数据资源的潜在价值， 充分发挥数据资源战略性作用，按需实现对自然资源业务的全流程实时在线分析、应 用和管理。自然资源大数据挖掘分析系统包括模型构建、数据集成、服务发布、分析 计算、成果可视化等子系统，为自然资源数据挖掘分析模型提供灵活构建和快速计算 能力，为挖掘分析提供可视化设计和成果展示平台，从而为资源形势分析、管理状况 监测和宏观调控等提供科学的决策支持服务，实现“用数据说话、用数据决策”的自 然资源数据应用模式。 ④建设自然资源大数据挖掘分析应用体系 围绕“两统一”核心职责，基于自然资源大数据基础框架和一体化数据库，依托 于覆盖广泛、层次丰富、灵活扩展的自然资源大数据挖掘分析模型，结合广东省机构 改革职能调整、核心业务升级等实际情况，按照“资源资产、规划配置、管制利用、 保护修复”的体系设计，通过挖掘分析系统，实现面向常规统计、高级分析、深入挖 掘等不同应用场景的快速响应及拓展，在耕地保护、空间规划、用途管制、矿产管理 、土地利用等方面开展自然资源大数据挖掘分析应用，并支持输出系统化、多元化的 分析结果，支撑业务决策、政策制定，为全省自然资源科学管理提供系统支撑。 ⑤打造省级“数治自然资源”管理模式 基于自然资源一体化数据库成果，通过全流程、自主化、准实时的自然资源大数 据挖掘分析，深入对接省厅领导决策参阅模块和 “数字政府”，挖掘分析成果有层 次、有深度、走出去、走下去，推动自然资源管理“数治”模式创新，用数据说话、 用数据决策、用数据管理、用数据创新，打造“数治”自然资源的样本，加快数字化 转型打造智能化政府。 （3）实施效果 工程成果支持省域海量数据分析高可用、高并发，可快速响应灵活多样的自然资 源业务分析需求，为省厅领导决策、省市县三级业务审批以及行业间政务应用提供了 有效支撑。自然资源部信息中心领导以及吉林、宁夏、青海、江苏等省厅领导先后前 来广东考察学习相关成果，给予高度肯定。随着需求的进一步注入与完善，自然资源 大数据挖掘分析将不断提升应用的广度和深度，覆盖更多自然资源管理业务，支撑更 多的行业间社会化应用，并从广东省推广至其他地区，全面提升全国范围内自然资源 管理与服务水平。 3、创新点 （1）创建了自然资源大数据混合存储计算的生态链 针对广东省自然资源相关管理部门数据海量多源异构、计算场景复杂多样的状况 ，在充分利用现有通用IT基础设施的情况下，本工程提出的自然资源政务大数据混合 存储和混合计算生态链构建，搭建了大数据基础框架，打破了自然资源研究领域空间 大数据计算和数据挖掘分析割裂的局面，让算力、算法和业务无缝协同。 数据存储机制上，依据数据结构、数据量、数据特点和应用需求，采用差异化混 合存储策略，综合利用RDS分布式空间数据库、TDS非关系型数据库和DFS分布式共享 文件系统进行多源异构数据综合存储。在此基础上，通过数据库访问接口、文件访问 接口以及数据服务方式实现各类数据资源共享访问，构建面向用户一致透明操作的综 合数据库。数据计算机制上，引入基于HPC的并行计算框架进行模型化计算，提供了M apReduce、Spark、MPI、OpenMP、CUDA等多种计算架构，满足不同粒度的空间分析算 法需求，可支撑“小数据+大数据”的业务审核实时计算场景及“大数据+大数据”的 复杂分析批处理场景，在一体化在线调度机制下，实时调配计算资源并支持弹性化扩 展，按需为用户提供高效可靠的计算服务。 （2）打造了自然资源大数据挖掘分析模型服务引擎 工程按照“模型构建、数据源接入、服务发布、实时计算、成果可视化”的技术 流程，基于SaaS模式，利用基于插件的应用服务工具快速搭建技术打造服务引擎，构 建了自然资源机构改革后全国首个省级自然资源一体化模型库，针对汇总统计、关联 分析和深度挖掘等不同深度的挖掘分析层次，全流程实时在线发布各类自然资源模型 服务，从而实现自然资源海量数据应用模型和算法的业务化运行。 将使用频率高、输入类型少、算法稳定的计算模型固化为插件，构建自动化、服 务端运行等业务构件的注册机制，实现基础模型的集成管理；利用知识发现(KDD)与 数据挖掘(DM)相结合的时空大数据挖掘分析技术，通过对基础模型的业务组装，形成 各类业务模型。面向自然资源管理领域各类标准化业务场景和探索性的深度挖掘场景 ，如土地利用历史回溯、国土空间规划双评价、土地资源精准化配置等，接入各类资 源库、服务库中的数据源，在线发布模型服务，开展各类密集型数据实时分析计算。 （3）探索了自然资源数据成果融合与快速集成应用的方法 工程通过采用数据融合和可视化等技术，探索如何将各种类型的自然资源数据成 果进行快速集成应用的方法，构建全省可互动、可寻址、可定向的自然资源智慧屏， 打破了“好看不好用”的数据大屏痛点，通过交互式触屏操作，实现大数据、大分析 ，更好发挥数据规模优势，从而推进具有全自然资源行业特色、与“数字政府”建设 内容相得益彰的自然资源政务信息化建设。 工程依托于自然资源一体化数据库成果，面向自然资源领域业务体系管理需求， 建设相应的专题库、主题库，在特征级和决策级开展数据融合；通过多种可视化的自 然资源要素表达载体，将枯燥、乏味的数据转换为生动直观、可视化的图表、动画等 成果形式，无缝接入大屏、手机端、PC端、平板端等各类终端设备，展示大数据本身 及其挖掘分析的结果，直观地传达对象的关键方面与特征；技术架构采用改进的MVC 架构，将View层单独抽取出来，由前端构建单页面应用，后端仅提供Model层和Contr oller层，以资源访问API形式提供服务，在提升健壮性与灵活性的同时，也提高了共 享效率；同时，基于自然资源大数据基础框架、微服务架构和矢量瓦片等技术促进挖 掘分析成果在各厅属单位的共享应用，从基础层、数据层和服务层与省“数字政府” 基础设施、政务大数据中心、应用支撑平台和粤政图等内容准确对接，在不同行业部 门之间共享多种指标服务、地图服务和可视化方案。 4、保密方面（无） 5、国际比较 （1）自然资源大数据存储与计算应用比较 当前大数据技术在自然资源管理领域对于海量空间数据的快速分析应用需求响应 不足，适配性有待提升；相关应用研究主要集中在少量数据的试验和比较阶段，没有 在政府部门中进行实践推广；在自然资源系统进行机构改革后，原属于多部门的自然 资源数据统一归口后，未有针对性的大数据管理研究。本工程则集成和创新互联网+ 自然资源大数据新技术、新模式，解决行业结构化数据、非结构化、半结构化数据的 差异化存储、模型化计算、自动化调用、智能化利用痛点，针对不同粒度的空间分析 算法需求进行并行计算架构选择的策略优化，进而成为自然资源数据服务集群化和产 业化发展的技术支撑，在自然资源管理行业国内外均无成熟案例。 （2）自然资源大数据挖掘分析服务模式比较 在大数据挖掘分析技术应用研究过程中，研究者们往往结合具体的问题，对相关 算法进行改进、拓展、优化，但对于自然资源行业的数据应用缺乏体系化，挖掘分析 成果共享、开放的实践还没有全面推进，针对自然资源行业数据特征的时空数据挖掘 分析工具仍有待完善。本工程构建了自然资源行业适配的数据挖掘服务模式（模型库 +服务引擎），面向不同深度的数据应用需求提供数据挖掘工具从而能快速响应灵活 多样的行业需求，在自然资源管理行业国内外均无成熟案例。 （3）自然资源数据融合与可视化应用方法比较 在自然资源数据融合与可视化技术应用研究过程中仍存在融合与可视化的交互性 不足、自然资源业务化结合程度不足以及成果共享应用程度不足等问题，本工程探索 了如何将各种类型的自然资源数据成果进行快速集成应用的方法，构建全省可互动、 可寻址、可定向的自然资源智慧屏，从而推进具有全自然资源行业特色、与“数字政 府”建设内容相得益彰的自然资源政务信息化建设，在行业内和行业间应用上均取得 了实质突破。 四、推广应用情况 1、推广、应用情况及社会评价（限 2000字） 工程成果支持省域海量数据分析高可用、高并发，可快速响应灵活多样的自然资 源业务分析需求，为省厅领导决策、省市县三级业务审批以及行业间政务应用提供了 有效支撑。自然资源部信息中心领导以及吉林、宁夏、青海、江苏等省厅领导先后前 来广东考察学习相关成果，给予高度肯定。随着需求的进一步注入与完善，自然资源 大数据挖掘分析将不断提升应用的广度和深度，覆盖更多自然资源管理业务，支撑更 多的行业间社会化应用，并从广东省推广至其他地区，全面提升全国范围内自然资源 管理与服务水平。 （1）省厅及下属单位应用 工程建设的自然资源大数据挖掘分析成果，与省厅政务办公系统决策参阅模块深 入对接，依托高效的大数据分析计算技术，以实时汇总统计、关联分析和深度挖掘为 手段，实时开展了200余项管理技术指标的统计分析，依托可灵活搭建的模型技术、 数据融合及可视化技术，形成包含资源资产、规划配置、管制利用和保护修复在内的 大数据挖掘分析应用体系，支撑领导实时掌握自然资源家底、摸清自然资源工作情况 和辅助综合管理决策，取得了良好的应用效果。 依托于自然资源大数据基础框架和挖掘分析模型服务引擎，工程构建的一系列业 务规则模型、动态分析模型和综合评价模型，为土地管理与决策支持系统、土地规划 管理系统、国土空间规划“一张图”实施监督平台、土地整治监测监管系统、森林资 源“一张图”等提供了快捷灵活的分析服务，辅助了建设用地审批、土地利用规划调 整审核、国土空间规划管理、土地整治项目审批等业务管理，有效提升了省厅国土空 间用途管制处、省土地调查规划院、省土地开发整治中心的业务审查效率，取得了良 好的应用效果。 （2）市县级自然资源管理部门应用 依托于自然资源大数据基础框架和挖掘分析模型服务引擎，工程建设的挖掘分析 成果以服务形式与相关业务系统开展对接，辅助全省21个地市及其下辖区县的自然资 源管理部门审核建设用地审批、“三旧”改造项目审批、土地整治项目审批等业务， 有效提升了相关业务的市县级审查效率，取得了良好的应用效果。 （3）非自然资源管理部门应用 工程成果与我省“数字政府”政务云、政务大数据中心、和粤政图等内容深入对 接，为“数字政府”共享了基础地理空间信息和自然资源专题信息，已支撑省农田建 设管理信息系统、非煤矿山尾矿库“天眼地眼”风险预警预测系统等34个业务应用系 统，累计对外共享517个地图产品，供全省各政府部门进行专题地图和统计图表的多 样化浏览、查询，极大推进了自然资源数据的社会化共享应用。 （4）省外推广 自然资源部信息中心领导以及吉林、宁夏、青海、江苏等省厅领导先后前来广东 考察学习自然资源大数据建设及应用相关成果，均给予了高度肯定。