摘要：建設政務數據匯聚共享平臺, 開展數據的智慧化應用, 實現政務數據管理、組織、共享、服務和應用模式的升級轉變, 對提高政府行政效能和公共服務水平, 促進區域經濟發展有重要意義。
1、建設背景
經過多年的建設, 龍巖市各部門業務系統逐步向政務雲平臺匯聚, 基本實現政務數據和業務系統的統一承載, 一些大系統互聯互通, 如審批系統與協同辦公系統、公共信用信息平臺、“多規合一”平臺之間信息聯動共享, 極大提高了政府行政服務的質量和效率。但大部分數據依然“割據”在業務系統中, 只是原先分散在各個數據中心的“數據碎片”和“數據孤島”向政務雲平臺集中匯聚, 雲平臺集聚的大量數據難以形成集成的“大數據”和“數據產品”, 數據除了滿足基本的業務用途之外, 無法實現基於數據的創新和增值。
龍巖市政府充分認識到政務大數據對於建設高效便民的“互聯網+政務服務”、提高政府治理服務能力的重大意義, 在2017年數字龍巖工作要點中提出建設市級政務數據匯聚共享和交換平臺, 逐步匯聚人口、法人、地理空間等各類數據, 探索運用大數據加強政務服務, 規劃建設數據開放平臺, 有序開放政務數據, 鼓勵公眾、企業、高校和科研院所開發利用。
2、方案設計
2.1 設計思路
根據部門權力清單、責任清單和服務清單, 圍繞法人、自然人的每一個業務大類, 梳理相關的屬性數據指標, 整合、匯聚部門的核心業務數據, 通過融合、重構、雲化, 建設人口數據雲和法人數據雲, 為開展政府個性化主動服務提供技術支撐。
2.2 總體架構
由基礎設施、平臺支撐、數據接入、數據存儲、大數據管理和政務大數據應用等主要部分以及安全管控、運維監控、標準規範體系和安全運維體系等輔助部分構成, 如圖1所示:
圖1 平臺總體架構
2.2.1 基礎設施層
基於龍巖市電子政務雲計算平臺的獨立計算資源和存儲資源, 提供存儲資源、計算資源、網絡資源和安全設備支撐。
2.2.2 平臺支撐層
提供第三方軟件和工具的支持, 包括Hadoop大數據平臺體系軟件、API自動生成和管理平臺、大數據分析處理系統、數據可視化工具軟件以及其他的第三方工具和組件。
2.2.3 數據接入層
提供Web Service接口採集、前置系統採集、FTP採集、網絡爬蟲、Excel文件上傳和人工錄入等多種數據採集接入方法, 支持關係型數據、時序型數據、半結構化/非結構化數據以及地理空間數據等不同類型數據。
2.2.4 數據存儲層
是政務數據資源的彙集、存儲和管理中心, 在接入採集分佈在政府各部門數據資源的基礎上, 依據相關數據管理政策和技術標準規範, 對多源異構數據進行存儲、加工、整合和管理, 提供部門目錄數據庫、業務數據庫、基礎數據庫、主題數據庫、對象檔案庫、開放開發數據庫和元數據庫等的管理和存儲。
2.2.5 大數據管理層
提供平臺的核心引擎和計算能力, 由數據處理、數據管理和數據服務等三部分組成, 基於Hadoop體系相關技術進行搭建, 利用數據存儲層的數據存儲能力實現時序型、結構化、半結構化和非結構化數據的有效存儲和管理, 對外提供API接口服務和APP應用服務。
2.2.6 大數據應用層
應用支撐是平臺建設的核心目標, 是數據價值傳遞給用戶的橋樑, 為政府提供主動、有效的政務管理和決策分析輔助能力。
2.3 技術架構
圖2 平臺技術架構
平臺面向政務數據匯聚、整合、共享、應用的需求, 充分利用Hadoop技術體系的優勢, 圍繞關係型數據、電子文件、地理空間數據、時序型數據等各類結構化數據和非結構化數據的存儲和計算要求, 為政務大數據存儲、分析提供基礎技術支撐平臺。平臺技術架構設計如圖2所示。
平臺採用SQOOP技術實現批量數據加載以及Kafka+Storm技術實現增量數據或實時數據的接收和加載;利用ETL、Spark、Storm、Map Reduce等技術實現各類數據的交換、集成、清洗和轉換, 基於HDFS、HBASE、HIVE、Mongo DB、Redis和Oracle等方式對外提供時序類、結構化、半結構化和非結構化數據、空間數據的有效管理和存儲, 構建不同類型的數據庫, 包括時序數據庫、文件數據庫、關係數庫及No SQL數據庫等;利用分佈式計算、Zookeeper等技術實現對數據的分析利用和高可靠協同服務。
平臺提供算法庫、模型庫、公共基礎組件、工作流引擎、智能檢索引擎等應用支撐服務。
在應用層, 通過J2EE三層B/S框架, 採用Tomcat應用服務器, 利用成熟的開發平臺, 進行功能層面的開發。最終通過門戶實現界面、應用和功能的集成。
2.4 數據資源中心
數據資源中心是政務數據資源開發利用的基礎, 包括部門業務數據庫、基礎數據庫、主題數據庫、人口對象檔案庫、法人對象檔案庫等, 主要通過部署在政務信息網和電子政務外網、互聯網的數據採集系統彙集部門業務系統的多源異構政務數據及省級政務數據資源中心下發的數據、傳感監測數據以及空間地理數據資源, 依據數據共享的政策和標準規範梳理形成, 以大文件分佈式數據存貯、管理、並行分析與計算。同時, 建立涵蓋數據提供、數據維護、數據共享、監督評估的工作機制, 支撐政務大數據智慧化應用。
3、應用設計
平臺的功能主要包括“數據採集、數據管理、數據應用”三個方面, 可以概括為:“取、存、管、用”。在匯聚和整合各部門政務數據的基礎上, 統一為各類平臺和業務應用系統提供數據共享的支撐保障服務, 並對服務運行情況統一監管。
3.1 平臺級數據匯聚共享
以公共信用信息應用服務為例, 介紹平臺級數據匯聚共享服務設計。
3.1.1 數據匯聚
政務數據匯聚共享平臺以接口對接、前置對接、Excel導入、人工錄入等採集方式, 將市、縣各部門 (包括政府部門、司法機關、承擔公共管理職能的事業單位及社團組織) 接入的信用信息如行政許可處罰、紅黑名單等進行清洗比對梳理整合, 按照法人信用數據規範和自然人信用數據規範進行信息歸類, 形成法人信用信息庫和自然人信用信息庫。
3.1.2 數據共享
平臺根據要求為法人信用信息庫和自然人信用信息庫配置推送任務, 定時向市公共信用信息平臺推送;省公共信用信息通過省級政務數據匯聚共享平臺迴流到市級政務數據匯聚共享平臺, 由市級匯聚共享平臺推送到市公共信用平臺。市公共信用數據通過市級匯聚共享平臺上報到省級政務數據匯聚共享平臺, 由省級政務數據匯聚共享平臺推送給省公共信用平臺。通過省、市兩級政務數據匯聚共享平臺與全省信用信息平臺對接實現信用信息共享。該應用服務架構如圖3所示:
圖3 公共信用信息共享應用服務架構
3.1.3 數據監控
平臺監控各部門接入數據的頻率和質量, 反饋問題數據, 對逾期未更新的部門進行催報, 同時對各部門匯聚共享的各種類型的公共信用信息進行統計分析, 並以圖表方式進行可視化展現。
3.2 業務系統類數據共享
部門業務系統需要共享其他部門的數據, 可以填寫數據申請表, 向平臺提交申請。匯聚平臺根據所申請業務信息的數據共享類型, 啟動相應流程:如果是無條件共享的數據, 平臺直接把數據推送至該部門;如果是有條件共享的數據, 進入審批流程。平臺提供兩種審批方式, 一是由數據管理部門自行在平臺上審批;二是數據管理部門出具審批文件, 由技術服務單位代為審批, 平臺反饋信息給申請部門。全過程納入監控。
4、結束語
建設政務數據匯聚共享平臺, 將分佈在政府單個部門、單一系統中的數據, 通過匯聚、融合、雲化, 形成大數據, 分析挖掘數據價值, 開展數據的智慧化應用, 實現全市政務數據管理模式、數據組織模式、數據共享模式、數據服務模式和數據應用模式的升級轉變, 對提高政府行政效能和公共服務水平, 促進區域經濟社會和諧穩定發展有重要意義。
參考文獻：略
閱讀更多 國脈智庫 的文章
