聯通大數據公安情報應用技術方案培訓資料(doc 42頁)

目錄
第1章 概述 5
1.1 項目背景 5
1.2 項目建設目標 5
1.3 項目建設內容 6
第2章 係統總體架構 6
第3章 係統網絡及硬件環境 7
第4章 數據能力開發 8
4.1 聯通總部大數據平台能力介紹 8
4.2 數據采集 9
4.2.1 實時數據采集 9
4.2.2 定時數據采集 9
4.2.3 網頁數據（非結構化）數據采集 9
4.3 實時數據加工和處理 10
4.3.1 Spark平台 10
4.3.2 Spark Streaming實時數據加工 10
4.4 定時數據存儲及加工 11
4.4.1 數據存儲策略 11
4.4.2 Hadoop存儲與加工 12
4.4.3 Oracle數據展現 17
第5章 應用功能開發 18
5.1 數據查詢 18
5.1.1 號碼位置查詢 18
5.1.2 詳單查詢模塊 19
5.1.3 號碼軌跡查詢模塊 20
5.1.4 基站信息查詢 21
5.1.5 機主信息查詢模塊 22
5.2 數據推送 23
5.2.1 用戶基本信息推送 23
5.2.2 手機標記信息推送 23
5.2.3 數據接口 24
5.3 監控告警 24
5.3.1 標記管理 24
5.3.2 號碼位置告警 25
5.4 統計分析 25
5.4.1 區域熱力 25
5.4.2 關鍵詞熱力 26
5.5 數據分析 27
5.5.1 號碼碰撞分析 27
5.5.2 聯係人分析 27
5.5.3 關係人分析 28
5.5.4 外來人員分析 29
5.5.5 網上異動分析 30
第6章 項目實施 31
6.1 人員組織安排 31
6.2 項目實施步驟 32
6.2.1 平台搭建 32
6.2.2 功能開發 33
6.2.3 應用及優化 33
6.3 項目投入估算 34
附件1. 大數據平台相關技術原理說明 34
1. HADOOP基礎平台 34
1.1. HDFS 34
1.2. Yarn 36
1.3. Zookeeper 37
2. HBASE高速即時查詢 38
2.1. Hbase基礎組件 38
2.2. Hbase封裝組件 40
3. SPARK實時數據處理 42
附件2. 可對外提供數據合作的數據 43
1. 用戶位置數據 43
2. 用戶特征數據（標簽） 44
3. 網上搜索關鍵詞數據 46

..............................