東軟公司憑借十多年用電信息采集系統(tǒng)建設(shè)經(jīng)驗，結(jié)合市場化電力改革新形勢背景下的挑戰(zhàn)，構(gòu)建了完善的綜合能源信息采集平臺，統(tǒng)一實現(xiàn)購電側(cè)、供電側(cè)、售電側(cè)三個環(huán)節(jié)電能信息的采集與處理，支持大型專變終端、中小型專變終端、集中器以及帶通信功能電能表的直接采集，全面實現(xiàn)各類用戶的電能信息數(shù)據(jù)，包括采集小水電、小火電、光伏發(fā)電、變電站計量點的電能信息數(shù)據(jù)的采集、處理、存儲及應(yīng)用。同時綜合能源信息采集平臺可實現(xiàn)水、電、熱、氣的集中采集、處理、存儲與發(fā)布。
東軟綜合能源信息采集平臺的應(yīng)用架構(gòu)從下至上可以分為“支撐平臺”，“采集平臺”，“業(yè)務(wù)應(yīng)用”三個層次，如下圖所示：
支撐平臺：作為基礎(chǔ)支撐應(yīng)用，包括東軟公司統(tǒng)一集成開發(fā)平臺，接口交互平臺，工作流支撐功能，人員及權(quán)限體系管理，報警引擎，公共短信平臺，郵件系統(tǒng)等。
采集平臺：劃分為前置通訊功能域和數(shù)據(jù)處理功能域。前置通訊系統(tǒng)由通訊服務(wù)器、管理服務(wù)器、負載均衡設(shè)備等組成。完成終端接入，規(guī)約報文接收、解析、組合、報文打包、數(shù)據(jù)存儲、負載均衡等功能。數(shù)據(jù)處理完成采集規(guī)約配置，采集內(nèi)容配置，采集策略管理，指令下發(fā)，報文完整性判斷，初始數(shù)據(jù)計算等功能。
業(yè)務(wù)應(yīng)用層：平臺支撐層和采集平臺之上就是綜合能源信息采集平臺為電力企業(yè)提供豐富的各類應(yīng)用功能，除了基礎(chǔ)功能如：檔案管理、終端管理、采集任務(wù)管理、數(shù)據(jù)處理、數(shù)據(jù)查詢等，還包括系統(tǒng)穩(wěn)定運行必要功能，如：運行監(jiān)測、運維管理等，同時綜合能源信息采集平臺提供更高層次的業(yè)務(wù)管理及大數(shù)據(jù)分析應(yīng)用，如：費控管理、線損管理、電量分析、負荷分析、負荷預(yù)測、計量設(shè)備異常分析等等。
東軟公司通過總結(jié)歸納多年在電力信息采集及電力營銷等信息化的建設(shè)經(jīng)驗，采用面向服務(wù)的SOA設(shè)計理念，以技術(shù)專業(yè)化、業(yè)務(wù)專業(yè)化設(shè)計視角，對現(xiàn)有東軟公司電力用戶用電信息采集系統(tǒng)進行了架構(gòu)優(yōu)化及系統(tǒng)升級，技術(shù)上即可滿足小型售電公司（供電企業(yè)）的采集需要，同時也能平滑擴展至地市級電網(wǎng)乃至網(wǎng)省級電網(wǎng)規(guī)模數(shù)據(jù)采集、處理、存儲及應(yīng)用需求；業(yè)務(wù)上可實現(xiàn)模塊間的松耦合部署，實現(xiàn)軟件按應(yīng)用需求進行拆分與組合，實現(xiàn)基于滿足國際標準IEC CIM模型的數(shù)據(jù)交換。
當面向終端規(guī)模在10萬以下，用戶規(guī)模在200萬以下的中小型供電企業(yè)時，綜合能源信息采集平臺采用的技術(shù)架構(gòu)（全部基于開源軟件平臺構(gòu)件）如下:
采用實時數(shù)據(jù)總線對采集組件進行解耦，可根據(jù)需求進行靈活部署。
當用戶規(guī)模達到千萬以上時，實時數(shù)據(jù)總線等組件替換為分布式計算和存儲來達到較高業(yè)務(wù)性能，技術(shù)架構(gòu)如下圖所示：
技術(shù)特性
高性能的數(shù)據(jù)采集與處理能力
高頻度的數(shù)據(jù)需求，需要高性能的數(shù)據(jù)采集能力，便捷的指令下發(fā)、高性能的規(guī)約解析，高速數(shù)據(jù)入庫處理
- 引入并行處理和分布式緩存技術(shù)，提升采集數(shù)據(jù)的處理能力
- 引入分布式消息隊列，提升主站和前置機的消息交互能力
- 引入分布式數(shù)據(jù)存儲，解決數(shù)據(jù)庫I/O瓶頸
差異化的數(shù)據(jù)管理能力
高密度的傳輸、發(fā)布各類采集數(shù)據(jù)，因此如何管理采集數(shù)據(jù)、高效發(fā)布數(shù)據(jù)是對采集系統(tǒng)新的應(yīng)用要求
- 引入分布式HBase數(shù)據(jù)庫，解決傳統(tǒng)關(guān)系型數(shù)據(jù)庫的大數(shù)據(jù)存儲瓶頸
- 大規(guī)模HBase集群（Facebook）每秒發(fā)生150萬次操作，每月增加250TB
- 基于分布式數(shù)據(jù)庫技術(shù)（冗余數(shù)據(jù)存儲等），可實現(xiàn)數(shù)據(jù)讀取負載的自動分攤
- 查詢一戶低壓居民，一個月的日凍結(jié)數(shù)據(jù)，毫秒級響應(yīng)
- 當日實時數(shù)據(jù)寫入分布式緩存，提供交易中心高頻度的數(shù)據(jù)訪問。讀的速度達到110000次/秒,寫的速度達到81000次/秒
- 基于分布式消息隊列單個服務(wù)器可以同時為上千個客戶端提供每秒百兆數(shù)據(jù)的讀寫能力
采用Hadoop HDFS來實現(xiàn)數(shù)據(jù)的分布式存儲
- 是一個高度容錯的分布式文件系統(tǒng)，設(shè)計用于在低成本硬件上運行。
- HDFS 提供高吞吐量應(yīng)用程序數(shù)據(jù)訪問功能，適合帶有大型數(shù)據(jù)集的應(yīng)用程序
- HBase是一個構(gòu)建在HDFS上的高可靠、高性能、面向列和高可擴展的分布式列存儲系統(tǒng)；HBase是典型的key/value系統(tǒng)；
- 用于海量結(jié)構(gòu)化數(shù)據(jù)存儲通過不斷增加廉價的商用服務(wù)器，來增加計算和存儲能力。
高性能的數(shù)據(jù)分析及挖掘能力
短時間內(nèi)完成數(shù)據(jù)計算、分析及挖掘
- 基于Map Reduce實現(xiàn)并行計算，提高數(shù)據(jù)分析處理的性能
- 分布式數(shù)據(jù)存儲降低單節(jié)點I/O瓶頸，提高讀取效率
- 基于Spark內(nèi)存計算實現(xiàn)復(fù)雜的數(shù)據(jù)挖掘---聚類分析等
- 以在線監(jiān)測與智能診斷分析為例，基于分布式計算與分布式存儲技術(shù)，29項分析主題在1小時內(nèi)全部算完，效率提升10倍
- 可通過水平擴展提升計算性能
高效的數(shù)據(jù)發(fā)布及數(shù)據(jù)交換能力
- 從“數(shù)據(jù)提取”轉(zhuǎn)變成“數(shù)據(jù)發(fā)布”
- 基于分布式數(shù)據(jù)存儲，提供高并發(fā)、高頻度的數(shù)據(jù)訪問
- 提供Web訂閱的方式，與采集系統(tǒng)實現(xiàn)真正的實時同步監(jiān)控
- 基于分布式消息隊列，保障停復(fù)電指令的時效性、時序性
- 外部單位關(guān)鍵信息交互（控制類）的信息加密
