隨著大數(shù)據(jù)平臺和工業(yè)互聯(lián)網(wǎng)的興起,平臺需要在大數(shù)據(jù)架構(gòu)下為數(shù)據(jù)資源中心與外部數(shù)據(jù)系統(tǒng)提供服務(wù),數(shù)據(jù)中心需要接入更多類型的數(shù)據(jù)。但在實(shí)際應(yīng)用領(lǐng)域,系統(tǒng)中產(chǎn)生的數(shù)據(jù)各自存儲、各自定義,無法做到共享交換協(xié)同,“數(shù)據(jù)孤島”現(xiàn)象逐漸顯現(xiàn),主要原因有以下三點(diǎn):
1.各部門分工明確,且各部門都會有業(yè)務(wù)數(shù)據(jù)產(chǎn)生,需要對這些數(shù)據(jù)進(jìn)行存儲和使用,不同部門對數(shù)據(jù)的定義和使用差異較大,所以數(shù)據(jù)不能互通。
2.各系統(tǒng)之間無法做到多維數(shù)據(jù)的碰撞,無法提高數(shù)據(jù)價(jià)值。
3.沒有統(tǒng)一標(biāo)準(zhǔn),無法做到信息系統(tǒng)建設(shè)的統(tǒng)一性。
所以數(shù)據(jù)治理、讓數(shù)據(jù)流動起來、提高數(shù)據(jù)價(jià)值密度是未來大數(shù)據(jù)技術(shù)的重要發(fā)展趨勢。
一、數(shù)據(jù)治理的定義
數(shù)據(jù)治理(Data Govemance)是組織中設(shè)計(jì)數(shù)據(jù)使用的一整套管理行為。由企業(yè)數(shù)據(jù)治理部門發(fā)起并推行,關(guān)于如何制定和實(shí)時(shí)針對整個(gè)企業(yè)內(nèi)部數(shù)據(jù)的商業(yè)應(yīng)用和技術(shù)管理的一系列政策和流程。安防領(lǐng)域的數(shù)據(jù)治理就是具備數(shù)據(jù)采集、整合、處理、治理能力,同時(shí)統(tǒng)一標(biāo)準(zhǔn)和口徑,給實(shí)時(shí)性要求較高的業(yè)務(wù)應(yīng)用提供數(shù)據(jù)支撐,并能實(shí)現(xiàn)安全防護(hù)、運(yùn)維保障等一系列能力的數(shù)據(jù)平臺,也就是所謂的數(shù)據(jù)中臺。中臺早是由阿里在2015年提出的“大中臺、小前臺”戰(zhàn)略中延伸出來的概念,從字面意思上理解,中臺是基于前臺和后臺之間。
二、數(shù)據(jù)中臺可以解決的問題
由于各用戶之間的需求全然不同,為了積極響應(yīng)用戶需求的變化,發(fā)展新業(yè)務(wù)、提供新服務(wù),這就給前端業(yè)務(wù)軟件提出了新的挑戰(zhàn),必須做到快速響應(yīng)。業(yè)務(wù)要想做到類型多樣又靈活,必定需要后臺數(shù)據(jù)平臺統(tǒng)一標(biāo)準(zhǔn)架構(gòu)的支撐。前端業(yè)務(wù)變化無常,后臺為了支撐前臺越來越多的業(yè)務(wù),后臺不斷建設(shè),系統(tǒng)不斷龐大,所以后臺系統(tǒng)需要穩(wěn)定,不能隨意改動,兩者之間必然存在矛盾沖突。
隨著企業(yè)規(guī)模的擴(kuò)大,組織架構(gòu)和層級擴(kuò)張,各產(chǎn)品線、事業(yè)部之間形成部門墻、業(yè)務(wù)墻、數(shù)據(jù)墻,使得可以快速提供的業(yè)務(wù)無法快速拿出方案,耗費(fèi)大量成本,原本可以共用的接口和服務(wù)被不同部門重復(fù)實(shí)現(xiàn)。安防行業(yè)大數(shù)據(jù)平臺底層架構(gòu)大同小異,差異也就是開源組件的多寡。而真正使企業(yè)具有核心競爭力的是產(chǎn)品和服務(wù)形態(tài),也就是為用戶解決了哪些問題,提升了多少工作效率,以及實(shí)現(xiàn)數(shù)據(jù)平臺內(nèi)部組件之間和周邊系統(tǒng)及業(yè)務(wù)流程上的聯(lián)通。
數(shù)據(jù)中臺出現(xiàn)之前,大數(shù)據(jù)平臺提供服務(wù)的方式可能是這樣的:比如為了實(shí)現(xiàn)數(shù)據(jù)接入和查詢的基本功能,由于數(shù)據(jù)接入和查詢方不熟悉HBase提供的API,大數(shù)據(jù)開發(fā)就會在HBase提供的API之上封裝一層SDK接口提供給數(shù)據(jù)接入和查詢方。為了提升接口調(diào)用的安全性可能還會做一些權(quán)限管理之類的工作,由此來屏蔽一些高風(fēng)險(xiǎn)的操作。但數(shù)據(jù)接入和查詢方需要先了解大數(shù)據(jù)內(nèi)部HBase的表結(jié)構(gòu)、字段定義等底層信息才能很好地運(yùn)用這個(gè)SDK。再比如要實(shí)現(xiàn)一個(gè)研判任務(wù),大數(shù)據(jù)平臺需要提供任務(wù)的增刪查接口和研判結(jié)果的查詢接口,需要跟前端開發(fā)確定好接口的入?yún)⒑统鰠ⅰ4斯δ艿膶?shí)現(xiàn)需要耗費(fèi)很多人力成本。而數(shù)據(jù)中臺極大程度減少了用戶對底層系統(tǒng)了解的必要性,降低了業(yè)務(wù)開發(fā)的門檻。數(shù)據(jù)中臺提供了一整套完整的解決方案,把業(yè)務(wù)流程實(shí)現(xiàn)拋給業(yè)務(wù)軟件去考慮和實(shí)現(xiàn)。
三、數(shù)據(jù)中臺的架構(gòu)
數(shù)據(jù)中臺主要包括設(shè)施層、服務(wù)層、數(shù)據(jù)層以及應(yīng)用層。設(shè)施層是為感知前端、計(jì)算、存儲、網(wǎng)絡(luò)資源提供基礎(chǔ)環(huán)境支持;服務(wù)層的視頻聯(lián)網(wǎng)共享服務(wù)和數(shù)據(jù)層的視頻接入、處理等是平臺的核心功能,服務(wù)層的視頻圖像分析服務(wù)實(shí)現(xiàn)了視頻圖像解析系統(tǒng)中信息分析能力的服務(wù)化,是視頻圖像智能化建設(shè)應(yīng)用的關(guān)鍵服務(wù);數(shù)據(jù)層的數(shù)據(jù)接入、數(shù)據(jù)治理和數(shù)據(jù)服務(wù)是按照公共安全大數(shù)據(jù)處理的技術(shù)要求對視頻圖像信息數(shù)據(jù)庫功能進(jìn)行擴(kuò)展,為視頻圖像智能化建設(shè)應(yīng)用提供視頻圖像數(shù)據(jù)服務(wù)能力;應(yīng)用層對多平臺應(yīng)用功能進(jìn)行了歸納梳理,在充分保護(hù)數(shù)據(jù)安全和個(gè)人隱私的前提下,更好地滿足各部門視頻圖像智能化應(yīng)用的需要。
數(shù)據(jù)服務(wù)平臺主要包括數(shù)據(jù)服務(wù)層、數(shù)據(jù)開發(fā)套件、數(shù)據(jù)處理層以及數(shù)據(jù)源層四大板塊。而數(shù)據(jù)應(yīng)用軟件也就是前端客戶端的業(yè)務(wù)呈現(xiàn)。數(shù)據(jù)平臺給業(yè)務(wù)軟件開發(fā)者提供了離線、實(shí)時(shí)的開發(fā)工具以及任務(wù)管理、代碼發(fā)布、運(yùn)維、告警等一系列的集成工具,方便使用,提升其工作效率。
1.數(shù)據(jù)服務(wù)層主要是跟前端業(yè)務(wù)軟件進(jìn)行交互,提供多種通用業(yè)務(wù)接口,包括JDBC、REST以及訂閱/推送,業(yè)務(wù)軟件可以通過多條復(fù)雜的SQL語句實(shí)現(xiàn)用戶需求,并且接口的調(diào)用要做到負(fù)載均衡,保證后臺的穩(wěn)定性。
2.跟數(shù)據(jù)服務(wù)層并行的是數(shù)據(jù)開發(fā)套件,包括作業(yè)編輯、版本控制、業(yè)務(wù)驗(yàn)證、數(shù)據(jù)資產(chǎn)、任務(wù)管理以及用戶管理。作業(yè)編輯就是業(yè)務(wù)開發(fā)軟件可以通過窗口實(shí)現(xiàn)業(yè)務(wù)需求的工作流(作業(yè));通過版本控制可以保留多個(gè)調(diào)試版本的工作流(作業(yè));業(yè)務(wù)驗(yàn)證提供了即時(shí)業(yè)務(wù)運(yùn)行驗(yàn)證的功能,提供運(yùn)行結(jié)果的查看功能;數(shù)據(jù)資產(chǎn)是指有價(jià)值的數(shù)據(jù),包括數(shù)據(jù)地圖、元數(shù)據(jù)管理、數(shù)據(jù)血緣、數(shù)據(jù)生命周期等管理和展示,更加直觀地展現(xiàn)數(shù)據(jù)資產(chǎn);任務(wù)管理即工作流(作業(yè))的調(diào)度管理(Workflow Scheduler),負(fù)責(zé)底層物理資源的分配管理和作業(yè)的啟動時(shí)間點(diǎn),確保工作流(作業(yè))可以按照既定的依賴關(guān)系準(zhǔn)確及時(shí)地執(zhí)行;用戶管理是保證數(shù)據(jù)的安全性,防止誤操作,是貫穿整個(gè)數(shù)據(jù)平臺較為核心的部分,主要實(shí)現(xiàn)用戶、表、權(quán)限的分層管理和全鏈路數(shù)據(jù)的權(quán)限控制。
3.數(shù)據(jù)處理層是為了提供上層的數(shù)據(jù)開發(fā)套件而依托的開源組件框架和作業(yè)調(diào)度框架,如oozie、azkaban、chronos、zeus等。離線計(jì)算就是實(shí)現(xiàn)一些實(shí)時(shí)性要求不高的研判業(yè)務(wù),比如spark、Hive等,而像Flink、Flume、SparkStreaming等可以提供流式計(jì)算,實(shí)時(shí)性要求更高,諸如車輛、人員的布控業(yè)務(wù)等。SQL分析引擎實(shí)現(xiàn)了上層SQL交互式查詢引擎與底層開源框架之間SQL語法的解析與執(zhí)行。
4.數(shù)據(jù)源層,即數(shù)據(jù)存儲層。為了適應(yīng)上層不同的業(yè)務(wù)需求,底層數(shù)據(jù)存儲的開源組件也是豐富多樣的,主要包括MPP數(shù)據(jù)庫、搜索引擎、NoSQL數(shù)據(jù)庫(如HBase)、關(guān)系型數(shù)據(jù)庫(RDBMS)、分布式文件存儲以及消息隊(duì)列等等,和數(shù)據(jù)層存在緊密的關(guān)系。
數(shù)據(jù)層包括數(shù)據(jù)接入、數(shù)據(jù)治理和數(shù)據(jù)服務(wù)。通過對視頻圖像數(shù)據(jù)進(jìn)行智能處理,從中獲取有價(jià)值的信息,從而實(shí)現(xiàn)視頻圖像數(shù)據(jù)的生命周期管理,對外提供視頻圖像的數(shù)據(jù)管理與服務(wù)能力。
數(shù)據(jù)接入根據(jù)接入數(shù)據(jù)種類的不同可以分為視頻流接入、圖像數(shù)據(jù)接入以及物聯(lián)數(shù)據(jù)接入。視頻流接入是指視頻流的接入,包括實(shí)時(shí)視頻流接入和歷史視頻錄像接入;圖像數(shù)據(jù)接入是指人員、車輛、物品以及事件等圖像相關(guān)數(shù)據(jù)的接入,包括圖片、特征值及結(jié)構(gòu)化信息;物聯(lián)數(shù)據(jù)接入是指除視頻流和圖像數(shù)據(jù)外的其他傳感器接入的數(shù)據(jù),如MAC、RFID、IMSI、IMEI等數(shù)據(jù)的接入。
四、如何進(jìn)行數(shù)據(jù)治理
數(shù)據(jù)治理是指針對接入的各類視頻圖像數(shù)據(jù),根據(jù)業(yè)務(wù)需要進(jìn)行加工處理,從而提升數(shù)據(jù)的使用價(jià)值,滿足用戶的不同需求。數(shù)據(jù)治理還有助于提升業(yè)務(wù)的穩(wěn)定性,進(jìn)而間接提升數(shù)據(jù)正確性的服務(wù)建設(shè)。
數(shù)據(jù)治理主要包括收集信息、數(shù)據(jù)清洗、數(shù)據(jù)關(guān)聯(lián)、數(shù)據(jù)回填等功能。收集信息是指對元數(shù)據(jù)信息的收集及展示。對數(shù)據(jù)開發(fā)平臺來說,元數(shù)據(jù)主要包括:1.數(shù)據(jù)的表結(jié)構(gòu)Schema信息。收集表結(jié)構(gòu)信息是從平臺管理和業(yè)務(wù)需求的角度考慮如何整理和歸納數(shù)據(jù),方便系統(tǒng)集成,實(shí)現(xiàn)終的業(yè)務(wù)價(jià)值;2.處于安全和運(yùn)維角度,還需收集數(shù)據(jù)的統(tǒng)計(jì)信息,包括存儲空間、讀寫記錄、權(quán)限歸屬等;3.數(shù)據(jù)血緣關(guān)系信息,直白地說就是數(shù)據(jù)從哪里來到哪里去。收集數(shù)據(jù)血緣關(guān)系信息是為了幫助業(yè)務(wù)軟件層更好地排查數(shù)據(jù)鏈路中哪個(gè)環(huán)節(jié)出現(xiàn)了問題。數(shù)據(jù)清洗是指對視頻圖像數(shù)據(jù)進(jìn)行數(shù)據(jù)過濾、去重、格式轉(zhuǎn)換、校驗(yàn)等操作,生成滿足標(biāo)準(zhǔn)及質(zhì)量要求的視頻圖像數(shù)據(jù)。數(shù)據(jù)關(guān)聯(lián)是指根據(jù)視頻圖像數(shù)據(jù)的關(guān)聯(lián)規(guī)則或算法,將視頻圖像數(shù)據(jù)和其它數(shù)據(jù)進(jìn)行關(guān)聯(lián)。數(shù)據(jù)回填是使標(biāo)準(zhǔn)化數(shù)據(jù)表中空缺字段值通過數(shù)據(jù)關(guān)聯(lián)得到正確的值,通過填充對應(yīng)空缺字段值來提升數(shù)據(jù)完整度。
數(shù)據(jù)服務(wù)是指基于接入和治理后的數(shù)據(jù),為視頻圖像應(yīng)用提供的數(shù)據(jù)服務(wù)能力,主要包括查詢檢索、比對訂閱、模型分析、數(shù)據(jù)推送、數(shù)據(jù)鑒權(quán)、數(shù)據(jù)操作以及數(shù)據(jù)管理等。
基于以上數(shù)據(jù)層和服務(wù)層的處理,移動端、Web端、客戶端等才能應(yīng)對多樣的用戶需求,提供豐富的業(yè)務(wù)應(yīng)用,比如以圖搜圖、多維碰撞等業(yè)務(wù),從而提升各項(xiàng)公共安全工作的能力和水平。
100%; color: rgb(51, 51, 51); font-family: -apple-system, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif; font-size: 17px; letter-spacing: 0.544px; text-align: justify; box-sizing: border-box !important; overflow-wrap: break-word !important;">100%; box-sizing: border-box !important; word-wrap: break-word !important; font-size: 14px; font-family: mp-quote, -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;">文100%; color: rgb(51, 51, 51); letter-spacing: 0.544px; text-align: justify; font-size: 14px; font-family: mp-quote, -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif; box-sizing: border-box !important; overflow-wrap: break-word !important;"> / 陳培琴 浙江宇視科技有限公司