當前位置：成都萬緯信息技術(shù)有限公司>>華三>>大數(shù)據(jù)/服務(wù)器>>H3C DataEngine平臺產(chǎn)品

H3C DataEngine平臺產(chǎn)品

返回列表頁

參考價

面議

具體成交價以合同協(xié)議為準

產(chǎn)品型號

品牌

廠商性質(zhì)其他

所在地成都市

在線詢價收藏產(chǎn)品查看聯(lián)系電話

聯(lián)系方式：譚先生查看聯(lián)系方式

更新時間：2024-04-07 12:53:51瀏覽次數(shù)：420次

聯(lián)系我時，請告知來自智慧城市網(wǎng)

產(chǎn)品分類 品牌分類

  華三

新安防

云計算/超融合

大數(shù)據(jù)/服務(wù)器

無線安全

存儲

交換路由

智能數(shù)據(jù)中心網(wǎng)絡(luò)

全部產(chǎn)品列表

暫無信息

成都萬緯信息技術(shù)有限公司

經(jīng)營模式：其他

商鋪產(chǎn)品：167條

所在地區(qū)：

聯(lián)系人：譚先生

詢價 給他留言

產(chǎn)品簡介

詳細介紹

在DT時代的今天，各行各業(yè)時時刻刻都在產(chǎn)生海量的結(jié)構(gòu)多樣的數(shù)據(jù)，企業(yè)數(shù)據(jù)規(guī)模不斷增長，數(shù)據(jù)類型也變得復雜多樣，傳統(tǒng)數(shù)據(jù)庫技術(shù)已無法滿足企業(yè)海量多樣化數(shù)據(jù)的有效存儲、快速讀取以及分析挖掘的需求，急需一套專業(yè)化的大數(shù)據(jù)解決方案來點石成金，H3C DataEngine大數(shù)據(jù)平臺在此背景下應(yīng)運而生。
H3C DataEngine 3.0大數(shù)據(jù)平臺基于開源Hadoop3.0而優(yōu)于開源Hadoop，提供一套完整的數(shù)據(jù)實時采集、數(shù)據(jù)存儲、計算、分析、管理與開發(fā)于一體的大數(shù)據(jù)平臺方案。相比開源Hadoop 3.0平臺，DataEngine大數(shù)據(jù)平臺在安全性、易用性、穩(wěn)定性與兼容性等多方面，進行內(nèi)核級優(yōu)化與外圍加固，為用戶提供更貼心、更適合的大數(shù)據(jù)平臺方案。H3C DataEngine大數(shù)據(jù)平臺與H3C CloudOS深度融合，以云操作系統(tǒng)作為基礎(chǔ)底座，形成獨立的數(shù)據(jù)平臺云服務(wù)，利用云提供靈活的基礎(chǔ)設(shè)施資源管理，提供海量數(shù)據(jù)存儲以及高性能的查詢分析處理能力，助力企業(yè)用戶快速構(gòu)建海量數(shù)據(jù)處理系統(tǒng)，分析挖掘數(shù)據(jù)內(nèi)在價值，并用于指導企業(yè)經(jīng)營決策，完成業(yè)務(wù)驅(qū)動到數(shù)據(jù)驅(qū)動的轉(zhuǎn)型。

系統(tǒng)架構(gòu)

H3C DataEngine大數(shù)據(jù)平臺,整合基礎(chǔ)資源服務(wù)（IaaS）、平臺服務(wù)（PaaS）、數(shù)據(jù)服務(wù)（DaaS）一站式數(shù)據(jù)解決方案，支持物理機與虛擬機多種資源服務(wù)模式，深度定制大數(shù)據(jù)生態(tài)系統(tǒng)，打通數(shù)據(jù)全鏈路開發(fā)處理流程和數(shù)據(jù)全域管理能力，助力企業(yè)業(yè)務(wù)快速創(chuàng)新，完成ICT轉(zhuǎn)型。

數(shù)據(jù)源：大數(shù)據(jù)平臺可對接各種類型的數(shù)據(jù)源，結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)與半結(jié)構(gòu)化數(shù)據(jù)，包括但不限于關(guān)系型數(shù)據(jù)庫、日志、流量、物聯(lián)網(wǎng)數(shù)據(jù)、圖片等。支持接收上一個數(shù)據(jù)處理組件或數(shù)據(jù)接入階段的數(shù)據(jù)。支持自定義的數(shù)據(jù)處理操作，并可向下一個數(shù)據(jù)處理組件發(fā)送數(shù)據(jù)；支持多元化數(shù)據(jù)處理方式，包括支持Java、Python、SQL等開發(fā)語言。
資源服務(wù)層：DataEngine大數(shù)據(jù)平臺依托H3C CloudOS云基礎(chǔ)平臺，提供數(shù)據(jù)平臺運行的服務(wù)支撐能力，包括控制臺管理框架、統(tǒng)一用戶組織管理、工單流程管理、組件監(jiān)控告警、日志管理以及微服務(wù)治理、資源池管理等。數(shù)據(jù)平臺服務(wù)支持部署在物理機、裸金屬服務(wù)器和虛擬機，用戶可以根據(jù)實際業(yè)務(wù)場景需求靈活選擇。
平臺服務(wù)層：提供豐富的大數(shù)據(jù)組件即服務(wù)，包括但不限于分布式文件系統(tǒng)、NoSQL數(shù)據(jù)庫服務(wù)、內(nèi)存數(shù)據(jù)庫服務(wù)、離線計算、流式計算、內(nèi)存計算等服務(wù)，并通過自研統(tǒng)一SQL服務(wù)，兼容標準SQL，對外提供統(tǒng)一的數(shù)據(jù)查詢、分析服務(wù)，提升平臺的整體易用性。
分布式文件系統(tǒng)支持查詢存儲容量、存儲使用量等信息；支持根據(jù)數(shù)據(jù)價值的高低和存儲周期的長短，定義數(shù)據(jù)的物理存儲節(jié)點，提高集群資料使用效率。根據(jù)數(shù)據(jù)價值高可以存儲配置在SSD盤或者SATA盤的節(jié)點上，同時提供gzip、或lzc、或snappy、或其它存儲壓縮算法。
數(shù)據(jù)服務(wù)層：在數(shù)據(jù)存儲與計算平臺服務(wù)之上，還提供數(shù)據(jù)工廠、數(shù)據(jù)開發(fā)、數(shù)據(jù)資產(chǎn)以及數(shù)據(jù)質(zhì)量等增值服務(wù)，形成統(tǒng)一數(shù)據(jù)標準規(guī)范，真正形成數(shù)據(jù)資產(chǎn)化，滿足上層應(yīng)用的數(shù)據(jù)要求。
H3C DataEngine 大數(shù)據(jù)平臺產(chǎn)品包括以下關(guān)鍵特性：
多數(shù)據(jù)源的快速采集：數(shù)據(jù)集成服務(wù)通過簡易的工作流管理界面，可輕松將存儲在文件、關(guān)系型數(shù)據(jù)庫、實時數(shù)據(jù)流（如設(shè)備syslog信息）等各類數(shù)據(jù)源中的海量結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)采集至大數(shù)據(jù)集群中。
海量數(shù)據(jù)的存儲：對結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)提供低成本存儲，通過的Ensure Code技術(shù)實現(xiàn)數(shù)據(jù)低冗余、高容錯，并通過集群高可用和多副本機制，避免單節(jié)點故障，保證節(jié)點損壞時數(shù)據(jù)不丟失。此外平臺還具有高可擴展性，用戶可以增加集群節(jié)點數(shù)量，橫向擴展數(shù)據(jù)存儲和計算能力。
支持對集群內(nèi)服務(wù)器硬盤故障自動容錯處理，支持硬盤熱插拔，故障硬盤的業(yè)務(wù)恢復時間＜ 2分鐘。
元數(shù)據(jù)庫支持快速切換容災(zāi)，故障時可在1分鐘內(nèi)完成服務(wù)恢復。
多計算框架融合：融合了穩(wěn)定的離線計算MapReduce、高效的內(nèi)存計算Spark以及實時的流計算Flink等多種計算框架，為客戶提供靈活的計算支持能力，全面支持各類計算業(yè)務(wù)場景，客戶無需切換平臺或架構(gòu)即可完成復雜多變的計算任務(wù)。在各類計算框架之上H3C DataEngine通過自研的統(tǒng)一SQL引擎，高度兼容標準SQL，智能選擇計算引擎，極大降低使用復雜度，為上層應(yīng)用程序提供標準的JDBC/ODBC/REST接口、多種語言的編程API和DaaS接口，輔以BI展示和可視化工具，通過即時報表、直方圖、柱狀圖等方式直觀呈現(xiàn)數(shù)據(jù)價值。
可視化數(shù)據(jù)工廠：提供一站式數(shù)據(jù)接入、可視化的數(shù)據(jù)開發(fā)，全托管的數(shù)據(jù)處理流程調(diào)度，實現(xiàn)一整套全生命周期數(shù)據(jù)開發(fā)服務(wù)，適用于數(shù)據(jù)建倉、數(shù)據(jù)分析與探索、業(yè)務(wù)報表生成、實時數(shù)據(jù)預警等業(yè)務(wù)場景。
豐富的行業(yè)應(yīng)用： H3C DataEngine大數(shù)據(jù)平臺經(jīng)過不斷的產(chǎn)品優(yōu)化和架構(gòu)演進，已經(jīng)成功在、醫(yī)療、電力、稅務(wù)、高校等多個行業(yè)落地實施，配合行業(yè)的應(yīng)用服務(wù)開發(fā)商為客戶提供豐富的大數(shù)據(jù)應(yīng)用。
容災(zāi)備份：可對關(guān)鍵組件元數(shù)據(jù)、文件、表進行備份和恢復；數(shù)據(jù)備份和數(shù)據(jù)恢復，支持全量或增量備份。數(shù)據(jù)中心間的數(shù)據(jù)集群備份，滿足多中心之間的數(shù)據(jù)互備需求，備份過程可視化管理。
多租戶支持：通過對物理或虛擬資源的分配實現(xiàn)多個租戶以及他們的計算和數(shù)據(jù)彼此隔離和不可訪問。
隔離管理：支持多租戶并行執(zhí)行，租戶任務(wù)提交到不同的隊列執(zhí)行，租戶間資源隔離。
權(quán)限管理：支持各業(yè)務(wù)組件的租戶統(tǒng)一管理，實現(xiàn)租戶資源的動態(tài)配置和管理，資源隔離，資源使用統(tǒng)計等功能，支持多級租戶的管理功能。
調(diào)度管理：支持多集群和多資源池的多租戶調(diào)度。

產(chǎn)品特點

易用的平臺管理界面

H3C DataEngine提供可視化的集群安裝部署界面，方便快捷的進行資源管理，主機分配等操作，支持組件服務(wù)一鍵安裝、升級和圖形化運維，實時監(jiān)測各項服務(wù)的健康狀態(tài)以及運行指標，超過一定配置閾值后進行告警并郵件通知管理員，大幅提升運維效率。并可支持滾動升級與補丁能力，業(yè)務(wù)不中斷，一次升級少量節(jié)點，循環(huán)滾動，直至集群所有節(jié)點升級到新版本。支持集群內(nèi)某個業(yè)務(wù)節(jié)點故障時，不影響整體服務(wù)實例運行，并提供集群的自適應(yīng)性負載能力，在高并發(fā)、高負載請求場景下無需調(diào)整集群參數(shù)保證業(yè)務(wù)運行。

超大規(guī)模集群能力

H3C DataEngine 大數(shù)據(jù)平臺深度優(yōu)化集群擴展能力，支持5000+節(jié)點以上超大規(guī)模集群的實施能力，具備豐富的大規(guī)模集群調(diào)優(yōu)能力，從規(guī)劃部署策略，反復驗證以最少的資源實現(xiàn)資源合理利用、優(yōu)化部署架構(gòu)，實現(xiàn)分片并行、增加本地化安裝源避免流量洪峰、修改單線操作，合理提高并行度，提升組件管理和業(yè)務(wù)性能、增加緩存機制，減少調(diào)度延遲，保障頁面響應(yīng)快速，數(shù)據(jù)更新及時、反復優(yōu)化組件資源參數(shù)和系統(tǒng)參數(shù)，提升大集群穩(wěn)定性。采用大二層扁平網(wǎng)絡(luò)部署，可支持交換機線性擴展，支持負載分擔，采用業(yè)務(wù)平面管理平面隔離。平臺支持自主可控CPU架構(gòu)部署。

高效的工作流調(diào)度引擎

數(shù)據(jù)工廠中支持可視化的工作流任務(wù)編排，并提供強大的工作流調(diào)度引擎。用戶可以調(diào)試運行工作流，也可以周期運行工作流。在周期調(diào)度設(shè)置中，支持多維度的調(diào)度方式，即可以按照年、月、周、日、小時、分鐘的方式進行工作流執(zhí)行周期的設(shè)置。同時支持工作流的優(yōu)先級與并發(fā)數(shù)設(shè)置，用戶可以針對不同工作流設(shè)置不同的優(yōu)先級，或者針對工作流實際運行需求來設(shè)置并發(fā)數(shù)。

通用數(shù)據(jù)服務(wù)接口

提供統(tǒng)一SQL服務(wù)和可編程API，提取數(shù)據(jù)存儲計算平臺的數(shù)據(jù)處理結(jié)果，屏蔽底層細節(jié)，為上層應(yīng)用提供數(shù)據(jù)服務(wù)。數(shù)據(jù)服務(wù)接口主要包括SQL接口、MapReduce/Spark/Storm/Flink等多種計算框架的可編程API、全文搜索接口、業(yè)務(wù)定向接口、關(guān)聯(lián)查詢接口，滿足數(shù)據(jù)查詢、可視化BI展示、數(shù)據(jù)分析、綜合查詢等業(yè)務(wù)應(yīng)用的需要。提供接口文檔、二次開發(fā)指導手冊與二次開發(fā)示例程序，滿足開發(fā)人員的使用需求。

安全的數(shù)據(jù)管控中心

H3C DataEngine基于安全協(xié)議Kerberos實現(xiàn)安全認證，使用LDAP作為賬戶管理系統(tǒng)；同時利用Range提供統(tǒng)一的用戶和角色的管理體系，遵從RBAC(Role-Based Access Control)模型規(guī)范，通過角色綁定用戶進行權(quán)限管理。此外DataEngine還支持用戶對各組件的審計日志及檢索能力，自動存儲到服務(wù)器的目錄下（或?qū)尤罩痉?wù)，并可通過日志服務(wù)下載日志），便于長期存儲、管理審計日志信息。全組件管理界面均支持單點登錄。
采用多節(jié)點集群架構(gòu)，平臺內(nèi)各組件管理節(jié)點需實現(xiàn)高可用機制，運維管理節(jié)點故障不影響業(yè)務(wù)正常運行。使得平臺真正做到安全可靠。

智能數(shù)據(jù)分析挖掘

支持R語言，集成機器學習算法庫Spark MLlib，包含聚類分析、分類算法、頻度關(guān)聯(lián)分析和推薦系統(tǒng)在內(nèi)的常用機器學習算法。滿足批處理統(tǒng)計分析、在線數(shù)據(jù)檢索、R語言數(shù)據(jù)挖掘、實時流處理、全文搜索等需求。可幫助企業(yè)建立高速可擴展的數(shù)據(jù)倉庫和數(shù)據(jù)集市，結(jié)合多種報表工具提供交互式數(shù)據(jù)分析、即時報表和BI可視化展示能力。

多形態(tài)部署模式

數(shù)據(jù)平臺支持獨立模式和共享模式兩種資源劃分模式，滿足不同場景下業(yè)務(wù)需求。共享模式下可以創(chuàng)建一個大集群，不同用戶申請集群的共享存儲和計算資源，并通過權(quán)限進行隔離，適合對資源管控嚴格且各二級部門數(shù)據(jù)交換頻繁的企業(yè)使用。獨立模式下不同用戶可申請創(chuàng)建單獨的集群，獨享集群的所有資源，不同集群之前使用網(wǎng)絡(luò)進行隔離，適用于資源比較充分且各二級部門之間業(yè)務(wù)相對獨立的企業(yè)。
此外為滿足企業(yè)穩(wěn)定性要求，DataEngine還提供了常用服務(wù)的獨立產(chǎn)品模式，包括NoSQL數(shù)據(jù)庫HBase、內(nèi)存數(shù)據(jù)庫Redis、消息中間件Kafka、搜索服務(wù)Solr和Elasticsearch，避免不同組件之間資源搶占影響集群穩(wěn)定性。

云數(shù)平臺深度融合

H3C DataEngine大數(shù)據(jù)平臺做為H3C CloudOS云服務(wù)提供，充分發(fā)揮云計算與大數(shù)據(jù)融合優(yōu)勢，利用云IaaS能力提供虛擬化資源池和裸金屬資源池，用戶可以根據(jù)具體業(yè)務(wù)場景靈活選擇數(shù)據(jù)平臺部署模式。虛擬機部署適合小數(shù)據(jù)量、性能要求不高的應(yīng)用場景，服務(wù)器資源利用率；裸金屬部署適合大數(shù)據(jù)量、高性能場景，提升用戶業(yè)務(wù)能力。

功能特性

可視化安裝運維管理

大數(shù)據(jù)平臺提供一體化的安裝運維管理界面，通過Web界面化的方式實現(xiàn)一站式安裝部署、監(jiān)控告警、參數(shù)配置、服務(wù)管理、日志審計、用戶管理、多集群管理等功能，避免用戶在多個管理界面間切換；對集群的各項服務(wù)做集中式管理，提供啟動服務(wù)、停止服務(wù)、修改屬性和設(shè)定運行參數(shù)等功能，實現(xiàn)集群各項服務(wù)運行狀態(tài)(基本信息、告警、運行健康狀態(tài))實時監(jiān)控，保障集群穩(wěn)定運行。

一站式開發(fā)服務(wù)數(shù)據(jù)工廠

數(shù)據(jù)工廠覆蓋數(shù)據(jù)采集、存儲、計算、分析、開發(fā)、調(diào)度等環(huán)節(jié)的大數(shù)據(jù)全鏈路處理能力，降低用戶使用大數(shù)據(jù)的門檻，幫助用戶快速構(gòu)建大數(shù)據(jù)處理體系。
文件管理為用戶提供可視化的HDFS操作能力，免去了用戶依靠終端輸入命令行的方式進行HDFS操作，支持可視化上傳、下載、共享等操作。
數(shù)據(jù)開發(fā)以拖拽方式構(gòu)建任務(wù)流，按照時間和依賴關(guān)系的對進行任務(wù)調(diào)度管理，支持對Shell，Java，MapReduce，Spark，HDFS，Hive，SparkSQL等任務(wù)調(diào)度與編排。
資源空間管理提供開發(fā)依賴jar包，tar包，文件等資源的管理，支持在線分組分類，增刪改等操作。
連接管理支持SSH協(xié)議主機連接和關(guān)系型數(shù)據(jù)庫、大數(shù)據(jù)存儲、消息隊列以及其他類型（FTP）數(shù)據(jù)源連接。

多樣化分布式計算框架

DataEngine提供MapReduce、Spark和Flink三種分布式處理框架，分別滿足穩(wěn)定、高效、快速迭代三類應(yīng)用場景，同時支持Hive、SparkSQL等SQL on Hadoop工具，簡化計算任務(wù)編寫過程，快速進行數(shù)據(jù)開發(fā)工作。
Hive默認執(zhí)行引擎采用Tez計算框架，將多個具有依賴的作業(yè)轉(zhuǎn)換為DAG作業(yè)，避免復雜任務(wù)多次讀寫HDFS過程，大幅提升作業(yè)運行性能，復雜計算場景下相比MapReduce作業(yè)能夠提升10倍以上性能。
提供Spark內(nèi)存計算框架，通過RDD之間的血緣關(guān)系管理算子之間依賴關(guān)系，確保數(shù)據(jù)能夠快速恢復并重新計算，中間結(jié)果數(shù)據(jù)支持靈活選擇內(nèi)存、SSD等緩存模式，在迭代式計算場景提供更高性能的算力，計算性能可達MapReduce的10-100倍。
采用Flink計算框架統(tǒng)批處理，一個計算引擎可同時滿足流計算業(yè)務(wù)和批處理業(yè)務(wù)，支持自實現(xiàn)狀態(tài)管理和Exactly-Once語義，具有容錯機制，保證數(shù)據(jù)零丟失，具有的吞吐量及亞秒級延遲性能。同時支持完善Flink SQL語法，快速實現(xiàn)雙流join、流批join等業(yè)務(wù)場景，降低流式作業(yè)開發(fā)難度。

全面的全文檢索數(shù)據(jù)庫

全文檢索主要應(yīng)用于業(yè)務(wù)場景下的人員、車輛、企事業(yè)單位等電子檔案的全文檢索、結(jié)構(gòu)化數(shù)據(jù)的關(guān)聯(lián)查詢分析以及原始庫、資源庫、主題庫、業(yè)務(wù)庫、業(yè)務(wù)要素索引庫組建。技術(shù)實踐方面，全文庫除滿足機關(guān)檔案類非結(jié)構(gòu)化數(shù)據(jù)的搜索需求外，因其對結(jié)構(gòu)化數(shù)據(jù)索引及實時查詢性能的良好支持，不應(yīng)局限于將其應(yīng)用于非結(jié)構(gòu)化數(shù)據(jù)的全文檢索，同時，由于當前分析型數(shù)據(jù)庫在高并發(fā)關(guān)聯(lián)查詢場景下的性能欠缺，對于面向一線民警的高并發(fā)結(jié)構(gòu)化數(shù)據(jù)關(guān)聯(lián)檢索類場景都可考慮使用全文檢索庫來承載。本次全文檢索數(shù)據(jù)容量按照全量結(jié)構(gòu)化數(shù)據(jù)以及全量非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)容量進行規(guī)劃，采用Solr或者ES全文檢索組件，其中包括對結(jié)構(gòu)化以及非結(jié)構(gòu)化數(shù)據(jù)的檢索。
Elasticsearch+Solr全文檢索引擎是一個高性能，采用Java開發(fā)，基于Lucene的全文搜索服務(wù)器，可以實現(xiàn)每天百億增量數(shù)據(jù)的實時入庫，并在數(shù)據(jù)入庫1-2分鐘后就可以進行查詢。同時對其進行了擴展，提供了比Lucene更為豐富的查詢語言，同時實現(xiàn)了可配置、可擴展并對查詢性能進行了優(yōu)化，并且提供了一個完善的功能管理界面，是一款非常優(yōu)秀的全文搜索引擎 (Lucene是一個全文檢索引擎的架構(gòu)，提供了完整的查詢引擎和索引引擎)。它對外提供了類似于REST的HTTP/XML和JSON的API。其主要功能包括強大的全文檢索，高亮顯示，層面搜索，近實時索引，動態(tài)聚類，數(shù)據(jù)庫整合，豐富的文檔（如Word中，PDF格式）處理和地理信息搜索等。
Elasticsearch+Solr全文檢索引擎作為業(yè)界優(yōu)秀的企業(yè)搜索服務(wù)器具有以下特性：
? 高級的全文搜索功能
? 支持針對數(shù)據(jù)的語義分析、情感分析和打標簽功能
? 支持基于協(xié)同過濾算法實現(xiàn)智能推薦提高查詢有效性
? 支持異步文件存儲能力，自動支持文件的切片和合并能力以及對象存儲能力，并提供基于Restful的查詢接口
? 具備非結(jié)構(gòu)化數(shù)據(jù)的存儲和快速檢索能力，以及PB數(shù)據(jù)量級的毫秒級搜索能力
? 專為高通量的網(wǎng)絡(luò)流量進行的優(yōu)化
? 基于開放接口（XML和HTTP）的標準
? 綜合的HTML管理界面
? 可伸縮性－能夠有效地復制到另外一個全文檢索服務(wù)器
? 使用XML配置達到靈活性和適配性
? 支持可擴展的插件體系
? 高效、靈活的緩存功能
? 垂直搜索功能，高亮顯示搜索結(jié)果

自研統(tǒng)一SQL引擎

DataEngine大數(shù)據(jù)平臺提供自研Sparrow組件，對外提供統(tǒng)一的SQL訪問服務(wù)。兼容通用標準SQL，從數(shù)據(jù)庫平滑過渡到大數(shù)據(jù)平臺，提升SQL兼容性，可對接ES、HBase、Hive等數(shù)據(jù)源，降低平臺使用門檻；提供增強型統(tǒng)一SQL on Hadoop方案，支持圖計算與機器學習SQL，大幅度提升平臺易用性。

豐富的大數(shù)據(jù)服務(wù)組件

基于Hadoop 3.0版本，與開源社區(qū)的版本、接口保持一致，不采用私有架構(gòu)。提供分布式文件存儲、海量數(shù)據(jù)處理、實時數(shù)據(jù)分析、交互式查詢、數(shù)據(jù)檢索、安全認證與權(quán)限管理等功能。軟件服務(wù)組成及功能描述如下：

服務(wù)名稱	版本號	描述
YARN	3.0.0	Hadoop資源管理器，是一個通用的資源管理系統(tǒng)，可為上層應(yīng)用提供統(tǒng)一的資源管理和調(diào)度服務(wù)，使MapReduce、Spark、Flink等多種計算框架共享資源
HDFS	3.0.0	Hadoop分布式文件系統(tǒng)，具有高容錯、高吞吐等特點，適用于存儲超大文件
MapReduce2	3.0.0	批處理框架，主要用于離線計算、計算密集型應(yīng)用。設(shè)計思想是分而治之，即將一個大任務(wù)分成多個獨立的小任務(wù)，最后匯總各個小任務(wù)的結(jié)果
ZooKeeper	3.4.5	分布式應(yīng)用程序協(xié)調(diào)服務(wù)，為集群提供一致性服務(wù)，包括配置維護、名字服務(wù)、分布式同步、組成員管理等
Spark	2.4.0	一個快速的通用的大規(guī)模數(shù)據(jù)處理引擎，提供批處理、流處理、SQL查詢、機器學習、圖計算、R語言等功能。Spark計算中的中間結(jié)果緩存在內(nèi)存中，在后續(xù)計算過程中直接讀取緩存數(shù)據(jù)，具有高效的計算性能。
Storm	1.2.1	Storm是一個分布式的、容錯的實時流處理引擎，效率非常高且能保證每條消息都能被處理
Tez	0.9.0	一個支持DAG作業(yè)的計算框架。Tez將多個有依賴關(guān)系的作業(yè)轉(zhuǎn)化為一個DAG作業(yè)，大幅提升性能，幫助MapReduce克服在迭代計算和交互式計算方面的不足
HBase	2.1.1	HBase是一個分布式、面向列的NOSQL數(shù)據(jù)庫，常用于非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)的存儲和查詢。在應(yīng)用程序開發(fā)中，常使用Java API等接口訪問HBase中的數(shù)據(jù)，也可以借助Phoenix等SQL引擎使用JDBC訪問HBase中的數(shù)據(jù)
Redis	5.0.4	Redis是Key-Value型內(nèi)存數(shù)據(jù)庫，支持單機和集群兩種運行模式，常用作高速緩存和消息隊列代理
Flink	1.6.0	Flink是一個批處理和流處理結(jié)合的統(tǒng)一計算框架，其核心是一個提供了數(shù)據(jù)分發(fā)以及并行化計算的流數(shù)據(jù)處理引擎
ElasticSearch5	7.4.0	ElasticSearch是一個基于Lucene的全文搜索服務(wù)器，提供了一個分布式的、多用戶全文搜索引擎。對外提供RESTful編程接口，特點是易擴展、實時搜索、穩(wěn)定可靠，是當前流行的企業(yè)級搜索引擎
Solr	7.4.0	Solr是一個基于Apache Lucene項目的搜索平臺。其主要功能包括全文搜索、命中突出、面搜索、動態(tài)集群、數(shù)據(jù)庫集成和豐富的文檔（如Word、PDF）處理
Hive	2.1.1	基于Hadoop的數(shù)據(jù)倉庫工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供簡單的類SQL查詢功能，具有以下特點： · 易于進行數(shù)據(jù)抽取、轉(zhuǎn)換和加載 · 支持多樣的數(shù)據(jù)存儲格式 · 能直接訪問存儲在HDFS或其他的數(shù)據(jù)存儲系統(tǒng)（如HBase）上的文件。多種使用方式，支持Shell交互式命令、JDBC、WebUI等
Impala	3.2.0	Impala是用于處理存儲在Hadoop集群中的大量數(shù)據(jù)的MPP（大規(guī)模并行處理）SQL查詢引擎，提供了高性能和低延遲查詢分析能力。
Kafka	2.3.0	一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)
Infra Solr	0.1.0	Infra Solr是一個專門提供給LogSearch服務(wù)的企業(yè)級搜索應(yīng)用服務(wù)器
Sqoop	1.4.7	Sqoop是一個用于Hadoop和結(jié)構(gòu)化數(shù)據(jù)存儲（如關(guān)系型數(shù)據(jù)庫）之間進行高效傳輸大批量數(shù)據(jù)的工具： · Hadoop數(shù)據(jù)：HDFS文件、HBase表、Hive表 · 關(guān)系型數(shù)據(jù)庫：MySQL、PostgreSQL、Oracle、SQL Server和DB2等支持JDBC的數(shù)據(jù)庫
Kerberos	1.10.3.10	Kerberos是一種不依賴主機地址信任、不要求網(wǎng)絡(luò)中所有主機的安全，通過密鑰系統(tǒng)為客戶機和服務(wù)器應(yīng)用程序提供強大的認證服務(wù)的網(wǎng)絡(luò)認證協(xié)議在Hadoop中，使用Kerberos來安全訪問各個服務(wù)
HBase Indexer	1.5	HBase Indexer是針對HBase開發(fā)的索引插件，使HBase支持二級索引
Oozie	5.1.0	Oozie是用于Hadoop平臺的工作流調(diào)度引擎，管理Hadoop作業(yè)
Flume	1.9.0	Flume是一個分布式的、高可靠的、高可用的將大批量的不同數(shù)據(jù)源的日志數(shù)據(jù)收集、聚合、移動到HDFS進行存儲的系統(tǒng)

云化大數(shù)據(jù)服務(wù)

采用基于云計算平臺的大數(shù)據(jù)服務(wù)，用戶通過云端申請大數(shù)據(jù)集群，H3C CloudOS云平臺會為大數(shù)據(jù)集群分配和管理主機資源，用戶只需專注于自己的業(yè)務(wù)層面，按需購買大數(shù)據(jù)服務(wù)，并可為大數(shù)據(jù)集群提供擴容、縮容的功能。提供兩種部署方式：裸金屬與虛擬化。虛擬機部署適合小數(shù)據(jù)量、性能要求不高的應(yīng)用場景，提升服務(wù)器資源利用率；裸金屬部署適合大數(shù)據(jù)量、高性能場景，提升用戶業(yè)務(wù)能力。

安全認證和權(quán)限管理

為保障用戶的數(shù)據(jù)信息安全，DataEngine集成了用戶身份認證和權(quán)限管理功能，在創(chuàng)建大數(shù)據(jù)集群時根據(jù)實際需求進行啟用安全管理即可。
開啟安全管理的集群統(tǒng)一使用Kerberos認證協(xié)議進行安全認證，kerberos認證支持密碼認證和keytab認證兩種模式，集群管理員可在用戶管理模塊為集群使用者分配用戶和設(shè)置認證密碼，避免外部用戶登錄集群，提高集群安全性。
由于集群每個特定用戶可能擁有集群資源的不同訪問和使用權(quán)限，支持按照用戶需要對數(shù)據(jù)進行加密。支持對所有數(shù)據(jù)進行加密或部分關(guān)鍵數(shù)據(jù)進行加密。支持SHA256、AES128等方式的數(shù)據(jù)加密。為保護不同業(yè)務(wù)數(shù)據(jù)的信息安全，安全集群利用Ranger進行鑒權(quán)，確保認證用戶擁有集群資源的訪問權(quán)限。如果用戶權(quán)限不足，需要管理員為用戶授予對應(yīng)資源的權(quán)限后才能進行訪問。
支持數(shù)據(jù)訪問權(quán)限管理，包括登錄權(quán)限、創(chuàng)建表權(quán)限、讀寫權(quán)限、白名單控制權(quán)限等；支持管理權(quán)限控制，包括管理員分級等；提供集中統(tǒng)一的用戶權(quán)限管理功能，將系統(tǒng)中各組件零散的權(quán)限管理功能集中呈現(xiàn)和管理，對普通用戶屏蔽掉內(nèi)部的權(quán)限管理細節(jié)，對管理員簡化權(quán)限管理的操作方法，提升權(quán)限管理的易用性和用戶體驗。
提供權(quán)限管理和細粒度用戶操作審計；具備完善的權(quán)限認證與隔離機制，保障用戶數(shù)據(jù)的性；支持通過多租戶模式實現(xiàn)資源隔離。