超越云巔CyInsight ,是一套經(jīng)過(guò)調(diào)優(yōu)和功能增強(qiáng)的Hadoop與Spark企業(yè)發(fā)行版,包含Hadoop生態(tài)中的20+主要組件,幫助客戶輕松應(yīng)對(duì)海量數(shù)據(jù)的采集、存儲(chǔ)、計(jì)算、分析挖掘和數(shù)據(jù)安全等應(yīng)用場(chǎng)景
多源數(shù)據(jù)的高效集成
云巔CyInsight 提供多源數(shù)據(jù)(包含結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù))的集成能力,提供高吞吐、可擴(kuò)展的數(shù)據(jù)總線和數(shù)據(jù)分發(fā)功能,支持批量加載、實(shí)時(shí)加載、數(shù)據(jù)庫(kù)加載、文件加載等多種加載方式。
異構(gòu)數(shù)據(jù)的海量存儲(chǔ)
云巔CyInsight 提供基于分布式文件系統(tǒng)和并行架構(gòu)的大數(shù)據(jù)存儲(chǔ)能力,支持PB級(jí)數(shù)據(jù)規(guī)模的高可靠和高可用存儲(chǔ),支持存放多種文件格式,例如關(guān)系數(shù)據(jù)庫(kù)等結(jié)構(gòu)化數(shù)據(jù),日志、網(wǎng)頁(yè)等半結(jié)構(gòu)化數(shù)據(jù),以及視頻、圖片、文檔等非結(jié)構(gòu)化數(shù)據(jù)。
多場(chǎng)景下的數(shù)據(jù)計(jì)算框架
面向不同業(yè)務(wù)場(chǎng)景,云巔CyInsight提供離線計(jì)算、流式計(jì)算、內(nèi)存計(jì)算、圖計(jì)算等豐富的計(jì)算框架,支持計(jì)算任務(wù)流程編排、計(jì)劃安排,提供標(biāo)準(zhǔn)SQL的數(shù)據(jù)訪問(wèn)能力。
基于機(jī)器學(xué)習(xí)的大數(shù)據(jù)分析
云巔CyInsight 提供涵蓋多源數(shù)據(jù)接入、數(shù)據(jù)特征提取、算法模型管理、算法模型評(píng)估和結(jié)果預(yù)測(cè)等完整機(jī)器學(xué)習(xí)過(guò)程的可視化大數(shù)據(jù)分析功能。支持多元分類、回歸分析、協(xié)同推薦等分析模式,SVM、樸素貝葉斯、K-Means、線性回歸等10+種算法,支持批量預(yù)測(cè)和實(shí)時(shí)預(yù)測(cè)功能并提供API。預(yù)測(cè)過(guò)程基于內(nèi)存進(jìn)行迭代式計(jì)算,并且支持分布式計(jì)算,可以應(yīng)對(duì)海量數(shù)據(jù)分析。
安全有效的資源隔離與共享
云巔CyInsight 提供對(duì)結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的多用戶資源管理,滿足對(duì)數(shù)據(jù)資源的權(quán)限隔離、安全授權(quán)和資源調(diào)度。提供多用戶的可視化數(shù)據(jù)空間管理功能,支持?jǐn)?shù)據(jù)空間大小、文件數(shù)、計(jì)算隊(duì)列等的配額設(shè)置;支持多用戶間數(shù)據(jù)資源的開(kāi)放訂閱和指定共享,共享權(quán)限可控制到文件目錄、表及列族級(jí);支持對(duì)數(shù)據(jù)訪問(wèn)的審計(jì)和監(jiān)控。
統(tǒng)一的大數(shù)據(jù)平臺(tái)運(yùn)維管理
云巔CyInsight 提供針對(duì)HDFS、MapReduce、Hive、HBase、ZooKeeper、Oozie和Spark等20+組件的自動(dòng)化安裝部署,并為平臺(tái)提供完善的配置管理、監(jiān)控告警等能力。
產(chǎn)品詳情
產(chǎn)品參數(shù)
1、 性能指標(biāo)
測(cè)試環(huán)境:8節(jié)點(diǎn)集群;節(jié)點(diǎn)典型配置:CPU:2*E5-2640,內(nèi)存:256G,硬盤:SATA盤
分類 |
指標(biāo)項(xiàng) |
規(guī)格 |
|
MapReduce性能指標(biāo) |
WordCount:平均每節(jié)點(diǎn)處理能力
|
8GB/分鐘 |
|
Terasort:平均每節(jié)點(diǎn)處理能力 |
6.4GB/分鐘 |
||
Spark性能指標(biāo) |
WordCount:平均每節(jié)點(diǎn)處理能力 |
30GB/分鐘/Node |
|
Terasort:平均每節(jié)點(diǎn)處理能力 |
9GB/分鐘/Node |
||
SQL on Hadoop |
Aggregation:平均每節(jié)點(diǎn)處理能力 |
8GB/分鐘 |
|
Join:平均每節(jié)點(diǎn)處理能力 |
4GB/分鐘 |
||
HBase |
100%隨機(jī)讀:平均每節(jié)點(diǎn)讀取記錄條數(shù)(每條記錄1KB),響應(yīng)時(shí)間小于50MS |
30,000 Records/s |
|
100%隨機(jī)寫(xiě):平均每節(jié)點(diǎn)寫(xiě)入記錄條數(shù)(每條記錄1KB),響應(yīng)時(shí)間小于50MS |
40,000 Records/s |
||
順序掃描:平均每節(jié)點(diǎn)scan記錄條數(shù)(每條記錄1KB),響應(yīng)時(shí)間小于50MS |
15,000 Records/s |
||
50%隨機(jī)寫(xiě)+50%隨機(jī)讀:平均每節(jié)點(diǎn)寫(xiě)入記錄條數(shù)(每條記錄1KB),響應(yīng)時(shí)間小于50MS |
寫(xiě)25,000 Records/s 讀18,000 Records/s
|
||
50%隨機(jī)寫(xiě)+50%掃描讀:平均每節(jié)點(diǎn)寫(xiě)入記錄條數(shù)(每條記錄1KB),響應(yīng)時(shí)間小于50MS |
寫(xiě)30,000 Records/s 讀10,000 Records/s
|
2、產(chǎn)品兼容性
2.1 CPU兼容性
超越云巔CyInsight大數(shù)據(jù)平臺(tái)兼容主流硬件架構(gòu):X86、ARM
2.2 操作系統(tǒng)兼容性
序號(hào) |
操作系統(tǒng) |
1 |
CentOS |
2 |
Redhat |
3 |
銀河麒麟 |
4 |
中標(biāo)麒麟 |
5 |
麒麟OS |
6 |
EulerOS |