FusionInsight 大(dà)數(shù)據> 分(fēn)析平台
來(lái)源:
|
作(zuò)者:admin
|
發布時(shí)間(jiān): 2021-08-13
|
5418 次浏覽
|
分(fēn)享到(dào):
華為(wèi)企業(yè)級大(dà)數(shù)據分 $€✔(fēn)析平台FusionInsight 包括FusionInsighγ ¶t Hadoop和(hé)FusionInsight Streaming兩個(gè§ σ)組件(jiàn)
華為(wèi)企業(yè)級大(dà)數(shù)據分(fēn)析平台FusionI↑☆nsight 包括FusionInsight Hadoop和(hé)★ΩFusionInsight Streaming兩個(gè)組件(jiàn)：
Fusion Insight♥→±" Hadoop包含了(le)開(kāi)放(fàng)社區(qū)的(de)$λ€主要(yào)軟件(jiàn)及其生(shēng)态圈中的(de)主流組件(jiàn)，并進≈←行(xíng)了(le)大(dà)量優化(ε≥huà)，讓企業(yè)可(kě)以從(cón≥★g)各類繁雜(zá)無序的(de)海(hǎi)量數(shù)據中洞察商↑ππ機(jī)；
FusionInsight Streaming是(shì)FusionInsight企業(yè)級≠'♠大(dà)數(shù)據分(fēn)析平台中的(de)實時(shí)數(shù)據處理↑γ↔☆(lǐ)引擎，以事(shì)件(jiàn)驅動(Event-driven)模式處><Ω✔理(lǐ)實時(shí)數(shù)據的(de₽&≈)大(dà)數(shù)據技(jì)術(shù)，解決高(gāo)速事(sh↕ì)件(jiàn)流的(de)實時(shí)計(jì)算(®✔suàn)問(wèn)題。可(kě)以在金(jīn)融、通(tō↔©σ☆ng)信、交通(tōng)、公共安全等領域發揮流式事(shì)件∞π(jiàn)實時(shí)處理(lǐ)優勢，提供實時(sh>→→±í)分(fēn)析、實時(shí)決策能(néng)力。
特性
智慧：高(gāo)達百萬維度的(de)全量建模，深刻洞察用(yòng)戶行(xíng)≠₩ 為(wèi)與特征。
實時(shí)：對(duì)海(hǎi)量數(shù)據進行(xí↓×↕ng)在線實時(shí)處理(lǐ)。
可(kě)信：第一(yī)家(jiā)支持RBAC用(yòng)戶組&π權限管理(lǐ)、消除HDFS明(míng)文(wé×↑n)存放(fàng)；第一(yī)家(jiā)支持超過1000公裡(lǐ)©§×以上(shàng)的(de)異地(dì)★φ•容災。
易用(yòng)：原生(shēng)态的(de)大(dà)數(shù)據技(jì)術(shù)因其本身(shēn✘)的(de)複雜(zá)性，局限應用(yòng)于自(zì) Ω身(shēn)具備強大(dà)研發實力的(de)互聯網行(xíng)業(yè)，而華為(wèi↑¥•)FusionInsight産品針對(duì)傳統行(xín₽∏g)業(yè)客戶設計(jì)，全自(zì)動化(huà)在線運行(xíng)維護，自>♠(zì)定義Dashboard，自(zì)動化(huà)的(de)二次開(kāi)發助手，大(d"<à)幅降低(dī)了(le)大(dà)數(shù)據在傳統企業(yè)內(nèi)部™γ→的(de)部署難度，幫助傳統企業(yè)輕松駕馭大(dà)數(shù)↔¥據業(yè)務。
技(jì)術(shù)規格
分(fēn)類
| 指标項
| 規格
| 說(shuō)明(míng)
|
并行(xíng)計(jì)算(suàn)引擎（MapReduce）
性能(néng)指标
| WordCount：平均每節點處理(lǐ)能(nπ↓éng)力(GB/分(fēn)鐘(zhōng))
| 6GB/分(fēn)鐘(zhōng)
| 10節點集群；
節點典型配置：
CPU:E2670 2*4
內(nèi)存：64G
硬盤：SAS盤
|
Terasort：平均每節點處理(lǐ)能(néng)力(GB/分(fēn)鐘(zhōng))
| 5GB/分(fēn)鐘(zhōng)
|
K-means：平均每節點處理(lǐ)能(néng)力(MB/分(fēn)鐘(zhōng))
| 400MB/分(fēn)鐘(zhōng)
|
Bayesian：平均每節點處理(lǐ)能(néng)力(δγ¶MB/分(fēn)鐘(zhōng))
| 12MB/分(fēn)鐘(zhōng)
|
Hive性能(néng)指标
| 處理(lǐ)能(néng)力-HiveAggregation：平均每節α↕點處理(lǐ)能(néng)力(GB/分(fēn)鐘(zhōng))
| 5GB/分(fēn)鐘(zhōng)
|
處理(lǐ)能(néng)力-HiveJoin：平均每節點處理(lǐ)能(néng)力(GλσB/分(fēn)鐘(zhōng))
| 2GB/分(fēn)鐘(zhōng)
|
HBase性能(néng)指标
| 100%随機(jī)讀(dú)：平均每節點讀(dú)取記₽"錄條數(shù)（每條記錄1KB），響應時(s≥₹±γhí)間(jiān)小(xiǎo)于50MS∞×"
| 5000 Records/s
|
100%随機(jī)寫：平均每節點寫入記錄條數(shù)（每條記≤ε→錄1KB），響應時(shí)間(jiān)小(xiǎo)于50MS
| 40,000 Records/s
|
順序掃描：平均每節點scan記錄條數(shù)（每條記錄1KB），響應時(sh≥í)間(jiān)小(xiǎo)于50MS
| 60，000 Records/s
|
