- 綠色版查看
- 綠色版查看
- 綠色版查看
- 綠色版查看
應(yīng)用簡介：
Alluxio發(fā)布了，Alluxio是一個高容錯的分布式文件系統(tǒng)，允許文件以內(nèi)存的速度在集群框架中進(jìn)行可靠的共享，類似Spark和 MapReduce。通過利用lineage信息，積極地使用內(nèi)存，Alluxio的吞吐量要比HDFS高300多倍。Alluxio都是在內(nèi)存中處理緩 存文件，并且讓不同的 Jobs/Queries以及框架都能內(nèi)存的速度來訪問緩存文件。
應(yīng)用產(chǎn)品特性：
Alluxio居于傳統(tǒng)大數(shù)據(jù)存儲和大數(shù)據(jù)計(jì)算框架(如Spark，Hadoop Mapreduce)之間；
在大數(shù)據(jù)領(lǐng)域，最底層的是分布式文件系統(tǒng)，如Amazon S3、Apache HDFS等，而較高層的應(yīng)用則是一些分布式計(jì)算框架，如Spark、MapReduce、Hbase、Flink等。
關(guān)于Alluxio：
與其他諸如HDFS、HBase、Spark等大數(shù)據(jù)相關(guān)框架一致，Alluxio也是一個主從結(jié)構(gòu)的系統(tǒng)。它的主節(jié)點(diǎn)為Master，負(fù)責(zé)管理全局的文件系統(tǒng)元數(shù)據(jù)，比如文件系統(tǒng)樹等，而從節(jié)點(diǎn)為Worker，負(fù)責(zé)管理本節(jié)點(diǎn)數(shù)據(jù)存儲服務(wù)。另外，Alluxio還有一個組件為Client，為用戶提供統(tǒng)一的文件存取服務(wù)接口。當(dāng)應(yīng)用程序需要訪問Alluxio時，通過客戶端先與主節(jié)點(diǎn)Master通訊，或許對應(yīng)文件的元數(shù)據(jù)，然后再和對應(yīng)Worker節(jié)點(diǎn)通訊，進(jìn)行實(shí)際的文件存取操作。所有的Worker會周期性地發(fā)送心跳給Master，維護(hù)文件系統(tǒng)元數(shù)據(jù)信息和確保自己被Master感知扔在集群中正常提供服務(wù)，而Master不會主動發(fā)起與其他組件的通信，它只是以回復(fù)請求的方式與其他組件進(jìn)行通信。這與HDFS、HBase等分布式系統(tǒng)設(shè)計(jì)模式是一致的。
您的評論需要經(jīng)過審核才能顯示
有用
有用
有用