教育行業(yè)A股IPO第一股(股票代碼 003032)

全國(guó)咨詢/投訴熱線:400-618-4000

Standalone是什么?Standalone有幾種類型的進(jìn)程?

更新時(shí)間:2022年03月11日14時(shí)10分 來源:傳智教育 瀏覽次數(shù):

Standalone是什么

Standalone模式是Spark自帶的一種集群模式,不同于前面本地模式啟動(dòng)多個(gè)進(jìn)程來模擬集群的環(huán)境,Standalone模式是真實(shí)地在多個(gè)機(jī)器之間搭建Spark集群的環(huán)境,完全可以利用該模式搭建多機(jī)器集群,用于實(shí)際的大數(shù)據(jù)處理。

StandAlone 是完整的Spark運(yùn)行環(huán)境,其中: Master角色以Master進(jìn)程存在, Worker角色以Worker進(jìn)程存在 Driver和Executor運(yùn)行于Worker進(jìn)程內(nèi), 由Worker提供資源供給它們運(yùn)行。

Standalone是什么Standalone

StandAlone集群在進(jìn)程上主要有3類進(jìn)程:

(1)主節(jié)點(diǎn)Master進(jìn)程:

Master角色, 管理整個(gè)集群資源,并托管運(yùn)行各個(gè)任務(wù)的Driver

(2)從節(jié)點(diǎn)Workers:

Worker角色, 管理每個(gè)機(jī)器的資源,分配對(duì)應(yīng)的資源來運(yùn)行Executor(Task); 每個(gè)從節(jié)點(diǎn)分配資源信息給Worker管理,資源信息包含內(nèi)存Memory和CPU Cores核數(shù)。

(3)歷史服務(wù)器HistoryServer(可選):

Spark Application運(yùn)行完成以后,保存事件日志數(shù)據(jù)至HDFS,啟動(dòng)HistoryServer可以查看應(yīng)用運(yùn)行相關(guān)信息。Spark的歷史服務(wù)器, 功能: 將Spark運(yùn)行的程序的歷史日志記錄下來, 通過歷史服務(wù)器方便用戶查看程序運(yùn)行的歷史信息。

猜你喜歡:

Spark有什么特點(diǎn)?【大數(shù)據(jù)培訓(xùn)】

Spark Mllib分層抽樣具體是怎樣操作的?

Spark與Hadoop有哪些區(qū)別?【大數(shù)據(jù)培訓(xùn)】

怎樣使用Spark方法完成RDD的創(chuàng)建?

傳智教育Python+大數(shù)據(jù)開發(fā)培訓(xùn)課程

0 分享到:
和我們?cè)诰€交談!