掌握了Hadoop集群中的高可用架構后,接下來,我們來手把手教大家搭建一個Hadoop高可用集群,具體步驟如下: 查看全文>>
Python+大數據技術文章2021-07-26 |傳智教育 |高可用集群,高可用架構,Hadoop
數據發(fā)布與訂閱模型,即所謂的全局配置中心,顧名思義就是發(fā)布者將需要全局統(tǒng)一管理的數據發(fā)布到Zookeeper節(jié)點上,供訂閱者動態(tài)獲取數據,實現(xiàn)配置信息的集中式管理和動態(tài)更新。例如全局的配置信息,服務式服務框架的服務地址列表等就非常適合使用。接下來,我們介紹一些數據發(fā)布與訂閱的主要應用場景。 查看全文>>
Python+大數據技術文章2021-07-26 |傳智教育 |數據發(fā)布與訂閱的應用場景,zookeeper,
大多數情況下,我們完成的數據體系卻是依賴復雜、層級混亂的,因此,我們需要一套行之有效的數據組織和管理方法來讓我們的數據體系更有序,這就是談到的數據分層。數據分層并不能解決所有的數據問題,但是,數據分層卻可以給我們帶來如下的好處: 查看全文>>
Python+大數據技術文章2021-07-23 |傳智教育 |Hive數據倉庫,Hive安裝
線程由線程ID、當前指令指針(PC)、寄存器集合和堆棧組成,它不能獨立擁有系統(tǒng)資源,但它可與同屬一個進程的其它線程共享該進程所擁有的全部資源。 查看全文>>
Python+大數據技術文章2021-07-20 |傳智教育 |什么是線程,線程的分類
map階段處理的數據如何傳遞給reduce階段,是MapReduce框架中關鍵的一個流程,這個流程就叫shuffle。本章節(jié)內容來看一下shuffle的工作流程和工作機制。 查看全文>>
Python+大數據技術文章2021-07-20 |傳智教育 |Shuffle的工作機制
combiner其實屬于優(yōu)化方案,由于帶寬限制,應該盡量map和reduce之間的數據傳輸數量。它在Map 端把同一個key的鍵值對合并在一起并計算,計算規(guī)則與reduce一致,所以combiner也可以看作特殊的Reducer。 查看全文>>
Python+大數據技術文章2021-07-20 |傳智教育 |Combiner的作用,partition的作用
在Unix/Linux操作系統(tǒng)中,通過Python的os模塊中封裝的fork()函數可以輕松地創(chuàng)建一個進程。fork()函數的聲明如下: 查看全文>>
Python+大數據技術文章2021-07-20 |傳智教育 |python創(chuàng)建進程
?在Scala中,不能用類名直接訪問類中的方法和字段,而是創(chuàng)建類的實例對象去訪問類中的方法和字段。Scala中提供了object這個關鍵字用來實現(xiàn)單例模式,若單例對象名與類名相同,則把這個單例對象稱作伴生對象,下面具通過體用代碼演示單例對象和伴生對象的創(chuàng)建方法。 查看全文>>
Python+大數據技術文章2021-07-16 |傳智教育 |創(chuàng)建單例和半生對象