全部 Python+大數(shù)據(jù)新聞動(dòng)態(tài) Python+大數(shù)據(jù)技術(shù)文章 Python+大數(shù)據(jù)學(xué)習(xí)常見問(wèn)題 技術(shù)問(wèn)答

• • 

    為什么要給數(shù)據(jù)倉(cāng)庫(kù)分層？每層具體的含義是什么？

    大多數(shù)情況下，我們完成的數(shù)據(jù)體系卻是依賴復(fù)雜、層級(jí)混亂的，因此，我們需要一套行之有效的數(shù)據(jù)組織和管理方法來(lái)讓我們的數(shù)據(jù)體系更有序，這就是談到的數(shù)據(jù)分層。數(shù)據(jù)分層并不能解決所有的數(shù)據(jù)問(wèn)題，但是，數(shù)據(jù)分層卻可以給我們帶來(lái)如下的好處： 查看全文>>

    Python+大數(shù)據(jù)技術(shù)文章2021-07-23 |傳智教育 |Hive數(shù)據(jù)倉(cāng)庫(kù)，Hive安裝

  • 

    什么是線程？線程的分類

    線程由線程ID、當(dāng)前指令指針(PC)、寄存器集合和堆棧組成，它不能獨(dú)立擁有系統(tǒng)資源，但它可與同屬一個(gè)進(jìn)程的其它線程共享該進(jìn)程所擁有的全部資源。 查看全文>>

    Python+大數(shù)據(jù)技術(shù)文章2021-07-20 |傳智教育 |什么是線程，線程的分類

  • 

    Shuffle是什么？有哪些工作流程

    map階段處理的數(shù)據(jù)如何傳遞給reduce階段，是MapReduce框架中關(guān)鍵的一個(gè)流程，這個(gè)流程就叫shuffle。本章節(jié)內(nèi)容來(lái)看一下shuffle的工作流程和工作機(jī)制。 查看全文>>

    Python+大數(shù)據(jù)技術(shù)文章2021-07-20 |傳智教育 |Shuffle的工作機(jī)制

  • 

    Combiner的作用是什么？partition的作用是什么？

    combiner其實(shí)屬于優(yōu)化方案，由于帶寬限制，應(yīng)該盡量map和reduce之間的數(shù)據(jù)傳輸數(shù)量。它在Map 端把同一個(gè)key的鍵值對(duì)合并在一起并計(jì)算，計(jì)算規(guī)則與reduce一致，所以combiner也可以看作特殊的Reducer。 查看全文>>

    Python+大數(shù)據(jù)技術(shù)文章2021-07-20 |傳智教育 |Combiner的作用,partition的作用

  • 

    通過(guò)fork()函數(shù)創(chuàng)建進(jìn)程方法介紹

    在Unix/Linux操作系統(tǒng)中，通過(guò)Python的os模塊中封裝的fork()函數(shù)可以輕松地創(chuàng)建一個(gè)進(jìn)程。fork()函數(shù)的聲明如下： 查看全文>>

    Python+大數(shù)據(jù)技術(shù)文章2021-07-20 |傳智教育 |python創(chuàng)建進(jìn)程

  • 

    怎樣創(chuàng)建單例和半生對(duì)象？

    ?在Scala中，不能用類名直接訪問(wèn)類中的方法和字段，而是創(chuàng)建類的實(shí)例對(duì)象去訪問(wèn)類中的方法和字段。Scala中提供了object這個(gè)關(guān)鍵字用來(lái)實(shí)現(xiàn)單例模式,若單例對(duì)象名與類名相同，則把這個(gè)單例對(duì)象稱作伴生對(duì)象,下面具通過(guò)體用代碼演示單例對(duì)象和伴生對(duì)象的創(chuàng)建方法。 查看全文>>

    Python+大數(shù)據(jù)技術(shù)文章2021-07-16 |傳智教育 |創(chuàng)建單例和半生對(duì)象

  • 

    Shell怎樣實(shí)現(xiàn)定時(shí)日志數(shù)據(jù)采集？【案例展示】

    服務(wù)器每天會(huì)產(chǎn)生大量日志數(shù)據(jù)，并且日志文件可能存在于每個(gè)應(yīng)用程序指定的data目錄中，在不使用其它工具的情況下，將服務(wù)器中的日志文件規(guī)范的存放在HDFS中。通過(guò)編寫簡(jiǎn)單的shell腳本，用于每天自動(dòng)采集服務(wù)器上的日志文件，并將海量的日志上傳至HDFS中。由于文件上傳時(shí)會(huì)消耗大量的服務(wù)器資源，為了減輕服務(wù)器的壓力，可以避開高峰期，通常會(huì)在凌晨進(jìn)行上傳文件的操作。下面按照步驟實(shí)現(xiàn)Shell定時(shí)日志采集功能 查看全文>>

    Python+大數(shù)據(jù)技術(shù)文章2021-07-16 |傳智教育 |定時(shí)日志數(shù)據(jù)采集,Shel定時(shí)日志上傳

  • 

    python異常處理：try-except語(yǔ)句與else子句的聯(lián)合使用

    異常處理的主要目的是防止因外部環(huán)境的變化導(dǎo)致程序產(chǎn)生無(wú)法控制的錯(cuò)誤，而不是處理程序的設(shè)計(jì)錯(cuò)誤。因此，將所有的代碼都用try語(yǔ)句包含起來(lái)的做法是不推薦的，try語(yǔ)句應(yīng)盡量只包含可能產(chǎn)生異常的代碼。Python中try-except語(yǔ)句還可以與else子句聯(lián)合使用，該子句放在except語(yǔ)句之后，表示當(dāng)try子句沒有出現(xiàn)錯(cuò)誤時(shí)應(yīng)執(zhí)行的代碼。其格式如下： 查看全文>>

    Python+大數(shù)據(jù)技術(shù)文章2021-07-16 |傳智教育 |else子句聯(lián)合使用處理可能出現(xiàn)的程序異常

  << < 1 ... 74 75 76 77 78 79 80 ... 159 > >>