全部 Python+大數(shù)據(jù)新聞動(dòng)態(tài) Python+大數(shù)據(jù)技術(shù)文章 Python+大數(shù)據(jù)學(xué)習(xí)常見問題 技術(shù)問答

• • 

    寫爬蟲是用多進(jìn)程好?還是多線程好?

    一般情況下，在選擇是使用多進(jìn)程還是多線程時(shí)，主要考慮的業(yè)務(wù)到底是IO密集型(多線程)還是計(jì)算密集型(多進(jìn)程)。在爬蟲中，請(qǐng)求的并發(fā)業(yè)務(wù)屬于是網(wǎng)絡(luò)的IO類型業(yè)務(wù)，因此網(wǎng)絡(luò)并發(fā)適宜使用多線程;但特殊需求下，比如使用phantomjs 或者chrome-headless來(lái)抓取的爬蟲，應(yīng)當(dāng)是多進(jìn)程的，因?yàn)槊恳粋€(gè)phan/chro實(shí)例就是一個(gè)進(jìn)程了，并發(fā)只能是多進(jìn)程。 查看全文>>

    Python+大數(shù)據(jù)技術(shù)文章2021-05-21 |傳智教育 |寫爬蟲是用多進(jìn)程好,多線程

  • 

    Python爬取數(shù)據(jù)后使用哪個(gè)數(shù)據(jù)庫(kù)存儲(chǔ)數(shù)據(jù)比較好?

    一般爬蟲使用的數(shù)據(jù)庫(kù)，是根據(jù)項(xiàng)目來(lái)定的。如需求方指定了使用什么數(shù)據(jù)庫(kù)、如果沒指定，那么決定權(quán)就在爬蟲程序員手里，如果自選的話，mysql 和mongodb 用的都是比較多的。但不同的數(shù)據(jù)庫(kù)品種有各自的優(yōu)缺點(diǎn)，不同的場(chǎng)景任何一種數(shù)據(jù)庫(kù)都可以用來(lái)存儲(chǔ)，但是某種可能會(huì)更好。比如如果抓取的數(shù)據(jù)之間的耦合性很高，關(guān)系比較復(fù)雜的話，那么mysql可能會(huì)是更好的選擇。如果抓取的數(shù)據(jù)是分版塊的，并且它們之間沒有相似性或關(guān)聯(lián)性不強(qiáng)，那么可能mongodb 會(huì)更好。 查看全文>>

    Python+大數(shù)據(jù)技術(shù)文章2021-05-21 |傳智教育 |Python爬取數(shù)據(jù)用哪個(gè)數(shù)據(jù)庫(kù)存儲(chǔ)數(shù)據(jù)好

  • 

    什么是事實(shí)表和維度表？【數(shù)據(jù)倉(cāng)庫(kù)】

    每個(gè)數(shù)據(jù)倉(cāng)庫(kù)都包含一個(gè)或者多個(gè)事實(shí)數(shù)據(jù)表，事實(shí)表是對(duì)分析主題的度量，它包含了與各維度表相關(guān)聯(lián)的外鍵，并通過連接(Join)方式與維度表關(guān)聯(lián)。 查看全文>>

    Python+大數(shù)據(jù)技術(shù)文章2021-05-21 |傳智教育 |什么是事實(shí)表和維度表

  • 

    Spark處理數(shù)據(jù)的速度比Hive更快？原因是什么？

    Spark SQL比Hadoop Hive快，是有一定條件的，而且不是Spark SQL的引擎比Hive的引擎快，相反，Hive的HQL引擎還比Spark SQL的引擎更快。其實(shí)，關(guān)鍵還是在于Spark 本身快。那么Spark為什么快呢？ 查看全文>>

    Python+大數(shù)據(jù)技術(shù)文章2021-05-20 |傳智教育 |Spark處理數(shù)據(jù),Hive,大數(shù)據(jù)面試題

  • 

    HTTPS有什么優(yōu)點(diǎn)和缺點(diǎn)?

    1、使用HTTPS協(xié)議可認(rèn)證用戶和服務(wù)器，確保數(shù)據(jù)發(fā)送到正確的客戶機(jī)和服務(wù)器;2、HTTPS協(xié)議是由SSL+HTTP 協(xié)議構(gòu)建的可進(jìn)行加密傳輸、身份認(rèn)證的網(wǎng)絡(luò)協(xié)議，要比http協(xié)議安全，可防止數(shù)據(jù)在傳輸過程中不被竊取、改變，確保數(shù)據(jù)的完整性。3、HTTPS 是現(xiàn)行架構(gòu)下最安全的解決方案，雖然不是絕對(duì)安全，但它大幅增加了中間人攻擊的成本 查看全文>>

    Python+大數(shù)據(jù)技術(shù)文章2021-05-19 |傳智教育 |HTTPS優(yōu)點(diǎn)和缺點(diǎn)

  • 

    什么是死鎖?【Python面試題】

    若干子線程在系統(tǒng)資源競(jìng)爭(zhēng)時(shí)，都在等待對(duì)方對(duì)某部分資源解除占用狀態(tài)，結(jié)果是誰(shuí)也不愿先解鎖，互相干等著，程序無(wú)法執(zhí)行下去，這就是死鎖。 查看全文>>

    Python+大數(shù)據(jù)技術(shù)文章2021-05-19 |傳智教育 |什么是死鎖

  • 

    Python中for循環(huán)的用法|Pythonfor循環(huán)語(yǔ)句

    for循環(huán)的作用：python for循環(huán)可以遍歷任何序列的項(xiàng)目，如一個(gè)列表或者一個(gè)字符串。 查看全文>>

    Python+大數(shù)據(jù)技術(shù)文章2021-05-19 |傳智教育 |Python中for循環(huán)的用法

  • 

    Shell教程：通過Shell命令操作Zookeeper

    我們主要是通過Shell命令來(lái)操作Zookeeper。首先，啟動(dòng)Zookeeper服務(wù)；其次，連接Zookeeper服務(wù)。具體命令如下： 查看全文>>

    Python+大數(shù)據(jù)技術(shù)文章2021-05-19 |傳智教育 |通過Shell命令操作Zookeeper

  << < 1 ... 82 83 84 85 86 87 88 ... 159 > >>