全部 大數據新聞動態(tài) 大數據技術文章 大數據常見問題 技術問答

• • 

    DataFrame是什么意思?與RDD相比有哪些優(yōu)點？

    DataFrame是一種以RDD為基礎的分布式數據集，因此DataFrame可以完成RDD的絕大多數功能，在開發(fā)使用時，也可以調用方法將RDD和DataFrame進行相互轉換。 查看全文>>

    大數據技術文章2021-03-23 |傳智教育 |DataFrame是什么,SchemaRDD,DataFrame與RDD區(qū)別

  • 

    Spark SQL架構的工作原理和工作流程是什么？

    Spark作為開源項目，外部開發(fā)人員可以針對項目需求自行擴展Catalyst優(yōu)化器的功能。要想很好地支持SQL，就需要完成解析（Parser）、優(yōu)化（Optimizer）、執(zhí)行（Execution）三大過程。Catalyst優(yōu)化器在執(zhí)行計劃生成和優(yōu)化的工作時候，它離不開自己內部的五大組件，具體介紹如下所示。 查看全文>>

    大數據技術文章2021-03-23 |傳智播客 |Spark SQL,Spark SQL架構的工作原理和工作流程，Catalyst優(yōu)化器

  • 

    YARN體系結構工作流程介紹【大數據文章】

    掌握了YARN的體系結構后，接下來看一下YARN的工作流程，具體如下： 查看全文>>

    大數據技術文章2021-03-12 |傳智教育 |YARN的體系結構

  • 

    Spark的應用場景有哪些？

    在數據科學應用中，數據工程師可以利用Spark進行數據分析與建模，由于Spark具有良好的易用性，數據工程師只需要具備一定的SQL語言基礎、統計學、機器學習等方面的經驗，以及使用Python、Matlab或者R語言的基礎編程能力，就可以使用Spark進行上述工作。 查看全文>>

    大數據技術文章2021-03-12 |傳智教育 |Spark,大數據,數據處理

  • 

    Watch機制的通知狀態(tài)與事件類型簡介

    同一個事件類型在不同的連接狀態(tài)中代表的含義有所不同，當客戶端斷開連接，這時客戶端和服務器的連接就是Disconnected狀態(tài)，說明連接失??；當客戶端和服務器的某一個節(jié)點建立連接，并完成一次version、zxid的同步，這時客戶端和服務器的連接狀態(tài)就是SyncConnected，說明連接成功； 查看全文>>

    大數據技術文章2021-03-11 |傳智教育 |Watch機制的通知狀態(tài)與事件類型簡介

  • 

    Sequence File是什么？簡單介紹幾種文件儲存格式

    Hadoop可以存儲多種文件格式。在存儲結構上，SequenceFile主要由一個Header后跟多條Record組成，Header主要包含了Key classname，value classname，存儲壓縮算法，用戶自定義元數據等信息。 查看全文>>

    大數據技術文章2021-03-11 |傳智教育 |Sequence File

  • 

    大數據Hadoop生態(tài)圈包含哪些子系統？

    隨著Hadoop的不斷發(fā)展，Hadoop生態(tài)體系越來越完善，現如今已經發(fā)展成一個龐大的生態(tài)體系，Hadoop生態(tài)體系包含了很多子系統，下面介紹一些常見的子系統，具體如下： 查看全文>>

    大數據技術文章2021-03-11 |傳智教育 |Hadoop生態(tài)圈子系統

  • 

    Scala的方法和函數介紹【大數據文章】

    在Scala中，它和Java一樣也是擁有方法和函數。Scala的方法是類的一部分，而函數是一個對象可以賦值給一個變量。換句話來說，在類中定義的函數即是方法。 查看全文>>

    大數據技術文章2021-03-08 |傳智教育 |Scala的方法和函數

  << < 1 2 3 4 5 6 7 8 9 ... 35 > >>