全部 大數(shù)據(jù)新聞動(dòng)態(tài) 大數(shù)據(jù)技術(shù)文章 大數(shù)據(jù)常見問題 技術(shù)問答

• • 

    RDD容錯(cuò)機(jī)制？RDD是如何恢復(fù)數(shù)據(jù)的？

    對于迭代式計(jì)算和交互式數(shù)據(jù)挖掘，RDD可以將中間計(jì)算的數(shù)據(jù)結(jié)果保存在內(nèi)存中，當(dāng)Spark集群中的某一個(gè)節(jié)點(diǎn)由于宕機(jī)導(dǎo)致數(shù)據(jù)丟失，就可以通過Spark中的RDD進(jìn)行容錯(cuò)恢復(fù)已經(jīng)丟失的數(shù)據(jù)。RDD提供了兩種故障恢復(fù)的方式，分別是血統(tǒng)（Lineage）方式和設(shè)置檢查點(diǎn)（checkpoint）方式。下面，我們就來介紹一下這兩種方式。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2021-03-05 |傳智教育 |RDD，操作,spark,RDD容錯(cuò)機(jī)制

  • 

    為什么選擇kafka采集數(shù)據(jù)？

    為什么選擇kafka采集數(shù)據(jù)？大數(shù)據(jù)采集層主要可以使用Flume， Kafka兩種技術(shù)。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2021-03-04 |傳智教育 |kafka，數(shù)據(jù)采集

  • 

    怎樣安裝Hive？本地和遠(yuǎn)程操作安裝區(qū)別在哪里

    本地和遠(yuǎn)程模式安裝配置方式大致相同，本質(zhì)上是將Hive默認(rèn)的元數(shù)據(jù)存儲(chǔ)介質(zhì)由自帶的Derby數(shù)據(jù)庫替換為MySQL數(shù)據(jù)庫，這樣無論在任何目錄下以任何方式啟動(dòng)Hive，只要連接的是同一臺(tái)Hive服務(wù)，那么所有節(jié)點(diǎn)訪問的元數(shù)據(jù)信息是一致的，從而實(shí)現(xiàn)元數(shù)據(jù)的共享。下面就以本地模式為例，講解安裝過程。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2021-03-04 |傳智教育 |Hive安裝,Hive本地,安裝Hive遠(yuǎn)程安裝

  • 

    HBase讀寫數(shù)據(jù)分幾步？具體是怎樣操作的？

    HBase數(shù)據(jù)庫最常見的操作就是讀寫數(shù)據(jù)，接下來，針對HBase讀寫數(shù)據(jù)的流程進(jìn)行詳細(xì)介紹。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2021-03-04 |傳智教育 |HBase讀寫數(shù)據(jù)，HBase

  • 

    Scala編程的數(shù)據(jù)類型有幾種？

    與其他語言相比，Scala中的所有值都有一個(gè)類型，包括數(shù)值和函數(shù)。接下來，通過一張圖來描述Scala數(shù)據(jù)類型的層次結(jié)構(gòu)，具體如圖1所示。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2021-03-04 |傳智教育 |Scala,數(shù)據(jù)類型,Scala基礎(chǔ)語法

  • 

    Hadoop集群格式化【大數(shù)據(jù)技術(shù)文章】

    Hadoop集群的安裝和配置完成之后。并不能直接啟動(dòng)集群，因?yàn)樵诔醮螁?dòng)HDFS集群時(shí)，必須對主節(jié)點(diǎn)進(jìn)行格式化處理，具體指令如下。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2021-02-28 |傳智教育 |Hadoop格式化,文件Hadoop集群格式化

  • 

    哪些行業(yè)可以應(yīng)用大數(shù)據(jù)？

    近年來，大數(shù)據(jù)不斷向世界的各行各業(yè)滲透，影響著我們的衣食住行。例如，網(wǎng)上購物時(shí)，經(jīng)常會(huì)發(fā)現(xiàn)電子商務(wù)門戶網(wǎng)站向我們推薦商品，往往這類商品都是我們最近需要的。這是因?yàn)橛脩羯暇W(wǎng)行為軌跡的相關(guān)數(shù)據(jù)都會(huì)被搜集記錄，并通過大數(shù)據(jù)分析，使用推薦系統(tǒng)將用戶可能需要的物品進(jìn)行推薦，從而達(dá)到精準(zhǔn)營銷的目的。下面簡單介紹幾種大數(shù)據(jù)的應(yīng)用場景。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2021-02-01 |傳智教育 |哪些行業(yè)可以使用大數(shù)據(jù)

  • 

    大數(shù)據(jù)有什么價(jià)值？研究大數(shù)據(jù)有什么意義？

    研究大數(shù)據(jù)有什么意義？研究大數(shù)據(jù)，最重要的意義是預(yù)測。因?yàn)閿?shù)據(jù)從根本上講，是對過去和現(xiàn)在的歸納和總結(jié)，其本身不具備趨勢和方向性的特征，但是可以應(yīng)用大數(shù)據(jù)去了解事物發(fā)展的客觀規(guī)律、了解人類行為，并且能夠幫助我們改變過去的思維方式,建立新的數(shù)據(jù)思維模型，從而對未來進(jìn)行預(yù)測和推測。比如，商業(yè)公司對消費(fèi)者日常的購買行為和使用商品習(xí)慣進(jìn)行匯總和分析，了解到消費(fèi)者的需求，從而改進(jìn)已有商品并適時(shí)推出新的商品，消費(fèi)者的購買欲就會(huì)提高。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2021-02-01 |傳智教育 |大數(shù)據(jù)有什么用,大數(shù)據(jù)有什么意義

  << < 1 2 3 4 5 6 7 8 9 ... 35 > >>