SQL是IBM公司于1975—1979年之間開發(fā)出來的,在20世紀隨著數(shù)據(jù)庫技術的發(fā)展,數(shù)據(jù)庫產品越來越多,如Oracle、DB2、MongoDB、SQLServer、MySQL等。 查看全文>>
大數(shù)據(jù)技術文章2019-11-01 |傳智播客 |常用的數(shù)據(jù)庫
Hive是建立在 Hadoop 上的數(shù)據(jù)倉庫基礎構架。它提供了一系列的工具,可以用來進行數(shù)據(jù)提取轉化加載(ETL),這是一種可以存儲、查詢和分析存儲在 Hadoop 中的大規(guī)模數(shù)據(jù)的機制。Hive 定義了簡單的類 SQL 查詢語言,稱為 HQL,它允許熟悉 SQL 的用戶查詢數(shù)據(jù)。課程內容是Hive基礎教程。 查看全文>>
大數(shù)據(jù)技術文章2019-10-17 |傳智播客 |Hive視頻教程
ZooKeeper是以Fast Paxos算法為基礎的,Paxos 算法存在活鎖的問題,即當有多個proposer交錯提交時,有可能互相排斥導致沒有一個proposer能提交成功,而Fast Paxos作了一些優(yōu)化,通過選舉產生一個leader (領導者),只有l(wèi)eader才能提交proposer,具體算法可見Fast Paxos。因此,要想弄懂ZooKeeper首先得對Fast Paxos有所了解。 查看全文>>
大數(shù)據(jù)技術文章2019-10-17 |傳智播客 |zookeepe視頻教程教程
圖論算法在計算機科學中扮演著很重要的角色,它提供了對很多問題都有效的一種簡單而系統(tǒng)的建模方式。很多問題都可以轉化為圖論問題,然后用圖論的基本算法加以解決。 查看全文>>
大數(shù)據(jù)技術文章2019-10-16 |傳智播客 |圖論及其應用
Flink CEP是在flink之上實現(xiàn)的復雜事件處理(CEP)庫,它允許我們在事件流中檢測事件的模式,讓我們有機會掌握數(shù)據(jù)中重要的事項。本文章主要是介紹了flink cep中可用的api調用,首先介紹Pattern API,它允許你指定要在事件流中檢測的模式,并介紹匹配事件并對其進行操作。最后分析下CEP庫在處理事件時間延遲問題。 查看全文>>
大數(shù)據(jù)技術文章2019-10-16 |傳智播客 |Flink cep庫,處理事件時間延遲
目前云平臺逐漸火熱起來,國內如:阿里云、騰訊云、華為云等平臺,國外如:AWS、Azure、Google GCP等平臺,都有不少用戶,并在持續(xù)的增加中。特別是在大數(shù)據(jù)領域,主流的云平臺均提供了相應的解決方案,從分布式存儲到分布式計算,從批處理框架到流式計算,從ETL到數(shù)據(jù)管道,從BI分析到數(shù)據(jù)挖掘等等方面均有對應的產品來解決企業(yè)的需求。我們有必要對云平臺增加一定的了解,并最好能上手嘗試一番,對我們提升眼界思維有很大幫助。本篇文章就給大家?guī)碇髁髟破脚_中的AWS平臺的相關介紹。 查看全文>>
大數(shù)據(jù)技術文章2019-10-16 |傳智播客 |云平臺AWS
搜索引擎的熱門搜索排行榜功能你用過嗎?你知道這個功能是如何實現(xiàn)的嗎?實際上,它的實現(xiàn)并不復雜。搜索引擎每天會接收大量的用戶搜索請求,它會把這些用戶輸入的搜索關鍵詞記錄下來,然后再離線地統(tǒng)計分析,得到最熱門的 Top 10 搜索關鍵詞。 查看全文>>
大數(shù)據(jù)技術文章2019-10-14 |傳智播客 |求熱搜關鍵詞,大數(shù)據(jù)算法
概率圖模型是在概率模型的基礎上,使用了基于圖的方法來表示概率分布,是一種通用化的不確定性知識表示和處理方法,在人工智能、機器學習和計算機視覺等領域有廣闊的應用前景。 查看全文>>
大數(shù)據(jù)技術文章2019-10-14 |傳智播客 |大數(shù)據(jù)概率圖模型