【大資料】Knowledge structure

在愛丁堡大學學習結束Extreme computing 之後懵逼一學年，終於試圖梳理清楚整個知識脈絡，希望可以給自己一個框架，也希望可以幫助到別人。以後如果有時間的話，我會把各個部分的內容都寫下來自己的理解

【大資料】Hive作者肯定進修過藍翔挖掘機

正經標題應該是：解決hive初始化mysql資料庫錯誤的一種方式 Hive安裝包下載地址： https://mirrors.tuna.tsinghua.edu.cn/apache/hive/ 事情原因是這樣的，我按照書上的步驟一步一步走，到了該用hiv

【大資料】CentOS6.5安裝mysql5.6(靠譜！)

一、吐槽我明明是跟著老師寫的書上一步一步來的，到最後出現了一堆錯誤，然後從網上找教程，網上那些人不知道咋想的，啥也往上貼，隨便一篇，除了自己能看懂沒幾個人能看懂的文章就貼到網上了。 &n

【大資料】瞭解Hadoop框架的基礎知識

介紹此Refcard提供了Apache Hadoop，這是最流行的軟體框架，可使用簡單的高階程式設計模型實現大型資料集的分散式儲存和處理。我們將介紹Hadoop最重要的概念，描述其架構，指導您如何開始使用它以及在Hadoop上編寫和執行各種應用程式。簡而言之，Hadoop是Apache Softwar

【大資料】HDFS

一、什麼是HDFS HDFS是什麼：HDFS即Hadoop分散式檔案系統（Hadoop Distributed Filesystem），以流式資料訪問模式來儲存超大檔案，運行於商用硬體叢集上，是管理網路中跨多臺計算機儲存的檔案系統。 HDFS不適合用在：要求低時間延遲資料訪問的應

【大資料】什麼是hadoop

一、hadoop簡介 Hadoop是使用Java編寫，允許分佈在叢集，使用簡單的程式設計模型的計算機大型資料集處理的Apache的開源框架。二、hadoop架構設計 ⑴hadoopcommon hadoop基礎設施模組 ⑵hdfs 分散式檔案系統 ⑶mapreduc

【大資料】DataX介紹

DataX入門 1.DataX 1.1介紹 DataX 是阿里巴巴集團內被廣泛使用的異構資料來源離線同步工具，致力於實現包括關係型資料庫(MySQL、Oracle等)、HDFS、Hive、MaxCompute(原ODPS)、HBase、FTP等各種異構資料來源之間穩定高

【大資料】InfoWorld的2018年最佳開源資料平臺獎公佈

目錄 TiDB Neo4j Apache Spark 儘管新的產品層出不窮，Apache Spark在資料分析領域仍然佔據著舉足輕重的地位。如果你需要從事分散式計算、資料科學或者機器學習相關的工作，就使用Apache

【大資料】安裝偽分散式Hadoop叢集

壓縮包： eclipse-jee-photon-R-linux-gtk-x86_64.tar.gz hadoop-2.9.1.tar.gz jdk-10.0.1_linux-x64_bin.tar.gz 配置主機名和網路配置主機名： #hostnamect

【大資料】安裝完全分散式Hadoop叢集

修改主機名和網路 master： #hostnamectl set-hostname master #vi /etc/sysconfig/network-scripts/ifcfg-ens33 TYPE=Ethernet PROXY_METHOD=none BR

【大資料】Hadoop的高可用HA

第1章 HA高可用 1.1 HA概述 1）所謂HA（high available），即高可用（7*24小時不中斷服務）。 2）實現高可用最關鍵的策略是消除單點故障（single point of failure，SPOF）。單點故障是一個元件發生故障，就會導致整個系統無法執行。HA嚴格來說應該分成各個元