2. 程式人生 > >基於Hadoop開源元件部署Kylin分析平臺

基於Hadoop開源元件部署Kylin分析平臺

阿新 • • 發佈：2019-02-12

說明：不少讀者反饋，想使用開源元件搭建Hadoop平臺，然後再部署Kylin，但是遇到各種問題。這裡我為讀者部署一套環境，請朋友們參考一下。如果還有問題，再交流。

系統環境以及各元件版本資訊

Linux作業系統：

# cat /etc/redhat-release

CentOS Linux release 7.2.1511 (Core)

JDK版本：

# java -version

java version "1.8.0_111"

Java(TM) SE Runtime Environment (build1.8.0_111-b14)

Java HotSpot(TM) 64-Bit Server VM (build25.111-b14, mixed mode)

Hadoop元件版本：

Hive：apache-hive-1.2.1-bin

Hadoop：hadoop-2.7.2

HBase：hbase-1.1.9-bin

Zookeeper：zookeeper-3.4.6

Kylin版本：

apache-kylin-1.5.4.1-hbase1.x-bin

三個節點情況以及安裝的元件（僅測試）：

192.168.1.129    ldvl-kyli-a01  ldvl-kyli-a01.idc.dream.com

192.168.1.130    ldvl-kyli-a02  ldvl-kyli-a02.idc.dream.com

192.168.1.131    ldvl-kyli-a03  ldvl-kyli-a03.idc.dream.com

基礎元件部署

1.      JDK環境搭建（3個節點）

rpm包安裝：

# rpm -ivh jdk-8u111-linux-x64.rpm

配置環境變數：

# vi /etc/profile

export JAVA_HOME=/usr/java/default

export JRE_HOME=/usr/java/default/jre

exportCLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

exportPATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

# source /etc/profile

驗證：

# java -version

java version "1.8.0_111"

Java(TM) SE Runtime Environment (build1.8.0_111-b14)

Java HotSpot(TM) 64-Bit Server VM (build25.111-b14, mixed mode)

2.      Zookeeper環境搭建（3個節點）

安裝：

# tar -zxvf zookeeper-3.4.6.tar.gz  -C /usr/local/

# cd /usr/local/

# ln -s zookeeper-3.4.6 zookeeper

建立資料和日誌目錄

# mkdir /usr/local/zookeeper/zkdata

# mkdir /usr/local/zookeeper/zkdatalog

配置Zookeeper引數

# cd /usr/local/zookeeper/conf

# cp zoo_sample.cfg zoo.cfg

修改好的配置檔案如下：

tickTime=2000

initLimit=10

syncLimit=5

dataDir=/usr/local/zookeeper/zkdata

dataLogDir=/usr/local/zookeeper/zkdatalog

clientPort=2181

server.1=ldvl-kyli-a01:2888:3888

server.2=ldvl-kyli-a02:2888:3888

server.3=ldvl-kyli-a03:2888:3888

建立myid

# cd /usr/local/zookeeper/zkdata

# echo 1 > myid  #每個節點根據上面的配置（server.x）建立對應的檔案內容

啟動Zookeeper：

# zkServer.sh start

檢視狀態：

192.168.1.129節點：

# zkServer.sh status

JMX enabled by default

Using config:/usr/local/zookeeper/bin/../conf/zoo.cfg

Mode: follower

192.168.1.130節點：

# zkServer.sh status

JMX enabled by default

Using config:/usr/local/zookeeper/bin/../conf/zoo.cfg

Mode: leader

192.168.1.131節點：

# zkServer.sh status

JMX enabled by default

Using config:/usr/local/zookeeper/bin/../conf/zoo.cfg

Mode: follower

3.      MariaDB資料庫

安裝：

# yum install MariaDB-server MariaDB-client

啟動：

# systemctl start mariadb

設定root密碼，安全加固等：

# mysql_secure_installation

4.      關閉防火牆

# systemctl disable firewalld

# systemctl stop firewalld

同時，也需要關閉SELinux，可修改 /etc/selinux/config 檔案，將其中的 SELINUX=enforcing 改為 SELINUX=disabled即可。

5.      三個節點保證時間同步

可以通過ntp服務進行設定

Hadoop元件部署

1.      Hadoop

建立組和使用者：

groupadd hadoop

useradd -s /bin/bash -d /app/hadoop -m hadoop-g hadoop

passwd hadoop

下面所有的操作都是在hadoop使用者下面操作

切換到hadoop使用者下面建立信任關係：

ssh-keygen -t rsa

ssh-copy-id -p 22 [email protected]

ssh-copy-id -p 22 [email protected]

解壓縮：

$ tar -zxvf hadoop-2.7.2.tar.gz

設定軟連結：

$ ln -s hadoop-2.7.2 hadoop

配置：

$ cd /app/hadoop/hadoop/etc/hadoop

l  core-site.xml

<configuration>

   <property>

       <name>fs.defaultFS</name>

       <value>hdfs://ldvl-kyli-a01:9000</value>

   </property>

   <property>

       <name>hadoop.tmp.dir</name>

       <value>file:/app/hadoop/hadoop/tmp</value>

   </property>

   <property>

       <name>io.file.buffer.size</name>

       <value>131702</value>

   </property>

</configuration>

l  hdfs-site.xml

<configuration>

   <property>

       <name>dfs.namenode.name.dir</name>

       <value>file:/app/hadoop/hdfs/name</value>

   </property>

   <property>

       <name>dfs.datanode.data.dir</name>

       <value>file:/app/hadoop/hdfs/data</value>

   </property>

   <property>

       <name>dfs.replication</name>

       <value>3</value>

   </property>

   <property> 

      <name>dfs.http.address</name> 

      <value>ldvl-kyli-a01:50070</value> 

   </property> 

   <property>

       <name>dfs.namenode.secondary.http-address</name>

       <value>ldvl-kyli-a01:50090</value>

   </property>

   <property>

       <name>dfs.webhdfs.enabled</name>

       <value>true</value>

   </property>

   <property>

       <name>dfs.permissions</name>

       <value>false</value>

   </property>

   <property>

       <name>dfs.blocksize</name>

       <value>268435456</value>

       <description>HDFS blocksize of 256MB for largefile-systems.</description>

   </property>

  <property>

      <name>dfs.datanode.max.xcievers</name>

      <value>4096</value>

  </property>

</configuration>

l  yarn-site.xml

<configuration>

<!-- Configurations for ResourceManager-->

 <property>

   <name>yarn.resourcemanager.address</name>

   <value>ldvl-kyli-a01:8032</value>

 </property>

 <property>

   <name>yarn.resourcemanager.scheduler.address</name>

   <value>ldvl-kyli-a01:8030</value>

 </property>

 <property>

   <name>yarn.resourcemanager.resource-tracker.address</name>

   <value>ldvl-kyli-a01:8031</value>

</property>

  <property>

   <name>yarn.resourcemanager.admin.address</name>

   <value>ldvl-kyli-a01:8033</value>

 </property>

  <property>

   <name>yarn.resourcemanager.webapp.address</name>

   <value>ldvl-kyli-a01:8088</value>

 </property>

 <!-- Configurations for NodeManager -->

 <property>

   <name>yarn.nodemanager.aux-services</name>

   <value>mapreduce_shuffle</value>

   <description>Configuration to enable or disable logaggregation.Shuffle service that needs to be set for Map Reduceapplications.</description>

 </property>

 <property>

   <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>

   <value>org.apache.hadoop.mapred.ShuffleHandler</value>

 </property>

</configuration> 

l  mapred-site.xml

<configuration>

   <property>

       <name>mapreduce.framework.name</name>

       <value>yarn</value>

   </property>

   <property>

       <name>mapreduce.jobhistory.address</name>

       <value>ldvl-kyli-a01:10020</value>

   </property>

   <property>

       <name>mapreduce.jobhistory.webapp.address</name>

       <value>ldvl-kyli-a01:19888</value>

   </property>

</configuration>

l  slaves

ldvl-kyli-a01

ldvl-kyli-a02

ldvl-kyli-a03

l  hadoop-env.sh，mapred-env.sh和yarn-env.sh

export JAVA_HOME=/usr/java/default

環境變數配置（這裡我將所有的元件的環境變數都配置好了，後面每個元件我就不再說明）：

$ cat .bashrc

export JAVA_HOME=/usr/java/default

export JRE_HOME=/usr/java/default/jre

exportCLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

export HIVE_HOME=/app/hadoop/hive

export HADOOP_HOME=/app/hadoop/hadoop

export HBASE_HOME=/app/hadoop/hbase

#added by HCAT

export HCAT_HOME=/app/hadoop/hive/hcatalog

#added by Kylin

export KYLIN_HOME=/app/hadoop/kylin

export KYLIN_CONF=/app/hadoop/kylin/conf

exportPATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$HBASE_HOME/bin:${KYLIN_HOME}/bin:$PATH

建立HDFS的資料目錄

$ mkdir -p /app/hadoop/hdfs/data

$ mkdir -p /app/hadoop/hdfs/name

$ mkdir -p /app/hadoop/tmp

加入上面的hadoop所有配置都配置完成了，你也可以全部拷貝到其他節點。

HDFS格式化：

$ hdfs namenode -format

$ start-dfs.sh

$ start-yarn.sh

$ mr-jobhistory-daemon.sh starthistoryserver

然後進行驗證操作，比如同通過jps檢視程序，通過web頁面服務hdfs和yarn，執行wordcount的測試程式等等

Hive元件部署

安裝：

$ tar -zxvf apache-hive-1.2.1-bin.tar.gz

$ ln -s apache-hive-1.2.1-bin hive

配置：

$ cd /app/hadoop/hive/conf

l  hive-env.sh

export HIVE_HOME=/app/hadoop/hive

HADOOP_HOME=/app/hadoop/hadoop

export HIVE_CONF_DIR=/app/hadoop/hive/conf

l  hive-site.xml

<configuration>

<property>

   <name>hive.metastore.warehouse.dir</name>       

   <value>hdfs://ldvl-kyli-a01:9000/user/hive/warehouse</value>   

</property>

<property>  

   <name>hive.exec.scratchdir</name>       

   <value>hdfs://ldvl-kyli-a01:9000/user/hive/scratchdir</value>   

</property>

<property>

   <name>javax.jdo.option.ConnectionURL</name>

   <value>jdbc:mysql://ldvl-kyli-a01:3306/metastore?createDatabaseIfNotExist=true</value>   

</property>

<property>

   <name>javax.jdo.option.ConnectionDriverName</name>

   <value>com.mysql.jdbc.Driver</value>   

</property>

<property>

   <name>javax.jdo.option.ConnectionUserName</name>

   <value>hive</value>  

</property>

<property>       

   <name>javax.jdo.option.ConnectionPassword</name>

   <value>123456</value>   

</property>

<property> 

 <name>hive.metastore.local</name> 

 <value>true</value> 

</property> 

<property>

   <name>hive.metastore.uris</name>

   <value>thrift://ldvl-kyli-a01:9083</value>   

</property>

</configuration>

l  hive-log4j.properties

hive.log.dir=/app/hadoop/hive/log

hive.log.file=hive.log

將mysql-connector-java-5.1.38-bin.jar放到Hive的lib目錄下面：

$ cp mysql-connector-java-5.1.38-bin.jar/app/hadoop/hive/lib/

建立Hive元資料庫：

MariaDB [(none)]> create database metastore character set latin1;

grant all on metastore.* to [email protected]"%" identified by "123456" with grant option;

flush privileges;

啟動服務：

nohup hive --service metastore -v &

$ tailf nohup.out

Starting Hive Metastore Server

17/03/16 14:10:29 WARN conf.HiveConf:HiveConf of name hive.metastore.local does not exist

Starting hive metastore on port 9083

HBase元件部署

安裝：

$ tar -zxvf hbase-1.1.9-bin.tar.gz

$ ln -s hbase-1.1.9 hbase

配置：

l  hbase-site.xml

<configuration>

   <property>

       <name>hbase.rootdir</name>

       <value>hdfs://ldvl-kyli-a01:9000/hbaseforkylin</value>

   </property>

   <property>

       <name>hbase.cluster.distributed</name>

       <value>true</value>

   </property>

   <property>

       <name>hbase.master.port</name>

       <value>16000</value>

    </property>

   <property>

       <name>hbase.master.info.port</name>

       <value>16010</value>

   </property>

   <property>

       <name>hbase.zookeeper.quorum</name>

       <value>ldvl-kyli-a01,ldvl-kyli-a02,ldvl-kyli-a03</value>

   </property>

   <property>

       <name>hbase.zookeeper.property.clientPort</name>

       <value>2181</value>

   </property>

   <property>

       <name>hbase.zookeeper.property.dataDir</name>

       <value>/usr/local/zookeeper/zkdata</value>

   </property>

</configuration>

l  regionservers

ldvl-kyli-a02

ldvl-kyli-a03

l  hbase-env.sh

export JAVA_HOME=/usr/java/latest

export HBASE_OPTS="-Xmx268435456-XX:+HeapDumpOnOutOfMemoryError -XX:+UseConcMarkSweepGC -XX:+CMSIncrementalMode-Djava.net.preferIPv4Stack=true $HBASE_OPTS"

exportHBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -XX:PermSize=128m-XX:MaxPermSize=128m"

exportHBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS -XX:PermSize=128m-XX:MaxPermSize=128m"

export HBASE_LOG_DIR=${HBASE_HOME}/logs

export HBASE_PID_DIR=${HBASE_HOME}/logs

export HBASE_MANAGES_ZK=false

如果日誌目錄不存在，需要提前建立好。

啟動HBase服務：

$ start-hbase.sh

Kylin環境部署（我只選第一個節點安裝，僅測試）

安裝：

$ tar -zxvf apache-kylin-1.5.4.1-hbase1.x-bin.tar.gz

$ ln -s apache-kylin-1.5.4.1-hbase1.x-bin kylin

配置：

$ cd kylin/conf/

l  kylin.properties  # 基本預設值

kyin.server.mode=all

kylin.rest.servers=192.168.1.129:7070

kylin.rest.timezone=GMT+8

kylin.hive.client=cli

kylin.hive.keep.flat.table=false

kylin.storage.url=hbase

kylin.storage.cleanup.time.threshold=172800000

kylin.hdfs.working.dir=/kylin

kylin.hbase.default.compression.codec=none

kylin.hbase.region.cut=5

kylin.hbase.hfile.size.gb=2

kylin.hbase.region.count.min=1

kylin.hbase.region.count.max=50

環境變數配置：

$ cat .bashrc

export JAVA_HOME=/usr/java/default

export JRE_HOME=/usr/java/default/jre

exportCLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

exportPATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

export HIVE_HOME=/app/hadoop/hive

export HADOOP_HOME=/app/hadoop/hadoop

export HBASE_HOME=/app/hadoop/hbase

#added by HCAT

export HCAT_HOME=/app/hadoop/hive/hcatalog

#added by Kylin

export KYLIN_HOME=/app/hadoop/kylin

export KYLIN_CONF=/app/hadoop/kylin/conf

exportPATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$HBASE_HOME/bin:${KYLIN_HOME}/bin:$PATH

檢查Kylin用來的環境變數：

$ ${KYLIN_HOME}/bin/check-env.sh

KYLIN_HOME is set to /app/hadoop/kylin

$ kylin/bin/find-hbase-dependency.sh

hbase dependency: /app/hadoop/hbase/lib/hbase-common-1.1.9.jar

$ kylin/bin/find-hive-dependency.sh

Logging initialized using configuration infile:/app/hadoop/apache-hive-1.2.1-bin/conf/hive-log4j.properties

HCAT_HOME is set to:/app/hadoop/hive/hcatalog, use it to find hcatalog path:

hive dependency:/app/hadoop/hive/conf:/app/hadoop/hive/lib/jcommander-1.32.jar:/app/hadoop/hive/lib/stringtemplate-3.2.1.jar:/app/hadoop/hive/lib/hive-shims-0.23-1.2.1.jar:/app/hadoop/hive/lib/hive-jdbc-1.2.1-standalone.jar:/app/hadoop/hive/lib/hamcrest-core-1.1.jar:/app/hadoop/hive/lib/commons-compress-1.4.1.jar:/app/hadoop/hive/lib/xz-1.0.jar:/app/hadoop/hive/lib/hive-common-1.2.1.jar:/app/hadoop/hive/lib/guava-14.0.1.jar:/app/hadoop/hive/lib/commons-collections-3.2.1.jar:/app/hadoop/hive/lib/jta-1.1.jar:/app/hadoop/hive/lib/antlr-2.7.7.jar:/app/hadoop/hive/lib/maven-scm-provider-svn-commons-1.4.jar:/app/hadoop/hive/lib/hive-metastore-1.2.1.jar:/app/hadoop/hive/lib/hive-jdbc-1.2.1.jar:/app/hadoop/hive/lib/commons-httpclient-3.0.1.jar:/app/hadoop/hive/lib/ivy-2.4.0.jar:/app/hadoop/hive/lib/geronimo-annotation_1.0_spec-1.1.1.jar:/app/hadoop/hive/lib/commons-pool-1.5.4.jar:/app/hadoop/hive/lib/maven-scm-api-1.4.jar:/app/hadoop/hive/lib/mysql-connector-java-5.1.38-bin.jar:/app/hadoop/hive/lib/commons-configuration-1.6.jar:/app/hadoop/hive/lib/accumulo-start-1.6.0.jar:/app/hadoop/hive/lib/asm-commons-3.1.jar:/app/hadoop/hive/lib/libfb303-0.9.2.jar:/app/hadoop/hive/lib/commons-dbcp-1.4.jar:/app/hadoop/hive/lib/log4j-1.2.16.jar:/app/hadoop/hive/lib/hive-shims-common-1.2.1.jar:/app/hadoop/hive/lib/junit-4.11.jar:/app/hadoop/hive/lib/antlr-runtime-3.4.jar:/app/hadoop/hive/lib/commons-cli-1.2.jar:/app/hadoop/hive/lib/commons-logging-1.1.3.jar:/app/hadoop/hive/lib/ant-1.9.1.jar:/app/hadoop/hive/lib/hive-contrib-1.2.1.jar:/app/hadoop/hive/lib/httpcore-4.4.jar:/app/hadoop/hive/lib/datanucleus-api-jdo-3.2.6.jar:/app/hadoop/hive/lib/commons-beanutils-1.7.0.jar:/app/hadoop/hive/lib/curator-recipes-2.6.0.jar:/app/hadoop/hive/lib/netty-3.7.0.Final.jar:/app/hadoop/hive/lib/accumulo-trace-1.6.0.jar:/app/hadoop/hive/lib/jetty-all-server-7.6.0.v20120127.jar:/app/hadoop/hive/lib/servlet-api-2.5.jar:/app/hadoop/hive/lib/curator-client-2.6.0.jar:/app/hadoop/hive/lib/hive-shims-scheduler-1.2.1.jar:/app/hadoop/hive/lib/commons-lang-2.6.jar:/app/hadoop/hive/lib/geronimo-jaspic_1.0_spec-1.0.jar:/app/hadoop/hive/lib/curator-framework-2.6.0.jar:/app/hadoop/hive/lib/asm-tree-3.1.jar:/app/hadoop/hive/lib/hive-beeline-1.2.1.jar:/app/hadoop/hive/lib/velocity-1.5.jar:/app/hadoop/hive/lib/maven-scm-provider-svnexe-1.4.jar:/app/hadoop/hive/lib/commons-io-2.4.jar:/app/hadoop/hive/lib/ant-launcher-1.9.1.jar:/app/hadoop/hive/lib/mail-1.4.1.jar:/app/hadoop/hive/lib/accumulo-core-1.6.0.jar:/app/hadoop/hive/lib/geronimo-jta_1.1_spec-1.1.1.jar:/app/hadoop/hive/lib/oro-2.0.8.jar:/app/hadoop/hive/lib/eigenbase-properties-1.1.5.jar:/app/hadoop/hive/lib/commons-math-2.1.jar:/app/hadoop/hive/lib/apache-log4j-extras-1.2.17.jar:/app/hadoop/hive/lib/commons-compiler-2.7.6.jar:/app/hadoop/hive/lib/commons-digester-1.8.jar:/app/hadoop/hive/lib/ST4-4.0.4.jar:/app/hadoop/hive/lib/parquet-hadoop-bundle-1.6.0.jar:/app/hadoop/hive/lib/datanucleus-core-3.2.10.jar:/app/hadoop/hive/lib/json-20090211.jar:/app/hadoop/hive/lib/bonecp-0.8.0.RELEASE.jar:/app/hadoop/hive/lib/hive-service-1.2.1.jar:/app/hadoop/hive/lib/snappy-java-1.0.5.jar:/app/hadoop/hive/lib/stax-api-1.0.1.jar:/app/hadoop/hive/lib/jetty-all-7.6.0.v20120127.jar:/app/hadoop/hive/lib/jline-2.12.jar:/app/hadoop/hive/lib/libthrift-0.9.2.jar:/app/hadoop/hive/lib/hive-testutils-1.2.1.jar:/app/hadoop/hive/lib/accumulo-fate-1.6.0.jar:/app/hadoop/hive/lib/hive-cli-1.2.1.jar:/app/hadoop/hive/lib/hive-accumulo-handler-1.2.1.jar:/app/hadoop/hive/lib/jpam-1.1.jar:/app/hadoop/hive/lib/groovy-all-2.1.6.jar:/app/hadoop/hive/lib/httpclient-4.4.jar:/app/hadoop/hive/lib/avro-1.7.5.jar:/app/hadoop/hive/lib/zookeeper-3.4.6.jar:/app/hadoop/hive/lib/hive-hwi-1.2.1.jar:/app/hadoop/hive/lib/hive-exec-1.2.1.jar:/app/hadoop/hive/lib/hive-shims-0.20S-1.2.1.jar:/app/hadoop/hive/lib/super-csv-2.2.0.jar:/app/hadoop/hive/lib/opencsv-2.3.jar:/app/hadoop/hive/lib/commons-vfs2-2.0.jar:/app/hadoop/hive/lib/hive-serde-1.2.1.jar:/app/hadoop/hive/lib/commons-beanutils-core-1.8.0.jar:/app/hadoop/hive/lib/derby-10.10.2.0.jar:/app/hadoop/hive/lib/plexus-utils-1.5.6.jar:/app/hadoop/hive/lib/datanucleus-rdbms-3.2.9.jar:/app/hadoop/hive/lib/jdo-api-3.0.1.jar:/app/hadoop/hive/lib/joda-time-2.5.jar:/app/hadoop/hive/lib/activation-1.1.jar:/app/hadoop/hive/lib/janino-2.7.6.jar:/app/hadoop/hive/lib/regexp-1.3.jar:/app/hadoop/hive/lib/hive-shims-1.2.1.jar:/app/hadoop/hive/lib/paranamer-2.3.jar:/app/hadoop/hive/lib/hive-hbase-handler-1.2.1.jar:/app/hadoop/hive/lib/tempus-fugit-1.1.jar:/app/hadoop/hive/lib/commons-codec-1.4.jar:/app/hadoop/hive/lib/hive-ant-1.2.1.jar:/app/hadoop/hive/lib/jsr305-3.0.0.jar:/app/hadoop/hive/lib/pentaho-aggdesigner-algorithm-5.1.5-jhyde.jar:/app/hadoop/hive/hcatalog/share/hcatalog/hive-hcatalog-core-1.2.1.jar

環境檢查沒有問題，開始啟動Kylin服務：

kylin.sh start

匯入樣例：

$ sample.sh

然後通過Kylin的Web頁面重新載入元資料，然後構建Cube就可以查詢了：

相關推薦

基於Hadoop開源元件部署Kylin分析平臺

說明：不少讀者反饋，想使用開源元件搭建Hadoop平臺，然後再部署Kylin，但是遇到各種問題。這裡我為讀者部署一套環境，請朋友們參考一下。如果還有問題，再交流。系統環境以及各元件版本資訊Linux作業系統：# cat /etc/redhat-release CentOS L

PL1731-Hadoop雲計算數據分析平臺

互聯網 思想 -h 架構 感覺 container 分享 shu 希望 PL1731-Hadoop雲計算數據分析平臺 隨筆背景：在很多時候，很多入門不久的朋友都會問我：我是從其他語言轉到程序開發的，有沒有一些基礎性的資料給我們學習學習呢，你的框架感覺一下太大了，希望有個循序

OSSIM（開源大數據安全分析平臺）榮登2017年度Gartner SIEM魔力象限

ossimOSSIM（開源大數據安全分析平臺）榮登2017年度Gartner SIEM魔力象限，這是OSSIM第6次獲此殊榮。 OSSIM（開源大數據安全分析平臺）榮登2017年度Gartner SIEM魔力象限

基於Hadoop分散式叢集部署Hive2.3

1. 基於docker安裝mysql 由於自己以前在Ubuntu kylin 16.04的系統上安裝mysql5.7一直有問題，後來學會了使用docker安裝mysql。覺得這個方法很方便，所以這次繼續使用docker安裝mysql。 ① 安裝docker 參考

再談使用開源軟體搭建資料分析平臺

三年前，我寫了這篇部落格使用開源軟體快速搭建資料分析平臺， 當時收到了許多的反饋，有50個點贊和300+的收藏。到現在我還能收到一

基於Hadoop離線大數據分析平臺項目實戰

網站 收集 har 配置 處理 com 數據分析 reduce yun 基於Hadoop離線大數據分析平臺項目實戰網盤地址：https://pan.baidu.com/s/13vOi8WphetCiRtHhOCUdGg 密碼: kt99備用地址（騰訊微雲）：https://

Hadoop單點部署與案例開發（微博用戶數據分析）

環境搭建 hadoop 數據分析 微博用戶 一、環境搭建1、Hadoop運行環境搭建1.1 安裝虛擬機（1）下載並安裝VMware虛擬機軟件。（2）創建虛擬機，實驗環境虛擬機配置如下圖所示。（3）安裝Ubuntu系統，安裝結果如下圖所示。1.2 配置JDK環境下載並安裝JDK，安裝結束後需對

物聯網MQTT協議分析和開源Mosquitto部署驗證

-h etc 遙感 並且 傳輸 物聯網平臺 發布消息 情況 all 在《物聯網核心協議—消息推送技術演進》一文中已向讀者介紹了多種消息推送技術的情況，包括HTTP單向通信、Ajax輪詢、Websocket、MQTT、CoAP等，其中MQTT協議為IBM制定並力推

ELK日誌分析平臺部署實錄

linux elk [root@king01 ~]# rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch[root@king01 ~]# vim /etc/yum.repos.d/elasticsearch.repo[elas

《開拓者開發團隊》第二次作業：基於彈幕評論的大數據分析平臺項目開題報告

tab 開拓者 大數據分析 指標 制造 推薦 colspan 分析 研究 一、項目申請簡表 項目名稱 基於彈幕評論的大數據分析平臺 項 目 類 別 本科生 研究生 學術課題項目填寫標 記（√） （ ） A、自然科學學術論文 （√ ）

Centos7下ELK+Redis日誌分析平臺的集群環境部署記錄

fire systemctl 系統 gpgcheck poc dt.jar 添加 大致 路徑 之前的文檔介紹了ELK的架構基礎知識，下面簡單記錄下ELK結合Redis搭建日誌分析平臺的集群環境部署過程，大致的架構如下： + Elasticsearch是一個分布式搜索分

基於Hadoop生態SparkStreaming的大數據實時流處理平臺的搭建

perm cati permsize receive jdk1 處理方式 行數據 con GC 隨著公司業務發展，對大數據的獲取和實時處理的要求就會越來越高，日誌處理、用戶行為分析、場景業務分析等等，傳統的寫日誌方式根本滿足不了業務的實時處理需求，所以本人準備開始著手改造

集中式日誌分析平臺 Elastic Stack（部署）

usr sts 組件 stat emp clust table java watermark 一、環境準備 1、架構選型 接下來我們進行初步的探視，利用測試環境體驗下ELK Stack + Filebeat，測試環境我們就不進行 Kafka 的配置了，因為他的存在意義在於提

【大數據幹貨】基於Hadoop的大數據平臺實施——整體架構設計

當我 調度 順序 .com 邊界 ilo 事情 軟件架構設計 行為 大數據的熱度在持續的升溫，繼雲計算之後大數據成為又一大眾所追捧的新星。我們暫不去討論大數據到底是否適用於您的公司或組織，至少在互聯網上已經被吹噓成無所不能的超級戰艦。大數據的熱度在持續的升溫，繼雲計算之後大

matomo 開源網站分析平臺

1、安裝PHP https://www.jianshu.com/p/8d54a401ec06 yum remove php* yum -y install epel-release rpm -Uvh https://mirror.webtatic.com/yum/el7/webtatic-relea

Kubernetes - 騰訊藍鯨配置平臺(CMDB)開源版部署

藍鯨CMDB 　　藍鯨配置平臺（藍鯨CMDB）是一個基於運維場景設計的企業配置管理服務。主要功能： 　　1. 拓撲化的主機管理：主機基礎屬性、主機快照資料、主機歸屬關係管理 　　2. 組織架構管理：可擴充套件的基於業務的組織架構管理 　　3. 模型管理：既能管理業務、叢集、主機等內

自己動手搭建一個簡單的基於Hadoop的離線分析系統之一——網路爬蟲

自己動手搭建一個簡單的基於Hadoop的離線分析系統之一——網路爬蟲 之前對大資料頗感興趣，在學習了一個月的相關原理和應用後，感覺自己需要動手一個實戰專案來鞏固之前學到的東西，加之很早之前就接觸過一些爬蟲知識，因此利用手上現有的資源（一臺膝上型電腦）來搭建一個關於房屋租賃的簡

AspNetCore 目前不支援SMTP協議（基於開源元件開發郵件傳送，它們分別是MailKit 和 FluentEmail ）

net所有的功能都要重新來一遍，整合眾多類庫，core任重道遠，且發展且努力!! 我們都知道，很多的郵件傳送都是基於這個SMTP協議，但現在的.net core對這方面還不太支援，所以我們選擇這兩個元件MailKit 和 FluentEmail MailKit與fluentEmail 在 ASP.NET

使用開源軟體快速搭建資料分析平臺

最近，國內湧現出了不少資料分析平臺產品。這些產品的目標應該都是self service的BI，利用視覺化提供資料探索的功能，並且加入機器學習和預測的功能。它們對標的產品應該是Tableau或者SAP Lumira。因為筆者曾經為Lumira開發資料視覺化的功能，對這

ELK實時日誌分析平臺環境部署--完整記錄（ElasticSearch+Logstash+Kibana ）

在日常運維工作中，對於系統和業務日誌的處理尤為重要。今天，在這裡分享一下自己部署的ELK（+Redis）-開源實時日誌分析平臺的記錄過程（僅依據本人的實際操作為例說明，如有誤述，敬請指出）~================概念介紹================日誌主要包括系統日誌、應用程式日誌和安全日誌。系