GeoMesa-Accumulo詳細配置及例項執行

阿新 • • 發佈：2019-01-21

最近在搭建GeoMesa環境並執行一個Accumulo例項，在這個過程中遇到了很多問題，也感謝網上許多作者的文章，在此分享自己的學習經驗，一是為了讓初學者少走彎路，而是記錄自己的學習，因為這種東西一段時間不搞就會忘得差不多。
GeoMesa是開源的一套地理大資料處理套件，GeoMesa支援將海量的時空資料儲存到Accumulo，HBase，Google Bigtable和Cassandra資料庫中，並提供高效的索引來讀取、查詢這些資料。具體的軟體和工具介紹可以百度，好好理解，我對具體原理也不清楚，後續會寫文章記錄學習進度。
在執行例項之前，我們需要安裝一些必需軟體。如果對linux系統不熟的，可以先在主資料夾下新建GeoMesa資料夾，然後先將需要的壓縮包下載到給資料夾下。
作業系統Ubuntu14.04 LTS
1.下載Accumulo，

http://accumulo.apache.org/，有原始碼和二進位制檔案，這裡直接下載編譯之後的二進位制包就行。
2.Accumulo依賴Hadoop和ZooKeeper，http://hadoop.apache.org/，https://zookeeper.apache.org/，下載同上，每個軟體在下載介面都有詳細的使用者文件說明和安裝使用步驟，稍微有點基礎的都可以按照步驟執行。
3.需要用到Maven，http://maven.apache.org/，同上。
4.JDK必不可少，可以在甲骨文網站Oracle下載，http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

，選擇下載。下圖是我的安裝包和解壓後的檔案。
我用到的工具包

下載完這些軟體包並解壓後，接下來進行環境配置。可以參考accumulo-1.8.1資料夾下的INSTALL.md檔案，有相應的步驟。這裡我結合自己的經驗總結配置的步驟：
1.配置Java環境變數。Linux(Ubuntu)中配置檔案有多個，關於不同配置檔案說明可以參考以下文章：http://blog.csdn.net/l554644284/article/details/48398085。我這裡採用全域性配置：

[email protected]:~$ gedit ~/.bashrc
開啟bashrc配置檔案後，在末尾新增

export PATH=$JAVA_HOME 
/bin:$PATH

接著，使配置檔案立即生效，命令如下：
source ~/.bashrc
驗證：
java -version

2.配置hadoop。網上有很多相關教程，hadoop官網也有很詳細的介紹，推薦去官網參考學習，我的配置步驟如下：
(1)安裝ssh和pdsh
$ sudo apt-get install ssh

$ sudo apt-get install pdsh
ssh免密碼登陸配置：
ssh-keygen -t rsa -P ” -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

ssh localhost
(2)解壓hadoop壓縮包後，在~/GeoMesa/hadoop/目錄下，建立tmp、hdfs/name、hdfs/data目錄，執行如下命令：
mkdir ~GeoMesa//hadoop/tmp
mkdir ~GeoMesa/hadoop/hdfs
mkdir ~GeoMesa/hadoop/hdfs/data
mkdir ~GeoMesa/hadoop/hdfs/name
說明：我把hadoop2.7.4解壓到~GeoMesa/hadoop資料夾下
(3)設定環境變數
gedit ~/.bashrc
在配置檔案末尾加入：

export HADOOP_HOME=~/GeoMesa/hadoop/hadoop-2.7.4
export PATH=$PATH:$HADOOP_HOME/bin

使配置檔案生效：
source ~/.bashrc
(4)hadoop配置
配置檔案
hadoop-2.7.4/etc/hadoop/hadoop-env.sh
hadoop-2.7.4/etc/hadoop/yarn-env.sh
hadoop-2.7.4/etc/hadoop/core-site.xml
hadoop-2.7.4/etc/hadoop/hdfs-site.xml
hadoop-2.7.4/etc/hadoop/mapred-site.xml
hadoop-2.7.4/etc/hadoop/yarn-site.xml
①配置hadoop-env.sh

#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=~/GeoMesa/jdk1.8.0_144

②配置yarn-env.sh

# export JAVA_HOME=/home/y/libexec/jdk1.6.0/
export JAVA_HOME=~/GeoMesa/jdk1.8.0_144

③配置core-site.xml

<property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
    <description>HDFS的URI，檔案系統://namenode標識:埠號</description>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>~/GeoMesa/hadoop/tmp</value>
    <description>namenode上本地的hadoop臨時資料夾</description>
</property>

④配置hdfs-site.xml

<property>
    <name>dfs.name.dir</name>
    <value>~/GeoMesa/hadoop/hdfs/name</value>
    <description>namenode上儲存hdfs名字空間元資料 </description> 
</property>

<property>
    <name>dfs.data.dir</name>
    <value>~/GeoMesa/hadoop/hdfs/data</value>
    <description>datanode上資料塊的物理儲存位置</description>
</property>

<property>
    <name>dfs.replication</name>
    <value>1</value>
    <description>副本個數，配置預設是3,應小於datanode機器數量</description>
</property>

⑤配置mapred-site.xml

<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>

⑥配置yarn-site.xml

<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>
<property>
        <name>yarn.nodemanager.env-whitelist</name>
                 <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>

(5)啟動驗證hadoop
1）格式化namenode
bin/hdfs namenode –format
2）啟動NameNode 和 DataNode 守護程序
sbin/start-dfs.sh
3）啟動ResourceManager 和 NodeManager 守護程序
sbin/start-yarn.sh
4）執行jps命令，看hadoop是否啟動正常
jps
3.配置zookeeper
在配置檔案conf/zoo.cfg新增：
tickTime=2000
dataDir=/var/lib/zookeeper
clientPort=2181
啟動命令：
bin/zkServer.sh start
連線zookeeper：
bin/zkCli.sh -server 127.0.0.1:2181
這裡我們只要啟動zookeeper就行，相應的shell程式設計推薦參考官網。

4.配置Maven
(1)設定環境變數
gedit ~/.bashrc
在配置檔案末尾加入：
export PATH=~/GeoMesa/apache-maven-3.5.0/bin:$PATH
使配置檔案生效：
source ~/.bashrc
(2)執行
mvn -v

5.配置Accumulo
建議：仔細閱讀Accumulo資料夾下的INSTALL.md說明檔案
(1)選擇本地庫
./bin/build_native_library.sh
這裡可以執行，可以不執行，如果執行這一步下一步的第二個選項選Native，如果不執行選Java選項，推薦不執行。
(2)執行配置檔案
./bin/bootstrap_config.sh
注意：hadoop版本選項選第一個
(3)配置conf/accumulo-site.xml

<property>
  <name>instance.volumes</name>
  <value>hdfs://localhost:9000/accumulo</value>
  <description>comma separated list of URIs for volumes. example: hdfs://localhost:9000/accumulo</description>
</property>

<property>
  <name>instance.zookeeper.host</name>
  <value>localhost:2181</value>
  <description>comma separated list of zookeeper servers</description>
</property>

注意：閱讀INSTALL.md，因為每個人遇到的錯誤可能不一樣。
(4)初始化
./bin/accumulo init
初始化成功
出現上圖所示例項名稱和密碼，說明Accumulo配置成功。我根據上述步驟成功得到上述結果，後來我因為hadoop版本重新配置整個環境出現了問題，猜測可能是版本原因，目前還沒有解決該問題。如果你參照我的部落格配置出現問題，歡迎聯絡我。
(5)啟動Accumulo
./bin/start-all.sh
其他相關命令如下：
./bin/accumulo shell -u root
./bin/stop-all.sh
可在瀏覽器輸入localhost:9995進行檢視，如下圖
這裡寫圖片描述
6.安裝Geomesa-accumulo分散式執行庫
(1)這裡有編譯好的，下載一個1.3.0的就可以了
https://repo.locationtech.org/content/repositories/geomesa-releases/org/locationtech/geomesa/geomesa-accumulo-dist_2.11/
將geomesa-accumulo_2.11-1.3.0-m2/dist/accumulo/geomesa-accumulo-distributed-runtime_2.11-1.3.0-m2.jar 複製到ACCUMULO_HOME/lib/ext 下，如果有兩個複製一個即可。
(2)設定accumulo命令列工具
在geomesa-accumulo_2.11-1.3.0-m2/conf下的geomesa-env.sh中加入hadoop和accumulo根目錄
export HADOOP_HOME=~/GeoMesa/hadoop/hadoop-2.6.5
export ACCUMULO_HOME=~/GeoMesa/accumulo-1.8.1
(3)執行配置檔案
bin/geomesa configure
一直選擇yes
(4)配置環境變數
gedit ~/.bashrc
在配置檔案末尾加入：

export GEOMESA_ACCUMULO_HOME=/home/lw/GeoMesa/geomesa-accumulo_2.11-1.3.0-m2
export PATH=${GEOMESA_ACCUMULO_HOME}/bin:$PATH

使配置檔案生效：
source ~/.bashrc
7.安裝namespace
用geomesa-accumulo_2.11-1.3.0-m2/bin下的setup-namespace.sh指令碼設定使用者名稱密碼和namespace
./setup-namespace.sh -u root -p 123 -n myNamespace
8.執行示例程式
選擇目錄
$git clone https://github.com/geomesa/geomesa-tutorials.git
下載完成後

$cd geomesa-tutorials
$ mvn clean install -pl geomesa-quickstart-accumulo

最後，執行

java -cp target/geomesa-quickstart-accumulo-1.3.3.1-SNAPSHOT.jar 
com.example.geomesa.accumulo.AccumuloQuickStart -instanceId "123" 
-zookeepers localhost -user root -password "123" -tableName testgeomesa

成功執行

到此，整個環境搭建成功併成功執行案例。在學習的過程之中，會遇到各種各樣的bug，有些bug不知怎麼地就解決了，主要是自己對底層軟體的設計原理以及LInux的核心等不是很熟悉。在後續的學習中，我還會和大家共享GeoMesa的學習心得，比如結合GeoServer視覺化資料等等。在配置GeoMesa的過程中，我碰到了許多問題，也學習了一些其他的知識，限於這篇文章的篇幅，這裡就不說明了，歡迎大家的討論。
推薦大家一個不錯的網址：http://www.geomesa.org/documentation/tutorials/geomesa-quickstart-accumulo.html

GeoMesa-Accumulo詳細配置及例項執行

GeoMesa-Accumulo詳細配置及例項執行

Doxygen的使用，配置及例項

Nginx負載均衡的詳細配置及使用案例詳解.！

java日誌框架log4j詳細配置及與slf4j聯合使用教程

ActiveMQ安裝配置及例項

mybatis-generator 詳細配置及使用，爬坑記錄

java 兩種比較器的詳細介紹及例項

shiro框架的詳細配置及使用

深度學習之windows python faster rcnn 配置及demo執行

開發環境配置及基本執行原理講解

阿里雲ecs伺服器配置及java執行環境配置

Geomesa-accumulo安裝部署過程及執行測試例項

Geomesa-accumulo安裝部署過程及執行相應例項

Windows下qt的環境配置及執行一個c++"hello world"例項詳細步驟

win10配置eclipse開發環境及執行hadoop例項及叢集執行

Windows7下啟用IIS7配置ASP執行環境的詳細方法及常見除錯問題

Java GC 分析，JVM生產環境引數例項及分析，JVM詳細配置

使用 sitemesh/decorator裝飾器裝飾jsp頁面（原理及詳細配置）

OpenStack之安裝4網卡ubuntu-14.04及網絡詳細配置

Linux上redis詳細安裝及配置過程

GeoMesa-Accumulo詳細配置及例項執行

相關推薦