Hadoop2.6.0 Snappy 壓縮安裝與配置
先說點題外話，我們叢集主要使用hive,Impala,spark sql等來處理資料，介於hdfs裡面的資料沒有壓縮佔用空間太大所以我們要對其進行壓縮
- snappy比較適中
- snappy 原生被hive等支援
首先看一下你的叢集是否支援/安裝了snappy
hadoop checknative -a
6/07/08 14:20:48 INFO bzip2.Bzip2Factory: Successfully loaded & initialized native-bzip2 library system-native
16/07/08 14:20:48 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library
Native library checking:
hadoop: true /home/docker/hadoop/apache/hadoop-2.6.0-cdh5.7.0/lib/native/libhadoop.so
zlib: true /lib64/libz.so.1
snappy: true /home/docker/hadoop/apache/hadoop-2.6.0-cdh5.7.0/lib/native/libsnappy.so.1
lz4: true revision:99
bzip2: true /lib64/libbz2.so.1
openssl: true /lib64/libcrypto.so
我們叢集已經安裝過了所以都是true 如果有false 就說明你對應的native庫沒有安裝好
hadoop native lib的定義
Native Hadoop Library
Hadoop has native implementations of certain components for performance reasons and for non-availability of Java implementations. These components are available in a single, dynamically-linked native library called the native hadoop library. On the *nix platforms the library is named libhadoop.so.
你需要安裝重新編譯hadoop原始碼with native
程式設計完成後目錄應該類似是這樣的
[[email protected] ~]# ll $HADOOP_HOME/lib/native
總用量 19716
-rw-r--r--. 1 hadoop hadoop 1309890 6月 28 12:11 libhadoop.a
-rw-r--r--. 1 hadoop hadoop 1485708 6月 28 12:11 libhadooppipes.a
-rwxr-xr-x. 1 hadoop hadoop 769368 6月 28 12:11 libhadoop.so
-rwxr-xr-x. 1 hadoop hadoop 769368 6月 28 12:11 libhadoop.so.1.0.0
-rw-r--r--. 1 hadoop hadoop 582056 6月 28 12:11 libhadooputils.a
-rw-r--r--. 1 hadoop hadoop 369310 6月 28 12:11 libhdfs.a
-rwxr-xr-x. 1 hadoop hadoop 235700 6月 28 12:11 libhdfs.so
-rwxr-xr-x. 1 hadoop hadoop 235700 6月 28 12:11 libhdfs.so.0.0.0
-rw-r--r--. 1 hadoop hadoop 7705772 6月 28 12:11 libnativetask.a
-rwxr-xr-x. 1 hadoop hadoop 3082245 6月 28 12:11 libnativetask.so
-rwxr-xr-x. 1 hadoop hadoop 3082245 6月 28 12:11 libnativetask.so.1.0.0
-rw-r--r--. 1 hadoop hadoop 233386 6月 28 12:11 libsnappy.a
-rwxr-xr-x. 1 hadoop hadoop 960 6月 28 12:11 libsnappy.la
lrwxrwxrwx. 1 hadoop hadoop 23 6月 28 11:14 libsnappy.so -> /usr/lib64/libsnappy.so
-rwxr-xr-x. 1 hadoop hadoop 147670 6月 28 12:11 libsnappy.so.1
-rwxr-xr-x. 1 hadoop hadoop 147670 6月 28 12:11 libsnappy.so.1.2.0
[
同步全部節點 重啟服務
相關推薦
Hadoop2.6.0 Snappy 壓縮安裝與配置
先說點題外話，我們叢集主要使用hive,Impala,spark sql等來處理資料，介於hdfs裡面的資料沒有壓縮佔用空間太大所以我們要對其進行壓縮 snappy比較適中 snappy 原生被hive等支援 首先看一下你的叢集是否支援/安裝了s
hadoop2.2支援snappy壓縮安裝及配置
由於我們的生產環境沒有root使用者使用許可權，且為了不在所有主機上安裝一些依賴外掛，因此我啟用了使用hadoop native本地庫，即在core-site.xml中配置了： <property>
CentOS 6下OpenCV的安裝與配置
sta 依賴 pack fat net 1.5 並且 num 執行c 自己按照網上的教程一步一步來的 http://www.jb51.net/os/RedHat/280309.html 虛擬機環境 CentOS 6.5 內核版本：4.1.14 64位 gcc，gcc 4.4
windows下 hadoop2.4.0 eclipse 外掛安裝及配置
一、環境說明 hadoop 版本：2.4.0 hadoop 安裝環境：centos6 centos主機IP地址：192.168.0.207 eclipse版本：Luna eclipse 安裝環境：windows10
MongoDB 4.0版本的安裝與配置
由於還是學習Python的一枚小白，所以在安裝MongoDB資料庫的時候也遇到了很多問題，安裝完之後一直連線不上埠。 下面分享一下我安裝、配置MongoDB的過程，希望給那些萬一遇到同樣問題的小白提供參考。 一、下載MongoDB資料庫安裝 1、到
編譯hadoop2.6.0 cdh 5.4.5 集成snappy壓縮
編譯 lib maven倉庫 cloudera pan url 下載源碼 cloud test 原文地址：http://www.cnblogs.com/qiaoyihang/p/6995146.html 1、下載源碼：http://archive-primary.cloud
大數據筆記（三）——Hadoop2.0的安裝與配置
false file default blog frame start tar.gz man ces 一.Hadoop安裝部署的預備條件 準備：1、安裝Linux和JDK 2、關閉防火墻 3、配置主機名 解壓：tar -zxvf
Hadoop安裝教程_單機/偽分散式配置_CentOS6.4/Hadoop2.6.0
2015-12-17 (updated: 2017-03-02) 本教程適合於在 CentOS 6.x 系統中安裝原生 Hadoop 2，適用於Hadoop 2.7.1, Hadoop 2.6.0 等版本，主要參考了官方安裝教程，步驟詳細，輔以適當說明，相信按照步驟來，都
QT5.8.0(msvc2015)creator+opencv2.4.13.6安裝與配置方法
一、安裝QT、編譯出opencv 我安裝的QT版本如下： 我下載的opencv是2.4.13.6，如下圖可以看到官網提供了原始檔、以及編譯好的win、ios、安卓等。實際上，我們直接下載原始檔（下圖的source），然後自己在自己的平臺上編譯即可，不需要下載官網提
Tomcat 9.0.6 在Linux上的安裝與配置
１、Tomcat 官網下載地址２、Tomcat的安裝 解壓縮 # mkdir /usr/local/tomcat # cd /usr/local/tomcat # tar -zxvf /software/apache-tomcat-9.0.6.tar.
Linux中Nginx安裝與配置詳解(CentOS-6.5：nginx-1.5.0)
1 Nginx簡介Nginx ("engine x") 是一個高效能的 HTTP 和 反向代理 伺服器，也是一個 IMAP/POP3/SMTP 代理伺服器。 Nginx 是由 Igor Sysoev 為俄羅斯訪問量第二的 Rambler.ru 站點開發的，第一個公開版本0
最新Win7 +Python3.6.0(Anaconda3-4.3.21)+Tensorflow的安裝與配置（不用切換python3.5）
一、首先進入Anaconda官網下載 https://www.anaconda.com/download/各位根據自己電腦配置下載對應的版本，我這裡下載的是Python3.6version 64bit的版本 下載並安裝完成後，開啟 CMD， 輸入 'conda --v
CentOS-7.0.中安裝與配置Tomcat-7的方法
代碼 accept iptables jdk1.7 ews 啟動 state cat 解決方案 轉自：http://www.linuxidc.com/Linux/2015-08/122241.htm 安裝說明 安裝環境：CentOS-7.0.1406安裝方式：源碼安裝
MySQL5.6 數據庫主從（Master/Slave）同步安裝與配置詳解
inux bind 主從配置 希望 master 強調 數據庫主從 ria 配置文件 目錄(?)[+] 安裝環境 操作系統 ：CentOS 6.5 數據庫版本：MySQL 5.6.27 主機A：192.168.1.1 （Master） 主機B：192.168.
VS2008下安裝與配置DirectShow SDK 9.0 及 DirectShow AMCap改裝的問題
靜態庫 cfa -c class 文件目錄 call ref stat and 一、 安裝DirectShow。 我裝的是DirectShow SDK 9.0b。安裝程序名為DXSDK_Jun10.exe。 下載地址：https://pan.
MySQL 5.6 (Win7 64位)下載、安裝與配置圖文教程
服務 建立 basedir 字長 目錄 之前 配置環境 改名 一次 一． 工具 Win7 64位操作系統 二． 步驟 第一步：下載安裝包 下載 地址：http://www.mysql.com/ 截止到目前（2016/7/24） ，官網的最新版本是5.7.13
Spark 2.2.0 安裝與配置
mem p s template .sh org uri 文件 圖片 with 下載Spark 解壓並移動到/software目錄： tar -zxvf spark-2.2.0-bin-without-hadoop.tgz mv spark-2.2.0-bin-withou
SBT 1.0.3安裝與配置
-m export home 添加 pre ref images ima com 下載SBT 解壓並且移動到/software目錄 tar -zxvf sbt-1.0.3.tgz mv sbt /software/sbt 在/etc/profile文件中添加： export
Centos6.6下Postgresql9.6.6安裝與配置
postgresql一、環境介紹系統平臺：CentOS release 6.6 (Final)Postgresql：postgresql-9.6.6SELINUX=disabledIptables關閉二、安裝過程1.安裝依賴包yum -y install gcc* yum -y install readlin
CentOS 6.3下rsync服務器的安裝與配置
mini 相關 有變 監測 部分 pro 當我 將不 pkgs 一、rsync 簡介 Rsync（remote synchronize）是一個遠程數據同步工具，可通過LAN/WAN快速同步多臺主機間的文件，也可以使用 Rsync 同步本地硬盤中的不同目錄。 Rsy