Hadoop學習記錄（二、hdfs shell命令）
在/usr/local/hadoop-2.9.2/bin目錄下執行命令
1.檢視根目錄：
./hdfs dfs -ls /
2.檔案上傳：上傳到根目錄
./hdfs dfs -put /tmp/test.txt / 
3.檢視檔案內容
./hdfs dfs -cat /test.txt 
4.新建資料夾
./hdfs dfs -mkdir /test
5.遞迴顯示檔案
./hdfs dfs -ls -R / 
6.下載檔案到當前目錄
./hdfs dfs -get /test.txt test2.txt 
7.刪除檔案
./hdfs dfs -rm /test.txt
8.刪除資料夾
./hdfs dfs -rm -R /test 
相關推薦
Hadoop學習記錄（二、hdfs shell命令）
在/usr/local/hadoop-2.9.2/bin目錄下執行命令 1.檢視根目錄： ./hdfs dfs -ls / 2.檔案上傳：上傳到根目錄 ./hdfs dfs -put /tmp/test.txt / 3.檢視檔案內容 ./hdfs df
Hadoop學習記錄（五、hadoop IO操作）
1.壓縮從標準輸入讀取的資料，然後將其寫到標準輸出 通過GzipCodec的StreamCompressor物件對字串“Text”進行壓縮，再使用gunzip從標準輸出中對它進行讀取並解壓縮 public class StreamCompressor { public static
Hadoop學習記錄（四、hadoop實現檔案操作）
1.從Hadoop URL讀取資料 類似cat命令 public class URLCat { static{ URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory()); }
Hadoop學習記錄（三、MapReduce）
1.將一個日誌檔案上傳到hdfs上 2. 編寫mapReduce程式碼 2.1新建一個maven專案，新增依賴 <dependencies> <dependency> <groupId>
Hadoop學習記錄（一、Hadoop叢集的搭建）
參考：http://www.zuidemo.com/filePreview/pdfFilePreview/11202並進行補充 1.新建七個centos7系統的虛擬機器，分別命名為cluster1,cluster2等。關閉防火牆。 2.七臺主機都修改host檔案 vi /etc/host
Hadoop學習記錄（七、MapReduce檔案分解與合成）
1.將若干個小檔案打包成順序檔案 public class SmallFilesToSequenceFileConverter extends Configured implements Tool { static class SequenceFileMapper
Hadoop學習記錄（六、MapReduce測試）
1.MRUnit進行單元測試 加入依賴 <dependency> <groupId>org.apache.mrunit</groupId> <artifactId>mrunit&l
spark學習記錄（二、RDD）
一、概念 RDD（Resilient Distributed Dataset）叫做彈性分散式資料集，是Spark中最基本的資料抽象，它代表一個不可變、可分割槽、裡面的元素可平行計算的集合。RDD具有資料流模型的特點：自動容錯、位置感知性排程和可伸縮性。RDD允許使用者在執行多個查詢時顯式地將工作
Storm學習記錄（二、分發策略與架構）
一、分發策略 Shuffle Grouping：隨機分組，隨機派發stream裡面的tuple，保證每個bolt task接收到的tuple數目大致相同。輪詢，平均分配 Fields Grouping：按欄位分組，比如，按"user-id"這個欄位來分組，那麼具有同樣"u
Storm學習記錄（三、Storm叢集搭建）
一、單機搭建 1.上傳並解壓jar包 2.在storm目錄下建立logs目錄，以儲存程式執行時的資訊 mkdir logs 3.在bin目錄下執行命令，啟動zookeeper ./storm dev-zookeeper >> ../logs/dev-zookeeper
spark學習記錄（三、spark叢集搭建）
一、安裝spark 1.上傳壓縮包並解壓 2.在conf目錄下配置slaves cp slaves.template slaves //在master機上配置worker節點 hadoop2 hadoop3 3.配置spark-env.sh cp spark-env.sh.t
ActiveMQ學習筆記（二、p2p方式實現）
factor ring 技術分享 p2p icon 單位 b- 監聽 優先 一 、發送端 public void ActiveSend() { IConnectionFactory factory = new C
spark學習記錄（七、二次排序和分組取TopN問題）
1.二次排序 例題：將兩列數字按第一列升序，如果第一列相同，則第二列升序排列 資料檔案：https://download.csdn.net/download/qq_33283652/10894807 將資料封裝成物件，對物件進行排序，然後取出value public class Se
FCC學習記錄（二）—— Responsive Design with Bootsstrap
響應式 sheet 工作 apc resp style ima 通過 大小 1.Bootstrap的基本了解： Bootstrap，來自 Twitter，是目前最受歡迎的前端框架。Bootstrap 是基於 HTML、CSS、JAVASCRIPT 的，它簡潔靈活，使
Linux命令學習記錄（二）
配置 相關 分享圖片 ati 記錄 str gem 技術分享 padding Linux中一切都是文件;目錄說明：bin：binary的縮寫，表示“二進制文件”，包含所有用戶使用的執行程序boot：“啟動”，包含與Linux啟動密切相關的文件dev：device，“設備”包
Ansible 學習記錄 （二）基礎介紹
產品 本機 代碼 路由器 軟件 機器數 任務 提供服務 比較 Ansible的優點： Agentless （去中心化） Stupied Simple SSH by default YAML no code Ansible 使用場
JPA學習（二、JPA_基本註解）
自增 簡化 留言 uniq 產生 規範 pri blob 時間 框架學習之JPA（二） JPA是Java Persistence API的簡稱，中文名Java持久層API，是JDK 5.0註解或XML描述對象－關系表的映射關系，並將運行期的實體對象持久化到數據庫中。 Sun
第一篇隨記:學習WAMP中最基礎的JDBC連線操作記錄（ Statement、PreparedStatement和CallableStatement）
用Statement實現資料庫連線： <%@ page contentType="text/html" pageEncoding="UTF-8" %> <%@ page import="java.sql.*" %> <html> <
大資料Hadoop學習筆記（二）
Single Node Setup 官網地址 1. 本地模式 2.偽分散式模式 ************************* 本地模式 **************************** . grep input output ‘dfs[a-
Centos6.10下Open-falcon學習記錄（二）——Mysql監控
記錄了學習過程，官方文件地址http://book.open-falcon.org/zh_0_2/usage/getting-started.html 另外還看了Open-falcon作者的寫的設計理念的文，見open-falcon編寫的整個腦洞歷程 1 Mysql監控 通過mymon(