1. 程式人生 > >Pheonix學習筆記 --- Blk Data Loading,Pheonix導如CSV檔案

Pheonix學習筆記 --- Blk Data Loading,Pheonix導如CSV檔案

Permissions issues when uploading HFiles

There can be issues due to file permissions on the created HFiles in the final stage of a bulk load, when the created HFiles are handed over to HBase. HBase needs to be able to move the created HFiles, which means that it needs to have write access to the directories where the files have been written. If this is not the case, the uploading of HFiles will hang for a very long time before finally failing.

There are two main workarounds for this issue: running the bulk load process as the hbase user, or creating the output files with as readable for all users.

The first option can be done by simply starting the hadoop command with sudo -u hbase, i.e.

sudo -u hbase hadoop jar phoenix-<version>-client.jar org.apache.phoenix.mapreduce.CsvBulkLoadTool --table EXAMPLE --input /data/example.csv

Creating the output files as readable by all can be done by setting the fs.permissions.umask-mode configuration setting to “000”. This can be set in the hadoop configuration on the machine being used to submit the job, or can be set for the job only during submission on the command line as follows:

hadoop jar phoenix-<version>-client.jar org.apache.phoenix.mapreduce.CsvBulkLoadTool -Dfs.permissions.umask-mode=000 --table EXAMPLE --input /data/example.csv

相關推薦

Pheonix學習筆記 --- Blk Data LoadingPheonixCSV檔案

Permissions issues when uploading HFiles There can be issues due to file permissions on the created HFiles in the final stage of a bulk load, when the cr

MongoDB 學習筆記之 TTL索引部分索引和文本索引

強制 類型 支持 行存儲 pan 事件 搜索 篩選 ext TTL索引: TTL集合支持mongodb對存儲的數據進行失效時間設置,經過指定的時間段後、或在指定的時間點過期,集合自動被mongod清除。這一特性有利於對一些只需要保存一定時間的數據信息進行存儲,比如機器產生

學習筆記TF057:TensorFlow MNIST卷積神經網絡、循環神經網絡、無監督學習

back ide str 描述 com 類別 bat softmax 比例 MNIST 卷積神經網絡。https://github.com/nlintz/TensorFlow-Tutorials/blob/master/05_convolutional_net.py 。Te

12W學習筆記——獨立子查詢更新刪除建立視圖

記錄 date 筆記 獨立 https 清空 名單 sel 方式 查詢的學習進入了最後階段了,接下來我就來介紹一下查詢最後的獨立子查詢。 獨立子查詢基本上都是用SELECT FROM WHERE 三個語句。 例:在學院表、專業表中,查詢人文與管理學院下設各專業的簡稱

python 學習筆記(循環print的幾種寫法操作符)

alt 例如 並且 col str .com 判斷 標準 一起 一、循環( for, while) while循環是指在給定的條件成立時(true),執行循環體,否則退出循環。for循環是指重復執行語句。 break 在需要時終止for /while循環 continue

【大話存儲】學習筆記(八)數據保護

clip 調度員 系統管 區域 工具 管理軟件 安裝 inf 利用 第一章 數據保護 所謂數據保護是指對當前位置上的數據進行備份,不一定是實時的。這樣帶來的好處是如果發生磁盤損壞或者說被修改了,可以通過備份數據找回 1.1 文件級備份 文件級備份:將磁盤上所有文件通過調用文

【大話存儲】學習筆記(一)磁盤

關註 安裝程序 參數 使用 tle 外部 相互 瓶頸 代碼 第一章 計算機的IO世界 1.1 總線 1.1.1 總線的概念 計算機中所有的IO都通過共享總線的方式來實現。 總線實際上就是一條或多條的物理導線。密密麻麻的印到電路板上,而且為了避免高頻振蕩的幹擾,一般都會分組

kubernetes學習筆記(四)kube-dns搭建

try ssl highlight 記錄 原因 ali html edi dff 此為記錄,借鑒博客園多位高手的文章 1、鏡像準備 docker.io/redis:latest 1a8a9ee54eb7 r

yii學習筆記(5)視圖操作

this 添加 func 創建 fun brush 視圖 urn AS 在控制器調用$this->render()方法來輸出視圖 function actionLogin(){ $name = "admin";    // 加載視圖 return $

Linux學習筆記5用戶組和權限

方式 無法 表示 組密碼 保存 pan upa 1.2 chmod u+s 1.用戶和組 1.1常用的幾個文件: /etc/passwd 用戶信息文件 /etc/shadow 用戶密碼文件 /etc/group 用

[Linux學習筆記]linux截圖截圖

[Linux學習筆記]截圖,截圖 我的小筆記本用的是Lubuntu,一個輕量級Ubuntu,而我想記錄學習Lubuntu的一些步驟什麼的,需要截圖 可是我是單系統,沒有qq,所以不能使用qq快捷鍵 就去找了一下linux的截圖程式 Ubuntu等 Ubuntu的相關版本

吳恩達機器學習筆記(一)含作業及附加題答案連結

吳恩達機器學習筆記(一) 標籤(空格分隔): 機器學習 吳恩達機器學習筆記一 一機器學習簡介 機器學習的定義 監督學習 非監督學習

大資料分析學習筆記(Z檢驗分類器以及Association Rule)

大資料分析學習筆記(Z檢驗,分類器以及Association Rule) Task 1 – Hypothesis Testing To improve student learning performance, a teacher developed two new learning app

MySQL學習筆記05(redismongoDB)

一、python遠端操作 redis 1.1 前提準備 1、安裝redis第三方庫 pip install redis 2、修改配置檔案 vim redis.conf 註釋掉/bind中:bind 127.0.0.1 (ip) 修改/protected:

Java第七天學習筆記~建構函式this關鍵字static關鍵字

建構函式 構建創造物件時呼叫的函式。 作用:可以給物件初始化,建立物件都必須要通過建構函式初始化 一般函式和建構函式區別? 1,建構函式:物件建立時就會呼叫與之對應的建構函式,物件進行初始化       一般函式:物件建立後需要函式功能時才呼叫

egg學習筆記(2)--靜態資源模板(ejs),路由傳值

目錄結構 安裝ejs cnpm install egg-view-ejs --save ejs配置 //config/plugin.js 'use strict'; exports.ejs = { enable: true, package: 'e

[work] 演算法學習筆記 (爬山法模擬退火演算法遺傳演算法)

在優化問題中,有兩個關鍵點 代價函式 確定問題的形式和規模之後,根據不同的問題,選擇要優化的目標。如本文涉及的兩個問題中,一個優化目標是使得航班選擇最優,共計12個航班,要使得總的票價最少且每個人的等待時間之和最小。第二個問題是學生選擇宿舍的問題,每個學生可以實現填報

11.8學習筆記(抽象類介面)

6.5 抽象類 抽象類屬於一個不完整的普通類,這種不完整的類必須舒勇abstract關鍵字進行宣告。同時在抽象類之中還可能包含有抽象方法,即那些只宣告而未實現的方法,所有的抽象方法沒有方法體,必須使用abstract關鍵字進行定義 abstract class

sql學習筆記:基礎語法連線建立庫表

#連線庫,設定好環境變數或者右鍵powershell . mysql -u 使用者名稱 -p 密碼 #檢視庫 show databases; #建立庫 create database 庫名 charset utf8;#宣告使用字元 #選擇庫 use 庫名;