1. 程式人生 > >hive 支援行級update、delete操作許可權

hive 支援行級update、delete操作許可權

1. 找到對應的hive-site.xml檔案,加上以下配置:

 <property>
    <name>hive.support.concurrency</name>
    <value>true</value>
</property>
<property>
    <name>hive.enforce.bucketing</name>
    <value>true</value>
</property>
<property>
    <name>hive.exec.dynamic.partition.mode</name>
    <value>nonstrict</value>
</property>
<property>
    <name>hive.txn.manager</name>
    <value>org.apache.hadoop.hive.ql.lockmgr.DbTxnManager</value>
</property>
<property>
    <name>hive.compactor.initiator.on</name>
    <value>true</value>
</property>
<property>
    <name>hive.compactor.worker.threads</name>
    <value>1</value>
</property>
進行重啟hive元資料服務metastore,再通過beeline到hive客戶端進行操作。

2. 進行更新表資料,成功!

0: jdbc:hive2://demo3.leap.com:2181,demo1.lea> select * from test_cdc;
INFO  : Compiling command(queryId=hive_20180607104040_34af3962-1273-4a35-9725-c0e653d2b31d): select * from test_cdc
INFO  : Semantic Analysis Completed
INFO  : Returning Hive schema: Schema(fieldSchemas:[FieldSchema(name:test_cdc.id, type:int, comment:null), FieldSchema(name:test_cdc.name, type:string, comment:null)], properties:null)
INFO  : Completed compiling command(queryId=hive_20180607104040_34af3962-1273-4a35-9725-c0e653d2b31d); Time taken: 1.781 seconds
INFO  : Executing command(queryId=hive_20180607104040_34af3962-1273-4a35-9725-c0e653d2b31d): select * from test_cdc
INFO  : Completed executing command(queryId=hive_20180607104040_34af3962-1273-4a35-9725-c0e653d2b31d); Time taken: 0.006 seconds
INFO  : OK
+--------------+----------------+--+
| test_cdc.id  | test_cdc.name  |
+--------------+----------------+--+
| 1            | aaa

            |
+--------------+----------------+--+
1 row selected (2.334 seconds)
0: jdbc:hive2://demo3.leap.com:2181,demo1.lea> update test_cdc set name = 'ccc' where id =1; 
INFO  : Compiling command(queryId=hive_20180607104040_2eee4dba-43ec-4e49-b559-1548ef9dbb05): update test_cdc set name = 'ccc' where id =1
INFO  : Semantic Analysis Completed
INFO  : Returning Hive schema: Schema(fieldSchemas:[FieldSchema(name:row__id, type:struct<transactionid:bigint,bucketid:int,rowid:bigint>, comment:null), FieldSchema(name:id, type:int, comment:null), FieldSchema(name:_c2, type:string, comment:null)], properties:null)
INFO  : Completed compiling command(queryId=hive_20180607104040_2eee4dba-43ec-4e49-b559-1548ef9dbb05); Time taken: 0.703 seconds
INFO  : Executing command(queryId=hive_20180607104040_2eee4dba-43ec-4e49-b559-1548ef9dbb05): update test_cdc set name = 'ccc' where id =1
INFO  : Query ID = hive_20180607104040_2eee4dba-43ec-4e49-b559-1548ef9dbb05
INFO  : Total jobs = 1
INFO  : Launching Job 1 out of 1
INFO  : Starting task [Stage-1:MAPRED] in serial mode
INFO  : Number of reduce tasks determined at compile time: 8
INFO  : In order to change the average load for a reducer (in bytes):
INFO  :   set hive.exec.reducers.bytes.per.reducer=<number>
INFO  : In order to limit the maximum number of reducers:
INFO  :   set hive.exec.reducers.max=<number>
INFO  : In order to set a constant number of reducers:
INFO  :   set mapreduce.job.reduces=<number>
INFO  : number of splits:8
INFO  : Submitting tokens for job: job_1528335916181_0001
INFO  : The url to track the job: http://demo1.leap.com:8088/proxy/application_1528335916181_0001/
INFO  : Starting Job = job_1528335916181_0001, Tracking URL = http://demo1.leap.com:8088/proxy/application_1528335916181_0001/
INFO  : Kill Command = /usr/bin/hadoop job  -kill job_1528335916181_0001
INFO  : Hadoop job information for Stage-1: number of mappers: 8; number of reducers: 8
INFO  : 2018-06-07 10:40:51,464 Stage-1 map = 0%,  reduce = 0%
INFO  : 2018-06-07 10:40:58,846 Stage-1 map = 25%,  reduce = 0%, Cumulative CPU 4.2 sec
INFO  : 2018-06-07 10:40:59,889 Stage-1 map = 50%,  reduce = 0%, Cumulative CPU 8.44 sec
INFO  : 2018-06-07 10:41:00,932 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 24.08 sec
INFO  : 2018-06-07 10:41:08,860 Stage-1 map = 100%,  reduce = 50%, Cumulative CPU 34.19 sec
INFO  : 2018-06-07 10:41:09,903 Stage-1 map = 100%,  reduce = 100%, Cumulative CPU 44.77 sec
INFO  : MapReduce Total cumulative CPU time: 44 seconds 770 msec
INFO  : Ended Job = job_1528335916181_0001
INFO  : Starting task [Stage-0:MOVE] in serial mode
INFO  : Loading data to table default.test_cdc from hdfs://demo1.leap.com:8020/apps/hive/warehouse/test_cdc/.hive-staging_hive_2018-06-07_10-40-42_440_5275939439062405091-1/-ext-10000
INFO  : Starting task [Stage-2:STATS] in serial mode
INFO  : Table default.test_cdc stats: [numFiles=9, numRows=1, totalSize=1234, rawDataSize=91]
INFO  : MapReduce Jobs Launched: 
INFO  : Stage-Stage-1: Map: 8  Reduce: 8   Cumulative CPU: 44.77 sec   HDFS Read: 70685 HDFS Write: 979 SUCCESS
INFO  : Total MapReduce CPU Time Spent: 44 seconds 770 msec
INFO  : Completed executing command(queryId=hive_20180607104040_2eee4dba-43ec-4e49-b559-1548ef9dbb05); Time taken: 30.418 seconds
INFO  : OK
No rows affected (31.262 seconds)
0: jdbc:hive2://demo3.leap.com:2181,demo1.lea> select * from test_cdc;
INFO  : Compiling command(queryId=hive_20180607104141_8986f857-f02e-4c32-854b-d224b3414f04): select * from test_cdc
INFO  : Semantic Analysis Completed
INFO  : Returning Hive schema: Schema(fieldSchemas:[FieldSchema(name:test_cdc.id, type:int, comment:null), FieldSchema(name:test_cdc.name, type:string, comment:null)], properties:null)
INFO  : Completed compiling command(queryId=hive_20180607104141_8986f857-f02e-4c32-854b-d224b3414f04); Time taken: 0.22 seconds
INFO  : Executing command(queryId=hive_20180607104141_8986f857-f02e-4c32-854b-d224b3414f04): select * from test_cdc
INFO  : Completed executing command(queryId=hive_20180607104141_8986f857-f02e-4c32-854b-d224b3414f04); Time taken: 0.001 seconds
INFO  : OK
+--------------+----------------+--+
| test_cdc.id  | test_cdc.name  |
+--------------+----------------+--+
| 1            | ccc 
          |
+--------------+----------------+--+
1 row selected (0.415 seconds)

相關推薦

hive 支援updatedelete操作許可權

1. 找到對應的hive-site.xml檔案,加上以下配置: <property>    <name>hive.support.concurrency</name>    <value>true</value>&l

Hive支援insertupdatedelete

Hive從0.14版本開始支援事務和行級更新,但預設是不支援的,需要一些附加的配置。要想支援行級insert、update、delete,需要配置Hive支援事務。一、Hive具有ACID語義事務的使用場景 1. 流式接收資料。 許多使用者使用諸如Apache Flume、

Hive支持updatedelete時遇到的問題

details 沒有初始化 reads 數據庫 man rip 為什麽 delet style Hive從0.14版本開始支持事務和行級更新,但缺省是不支持的,需要一些附加的配置。要想支持行級insert、update、delete,需要配置Hive支持事務。(

hive0.14-insertupdatedelete操作測試

問題導讀1.測試insert報錯,該如何解決? 2.hive delete和update報錯,該如何解決? 3.什麼情況下才允許delete和update? 首先用最普通的建表語句建一個表: hive>create table test(id int,name st

hive如何配置支援事務及insertupdatedelete

轉載自:http://www.aboutyun.com/forum.php?mod=viewthread&tid=21274&extra=page%3D1 Hive從0.14版本開始支援事務和行級更新,但預設是不支援的,需要一些附加的配置。要想支援行

python sqlite3 連線到資料庫,建立表,INSERT SELECTUPDATE DELETE等簡單操作

Python sqlite3 模組它提供了一個SQL介面相容。不需要單獨安裝這個模組,因為它預設情況下隨著Python版本在2.5.x 一起安裝。 要使用sqlite3模組,必須首先建立一個連線物件,表示資料庫中,然後可以選擇建立遊標物件,這將幫助在執行的所有

MySQL中的

常用 一點 存儲引擎 rac 鎖定 方法 線程 加鎖 計算機      在計算機科學中,鎖是在執行多線程時用於強行限制資源訪問的同步機制,即用於在並發控制中保證對互斥要求的滿足。   在DBMS中,可以按照鎖的粒度把數據庫鎖分為行級鎖(INNODB引擎)、表級鎖(MYISA

MySQL表鎖詳細介紹

MySQL的鎖機制比較簡單,其最顯著的特點是不同的儲存引擎支援不同的鎖機制。 MyISAM和MEMORY儲存引擎採用的是表級鎖(table-level-locking); BDB儲存引擎採用的是頁面鎖(page-level-locking),同時也支援表級鎖; InnoDB儲存引擎既支援

Hive表的增刪改混合操作

增 Hive表增加資料有兩種方式(目前我知道的),分別為load及傳統意義上的insert。 通過load載入資料 命令格式 LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TA

悲觀鎖樂觀鎖鎖 悲觀鎖樂觀鎖

轉載自:http://www.cnblogs.com/xhybk/p/9278684.html 悲觀鎖、樂觀鎖、行級鎖、表級鎖   更新丟失:新改的覆蓋先改的,開發中有三種方法解決 1、將事務級別提高到最高級別TRANSACT

悲觀鎖樂觀鎖

樂觀 主鍵 gpo gravity money fcm 級別 ble The 悲觀鎖、樂觀鎖、行級鎖、表級鎖 更新丟失:新改的覆蓋先改的,開發中有三種方法解決 1、將事務級別提高到最高級別TRANSACTION_SERIALIZABLE 操作雙方都要提升級別;

如何理解資料庫MySQL的表頁鎖問題?

從鎖的粒度進行對資料庫進行劃分等級 表級鎖 行級鎖 頁級鎖(這個不常用) (1)MySQL的表級鎖兩種模式: 1. 表級共享讀鎖(共享鎖): 也就是在MyISAM引擎下,如果對一個表加了讀鎖的話,那

一起學HBase——總結HBase中的PUTGETDELETE操作

傳統的關係型資料庫有CRUD增刪改查操作,同樣對於NoSQL列式資料庫也有CRUD操作。本文對HBase中常用的Scan、GET、PUT、DELETE操作的用法做個總結。 Put操作 Put相當於傳統資料庫的add操作,就是在資料庫中新增一條或多條記錄。 Put操作分為兩類,一類是一次操作一條記錄,另外一類是

MySQL 中的鎖和頁鎖(不看後悔,看了必懂)

行級鎖 行級鎖是 MySQL 中鎖定粒度最細的一種鎖,表示只針對當前操作的行進行加鎖。行級鎖分為共享鎖和排他鎖。 特點:加鎖開銷大,會出現死鎖,鎖定粒度最小,發生鎖衝突的概率最低,併發度最高 頁級鎖 頁級鎖是 MySQL 中鎖定粒度介於行級鎖和表級鎖中間的一種鎖。

MongoDB入門系列(二):InsertUpdateDeleteDrop

概述   本章節介紹Insert、Update、Delete、Drop操作基本語法。 環境: Version:3.4 insert insert()基本語法如下: db.collection.insert( <document or array of documents&

教你如何調整Mysql中insertupdatedelete的順序來以提高效率

MySQL還允許改變語句排程的優先順序,它可以使來自多個客戶端的查詢更好地協作,這樣單個客戶端就不會由於鎖定而等待很長時間。改變優先順序還可以確保特定型別的查詢被處理得更快。我們首先應該確定應用的型別,判斷應用是以查詢為主還是以更新為主的,是確保查詢效率還是確保更新的效率,

Android 學習筆記 Contacts ContentResolver queryaddupdatedelete 引數詳解

1.獲取聯絡人姓名 一個簡單的例子,這個函式獲取裝置上所有的聯絡人ID和聯絡人NAME。 public void fetchAllContacts() { ContentResolver contentResolver = this.getCon

ORACLE:SELECT語句裡呼叫函式使用DML語句進行UPDATE/INSERT/DELETE操作

需求: 公司一系統升級,要維護的資料庫表中已有資料,該表沒有序列、觸發器等。此表要直接插入一些資料,插入的資料為了和以前的資料相容(就是一樣)。該表主鍵的生成以前是在程式碼中分兩步進行的,即查詢、更新(現在要直接插入資料,不用服務端JAVA程式碼,不能用這個)。 做法: 本

詳述 MySQL 中的鎖和頁

在電腦科學中,鎖是在執行多執行緒時用於強行限制資源訪問的同步機制,即用於在併發控制中保證對互斥要求的滿足。 在資料庫的鎖機制中,咱們介紹過在 DBMS 中,可以按照鎖的粒度把資料庫鎖分為行級鎖(InnoDB 引擎)、表級鎖(MyISAM 引擎)和頁級鎖(BDB

Hiveacid事務處理

//事務,hive 0.13.0之後完全支援行級acid事務處理。 //所有事務都是自動提交,並且儲存檔案只能是orc檔案,而且只能在桶表中使用。 1.設定相關屬性 SET hive.support.