hive 支援行級update、delete操作許可權
1. 找到對應的hive-site.xml檔案,加上以下配置:
<property><name>hive.support.concurrency</name>
<value>true</value>
</property>
<property>
<name>hive.enforce.bucketing</name>
<value>true</value>
</property>
<property>
<name>hive.exec.dynamic.partition.mode</name>
<value>nonstrict</value>
</property>
<property>
<name>hive.txn.manager</name>
<value>org.apache.hadoop.hive.ql.lockmgr.DbTxnManager</value>
</property>
<property>
<name>hive.compactor.initiator.on</name>
<value>true</value>
</property>
<property>
<name>hive.compactor.worker.threads</name>
<value>1</value>
</property>
進行重啟hive元資料服務metastore,再通過beeline到hive客戶端進行操作。
2. 進行更新表資料,成功!
0: jdbc:hive2://demo3.leap.com:2181,demo1.lea> select * from test_cdc;
INFO : Compiling command(queryId=hive_20180607104040_34af3962-1273-4a35-9725-c0e653d2b31d): select * from test_cdc
INFO : Semantic Analysis Completed
INFO : Returning Hive schema: Schema(fieldSchemas:[FieldSchema(name:test_cdc.id, type:int, comment:null), FieldSchema(name:test_cdc.name, type:string, comment:null)], properties:null)
INFO : Completed compiling command(queryId=hive_20180607104040_34af3962-1273-4a35-9725-c0e653d2b31d); Time taken: 1.781 seconds
INFO : Executing command(queryId=hive_20180607104040_34af3962-1273-4a35-9725-c0e653d2b31d): select * from test_cdc
INFO : Completed executing command(queryId=hive_20180607104040_34af3962-1273-4a35-9725-c0e653d2b31d); Time taken: 0.006 seconds
INFO : OK
+--------------+----------------+--+
| test_cdc.id | test_cdc.name |
+--------------+----------------+--+
| 1 | aaa
+--------------+----------------+--+
1 row selected (2.334 seconds)
0: jdbc:hive2://demo3.leap.com:2181,demo1.lea> update test_cdc set name = 'ccc' where id =1;
INFO : Compiling command(queryId=hive_20180607104040_2eee4dba-43ec-4e49-b559-1548ef9dbb05): update test_cdc set name = 'ccc' where id =1
INFO : Semantic Analysis Completed
INFO : Returning Hive schema: Schema(fieldSchemas:[FieldSchema(name:row__id, type:struct<transactionid:bigint,bucketid:int,rowid:bigint>, comment:null), FieldSchema(name:id, type:int, comment:null), FieldSchema(name:_c2, type:string, comment:null)], properties:null)
INFO : Completed compiling command(queryId=hive_20180607104040_2eee4dba-43ec-4e49-b559-1548ef9dbb05); Time taken: 0.703 seconds
INFO : Executing command(queryId=hive_20180607104040_2eee4dba-43ec-4e49-b559-1548ef9dbb05): update test_cdc set name = 'ccc' where id =1
INFO : Query ID = hive_20180607104040_2eee4dba-43ec-4e49-b559-1548ef9dbb05
INFO : Total jobs = 1
INFO : Launching Job 1 out of 1
INFO : Starting task [Stage-1:MAPRED] in serial mode
INFO : Number of reduce tasks determined at compile time: 8
INFO : In order to change the average load for a reducer (in bytes):
INFO : set hive.exec.reducers.bytes.per.reducer=<number>
INFO : In order to limit the maximum number of reducers:
INFO : set hive.exec.reducers.max=<number>
INFO : In order to set a constant number of reducers:
INFO : set mapreduce.job.reduces=<number>
INFO : number of splits:8
INFO : Submitting tokens for job: job_1528335916181_0001
INFO : The url to track the job: http://demo1.leap.com:8088/proxy/application_1528335916181_0001/
INFO : Starting Job = job_1528335916181_0001, Tracking URL = http://demo1.leap.com:8088/proxy/application_1528335916181_0001/
INFO : Kill Command = /usr/bin/hadoop job -kill job_1528335916181_0001
INFO : Hadoop job information for Stage-1: number of mappers: 8; number of reducers: 8
INFO : 2018-06-07 10:40:51,464 Stage-1 map = 0%, reduce = 0%
INFO : 2018-06-07 10:40:58,846 Stage-1 map = 25%, reduce = 0%, Cumulative CPU 4.2 sec
INFO : 2018-06-07 10:40:59,889 Stage-1 map = 50%, reduce = 0%, Cumulative CPU 8.44 sec
INFO : 2018-06-07 10:41:00,932 Stage-1 map = 100%, reduce = 0%, Cumulative CPU 24.08 sec
INFO : 2018-06-07 10:41:08,860 Stage-1 map = 100%, reduce = 50%, Cumulative CPU 34.19 sec
INFO : 2018-06-07 10:41:09,903 Stage-1 map = 100%, reduce = 100%, Cumulative CPU 44.77 sec
INFO : MapReduce Total cumulative CPU time: 44 seconds 770 msec
INFO : Ended Job = job_1528335916181_0001
INFO : Starting task [Stage-0:MOVE] in serial mode
INFO : Loading data to table default.test_cdc from hdfs://demo1.leap.com:8020/apps/hive/warehouse/test_cdc/.hive-staging_hive_2018-06-07_10-40-42_440_5275939439062405091-1/-ext-10000
INFO : Starting task [Stage-2:STATS] in serial mode
INFO : Table default.test_cdc stats: [numFiles=9, numRows=1, totalSize=1234, rawDataSize=91]
INFO : MapReduce Jobs Launched:
INFO : Stage-Stage-1: Map: 8 Reduce: 8 Cumulative CPU: 44.77 sec HDFS Read: 70685 HDFS Write: 979 SUCCESS
INFO : Total MapReduce CPU Time Spent: 44 seconds 770 msec
INFO : Completed executing command(queryId=hive_20180607104040_2eee4dba-43ec-4e49-b559-1548ef9dbb05); Time taken: 30.418 seconds
INFO : OK
No rows affected (31.262 seconds)
0: jdbc:hive2://demo3.leap.com:2181,demo1.lea> select * from test_cdc;
INFO : Compiling command(queryId=hive_20180607104141_8986f857-f02e-4c32-854b-d224b3414f04): select * from test_cdc
INFO : Semantic Analysis Completed
INFO : Returning Hive schema: Schema(fieldSchemas:[FieldSchema(name:test_cdc.id, type:int, comment:null), FieldSchema(name:test_cdc.name, type:string, comment:null)], properties:null)
INFO : Completed compiling command(queryId=hive_20180607104141_8986f857-f02e-4c32-854b-d224b3414f04); Time taken: 0.22 seconds
INFO : Executing command(queryId=hive_20180607104141_8986f857-f02e-4c32-854b-d224b3414f04): select * from test_cdc
INFO : Completed executing command(queryId=hive_20180607104141_8986f857-f02e-4c32-854b-d224b3414f04); Time taken: 0.001 seconds
INFO : OK
+--------------+----------------+--+
| test_cdc.id | test_cdc.name |
+--------------+----------------+--+
| 1 | ccc
+--------------+----------------+--+
1 row selected (0.415 seconds)
相關推薦
hive 支援行級update、delete操作許可權
1. 找到對應的hive-site.xml檔案,加上以下配置: <property> <name>hive.support.concurrency</name> <value>true</value>&l
讓Hive支援行級insert、update、delete
Hive從0.14版本開始支援事務和行級更新,但預設是不支援的,需要一些附加的配置。要想支援行級insert、update、delete,需要配置Hive支援事務。一、Hive具有ACID語義事務的使用場景 1. 流式接收資料。 許多使用者使用諸如Apache Flume、
Hive支持行級update、delete時遇到的問題
details 沒有初始化 reads 數據庫 man rip 為什麽 delet style Hive從0.14版本開始支持事務和行級更新,但缺省是不支持的,需要一些附加的配置。要想支持行級insert、update、delete,需要配置Hive支持事務。(
hive0.14-insert、update、delete操作測試
問題導讀1.測試insert報錯,該如何解決? 2.hive delete和update報錯,該如何解決? 3.什麼情況下才允許delete和update? 首先用最普通的建表語句建一個表: hive>create table test(id int,name st
hive如何配置支援事務及insert、update、delete
轉載自:http://www.aboutyun.com/forum.php?mod=viewthread&tid=21274&extra=page%3D1 Hive從0.14版本開始支援事務和行級更新,但預設是不支援的,需要一些附加的配置。要想支援行
python sqlite3 連線到資料庫,建立表,INSERT 、SELECT、UPDATE 、DELETE等簡單操作
Python sqlite3 模組它提供了一個SQL介面相容。不需要單獨安裝這個模組,因為它預設情況下隨著Python版本在2.5.x 一起安裝。 要使用sqlite3模組,必須首先建立一個連線物件,表示資料庫中,然後可以選擇建立遊標物件,這將幫助在執行的所有
MySQL中的行級鎖、表級鎖、頁級鎖
常用 一點 存儲引擎 rac 鎖定 方法 線程 加鎖 計算機 在計算機科學中,鎖是在執行多線程時用於強行限制資源訪問的同步機制,即用於在並發控制中保證對互斥要求的滿足。 在DBMS中,可以按照鎖的粒度把數據庫鎖分為行級鎖(INNODB引擎)、表級鎖(MYISA
MySQL表級鎖、行級鎖、頁級鎖詳細介紹
MySQL的鎖機制比較簡單,其最顯著的特點是不同的儲存引擎支援不同的鎖機制。 MyISAM和MEMORY儲存引擎採用的是表級鎖(table-level-locking); BDB儲存引擎採用的是頁面鎖(page-level-locking),同時也支援表級鎖; InnoDB儲存引擎既支援
Hive表的增刪改、混合操作
增 Hive表增加資料有兩種方式(目前我知道的),分別為load及傳統意義上的insert。 通過load載入資料 命令格式 LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TA
悲觀鎖、樂觀鎖、行級鎖、表級鎖 悲觀鎖、樂觀鎖、行級鎖、表級鎖
轉載自:http://www.cnblogs.com/xhybk/p/9278684.html 悲觀鎖、樂觀鎖、行級鎖、表級鎖 更新丟失:新改的覆蓋先改的,開發中有三種方法解決 1、將事務級別提高到最高級別TRANSACT
悲觀鎖、樂觀鎖、行級鎖、表級鎖
樂觀 主鍵 gpo gravity money fcm 級別 ble The 悲觀鎖、樂觀鎖、行級鎖、表級鎖 更新丟失:新改的覆蓋先改的,開發中有三種方法解決 1、將事務級別提高到最高級別TRANSACTION_SERIALIZABLE 操作雙方都要提升級別;
如何理解資料庫MySQL的表級鎖、行級鎖、頁鎖問題?
從鎖的粒度進行對資料庫進行劃分等級 表級鎖 行級鎖 頁級鎖(這個不常用) (1)MySQL的表級鎖兩種模式: 1. 表級共享讀鎖(共享鎖): 也就是在MyISAM引擎下,如果對一個表加了讀鎖的話,那
一起學HBase——總結HBase中的PUT、GET、DELETE操作
傳統的關係型資料庫有CRUD增刪改查操作,同樣對於NoSQL列式資料庫也有CRUD操作。本文對HBase中常用的Scan、GET、PUT、DELETE操作的用法做個總結。 Put操作 Put相當於傳統資料庫的add操作,就是在資料庫中新增一條或多條記錄。 Put操作分為兩類,一類是一次操作一條記錄,另外一類是
MySQL 中的行級鎖、表級鎖和頁級鎖(不看後悔,看了必懂)
行級鎖 行級鎖是 MySQL 中鎖定粒度最細的一種鎖,表示只針對當前操作的行進行加鎖。行級鎖分為共享鎖和排他鎖。 特點:加鎖開銷大,會出現死鎖,鎖定粒度最小,發生鎖衝突的概率最低,併發度最高 頁級鎖 頁級鎖是 MySQL 中鎖定粒度介於行級鎖和表級鎖中間的一種鎖。
MongoDB入門系列(二):Insert、Update、Delete、Drop
概述 本章節介紹Insert、Update、Delete、Drop操作基本語法。 環境: Version:3.4 insert insert()基本語法如下: db.collection.insert( <document or array of documents&
教你如何調整Mysql中insert、update、delete的順序來以提高效率
MySQL還允許改變語句排程的優先順序,它可以使來自多個客戶端的查詢更好地協作,這樣單個客戶端就不會由於鎖定而等待很長時間。改變優先順序還可以確保特定型別的查詢被處理得更快。我們首先應該確定應用的型別,判斷應用是以查詢為主還是以更新為主的,是確保查詢效率還是確保更新的效率,
Android 學習筆記 Contacts ContentResolver query、add、update、delete 引數詳解
1.獲取聯絡人姓名 一個簡單的例子,這個函式獲取裝置上所有的聯絡人ID和聯絡人NAME。 public void fetchAllContacts() { ContentResolver contentResolver = this.getCon
ORACLE:SELECT語句裡呼叫函式使用DML語句進行UPDATE/INSERT/DELETE操作
需求: 公司一系統升級,要維護的資料庫表中已有資料,該表沒有序列、觸發器等。此表要直接插入一些資料,插入的資料為了和以前的資料相容(就是一樣)。該表主鍵的生成以前是在程式碼中分兩步進行的,即查詢、更新(現在要直接插入資料,不用服務端JAVA程式碼,不能用這個)。 做法: 本
詳述 MySQL 中的行級鎖、表級鎖和頁級鎖
在電腦科學中,鎖是在執行多執行緒時用於強行限制資源訪問的同步機制,即用於在併發控制中保證對互斥要求的滿足。 在資料庫的鎖機制中,咱們介紹過在 DBMS 中,可以按照鎖的粒度把資料庫鎖分為行級鎖(InnoDB 引擎)、表級鎖(MyISAM 引擎)和頁級鎖(BDB
Hive的行級acid事務處理
//事務,hive 0.13.0之後完全支援行級acid事務處理。 //所有事務都是自動提交,並且儲存檔案只能是orc檔案,而且只能在桶表中使用。 1.設定相關屬性 SET hive.support.