Vertica的這些事（十七）——Vertica消費kafka答疑
#####1、 Vertica消費kafka機制是什麼？
Vertica通過scheduler來按定義的頻度排程執行copy table from kafkasource(…)來從kafka的主題載入資料。
#####2、 Vertica消費kafka的偏移量是怎麼維護的？
Vertica的scheduler會把每個主題消費到的偏移量儲存到表stream_microbatch_history中（schema由scheduler的引數指定和建立），沒載入一批就會scheduler就會給它加上，下一次載入的時候會作為引數傳遞給kafkasource。
#####3、 Vertica消費kafka是多個節點併發執行？資源怎麼控制？
Vertica是多個節點並行讀取kafka主題多個patition的訊息的。資源池的EXECUTIONPARALLELISM引數會決定節點內解析訊息的並行執行緒數，記憶體等資源也由資源池控制。
#####4、 Vertica消費kafka應該怎麼監控？
MC本身具備kafka訊息載入的監控介面，表stream_microbatch_history中有詳細的載入資訊。
#####5、 出現節點宕機對kafka訊息讀取有什麼影響？
Kafka讀過的訊息偏移量和業務資料都存放到Vertica中，就算Vertica叢集資料不完全恢復，他們也會保證是一致的，恢復後會自動從資料庫中記錄的偏移量開始繼續載入，不會出現資料對視。
相關推薦
Vertica的這些事（十七）——Vertica消費kafka答疑
#####1、 Vertica消費kafka機制是什麼？ Vertica通過scheduler來按定義的頻度排程執行copy table from kafkasource(…)來從kafka的主題載
Vertica的這些事（十二）——-vertica備份與恢復
最近在使用vertica，上網找了很多資料都沒有，只有自己看官方文件動手搞一下了，今天搞了vertica的備份與恢復 以下是整理的過程，分享給大家，如有問題歡迎大家指正~ 可加QQ群交流：412191494 1、vertica備份 1.1 vertica備份配置: [dbadmin@localhost ~]$
瀏覽網頁下載文件命令（十七）
background 下載工具 version 後臺運行 日誌記錄 下載工具：wget瀏覽網頁：curl，elinks，nslookup13.1.wget功能：非交互式網絡下載語法：wget [option]... [URL]...常用選項：啟動：-b, --background
iOS學習筆記（十七）——文件操作（NSFileManager）
技術分享 append hint pbo -cp fcm object 寫入 rtmp http://blog.csdn.net/xyz_lmn/article/details/8968213 iOS的沙盒機制，應用只能訪問自己應用目錄下的文件。ios不像Androi
python學習（十七） 擴展python
生成 實現 語言 擴展 運行速度 ava python學習 簡單 用c語言實現 c, c++, java比python快幾個數量級。 17.1 考慮哪個更重要 開發速度還是運行速度更重要。 17.2 非常簡單的途徑：Jython和IronPython Jython可以直接訪
lucene總結——（十七）
文件的 程序 分詞 analyzer 搜索 ocs 硬盤 row top （01）rownum和rowid有何區別？ rownum在表結構中是看不見的，只能在select中明確寫出rownum方可顯示 rownum與不同的表綁定在一起，每張表都有自已的r
Android開發系列（十七）：讀取assets文件夾下的數據庫文件
pack 取數 code ada tracking 編寫 數據庫 sdn where 在做Android應用的時候，不可避免要用到數據庫。可是當我們把應用的apk部署到真機上的時候，已經創建好的數據庫及其裏邊的數據是不能隨著apk一起安裝到真機上的。 （PS:這篇
設計模式（十七）---策略模式
封裝 客戶端 else 互換 rip oid 接口 相同 角色 1、簡介 策略模式屬於對象的行為模式。其用意是針對一組算法，將每一個算法封裝到具有共同接口的獨立的類中，從而使得它們可以相互替換。策略模式使得算法可以在不影響到客戶端的情況下發生變化。 2、策略模式的結構
設計模式（十七）——模板方法模式
ring next pri cut 限制 pack [] eat 模式 1.描述 定義一個操作中算法的骨架，而將一些步驟延伸到子類當中。模板方法使子類可以不改變一個算法的結構即可重定義該算法的某些特定步驟。 2.模式的使用 ·抽象模板(Abstract Template)：
Java學習筆記（十七）：super關鍵字
mage cnblogs 分享 關鍵字 super關鍵字 log .cn nbsp java Java學習筆記（十七）：super關鍵字
spring boot 1.5.4 整合rabbitMQ（十七）
rabbitmq springboot springboot1.5.4 springboot整合jsp springboot整合rabbitmq 上一篇：spring boot 1.5.4 整合redis、攔截器、過濾器、監聽器、靜態資源配置（十六） 關於rabbitMQ原理，請參閱博客：
Linux系列教程（十七）——Linux權限管理之文件系統系統屬性chattr權限和sudo命令
系統屬性 brush 選項 all 好的 幫助 博客 簡單 命令 上篇博客我們介紹了權限管理的ACL權限，通過設定 ACL 權限，我們為某個用戶指定某個文件的特定權限。這篇博客我們將介紹權限管理中用的比較多的兩個命令 chattr 和 sudo 。 1、設定文件系統
Springfox與swagger的整合使用（十七）
ons 效果 head 單獨 sca 文檔 控制器 pack 接口 一、前言 讓我們先理一下springfox與swagger的關系。 swagger是一個流行的API開發框架，這個框架以“開放API聲明”（OpenAPI Specification，OAS）為基礎，對整個
R語言學習筆記（十七）：data.table包中melt與dcast函數的使用
eas table variable mil pat efault ast 函數 pre melt函數可以將寬數據轉化為長數據 dcast函數可以將長數據轉化為寬數據 > DT = fread("melt_default.csv") > DT
Vue（十七）模塊化開發
pat center clas 發生 ont mar tex () 原型 模塊化開發 使用vue-cli創建項目 1. vue-router模塊化 引入vue-router cnpm install vue-router -S 1.1 編輯main.js
ShaderLab學習小結（十七）草帽團的旗子
sha shade 向上 最小 process pragma n) 通過 shaderlab 目標：弄個草帽團的海盜旗，通過shader讓它有飄揚的效果，因為我要成為海賊王（不是他的男人）最終效果如下：其實效果還差的很遠，就大概有這麽個意思吧，好歹讓它先動起來 旗子用的是p
Linux學習筆記（十七） vim
vim一、vim介紹vim是vi的升級版是帶有顏色顯示的vi分為一般模式、編輯模式、命令模式。yum install -y vim-enhanced安裝vim安裝完成之後使用vim打開passwdvim /etc/passwd和之前用vi打開有明顯的區別，vim帶有顏色顯示，二、vim顏色顯示和移動光標將/e
Linux學習總結（十七）-shell 基礎知識
shell基礎 變量 特殊符號 該篇內容很雜，但還是不難理解，就不逐個貼圖舉例。 一 先介紹幾種常用字符： 1 * 匹配任意個任意字符2 ？匹配一個任意字符3 # 註釋符號，符號後的語句不被執行4 \脫意字符，後面跟帶含義字符時，照原字符輸出5 []匹配包含在[]之中的任意一個字符：例如[bc]
QT開發（十七）——QWT簡介
Qt QWTQT開發——QWT簡介 一、QWT簡介 QWT，即Qt Widgets for Technical Applications，是一個基於LGPL版權協議的開源項目， 可生成各種統計圖，是為具有技術專業背景的程序提供GUI組件和一組實用類，其目標是以基於2D方式的窗體部件來顯示數據， 數據源以數值，
Hadoop學習之路（十七）MapReduce框架Partitoner分區
div get() 劃分 mapreduce ride 作用 程序 輸出 lin Partitioner分區類的作用是什麽？ 在進行MapReduce計算時，有時候需要把最終的輸出數據分到不同的文件中，比如按照省份劃分的話，需要把同一省份的數據放到一個文件中；按照性別劃分