20180531早課記錄22-Hive
基於Hadoop的一個數據倉庫工具
2.hive的默認使用什麽數據庫?生產上我們一般用什麽?
默認使用derby
生產使用MySQL
3.hive的元數據存儲在哪? 數據存儲在哪?
MySQL HDFS
4.hive的SQL語法和什麽類似
和MySQL語法類似
5.hive底層執行計算引擎是什麽
MapReduce/tez/spark
6.hive使用mysql做元數據存儲，那麽部署過程中，註意什麽
註意mysql的高可用
7.接上題，配置文件裏要哪些參數
url，username，pwd，driver
8.提醒大家，我上課是Apache，若澤是cdh的，其實都是一樣的。
20180531早課記錄22-Hive
相關推薦
20180531早課記錄22-Hive
Hadoop Hive 1.hive是什麽? 基於Hadoop的一個數據倉庫工具 2.hive的默認使用什麽數據庫?生產上我們一般用什麽? 默認使用derby生產使用MySQL 3.hive的元數據存儲在哪? 數據存儲在哪? MySQL HDFS 4.hive的SQL語法和什麽類似 和MySQL語法
20180607早課記錄26-Hive
Hive1.hive哪些sql會觸發mr job 帶聚合函數,某些insert,還有create table as select 2.create table t as select ...這樣的SQL會不會創建mrjob 會 3.hive的數據分為哪兩塊 分別存儲哪裏 元數據和真實數據,分別存儲在mysql
20180604早課記錄24-Hive
Hive1. hive數據分為哪兩塊?分別存儲在哪? 元數據和數據本身； mysql等關系型數據庫 和 hdfs 2. hive的建表SQL語句你們覺得裏有哪些內容?（不光光是字段的定義） 定義分區，分隔字符，內外表之分 3. 默認的換行符和分割符是什麽? /t /r 4. 加載數據或本地數據到hive表
20180503早課記錄02-Linux
Linux1.移動文件或文件夾是什麽命令 mv 2.復制文件或文件夾是什麽命令參數 cp 3.強制刪除文件的命令參數 rm -r 4.強制刪除文件夾的命令參數 rm -rf 5.生產上是否能夠執行rm -rf / 不能 6.切換用戶帶執行環境變量文件且進家目錄的命令參數 su - xxx 7.普通用戶想要臨時
20180504早課記錄03-Linux
linux1.談談學到現在，帶r參數的命令有哪些? cp -rrm -rfls -r 2.同事說，打開那臺電腦xxx服務的web界面，你們覺得哪幾種途徑可以嘗試知道? ifconfig --找到ipps -ef|grep xxx --找到pidnetstat -nlp|grep pid --找到端口也可以ps
20180507早課記錄04-Linux
Linux1.讀寫執 英文字母是什麽，數字分別多少 rwx 421 2.rwxr--r-x 數字多少 745 3.上題的第一組，第二組，第三組，分別表示哪種用戶可以有權限的 擁有者用戶 此用戶組 其他用戶 4.修改用戶和用戶組的命令是什麽? 文件夾的需要加什麽參數 chown -R 5.修改權限的命令，和對
20180509早課記錄06-Linux
Linux1.後臺運行腳本的命令哪幾個 nohub xxxxxx &screen 2.定時每隔五分鐘運行腳本，命令是什麽 ，編輯參數是什麽 crontab -e --編輯參數/5 * xxx.sh 3.切換用戶，帶執行環境變量文件命令是什麽 su - 4.沒有臨時root權限，需要修改哪個配置
20180508早課記錄05-Linux
Linux1.出現小r參數的命令 cp -rrm -rfls -r 2.出現R參數的命令 chown chmod 3.mv cp誰快 mv 4.查看命令幫助 你們覺得該怎麽看 xxx --help先看Usage 5.領導叫你打開那臺電腦xxx服務的web界面，該怎麽辦 ifconfig --找到ipps -e
20180510早課記錄07-MySQL
MySQL1.MySQL創建db，刪除db命令 create database db;drop database db; 2.MySQL的字段類型 整型：tinyint,smallint,mediumint,int,bigint 浮點型：float(m,d),double(m,d),decimal(m,d)
20180514早課記錄09-MySQL&Hadoop
MySQ Hadoop 1.排序語法，默認是降序嗎 不是 默認是升序 2.限制多少行語法 limit 100 3.分組函數有哪些 group by 4.分組語法是什麽 group by column 5.分組語法的註意點是什麽 查詢列要放到group by裏面，函數除外 6.join有哪幾種 left
20180516早課記錄11-Linux
Linux1.MySQL二進制編譯部署時，我們是創建一個用戶mysqladmin，怎樣將/usr/local/mysql目錄設置為家目錄 useradd -u 514 -g dba -G root -d /usr/local/mysql mysqladmin 2.哪幾種方法讓新的家目錄有.bash_profi
20180517早課記錄12-Hadoop
Hadoop1.hadoop的廣義和狹義的理解 狹義: Hadoop軟件(HDFS、MapReduce、Yarn)廣義: 以hadoop為主的生態圈 2.hadoop三大組件是什麽?分別是做什麽? HDFS: 分布式文件管理系統 存儲MapReduce: 執行引擎
20180518早課記錄13-MySQL
MySQL1.join哪幾種 left joinright joininner join 2.left join是哪個表數據最全 左表 3.分組函數有哪些 group by 4.分組語法是什麽?要註意什麽 group by column查詢列要放到group by裏面，函數除外 5.分組時，過濾的語法 hav
20180521早課記錄14-Hadoop
Hadoop1.hadoop是什麽 狹義: Hadoop軟件(HDFS、MapReduce、Yarn)廣義: 以hadoop為主的生態圈 2.hadoop三大組件是什麽?分別做什麽 HDFS: 分布式文件管理系統 存儲MapReduce: 執行引擎 計算Yarn: 資源(memory cpu)和作業調度平臺
20180522早課記錄15-MySQL&Linux
Linux MySQL 早課記錄 1.shell腳本執行 假如是使用當前目錄的去執行，你們覺得命令行是什麽 ./xxx.sh 2.A left join B ，哪個表數據為主 A 3.分組函數 ，語法，和過濾的 SQL是什麽?註意點是什麽 group byhaving 過濾條件註意點：查詢列要放
20180523早課記錄16-Linux&Hadoop
Linux1.說說vi命令的怎樣覆蓋文件內容，從記事本復制過去呢？哪些命令 命令行模式下gg + dG刪除原內容，然後進入編輯默認粘貼進去新的內容 2.tar壓縮和解壓參數 tar -cvf 壓縮tar -xzvf 解壓 3.假如vi 在命令行模式，粘貼一段，你們有沒有發現第一行會有丟失? 那麽我們在粘貼前，
20180524早課記錄17-Hadoop
Hadoop1.MapReduce談談你們的理解 執行引擎 計算 2.Map是什麽 map：映射函數 3.Reduce是什麽 reduce：規約函數 4.shuffle談談你們的理解 相當於洗牌 按key進行分組 5.wordcount那副圖，腦子是否有印象? 不太深入 6.輸入分片一般和什麽有關?多少個分片
20180529早課記錄20-MySQL
MySQL1.MySQL需要重新部署，刪除哪兩個文件和執行什麽命令 刪除arch和data目錄 2.MySQL的創建一個DB，創建一個用戶對這個DB有所有權限，密碼123456，只允許198.168.137.110 機器能夠訪問數據庫，請問 SQL怎麽寫 create database db;grant al
20180530早課記錄-Linux
Linux1.tar解壓什麽問題 用戶用戶組 2.搜尋xxx命令是什麽 find / -name xxx 3.我們執行命令，其實去哪個變量去找 PATH 4.說說大R的參數命令 chown chmod 5.說說小r參數 cp rm ls 6.哪些方式創建文件 vi touch echo等重定向 7.清空一
20180601早課記錄23-Hadoop
Hadoop1.hdfs是屬於什麽架構 高可用的分布式架構 2.hdfs部署後進程哪些?按啟動順序說 NameNode,DataNode,SecondaryNameNode 3.一個文件180M，請問實際存儲多少，多少塊?多少map task?（副本為3） 540M, 6塊， 假如文件支持分割，那麽就2個ma