Presto是一個開源的分散式SQL查詢引擎，適用於互動式分析查詢，資料量支援GB到PB位元組。Presto的設計和編寫完全是為了解決像Facebook這樣規模的商業資料倉庫的互動式分析和處理速度的問題。

叢集涉及到的外掛有hdfs，hive。presto版本：presto-0.152.3，hadoop版本：hadoop-2.6.4，hive版本：hive-1.2.1，共三臺叢集。

遇到的主要問題有：

1.presto-0.152.3這個版本需要執行在jdk1.8以上

2.presto不支援lzo演算法，我們目前叢集的hadoop使用的lzo，暫時沒找到適合的解決方案。

3.hive的jline比hadoop版本高，把hive下的jline替換到hadoop的lib下面

4.hive再插入資料的時候報錯，列超過限制，需要mysql設定：alter database hive character set latin1;

一、hadoop配置好namenode，datanode。

二、hive配置：

1、hive-env.sh增加以下環境變數

export JAVA_HOME=/home/dc/dep/soft/java/jdk1.8.0_91
export HADOOP_HOME=/home/dc/dep/soft/hadoop/hadoop-2.6.4
export HIVE_HOME=/home/dc/dep/soft/hive/hive-1.2.1

2、新建hive-site.xml

<configuration>    
<property>  
  <name>hive.metastore.warehouse.dir</name>  
  <value>/data/hive/warehouse</value>  
</property>  
   
<property>  
  <name>javax.jdo.option.ConnectionURL</name>  
  <value>jdbc:mysql://10.10.99.227:3306/test?createDatabaseIfNotExist=true</value>  
</property>  
   
<property>  
  <name>javax.jdo.option.ConnectionDriverName</name>  
  <value>com.mysql.jdbc.Driver</value>  
</property>  
   
<property>  
  <name>javax.jdo.option.ConnectionUserName</name>  
  <value>root</value>  
</property>  
   
<property>  
  <name>javax.jdo.option.ConnectionPassword</name>  
  <value>

如果presto需要與hive整合，依賴於hive的資料來源，需要由hive提供一個元資料服務。也就是hive.metastore.uris配置項。

三、presto配置

1、在presto根目錄下新建個etc資料夾，使用者儲存配置檔案。新建這些

2、config.properties配置檔案

coordinator=true
node-scheduler.include-coordinator=true
http-server.http.port=8080
query.max-memory=2GB
query.max-memory-per-node=2GB
discovery-server.enabled=true
discovery.uri=http://10.10.99.227:8080

3、jvm.config配置檔案

-server
-Xmx1G
-XX:+UseConcMarkSweepGC
-XX:+ExplicitGCInvokesConcurrent
-XX:+CMSClassUnloadingEnabled
-XX:+AggressiveOpts
-XX:+HeapDumpOnOutOfMemoryError
-XX:OnOutOfMemoryError=kill -9 %p
-XX:ReservedCodeCacheSize=150M

4、log.properties配置檔案

com.facebook.presto=INFO

5、node.properties配置檔案（node.id不能重複）

node.environment=production
node.id=XXXX
node.data-dir=/data/presto

6、catalog檔案下是資料來源配置，可以有hive，kafaka，關係型資料庫等等。。我這裡配置了hive.properties

connector.name=hive-cdh5
hive.metastore.uri=thrift://10.10.99.227:9083
hive.config.resources=/home/dc/dep/soft/hadoop/hadoop-2.6.4/etc/hadoop/core-site.xml,/home/dc/dep/soft/hadoop/hadoop-2.6.4/etc/hadoop/hdfs-site.xml

7、測試的時候需要一個presto客戶端，實際上就是一個presto-client.jar包,mv改名為presto

四、測試啟動順序

1、namenode

2、datanode

3、hive --service metastore

4、hive插入測試資料

create table course (id bigint, name string) partitioned by (pubdate string) row format delimited fields terminated by ','; 
load data local inpath '/home/dc/dep/soft/hive/course.txt' overwrite into table course partition (pubdate='2010-08-22');

5、./launcher run

6、執行下載改名的那個jar

./presto --server localhost:8080 --catalog hive --schema default