Presto 安裝部署

阿新 • • 發佈：2019-01-11

1 部署 JDK7

/usr/local/jdk7

2 待下載軟體列表：

presto-server:

discovery-server:

presto-cli-executable:

3 準備工作

# mkdir -p /opt/presto /opt/presto/data /opt/presto/config

4 安裝discovery-server

下載完成後，選擇一臺機器部署discovery-server，用來處理叢集發現

# cd /opt/presto # tar xvf /root/discovery-server-1.16.tar.gz

# ln -s discovery-server-1.16 discovery-server # mkdir config/discovery-server

# cd discovery-server

# ln -s ../config/discovery-server etc

編輯配置檔案：

etc/node.properties

node.environment=production node.id=ffffffff-0000-0000-0000-ffffffffffff node.data-dir=/opt/presto/data/discovery/

etc/config.properties

http-server.http.port=8411

etc/jvm.config

-server -Xmx1G -XX:+UseConcMarkSweepGC -XX:+ExplicitGCInvokesConcurrent -XX:+AggressiveOpts -XX:+HeapDumpOnOutOfMemoryError -XX:OnOutOfMemoryError=kill -9 %p

修改啟動指令碼，在exec一行之前加上

bin/launcher

PATH=/usr/local/jdk7/bin/:$PATH

5 安裝presto-coordinator 和 presto-worker

coordinator是管事的，worker是幹活的

找臺機器

# cd /opt/presto # tar xvf /root/presto-server-0.54.tar.gz # ln -s presto-server-0.54 presto-server # mkdir config/presto-coordinator config/presto-worker

在coordinator上

# cd presto-server

# ln -s ../config/presto-coordinator etc

worker上

# cd presto-server

# ln -s ../config/presto-worker etc

公用的配置：

etc/jvm.config

-server -Xmx16G -XX:+UseConcMarkSweepGC -XX:+ExplicitGCInvokesConcurrent -XX:+CMSClassUnloadingEnabled -XX:+AggressiveOpts -XX:+HeapDumpOnOutOfMemoryError -XX:OnOutOfMemoryError=kill -9 %p -XX:PermSize=150M -XX:MaxPermSize=150M -XX:ReservedCodeCacheSize=150M

etc/log.properties

com.facebook.presto=DEBUG

etc/node.properties

node.environment=production node.id=ffffffff-0000-0000-0000-ffffffffffff node.data-dir=/opt/presto/data/discovery/

確保每臺機器node.id都不一樣

catalog配置：

etc/catalog/jmx.properties

connector.name=jmx

etc/hive-cdh4.properties

connector.name=hive-cdh4 hive.metastore.uri=thrift://hadoop4.lecai.com:9083 hive.config.resources=/etc/hadoop/conf/core-site.xml,/etc/hadoop/conf/hdfs-site.xml

如果CDH使用了nameservice HA，一定要包含最後一行的配置，否則可能會報主機名找不到。有這行配置的前提是所在的伺服器是hadoop的節點機。

coordinator的配置

etc/config.properties

coordinator=true datasources=jmx http-server.http.port=28282 presto-metastore.db.type=h2 presto-metastore.db.filename=/opt/presto/data/presto/var/db/MetaStore task.max-memory=1GB discovery-server.enabled=true discovery.uri=http://hadoop4.lecai.com:8411

worker的配置

etc/config.properties

coordinator=false datasources=jmx,hive-cdh4 http-server.http.port=28282 presto-metastore.db.type=h2 presto-metastore.db.filename=/opt/presto/data/presto/var/db/MetaStore task.max-memory=1GB discovery.uri=http://hadoop4.lecai.com:8411

按官方的說法，coordinator的datasource不要加hive-cdh4，這樣coordinator能高效地coordinates。

datasource的名字就是catalog配置的檔名。

修改啟動指令碼，在exec一行之前加上

bin/launcher

PATH=/usr/local/jdk7/bin/:$PATH

6 啟動程式

由於launch指令碼都已經加上了JDK7的環境變數設定，所以所有的都是使用

# ./bin/launch start

就行了

如果要以非daemon方式工作，使用

# ./bin/launch run

7 使用CLI客戶端

/usr/local/jdk7/bin/java -jar /root/presto-cli-0.54-executable.jar --server hadoop4.lecai.com:28282 --catalog hive-cdh4 --schema lecai_stats_source

功能很有限，速度還行

presto:lecai_stats_source> help Supported commands: QUIT EXPLAIN [FORMAT {TEXT | GRAPHVIZ}] <query> DESCRIBE <table> SHOW COLUMNS FROM <table> SHOW FUNCTIONS SHOW SCHEMAS SHOW PARTITIONS FROM <table> [WHERE ...] [ORDER BY ...] [LIMIT n] SHOW TABLES [LIKE <pattern>]

8 故障排查

新裝的時候data目錄清空就好，免得出問題。升級的時候可以重新link目錄。

Presto 安裝部署

hadoop--presto安裝部署

PRESTO安裝部署和引數說明(一)

Presto 安裝部署

fuel6.0安裝部署

【原創 Spark動手實踐 1】Hadoop2.7.3安裝部署實際動手

LNP 安裝部署

Unity3D中tolua的“安裝部署和使用“教程

hadoop分布式安裝部署具體視頻教程(網盤附配好環境的CentOS虛擬機文件/hadoop配置文件)

Confluence 安裝部署

ZooKeeper安裝部署

zookeeper與kafka安裝部署及java環境搭建

ELK 日誌服務器安裝部署

openfire 安裝部署

環境搭建/安裝部署

Centos7.3 Docker安裝部署學習記錄1

FastDFS單點在 CentOS 安裝部署

spark2.10安裝部署（集成hadoop2.7+）

MySQL二進制安裝部署

安裝部署Solrcloud

Linux之安裝部署squid代理服務器

Presto 安裝部署

相關推薦