kudu 安装文档

为了方便管理, 本次安装的是 standalone 单 master 版本 等后期 cdh 升级到高版本后使用 cdh 管理的多 master HA 版本

机器配置要求, 提供大于等于 4 台机器, 每台机器有 20G 空闲内存可用, 至少 2 块以上 2T 以上的 xfs 或者 ext4 格式的盘 方便管理, 每台机器配置一个 host 例如 : kudu-01, kudu-02 ... kudu-01 同时安装 kudu-master 跟 kudu-tserver

每台机器都需要安装 ntp 来同步时间

1. yum 源
# /etc/yum.repo.d/kudu.repo

  [cloudera-cdh6.1.0]
  name=Cloudera's Distribution for cdh6
  baseurl=https://archive.cloudera.com/cdh6/6.2.0/redhat7/yum
  gpgcheck = 0
  enabled=1
  priority=1
2. 安装 kudu
# 每台 kudu 机器都需要安装的

yum install -y kudu kudu-client-devel kudu-client0

# kudu-master 机器需要安装

yum install -y kudu-master

# kudu-tserver 机器需要安装
yum install -y kudu-tserver
3. 为 kudu 初始化数据目录, 每块盘里建一个 kudu 目录, 后文以 $KUDU_DIR 代表该目录

mkdir -p $KUDU_DIR
chown -R kudu $KUDU_DIR
chgrp -R kudu $KUDU_DIR
4. kudu 配置

kudu master

# kudu-master : /etc/kudu/conf/master.gflagfile

--fromenv=log_dir

--rpc_bind_addresses=0.0.0.0:17051
--webserver_port=17050

# kudu-01 使用 master 节点 host 替代
--master_addresses=kudu-01:18051

# 这里只需配置一个盘
--fs_wal_dir=$KUDU_DIR/master-wal

# 这里可以配置多会盘, $KUDU_DIR-0* 代表 step 3 中初始化的数据盘
--fs_data_dirs=$KUDU_DIR-01/master-data,$KUDU_DIR-02/master-data

--block_cache_capacity_mb=4096

--max_clock_sync_error_usec=20000000

kudu tserver

 # kudu-tserver : /etc/kudu/conf/tserver.gflagfile
 #--fromenv=rpc_bind_addresses
 --fromenv=log_dir

 # 这里只需配置一个盘
 --fs_wal_dir=$KUDU_DIR/tserver-wal
 # 这里可以配置多会盘, $KUDU_DIR-0* 代表 step 3 中初始化的数据盘
 --fs_data_dirs=$KUDU_DIR-01/tserver-data, $KUDU_DIR-02/tserver-data

 --rpc_bind_addresses=0.0.0.0:17050
 --tserver_master_addrs=kudu-01:17051

 --block_cache_capacity_mb=4096
 --max_clock_sync_error_usec=20000000
 --webserver_port=18050
5. 启动 kudu, 启动成功后在各自的 web 页面查看, http://master:18051, http://tserver:18050
# 启动 kudu-master
 systemctl start kudu-master

 # 开机启动
 systemctl enable kudu-master

 # 启动 kudu-tserver
 systemctl start kudu-tsrever
 systcmctl enable kudu-tserver