logstash 常用配置记录

读取 kafka 写文件, kafka --> logstash --> file

kafka 相关配置

kafka 配置内外网分流

listeners=INNET://内外ip:9200,OUTNET://外网ip:9201
# 指定broker 使用内网
inter.broker.listener.name=INNET
listener.security.protocol.map=INNET:PLAINTEXT,OUTNET:PLAINTEXT

再高级一点, 同时支持 ip 跟域名

listeners=INNET://10.1.1.100:9200,OUTNET://0.0.0.0:9201
inter.broker.listener.name=INNET
advertised.listeners=INNET://10.1.1.100:9200,OUTNET://kafka.example.com:9201
listener.security.protocol.map=INNET:PLAINTEXT,OUTNET:PLAINTEXT

zookeeper 指定绑定 ip

clientPortAddress=ip

配置了外网域名时, 本机一定要 配置该域名的 hosts, 否则 zookeeper 报错 KeeperErrorCode = NoNode for / ....

HBase 权限 RWXCA 详细列表

ambari 丢失节点问题

ambari 由于运维失误覆盖了 hosts 文件跟重启机器, 集群丢失了一个节点, 问题排查

1. 查看该节点 ambari-agent 服务正常, log 也没什么异常, restart 服务也正常
2. 删除历史 log, restart 服务, 从头查看 log, 发现一条 Host system information: log 描述该机器详细属性的如下

非 root 用户安装 ambari

有 sudo 权限, 使用手动安装 ambari-agent

linux (本机 centos7 ) 离线安装 ambari 集群

1. 使用 nginx 搭建 ambari 内网 yum 源 (内网环境 / 你懂的访问不了)
2. ambari 集群安装, 版本: ambari-2.5.0, hdp-2.6.0.3, hadoop-2.7.3