ELK搭建文档

# ELK搭建文档

## 服务器规划

| 主机名     | 地址          | 配置   | 安装组件                      |
| ---------- | ------------- | ------ | ----------------------------- |
| elk-master | 10.7.6.219:22 | 8c/32g | Elasticsearch logstash kibana |
| elk-node1  | 10.7.6.123:22 | 4c/32g | Elasticsearch                 |
| elk-node2  | 10.7.6.86:22  | 4c/16g | Elasticsearch                 |

# 服务器初始化

修改host相互解析

```shell
cat << EOF >> /etc/hosts
10.7.6.219   elk-master
10.7.6.123   elk-node1
10.7.6.86    elk-node2
EOF
```

复制文件

```shell
scp -r   ./*  elk-node1:/tqls_system/
scp -r   ./*  elk-node2:/tqls_system/
```

关闭防火墙和关闭selinux

```shell
systemctl status firewalld
systemctl stop firewalld

iptables -nL
#清除预设表filter中的所有规则链的规则
iptables -F  
#清除预设表filter中使用者自定链中的规则
iptables -X

vim /etc/selinux/config
selinux=disabled
```

新建用户

```shell
useradd tqlsuser
passwd tqlsuser
#将用户授予sudo权限
echo 'tqlsuser  ALL=(ALL:ALL) ALL' >> /etc/sudoers
```

调整进程最大打开文件数数量

```shell
# 临时设置
ulimit -n 65535
# 永久设置，重启生效
vi /etc/security/limits.conf
* hard nofile 65535
* soft nofile 65535
```

调整进程最大虚拟内存区域数量

```shell
# 临时设置
sysctl -w vm.max_map_count=262144
# 永久设置
echo "vm.max_map_count=262144" >> /etc/sysctl.conf
sysctl -p
```

# Elasticsearch

修改配置文件

![image-20230609132504682](https://oss.yc-monster.work/picture/image-20230609132504682.png)

```shell
cat << EOF > /tqls_system/apps/elasticsearch/config/elasticsearch.yml
cluster.name: elk-tqls # 集群名称
node.name: elk-master # 集群节点名称
node.master: true 
#path.data: /path/to/data # 数据目录
#path.logs: /path/to/logs # 日志目录
network.host: 0.0.0.0 # 监听地址
http.port: 9200 # 监听端口
transport.tcp.port: 9300 #内部节点之间通信端口
discovery.seed_hosts: ["elk-master","elk-node1","elk-node2"] # 集群节点列表
cluster.initial_master_nodes: ["elk-master"] # 首次启动指定的Master节点
bootstrap.memory_lock: true #启动时是否有锁定内存,生产环境需要true(可用内存一般设置可用内存的一半左右)
EOF
```

```shell
cat << EOF > /tqls_system/apps/elasticsearch/config/elasticsearch.yml
cluster.name: elk-tqls # 集群名称
node.name: elk-node1 # 集群节点名称
node.master: false
#path.data: /path/to/data # 数据目录
#path.logs: /path/to/logs # 日志目录
network.host: 0.0.0.0 # 监听地址
http.port: 9200 # 监听端口
transport.tcp.port: 9300 #内部节点之间通信端口
discovery.seed_hosts: ["elk-master","elk-node1","elk-node2"] # 集群节点列表
#cluster.initial_master_nodes: [“node-1”] # 首次启动指定的Master节点
bootstrap.memory_lock: true #启动时是否有锁定内存,生产环境需要true(可用内存一般设置可用内存的一半左右)
EOF
```

```shell
cat << EOF > /tqls_system/apps/elasticsearch/config/elasticsearch.yml
cluster.name: elk-tqls # 集群名称
node.name: elk-node2 # 集群节点名称
node.master: false
#path.data: /path/to/data # 数据目录
#path.logs: /path/to/logs # 日志目录
network.host: 0.0.0.0 # 监听地址
http.port: 9200 # 监听端口
transport.tcp.port: 9300 #内部节点之间通信端口
discovery.seed_hosts: ["elk-master","elk-node1","elk-node2"] # 集群节点列表
#cluster.initial_master_nodes: [“node-1”] # 首次启动指定的Master节点
bootstrap.memory_lock: true #启动时是否有锁定内存,生产环境需要true(可用内存一般设置可用内存的一半左右)
EOF
```

```shell
#为集群设置名称,集群内所有节点配置的名称必须一致
cluster.name: bigdata
#当前节点取名，集群内节点名称必须唯一
node.name: node1
#当前节点地址
network.host: 192.168.57.188
#始化一个新的集群时需要此配置来选举master
cluster.initial_master_nodes: ["note1", "note2"]
#写入候选主节点的设备地址，在开启服务后可以被选为主节点
discovery.seed_hosts: ["note1", "note2", "note3"]
#表示该节点会不会作为主节点，true表示会；false表示不会
node.master: true
#当前节点是否用于存储数据，是：true、否：false
node.data: true
#数据存储目录(用逗号分隔多个位置) 这个目录默认不存在,自行创建
path.data: /home/tools/elasticsearch/elasticsearch-7.17.8/data
#日志文件路径
path.logs: /home/tools/elasticsearch/elasticsearch-7.17.8/logs
#es对外提供的http端口，默认 9200
http.port: 9200
#TCP的默认监听端口，默认 9300
transport.tcp.port: 9300
#启动时是否有锁定内存,生产环境需要true(可用内存一般设置可用内存的一半左右)
bootstrap.memory_lock: true
```

设置堆内存大小

```shell
设置jvm堆大小（根据服务器内存大小进行设置,用2g替换1g）
sed -i 's/-Xms1g/-Xms8g/' /tqls_system/apps/elasticsearch/config/jvm.options
sed -i 's/-Xmx1g/-Xmx8g/' /tqls_system/apps/elasticsearch/config/jvm.options
```

配置系统服务管理

```shell
cat << EOF > /usr/lib/systemd/system/elasticsearch.service 
[Unit]
Description=elasticsearch
[Service]
User=tqlsuser
LimitNOFILE=65535
LimitMEMLOCK=infinity
ExecStart=/tqls_system/apps/elasticsearch/bin/elasticsearch
ExecReload=/bin/kill -HUP $MAINPID
KillMode=process
Restart=on-failure
[Install]
WantedBy=multi-user.target
EOF
```

```shell
systemctl daemon-reload 
systemctl restart elasticsearch
systemctl start elasticsearch
systemctl stop elasticsearch
```

curl -i -XGET http://127.0.0.1:9200/_cluster/health?pretty

````shell
查看集群节点：curl -XGET 'http://127.0.0.1:9200/_cat/nodes?pretty'
10.7.6.123 15 49 0 0.09 0.05 0.05 dilrt  - elk-node1
10.7.6.219  5 49 0 0.01 0.03 0.05 dilmrt * elk-master
10.7.6.86  12 97 0 0.08 0.03 0.05 dilrt  - elk-node2

IP地址：节点的IP地址。
    15、5、12：分别表示节点的分片数量。
    49、49、97：分别表示节点的可用分片数量。这个数字反映了节点当前可用于分配的空闲分片槽位。
    0、0、0：分别表示节点的延迟（ping时间）。
    0.09、0.01、0.08：分别表示节点的主节点选举权重。
    0.05、0.03、0.03：分别表示节点的CPU使用率。
    0.05、0.05、0.05：分别表示节点的堆内存使用率。
    dilrt、dilmrt、dilrt：节点的角色（d：数据节点，i：Ingest节点，l：本地分片复制节点，m：主节点候选者，r：远程集群客户端，t：传输节点）。
    elk-node1、elk-master、elk-node2：节点的名称。
    
    
    
查询集群状态： curl -i -XGET http://127.0.0.1:9200/_cluster/health?pretty
````

```bash
curl -XPUT 'http://localhost:9200/_all/_settings?preserve_existing=true' -d '{
  "index.max_shards_per_node" : "5000"
}'
```

# Logstash

二进制部署

```shell
#需要安装jdk 
yum install java-1.8.0-openjdk –y
```

```shell
cat << EOF >  /tqls_system/apps/logstash/config/logstash.yml 
pipeline: # 管道配置
 batch: 
 size: 125 
delay: 5
path.config: /tqls_system/apps/logstash/conf.d # conf.d目录自己创建
# 定期检查配置是否修改，并重新加载管道。也可以使用SIGHUP信号手动触发
# config.reload.automatic: false
# config.reload.interval: 3s
# http.enabled: true
http.host: 0.0.0.0
http.port: 9600-9700
log.level: info
path.logs: /tqls_system/apps/logstash/logs
EOF

```

```shell
cat << EOF >  /usr/lib/systemd/system/logstash.service 
[Unit]
Description=logstash
[Service]
User=tqlsuser
ExecStart=/tqls_system/apps/logstash/bin/logstash
ExecReload=/bin/kill -HUP $MAINPID
KillMode=process
Restart=on-failure
[Install]
WantedBy=multi-user.target
EOF
```

# Kibana

二进制部署

```shell
cd /opt/elk
tar zxvf kibana-7.9.3-linux-x86_64.tar.gz
mv kibana-7.9.3-linux-x86_64 kibana

cat << EOF > /tqls_system/apps/kibana/config/kibana.yml 
server.port: 5601
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://10.7.6.219:9200"]
i18n.locale: "zh-CN"
EOF
```

ExecStart=/tqls_system/apps/kibana/bin/kibana --allow-root

```shell
cat << EOF > /usr/lib/systemd/system/kibana.service
[Unit]
Description=kibana
[Service]
User=tqlsuser
ExecStart=/tqls_system/apps/kibana/bin/kibana
ExecReload=/bin/kill -HUP $MAINPID
KillMode=process
Restart=on-failure
[Install]
WantedBy=multi-user.target
EOF

systemctl daemon-reload 
```

# Filebeat

```shell
# 配置不同的输入
- type: log
# 是否启用该输入配置
enabled: false
# 采集的日志文件路径，可以通配
paths:
- /var/log/*.log
# 正则匹配要排除的行，这里以DBG开头的行都过滤掉
#exclude_lines: ['^DBG']
# 正则匹配要采集的行，这里以ERR/WARN开头的行都采集
#include_lines: ['^ERR', '^WARN']
# 排除的文件，默认采集所有
#exclude_files: ['.gz$']
# 添加标签
#tags: ["nginx"]
# 下面fields添加的字段默认是在fields.xxx，可以设置在顶级对象下
# fields_under_root: true
# 自定义添加的字段，一般用于标记日志来源
#fields:
# level: debug
# review: 1

```

```shell
filebeat.inputs:
- type: log
 enabled: true
 paths:
  - /var/log/test/*.log
  tags: ["nginx"]
  fields_under_root: true
 fields:
  project: microservice
  app: product
```

```yaml
apiVersion: v1
kind: ConfigMap
metadata:
  name: cm-filebeat
  namespace: srm-prd
data:
  filebeat.yml: |
filebeat.inputs:
- type: log
 enabled: true
 paths:
  - /var/log/test/*.log
  tags: ["nginx"]
  fields_under_root: true
 fields:
  project: s
  app: product
output.logstash:
 hosts: ["10.7.6.219:5044"]
  
```

gem "logstash-output-oss"