Loki 日志系统搭建文档

#### **一、基础环境准备**
1. **配置默认 StorageClass**  
确保集群存在可用的存储类（以 `aly-nas-storageclass` 为例）：

```bash
kubectl-tools patch storageclass aly-nas-storageclass -p '{"metadata": {"annotations": {"storageclass.kubernetes.io/is-default-class":"true"}}}'
```

2. **创建命名空间**

```bash
kubectl-tools create ns loki
kubectl-tools create ns loki-logging
```

---

#### **二、部署 Loki 服务**
1. **准备 Values 文件 (**`tqls-prd-values.yaml`**)**  
核心配置包括存储后端、索引策略、副本数等：

```yaml
loki:
  schemaConfig:
    configs:
      - from: "2024-04-01"
        store: tsdb
        object_store: s3
        schema: v13
        index:
          prefix: loki_index_
          period: 24h
  storage_config:
    aws:
      region: oss-cn-beijing
      bucketnames: tq-loki-prd
      s3forcepathstyle: false
  limits_config:
    allow_structured_metadata: true
    volume_enabled: true
    retention_period: 360h  # 28天保留周期
  querier:
    max_concurrent: 4

storage:
  type: s3
  bucketNames:
    chunks: tq-loki-prd
    ruler: tq-loki-prd
    admin: tq-loki-prd
  s3:
    endpoint: oss-cn-beijing-internal.aliyuncs.com
    region: oss-cn-beijing
    secretAccessKey: QG4ebNSWwSlodIeJv1pB5OFDj83XGW
    accessKeyId: LTAI5tAMWVqKhKYt7ihPHuEb
    signatureVersion: v4
    s3ForcePathStyle: false

deploymentMode: SimpleScalable
backend:
  replicas: 2
read:
  replicas: 2
write:
  replicas: 3
minio:
  enabled: false
```

2. **安装 Loki**

```bash
helm --kubeconfig=/etc/kubernetes-tools/kubeconfig install --values tqls-prd-values.yaml loki -n loki .
```

3. **配置 Compactor（通过 ConfigMap）**  
在 Rancher 中修改 `loki` ConfigMap，添加压缩与清理策略：

```yaml
compactor:
  working_directory: /var/loki
  compaction_interval: 10m
  retention_enabled: true          
  retention_delete_delay: 2h  
  retention_delete_worker_count: 150
  delete_request_store: s3
```

4. 修改镜像地址

将所有镜像的仓库从docker.io 修改为 	harbor.tqsys.cn/public/

启动顺序依次为

```shell
	loki-chunks-cache
	loki-results-cache
	loki-backend
	loki-write
	loki-read
	loki-gateway
开放主机8080端口 固定在node10.7.8.238上
	loki-canary
```

---

#### **三、部署 Promtail 日志采集**
1. **安装 Promtail**

```bash
helm --kubeconfig=/etc/kubernetes-tools/kubeconfig upgrade --install loki-promtail -n loki-logging -f promtail-values.yaml .
```

2. **镜像替换（若使用私有仓库）**  
修改 Promtail 的镜像地址为私有仓库：

```yaml
image:
  repository: harbor.tqsys.cn/public/promtail
  tag: 2.9.3
```

3. **修改secret  loki-promtail**

配置租户 ID 及 Loki 地址：

```yaml
promtail:
  enabled: true
  config:
    clients:
      - url: http://10.7.8.238:8080/loki/api/v1/push
        tenant_id: k8s-tools  # 根据环境调整（如 k8s-ack、k8s-prd）
```

---

#### **四、部署 Grafana 可视化**
1. **安装 Grafana**

```bash

helm --kubeconfig=/etc/kubernetes-tools/kubeconfig install grafana -n loki-logging .
```

2. **配置数据源**  
在 Grafana 中添加 Loki 数据源：
    - **URL**: `http://10.7.8.238:8080`
    - **HTTP Header**: `X-Scope-OrgID: k8s-tools`（按环境调整）
3. **访问配置**  
创建 Ingress 或 NodePort 暴露 Grafana 服务，获取初始密码：

```bash
kubectl-tools get secret --namespace loki-logging loki-promtail-grafana -o jsonpath="{.data.admin-password}" | base64 --decode
```

---

#### **五、多集群日志接入**
1. **ACK 集群**

```bash
kubectl-ack create ns loki-logging
helm --kubeconfig=/etc/kubernetes-ack/kubeconfig upgrade --install loki-promtail -n loki-logging -f promtail-values.yaml .
```

- 修改 `tenant_id: k8s-ack`
2. **PRD 集群**

```bash
kubectl-prd create ns loki-logging
helm --kubeconfig=/etc/kubernetes-prd/kubeconfig upgrade --install loki-promtail -n loki-logging -f promtail-values.yaml .
```

- 修改 `tenant_id: k8s-prd`

---

#### **六、验证与维护**
1. **组件状态检查**

```bash
kubectl-tools get pods -n loki  # 检查 Loki 组件
kubectl-tools get pods -n loki-logging  # 检查 Promtail 和 Grafana
```

2. **日志查询测试**  
在 Grafana Explore 界面选择对应租户 ID，使用 LogQL 查询日志（如 `{namespace="default"}`）。
3. **维护注意事项**  
    - **避免 Helm 覆盖**：不同环境的 Helm Release 名称需唯一（如 `loki-promtail-ack`）。
    - **存储清理**：通过 Compactor 策略自动清理过期日志。
    - **监控告警**：集成 Prometheus 监控 Loki/Promtail 资源使用。