Docker容器日志管理实战：ELK+Prometheus+Grafana方案

1. 容器日志管理的现状与痛点

刚接触Docker时，我也以为docker logs就是查看容器日志的全部。直到某天线上服务突然崩溃，面对几十个容器的海量日志，我才意识到问题的严重性——用docker logs -f追日志就像用吸管喝消防栓的水，不仅效率低下，关键信息还容易被淹没在噪音中。

传统方式存在三个致命缺陷：

• 实时性差：docker logs默认只显示历史日志，实时追踪需要手动附加
• 缺乏聚合：多容器场景下需要逐个查看，无法全局分析
• 没有可视化：纯文本日志难以发现趋势和异常模式

2. 技术栈选型与架构设计

2.1 核心组件对比

2.2 混合架构优势

这套组合拳的巧妙之处在于：

1. Prometheus抓取Docker引擎指标（CPU/内存/网络）
2. Filebeat轻量级采集容器日志到Elasticsearch
3. Grafana同时对接Prometheus和ES数据源
4. Kibana作为日志分析的补充视角

关键设计原则：指标与日志分离。Prometheus专精数值监控，ELK擅长文本分析，两者通过Grafana统一呈现。

3. 详细部署指南

3.1 基础环境准备

# 创建专用网络 docker network create monitor-net # 拉取必要镜像 docker pull prom/prometheus:v2.37.0 docker pull grafana/grafana:9.1.6 docker pull elastic/filebeat:8.3.3

3.2 Prometheus配置

prometheus.yml关键配置：

scrape_configs: - job_name: 'docker' static_configs: - targets: ['host.docker.internal:9323'] # Docker引擎指标端口

3.3 Filebeat配置技巧

filebeat.docker.yml示例：

filebeat.inputs: - type: container paths: - '/var/lib/docker/containers/*/*.log' processors: - add_docker_metadata: ~ output.elasticsearch: hosts: ["elasticsearch:9200"]

3.4 Grafana数据源配置

1. 添加Prometheus数据源：http://prometheus:9090
2. 添加Elasticsearch数据源：http://elasticsearch:9200
3. 设置索引模式：filebeat-*

4. 实战监控方案实现

4.1 容器资源监控看板

导入ID为193的Docker官方仪表盘，重点关注：

• 容器内存使用率（PromQL：container_memory_usage_bytes{container_label_com_docker_swarm_service_name=~"$service"}）
• CPU Throttling次数（PromQL：rate(container_cpu_cfs_throttled_periods_total[1m])）

4.2 日志分析高级技巧

在Kibana中创建日志筛选器：

# 提取Java异常堆栈 grok { match => { "message" => "%{TIMESTAMP_ISO8601:timestamp} %{LOGLEVEL:level} %{JAVACLASS:class} - %{GREEDYDATA:message}" } } # 识别错误率突增 elasticsearch query: "query": { "bool": { "must": [ { "match": { "level": "ERROR" } }, { "range": { "@timestamp": { "gte": "now-5m" } } } ] } }

5. 性能优化与问题排查

5.1 资源占用控制

# 限制Filebeat内存 docker run -d --name=filebeat \ --memory="500m" --memory-swap="1g" \ filebeat:8.3.3

5.2 常见故障处理

问题1：Prometheus显示connection refused

• 检查Docker引擎是否开启metrics：

  cat /etc/docker/daemon.json { "metrics-addr": "0.0.0.0:9323", "experimental": true }

问题2：Elasticsearch磁盘爆满

• 设置ILM策略自动清理旧索引：

  PUT _ilm/policy/logs_policy { "policy": { "phases": { "hot": { "actions": { "rollover": { "max_size": "50GB", "max_age": "7d" } } } } } }

6. 进阶应用场景

6.1 动态标签注入

通过Docker标签实现智能分组：

docker run --label com.service.type=backend \ --label com.service.tier=critical \ nginx:alpine

Grafana变量查询：

label_values(container_memory_usage_bytes, com_service_tier)

6.2 日志采样策略

应对高流量场景的filebeat配置：

processors: - drop_event: when: not: contains: message: "ERROR|WARN|Exception"

这套方案在我们生产环境稳定运行两年多，日均处理10TB+日志数据。最关键的收获是：初期一定要合理规划索引生命周期和存储策略，否则后期扩容会非常痛苦。建议每周review一次日志保留策略，根据业务重要性分级存储。