DevOps環境のモニタリングセットアップ完全ガイド

モニタリングの重要性

現代のDevOps環境では、システムの複雑性が増し、マイクロサービスアーキテクチャやコンテナ化により、 監視すべき対象が飛躍的に増加しています。適切なモニタリング体制がなければ、 問題の早期発見や根本原因の特定が困難になります。

可観測性の3つの柱

効果的なモニタリングシステムは、以下の3つの要素（Three Pillars of Observability）で構成されます。

Prometheus + Grafana のセットアップ

Prometheusとは

Prometheusは、Cloud Native Computing Foundation (CNCF)のプロジェクトで、 時系列データベースを中心としたメトリクス監視システムです。 Pull型のアーキテクチャで、高い拡張性と柔軟性を持っています。

基本的なセットアップ手順

1. Docker Composeでの構築

# docker-compose.yml
version: '3.8'

services:
  prometheus:
    image: prom/prometheus:latest
    container_name: prometheus
    ports:
      - "9090:9090"
    volumes:
      - ./prometheus.yml:/etc/prometheus/prometheus.yml
      - prometheus_data:/prometheus
    command:
      - '--config.file=/etc/prometheus/prometheus.yml'
      - '--storage.tsdb.path=/prometheus'
      - '--web.enable-lifecycle'
    restart: unless-stopped

  grafana:
    image: grafana/grafana:latest
    container_name: grafana
    ports:
      - "3000:3000"
    volumes:
      - grafana_data:/var/lib/grafana
      - ./grafana/provisioning:/etc/grafana/provisioning
    environment:
      - GF_SECURITY_ADMIN_PASSWORD=admin
      - GF_INSTALL_PLUGINS=grafana-clock-panel
    restart: unless-stopped
    depends_on:
      - prometheus

  node_exporter:
    image: prom/node-exporter:latest
    container_name: node_exporter
    ports:
      - "9100:9100"
    restart: unless-stopped

volumes:
  prometheus_data:
  grafana_data:

2. Prometheus設定ファイル

# prometheus.yml
global:
  scrape_interval: 15s
  evaluation_interval: 15s

# アラートマネージャーの設定
alerting:
  alertmanagers:
    - static_configs:
        - targets:
            - 'alertmanager:9093'

# メトリクス収集の設定
scrape_configs:
  # Prometheus自身の監視
  - job_name: 'prometheus'
    static_configs:
      - targets: ['localhost:9090']

  # Node Exporter (サーバーメトリクス)
  - job_name: 'node'
    static_configs:
      - targets: ['node_exporter:9100']

  # アプリケーションメトリクス
  - job_name: 'app'
    static_configs:
      - targets: ['app:8080']

  # Kubernetesクラスター (オプション)
  - job_name: 'kubernetes-pods'
    kubernetes_sd_configs:
      - role: pod

3. Grafanaダッシュボード設定

Grafanaにログイン後（http://localhost:3000、デフォルト admin/admin）、 以下の手順でダッシュボードを設定します：

1. データソースの追加
   • Configuration → Data Sources → Add data source
   • Prometheusを選択
   • URL: http://prometheus:9090
   • Save & Test をクリック
2. ダッシュボードのインポート
   • + → Import
   • 人気のダッシュボードID（例: 1860 - Node Exporter Full）を入力
   • Load → Import

ELKスタックの構築

ELKスタック（Elasticsearch、Logstash、Kibana）は、ログの収集・保存・分析・可視化を実現する 強力なログ管理プラットフォームです。

ELKスタックの構成

Docker Composeでの構築

# docker-compose.yml (ELKスタック)
version: '3.8'

services:
  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:8.11.0
    container_name: elasticsearch
    environment:
      - discovery.type=single-node
      - ES_JAVA_OPTS=-Xms512m -Xmx512m
      - xpack.security.enabled=false
    ports:
      - "9200:9200"
    volumes:
      - elasticsearch_data:/usr/share/elasticsearch/data
    restart: unless-stopped

  logstash:
    image: docker.elastic.co/logstash/logstash:8.11.0
    container_name: logstash
    ports:
      - "5044:5044"
      - "9600:9600"
    volumes:
      - ./logstash/pipeline:/usr/share/logstash/pipeline
      - ./logstash/config:/usr/share/logstash/config
    environment:
      - LS_JAVA_OPTS=-Xms256m -Xmx256m
    depends_on:
      - elasticsearch
    restart: unless-stopped

  kibana:
    image: docker.elastic.co/kibana/kibana:8.11.0
    container_name: kibana
    ports:
      - "5601:5601"
    environment:
      - ELASTICSEARCH_HOSTS=http://elasticsearch:9200
    depends_on:
      - elasticsearch
    restart: unless-stopped

volumes:
  elasticsearch_data:

Logstash設定例

# logstash/pipeline/logstash.conf
input {
  # Filebeat からのログ受信
  beats {
    port => 5044
  }

  # Syslog受信
  syslog {
    port => 5514
  }
}

filter {
  # JSON形式のログをパース
  if [message] =~ /^\{/ {
    json {
      source => "message"
    }
  }

  # タイムスタンプの処理
  date {
    match => [ "timestamp", "ISO8601" ]
    target => "@timestamp"
  }

  # アプリケーションログのパース
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
}

output {
  elasticsearch {
    hosts => ["elasticsearch:9200"]
    index => "logs-%{+YYYY.MM.dd}"
  }

  # デバッグ用
  stdout {
    codec => rubydebug
  }
}

効果的なアラート設定

モニタリングシステムの真価は、問題を早期に検知し、適切なアラートを発行できるかにかかっています。

Prometheus Alertmanagerの設定

# prometheus/alert.rules.yml
groups:
  - name: instance_alerts
    interval: 30s
    rules:
      # インスタンスダウン検知
      - alert: InstanceDown
        expr: up == 0
        for: 5m
        labels:
          severity: critical
        annotations:
          summary: "Instance {{ $labels.instance }} down"
          description: "{{ $labels.instance }} is down for more than 5 minutes."

      # CPU使用率高騰
      - alert: HighCPUUsage
        expr: 100 - (avg by(instance) (irate(node_cpu_seconds_total{mode="idle"}[5m])) * 100) > 80
        for: 10m
        labels:
          severity: warning
        annotations:
          summary: "High CPU usage on {{ $labels.instance }}"
          description: "CPU usage is above 80% for 10 minutes."

      # メモリ使用率高騰
      - alert: HighMemoryUsage
        expr: (node_memory_MemTotal_bytes - node_memory_MemAvailable_bytes) / node_memory_MemTotal_bytes * 100 > 90
        for: 10m
        labels:
          severity: critical
        annotations:
          summary: "High memory usage on {{ $labels.instance }}"
          description: "Memory usage is above 90%."

      # ディスク使用率
      - alert: DiskSpaceLow
        expr: (node_filesystem_avail_bytes{mountpoint="/"} / node_filesystem_size_bytes{mountpoint="/"}) * 100 < 10
        for: 5m
        labels:
          severity: warning
        annotations:
          summary: "Disk space low on {{ $labels.instance }}"
          description: "Available disk space is less than 10%."

アラート通知の設定

# alertmanager.yml
global:
  resolve_timeout: 5m

route:
  group_by: ['alertname', 'cluster']
  group_wait: 10s
  group_interval: 10s
  repeat_interval: 12h
  receiver: 'default'
  routes:
    - match:
        severity: critical
      receiver: 'critical'
    - match:
        severity: warning
      receiver: 'warning'

receivers:
  - name: 'default'
    email_configs:
      - to: 'team@example.com'
        from: 'alertmanager@example.com'
        smarthost: 'smtp.example.com:587'

  - name: 'critical'
    email_configs:
      - to: 'oncall@example.com'
    slack_configs:
      - api_url: 'https://hooks.slack.com/services/XXX/YYY/ZZZ'
        channel: '#alerts-critical'
        title: 'Critical Alert'

  - name: 'warning'
    slack_configs:
      - api_url: 'https://hooks.slack.com/services/XXX/YYY/ZZZ'
        channel: '#alerts-warning'

運用のベストプラクティス

監視対象の選定

まとめ

DevOps環境における効果的なモニタリングシステムの構築には、以下のポイントが重要です：

Prometheus + GrafanaとELKスタックの組み合わせにより、 包括的なモニタリング体制を構築できます。これらのツールはオープンソースで、 幅広いコミュニティのサポートを受けられるため、長期的な運用にも適しています。