Cloud Monitoringでエラーログを感知してSlack通知させる機能をTerraformで管理する

###########################################################
# Cloud Monitoring
###########################################################

# Cloud Monitoring API 有効化
resource "google_project_service" "monitoring" {
  project = var.project_id
  service = "monitoring.googleapis.com"
}

# HTTPSアップタイム監視と通知
resource "google_monitoring_uptime_check_config" "https" {
  display_name = "Wiki HTTPS 稼働時間チェック"
  timeout      = "10s"
  period       = "300s"

  # HTTPチェックの設定
  http_check {
    path         = "/"
    port         = 443
    use_ssl      = true
    validate_ssl = true
  }

  # 監視対象のリソース設定
  monitored_resource {
    type   = "uptime_url"
    labels = { host = var.host }
  }

  # 依存関係の設定
  depends_on = [google_project_service.monitoring]
}

# Slack通知チャネルの作成
resource "google_monitoring_notification_channel" "slack" {
  display_name = "Slack - Wiki Alerts"
  type         = "slack"
  # Slack通知チャネルの設定
  labels = {
    channel_name = var.slack_channel
  }
  # Slack通知チャネルの認証トークン
  sensitive_labels {
    auth_token = var.slack_token
  }
  # 依存関係の設定
  depends_on = [google_project_service.monitoring]
}

# アラートポリシーの作成
resource "google_monitoring_alert_policy" "uptime_down" {
  display_name = "Wiki HTTPS Uptime Down Alert"
  # どれか1つでも condition が true ならアラート発火
  combiner = "OR"
  # 通知チャネルの設定
  notification_channels = [google_monitoring_notification_channel.slack.id]

  # アラート条件の定義
  conditions {
    display_name = "Uptime Check Failed"
    # Uptimeチェックが失敗した場合にアラートを発火
    condition_threshold {
      # フィルターの設定(メトリックタイプとチェックID)
      filter = "resource.type=\"uptime_url\" AND metric.type=\"monitoring.googleapis.com/uptime_check/check_passed\" AND metric.label.\"check_id\"=\"${google_monitoring_uptime_check_config.https.uptime_check_id}\""
      # 比較演算子の設定
      comparison = "COMPARISON_LT"
      # 閾値の設定
      threshold_value = 1
      # 評価期間の設定
      duration = "300s"
      # トリガー条件の設定
      trigger {
        count = 1
      }
      # アラート発火のトリガー条件を設定
      aggregations {
        # 集計期間の設定
        alignment_period = "60s"
        # シリーズごとのアライナーの設定
        per_series_aligner = "ALIGN_NEXT_OLDER"
      }
    }
  }
  # 依存関係の設定
  depends_on = [google_monitoring_uptime_check_config.https]
}

# Scheduler 失敗アラートポリシーの作成
resource "google_monitoring_alert_policy" "scheduler_failed" {
  display_name          = "Scheduler Job Failed Alert"
  combiner              = "OR"
  notification_channels = [google_monitoring_notification_channel.slack.id]

  # 通知のレート制限設定
  alert_strategy {
    notification_rate_limit {
      period = "300s"
    }
  }

  # アラート条件の定義
  conditions {
    display_name = "Cloud Scheduler error logs"
    # ログベースの条件を使用して、Cloud Schedulerのエラーログを監視
    condition_matched_log {
      filter = "resource.type=\"cloud_scheduler_job\" AND resource.labels.job_id=~\"gce-(stop-nightly|start-morning)\" AND severity>=ERROR"
    }
  }
  # 依存関係の設定
  depends_on = [google_project_service.monitoring]
}

##################################
# 入力変数
##################################
# Google Cloud プロジェクトID
variable "project_id" {
  description = "Google Cloud プロジェクトID"
  type        = string
}

# Uptime監視対象のホスト名またはIP
variable "host" {
  description = "Uptime監視対象のホスト名またはIP"
  type        = string
}

# Uptime監視対象のDNS名またはIPアドレス
variable "dns_name" {
  description = "監視対象のDNS名またはIPアドレス"
  type        = string
}

# TechSnapのSlackチャンネル
variable "slack_channel" {
  description = "TechSnap Alert Management Slack channel"
  type        = string
}

# TechSnapのSlackトークン
variable "slack_token" {
  description = "通知を監視するためのTechSnap Slackトークン"
  type        = string
}

##################################
# 監視モジュールの出力
##################################

# Cloud プロジェクトID（参照用）
output "project_id" {
  value = var.project_id
}

# 監視対象のDNS名またはIPアドレス（参照用）
output "dns_name" {
  value = var.dns_name
}

############################################################
# Monitoring
############################################################
# モニタリングモジュールの呼び出し
module "monitoring" {
  source        = "./modules/monitoring"
  project_id    = var.project_id
  dns_name      = "${var.subdomain}.${var.domain}"
  host          = var.enable_public_dns ? "${var.subdomain}.${var.domain}" : google_compute_address.sample_ip.address
  slack_channel = var.slack_channel
  slack_token   = var.slack_token
}

# Slackトークン
variable "slack_token" {
  description = "通知を監視するための Slackトークン"
  type        = string
  sensitive   = true
}

# Slackチャンネル
variable "slack_channel" {
  description = "通知を監視するための Slackチャンネル"
  type        = string
  sensitive   = true
}