楽天シンフォニー、RIUD拠点の熱異常を早期検知する警告AIを構築

楽天シンフォニーは、日本のRIUD拠点で夏季に起きる熱関連障害を未然に防ぐため、早期警告システムを開発しました。
現場が実際の障害確認前に対処できるよう、日次でリスク順位を提示する仕組みです。

同社は、温度アラームだけでは「高温でも復旧する拠点」と「故障に進む拠点」を区別できない点が課題だと説明しました。
温度以外の指標も含めた軌跡情報を統合し、故障の前段階である蓄積期・性能低下期を捉えることを狙いました。

開発では、ハードウェアのテレメトリ、ネットワークの性能データ、障害アラームの3系統を15分間隔で突合しました。
さらに、7日・14日平均や傾き、CPUの不均衡、アラーム急増のスコアなど、時間変化を表す特徴量を設計しました。

モデルは、説明可能性と混在する特徴量に配慮して木構造系を採用しました。
運用では、ルールベースの第1層で要因とリスクを算出し、MLの第2層で故障確率を出す二段構えとしています。

また、保守直後は温度が高止まりする「メンテナンス除外」期間を設け、誤警告で信頼を損なわないようにしました。
日次の警告リストを現場が確認し、推奨された拠点の処置につなげています。

同社によると、現場介入が行われた割合を成功指標とし、推奨の70％超でアクションが実施されました。
介入後には5つの熱KPIで平均約10.9℃の低下が確認され、故障までの平均リードタイムは約4日だったとしています。