Elasticsearch – 生成AI – RAGの連携でログ監視支援システムを開発する

はじめに
いつものADOC TESLABブログとは少し趣の異なるブログとなります。
ADOCはテスト自動化の他にも様々な技術分野で活動しており、Elasticsearchを用いたログ監視／データ分析のサービスも提供しています。
Elasticsearchはメトリックの追跡、ログの管理と分析、APM、機械学習や分析に役立つダッシュボードなどの運用をサポートする様々な機能が搭載されています。しかし、いざエラーを検出した際には運用者がそのエラーやアラートの原因や解決方法についてインターネットなどを利用して調査する必要があります。また、多量にある対応履歴なども参照して問題の解決にあたることになるでしょう。
今回、Elasticsearchと生成AIを連携させることでエラーを検知した場合に自動的に運用者にエラーの詳細と原因、解決方法についてメールで通知するシステムを構築したので紹介します。また、回答の精度向上を目的としてRetrieval-Augmented Generation（RAG）を導入してみました。導入前後で生成ＡＩの回答にどのような変化があったのかについてもご紹介したいと思います。

Elasticsearchとは
ElasticsearchはApache Luceneベースの分散型RESTful検索/分析エンジンです。検索速度や柔軟性に優れており、情報量に合わせてスケーラブルにシステムを拡張することができます。2010年のリリース以来、世界中の多くの企業で導入されている実績のある検索エンジンです。
検索システム、エンタープライズサーチ、ログ監視、インフラ監視、APM、可用性監視、SIEMなどに利用されています。
 
システム概要
今回構築したシステムは、ElasticsearchのWatcher（Elasticsearch内のデータを監視して事前に定義されたアクションを実行する機能）を利用して、エラー検出時にその原因と解決方法についての質問を生成AIに送信して、生成AIからの回答を運用者に自動でメール通知する仕組みです。
システムの構成は次の通りです。

図 1．システム構成
エラー検知時フローは次の通りです。
① Watcherが監視対象のアプリログ等からエラーを検知する
② Watcherが検知したログを添えて質問を生成AIに送信する
③ 生成AIがインターネット上の情報を加味した回答をElasticsearchに返信する
④ Watcherが運用者に生成AIからの回答をe-mail等で送信する