自社独自のデータを活用したオリジナル応答システムの構築とLLMOpsの内製化
オーエムネットワーク株式会社様
課題／お問い合わせ背景
自社サービス「R-Shift」導入店舗の拡大に伴い、利用方法等の問い合わせは一度本部に集約してルールベースのチャットボットを用いて対応しているため、実際のエンドユーザー様（店長など）の個別サポートが十分にできていなかった。
オーエムネットワーク株式会社（以下、OMN社）では、店舗シフト管理システム「R-Shift」を小売業・サービス業向けに展開しており、導入店舗数20,000店、利用ユーザー数400,000人、導入企業数5年連続No.1(※1)を記録
昨今のChatGPTなどの大規模言語モデルによる応答性能向上を受け、柔軟に不明点等に対応できるチャットボットをスピーディに構築し、満足度の向上を図りたい。
チャットボットの構築とあわせて技術的な内製化の支援も可能な委託先を探しており、Hakkyにお問い合わせをいただき、プロジェクトを進行することとなった。
※国内シフト管理システム市場 登録ID数1,000以上の小売業（東京商工リサーチ調べ（2020～2024年））
ポイント
自社固有のデータに対応したチャットボットの開発 最新の大規模言語モデルであるOpenAI社のAIモデルを試用し、これまで蓄積された会話履歴を活用することで、高精度なユーザーサポートを実現。 | LLMOpsを実現する基盤と分析環境の構築 チャットボットシステムの構築だけでなく、継続的な品質向上を目的としたデータ基盤の構築や性能評価を行うダッシュボードの構築を行った。 | 内製化を支援し、自社内に改善を行える体制を構築 「Hakky Handbook」を活用しながら、利用した技術スタックについて体系的に学習ができるよう支援。結果的に自社内で改善などのサイクルを回せるように。 |
事例の詳細
プロジェクト及び構築したシステムの全体像
今回は生成AIを活用したチャットボットとLLMOpsの構築、そしてそのシステム全体の内製化を行っていくために3つのフェーズでプロジェクトを進めました。
Phase0では、大規模言語モデルが登場して間もない時期だったこともあり、実現可能性などの評価をクイックに行いました。その後、Phase1にて本格的なデータ蓄積やモデルの開発などを行い、Phase2にてその更なる改善や継続的な改善のためのオペレーション基盤の構築、内製化の支援を行い、全体を通して約10ヶ月でプロジェクトを進行しました。
また今回のシステム構成は、クラウドとしてはGoogle Cloudを活用し、OpenAI社の大規模言語モデルを活用して構築しました。
体制としては、各フェーズのタスクに応じて必要な専門人材をアサインし、隔週定例を実施しながらプロジェクトを進行しました。
Hakky社の体制
全フェーズ担当
プロジェクトマネージャー：1名
データサイエンティスト：1名
Phase1 プロダクション
機械学習エンジニア：1名
インフラエンジニア：1名
Phase2 LLMOpsの構築
データエンジニア：1名
データアナリスト：1名
自社固有のデータに対応したチャットボットの開発
◼︎Phase0（1ヶ月間）：クイックに実現可能性を評価
OMN様のご希望もあり、大きく予算をかけてプロジェクトを実施する前に、クイックに実現可能性の評価と、それを元にしたプロジェクトの詳細化を実施いたしました。
実施したタスク
サンプルデータを提供いただき、整形
提供データの評価と改善点の整理
簡易的なロジックの実装と評価
簡易的な要件定義書/アーキテクチャ図の作成
システム連携を行うチャットボットシステム（ChatPlus）との連携仕様の整理
Phase1以降のプロジェクトの進め方の詳細化
Phase0の結果、実現可能性の問題がないことの確認が取れたため、プロジェクトを本格的に進める判断を下しました。
◼︎Phase1（4ヶ月間）：本格的なデータ蓄積とAIモデルの構築
Phase0で議論した内容をもとに、要件を詳細化してAIモデル構築に着手をしました。
できる限り早期に仕様や構築するロジックの方向性を擦り合わせるために、本格的なプロダクションの開発の前にStreamlit（ライブラリ）を活用し、1ヶ月で自社データを活用したチャットシステムのプロトタイプをご提供しました。
その後、徐々にロジックをAPIに分離していき、APIへの移行を行いました。
プロトタイプの試用工程を挟むことで、実際のデータを組み込んだアプリケーションを触った上でのフィードバックを得ることができ、本番のシステム（ChatPlus）への組み込み前に、ロジックの要件定義や改善を行うことができました。
プロトタイプイメージ  | 本番システム（ChatPlus）イメージ  |
また、サービス固有の応答にも対応できるように、データ蓄積方法を実際のAIの開発と並行して設計して実行しました。適宜、蓄積されたデータをレビューしながら必要なデータを追加することで、AIの性能が向上するような改善も実施しました。
◼︎Phase2（3ヶ月）：発展的な性能改善の実施
Phase2では、Phase1では実施できなかったロジックの改善に加え、独自データを用いた解答ロジック（RAG）の性能向上を中心に改善を行いました。
LLMOpsを実現する基盤と分析環境の構築
Phase2で精度改善を行いながら、並行してユーザーの利用状況やAIの性能評価・改善ができるデータ分析用のダッシュボードを構築しました。
Hakky社の過去のチャットボットプロジェクトなどを踏まえ、社内で構築した汎用的に利用しているチャットボットのデータパイプラインおよびダッシュボードの要件定義書を活用し、スピード感を持ってダッシュボードの要件定義を実施することができました。
 |  |
※本資料にご興味のある方はぜひお問い合わせください
Dashboardのためのデータ基盤構築はもちろんのこと、生成AIを活用したデータ蓄積業務のオペレーション効率化など（＝LLMOps）も実現し、利用状況に合わせて継続的に性能を改善できるような仕組みを作りました。
チャットの中にある個人情報などをデータ基盤で加工し、AIがある程度利用できる形に落とし込んだ上で、人が最終確認を行う。データが問題なければAIが利用するデータベースにデータを更新することで、回答精度を向上することができます。
内製化を支援し、自社内にプロダクト改善を実行できる体制を構築
Phase0/1を通して開発した内容を、Phase2のプロジェクト進行と並行して内製化するための支援を行いました。
具体的には隔週の定例を実施し、Python(FastAPI) / Terraform / GitHub Actions / Google Cloud / BigQuery / troccoなど、今回利用した技術スタックについてのナレッジトランスファーをOMNのエンジニアの方に実施しました。
ナレッジトランスファーは自社メディア「Hakky Handbook」にあるアセットを最大限活かし、体系化された情報をタスクとして提示しながら、独自に必要なオペレーションについては自社内でオペレーションが回せるようにドキュメントを別途用意し、社内で改善・運用タスクが回せるようにご支援しました。
結果として、Terraformを使ってのインフラ構築やGoogle Cloud上でのサービスの運用、データ分析などを自社内で回せるようになり、改善が社内の体制のみで回せるようにまでなりました。
今後の展望
今回のチャットボットはまだ一部の企業への展開のみですが、すでに数百名を超えるユーザー様に利用いただいており、今後はその利用対象となる企業様をデータの改善を行いながら拡大させていくことを想定しております。
「R-Shift」は2024/04/01にリニューアルされ、今後もサービス利用企業の拡大が予定されている中、リニューアル版に対応可能な形でデータを蓄積し、OMN社にて対応を行なっていくことを想定されています。
本プロジェクトを通して得られたAI活用の知見やデータ基盤の構築、データ分析環境などをチャットボットの利用拡大に活かしてユーザー品質を高めていくことはもちろんですが、社内の他プロジェクトなどにもどんどん展開していきたいと考えられています。
編集後記
今回のプロジェクトでは、自社サービスのユーザーサポートの強化を目指して行いました。この挑戦は、従来のルールベースのボットでは難しい、多様で複雑なユーザーからの問い合わせ対応に焦点を当てているだけでなく、今後のサービスの成長に対してスケールするオペレーションの獲得を意味していると考えております。
カスタマーサポート業務の工数増大が課題となっている会社様は、チャットボットシステムを構築することでサポートの品質向上および工数削減を実現できる可能性があります。ぜひ、お問い合わせください。
オーエムネットワーク株式会社様ご紹介
オーエムネットワークは、小売業・サービス業向けシステムをクラウドサービスで提供しています。弊社の主力製品であるシフト管理システム「R-Shift」は、今までに全国２万店以上でご利用いただき、お客様の課題解決をサポートしてまいりました。また、2024年6月1日より、勤怠管理システム「R-Kintai」をリリースいたしました。「R-Shift」との連携で精度の高い予実管理ができるシステムとなっております。今後も、高性能かつ使いやすいソリューションで、働く現場の業務改善、生産性向上に貢献してまいります。
R-Shift：https://www.rshift.jp/
R-kintai：https://www.rshift.jp/rkintai.php
Comments