OpenAIの大規模言語モデルを活用した開発事例
株式会社公募ガイド様
課題／お問い合わせ背景
「デジタル技術で「募集」も「応募」もより便利に楽しい”公募DX”」の実現を目指して、事業強化を図っている。公募の楽しさをユーザーに伝え、コンテスト業界を活性化させていきたい。
AIによる自動評価により、評価が高い公募をおすすめとして掲載するなど、サイト上の付加価値を向上させたい。
担当者数名で公募情報の評価を人でで行っている。月に2,000〜3,000件程度の新着公募があり、工数的に負担になっているためAIでの自動化に取り組んだ。
ポイント
人よりも高精度で一貫性のある公募評価を実現 人による評価は曖昧さを判断できる一方、審査する方の評価基準の違いによる評価の揺らぎがあった。今回のAIの導入により、一貫性のある評価基準によりブレのない評価を実現。 | 約3,000件/月の評価をAIで完全自動化 人手だと1,000件の評価を完了させるのに少なくとも16時間はかかる。AIを活用することで、データを読み込ませる作業（1分以内で完了する内容）で終わるようになった。 | 人の感覚による評価基準を言語化しAIで再現 ヒアリングを重ね、「高評価の基準」や「低評価の基準」など、人の感覚による評価基準を言語化。結果として、これまで感覚的に行われていた公募評価を、AIで再現できた。 |
事例の詳細
①要件定義
公募ガイド様とのお打ち合わせで、公募に対する評価内容の要件を定義しました。これまで公募ガイド様が蓄積してきた膨大なデータがあったため、それを有効活用できるようにロジックを組み立て、データの評価基準を設定しました。
 |  |
※Hakkyではこのような形でクライアント様とAIで何が実現したいのかをすり合わせながらモデルの開発を行っています。
単にOpenAIにデータを与えて評価をさせただけでは精度が出ないため、評価するデータの優先順位や、ジャンルごとの評価基準を設けました。
②AIモデルの構築
OpenAIが提供するAPIを用いて、公募のおすすめ度を算出するAIモデルの構築を行いました。
■AIモデルのポイント
データ整備
公募のデータと人間の評価のデータをAPIなどを経由して取得し、各データをAIで整形しやすいように、評価に不要と考えられる項目などを削除しながら整形
モデル開発
各公募に0〜100の点数をつけてもらうためのプロンプト及びロジックを通して、段階的な形で評価を行い、AIの評価を行う
③AIモデルの改善
AIモデル構築後は、評価と改善を繰り返し、公募データ評価の精度向上を図りました。第1回目の評価では誤差が大きかったのですが、第2回・第3回と改善を重ねた結果、人が行うよりも評価の揺らぎが少なく、高精度で一貫性のある評価を実現できました。
難しかった点は、全ての公募に対して一定の基準でAIに処理させると、人が行った公募評価とAIが行った公募評価とで乖離が発生してしまうことです。公募ガイド社様へのヒアリングを繰り返した結果、「公募のジャンルごとに評価基準が異なる」など、これまで人の感覚によって行われていた評価基準を明らかにすることができました。
その内容をプロンプトやロジックへ反映したことで、AIによる精度の高い公募評価を実現でき、月に2,000～3,000件の公募評価にかける工数を削減することができました。
④レポーティング
AIモデルのコード納品と併せて、案件概要、実施内容、モデルの改善過程、現状の課題、今後の展望を記載した最終成果報告書をご用意しました。
今後の展望
今回のプロジェクトを通して、「公募データ」と「評価方法」を示したプロンプトをAIに送り、公募を評価するモデルを構築しました。今後、実際に業務の中での活用を行なっていったり、公募ガイド社のサイトなどへの掲載を検討したり、といったことができればと考えております。
編集後記
今回の事例のように、データ評価をAIにより自動化することで、プロダクトの品質向上に繋げることも可能です。その結果、人で行うよりも100倍以上の作業効率を実現することも可能であり、大幅な工数削減に繋がります。また、人の感覚に依存する業務も、ヒアリングを通じて明確に言語化することでAIによる再現が可能です。
「特定の業務で工数がかかっているが、単純作業ではないためシステム化が難しく、人材の負担が増えている」「人の感覚的な判断による品質のばらつきを改善したい」などのお悩みがございましたら是非一度Hakkyにご相談ください。
株式会社公募ガイド様ご紹介
公募を「良い問いが最良の解を生み出し、同時に創作する力を鍛える道具」ととらえ、公募・コンテストを切り口に創作する人と主催者の双方を支援している企業です。
Comments