0. はじめに
みなさんは、業務に必要なドキュメントを探す時、どうやって検索されていますか？必要なドキュメントが単一データベースで綺麗に整理されていれば、すぐに探し当てることができますが、中には「社内ファイルサーバーの深い階層の中に点在しているファイルを総検索している」「SharePointやメール、NASなど様々な置き場に分散しているファイルの捜索に時間がかかる」とお困りの方もいらっしゃるのではないでしょうか。
例えば、営業担当の方であれば、担当するサービスについて調べたい時、サービス仕様書や営業提案資料、利用規約など、サービス毎に存在する数多の資料を開いては内容を確認する作業を繰り返しているのではないでしょうか。なかなか骨の折れる作業ですよね......。
そんなお悩みを解決するため、私達は昨今話題の生成AIを活用し、サービス仕様書や営業資料などのドキュメントを「チャット形式」で検索して要約してくれる「ビジネス向け生成AIアプリ」を開発中です！
本記事では、ビジネス向け生成AIアプリ（以下、本アプリケーションといいます）の概要や特長、今後実装を予定している機能について紹介します。
1. ビジネス向け生成AIアプリとは？
一言で説明すると、「AIとのチャットでドキュメントなどの検索・要約ができるアプリ」です。
例えるなら、利用者のドキュメントがAIとなって質問に答えてくれるイメージでしょうか。
利用者は管理画面からドキュメントをアップロードするだけで、プライバシーとセキュリティを担保して簡単に利用を開始することができます。社内のお問い合わせやサービスの仕様検索など、業務効率アップをメインにあらゆるシーンで活用できます。
ビジネス向け生成AIアプリは、アプリ実行環境やドキュメント保存場所、検索・要約機能にGoogle Cloudのプロダクトを使用しています。
ただし、保存したドキュメントや検索・要約した情報は、Google CloudのLLMに学習されることはありません。
参照：Service Specific Terms | Google Cloud 17項: Training Restrictionに記載
サービスイメージ
1.1 アプリの特長
-
①契約者毎に独立した環境
ユーザー情報や会話履歴などを保存するデータベース、および、ドキュメントなどのアップロード先となるストレージを、契約者毎に独立した環境で提供しています。そのため、他社の利用者に情報を見られることはありません。 -
②チームでの共同利用
本アプリケーションの認証機能にはAuth0を利用しているので、複数名で安全に利用できます。部署・部門など、チームでの共同利用におすすめです。 -
③Googleの高精度な検索とGoogle Cloud Vertex AIによる要約機能
Googleならではの検索技術で必要な情報をキャッチアップし、Vertex AIに搭載されたGeminiによる優れた推論能力を活かした要約を提供します。 -
④レポート機能
本アプリケーションが提供するAIの回答について、利用者が誤りの報告や評価ができる機能を実装しています。このレポートを見て、報告のあったAIの回答に利用されたドキュメントの内容に誤りがないかどうかや、AIの回答に対する利用者の評価を確認することができます。ドキュメントの更新作業などに役立てることが可能です。
また、精度の向上を目的として実装を検討しているBoost機能については、後半で説明します。
1.2 使い方
契約者毎のアプリケーションURLにアクセスし、質問を行いたいドキュメント一式を登録します。 ドキュメントの登録が完了すると、本アプリケーション上で、AIとチャット形式で、登録したドキュメントから情報を引き出せるようになります。
本アプリケーションの管理者向けには、ドキュメントの管理や、アプリケーションの利用状況などを確認できるダッシュボード、AIの回答精度のレポート閲覧機能を提供します。
以降で管理者向けの機能について説明します。
「ダッシュボード」では、登録済みのデータ容量やファイル数、チャット回数、作業ログなどを確認することができます。
ダッシュボード
チャット回数
アクティビティログ
「レポート」では、アプリケーションの利用者が報告してくれた「誤りレポート」と「レーティング」（AIの回答に対するアプリケーションの利用者の評価）が確認できます。
「誤りレポート」では、AIの回答に誤りがあった場合に利用者が報告した結果の一覧を閲覧できます。アプリ管理者は報告内容を確認し、報告された対象のチャットと、参照されたドキュメントを確認することができます。
誤りレポート送信画面
誤りレポート
誤りレポートポップアップ
「レーティング」は、アプリ利用者がAIの回答を星5段階で評価できる機能です。アプリ管理者は、レポート画面より週毎のレーティングを閲覧することができます。
評価レポート
評価レポート_管理
2. 実装検討中のBoost機能について
2.1 Boost機能とは
本アプリケーションは今後、「Boost機能」の実装を検討しています。Boost機能とは、Google Cloudが提供するVertex AI Searchの機能で、特定の条件に当てはまるドキュメントに対して、生成AIが検索する時の優先度を調整する機能です。この機能を使うことによって回答の精度を高めることが期待できます。この機能の実装を検討するにあたって、具体的にどのような動きになるのか検証を行いました。
Boost機能には、優先度を上げる「プラスのBoost」と、優先度を下げる「マイナスのBoost」の２つがあります。Boostの値は、-1から1の間で、0.1刻みで調整することができます。詳しくは2.2 Boost機能の検証で説明します。
2.2 Boost機能の検証
検証手順は次の通りです。
-
1.データの準備
検証用のデータとして11種類のラーメンの作り方を記載したドキュメントを用意しました。これらのドキュメントはすべて生成AIを使って作成しました。ご興味ある方は記事下部のリンクよりご確認ください。 -
2.Boost機能を利用せずに検証
Boost機能を利用せず、本アプリケーションに「ラーメンの作り方」と質問して回答を生成しました。 -
3.プラスのBoost(優先度を上げる)の検証
2. の手順での回答結果で比較的参照されていなかった「貝出汁ラーメンの作り方」のドキュメントがより参照されるように、Boost機能の優先度を最大にして、再び「ラーメンの作り方」と質問して回答を生成しました。 -
4.マイナスのBoost(優先度を下げる)の検証
2. の回答結果で最も参照されていた「塩ラーメンの作り方」のドキュメントをあまり参照されないように、Boost機能の優先度を最低にして、再び「ラーメンの作り方」と質問して回答を生成しました。
検証結果は次の通りです。
1. Boostなしで生成された回答
Boostなしで生成された回答
2. プラスのBoostで生成された回答
プラスのBoostで生成された回答
3. マイナスのBoostで生成された回答
マイナスのBoostで生成された回答
生成された回答結果にどのドキュメントが参照されていたかBoostのかけ方別にまとめた表
| Boostなし | 貝出汁ラーメンをプラスBoost | 塩ラーメンをマイナスBoost | |
|---|---|---|---|
| ネギラーメン | ○ | ○ | ○ |
| まぜそば | × | × | × |
| 塩ラーメン | ○ | ○ | × |
| 家系ラーメン | × | × | ○ |
| 二郎系ラーメン | × | × | × |
| 貝出汁ラーメン | × | ○ | × |
| 醤油ラーメン | ○ | ○ | ○ |
| 豚骨ラーメン | ○ | ○ | ○ |
| 豚骨ラーメン （クリーミー） |
○ | × | ○ |
| 豚骨ラーメン （魚介豚骨） |
× | × | × |
| 豚骨ラーメン （おいしくない作り方） |
× | × | × |
上記の表の通り、Boostなしの時には「貝出汁ラーメン」のドキュメントの内容が回答結果に含まれていませんでしたが、プラスのBoostをかけると回答結果に含まれるようになりました。また、Boostなしの時には「塩ラーメン」のドキュメントの内容が回答結果に含まれていますが、マイナスのBoostをかけると回答結果に含まれないようになりました。
今回の検証では、Boostの値を最大または最小の2パターンのみ行っています。Boostの値は、-1から1の値を0.1刻みで調整することができるので、今後は、値の大きさによって回答にどれくらいの影響を与えるのか検証していく予定です。
Boost機能はとても奥が深く、優先度を高くしすぎると、関係のない質問にまで参照不要なドキュメントの内容が影響してしまい、回答の精度が下がってしまう可能性があります。そうなってしまうと精度を高めるために使用していたはずの機能が、逆に精度を下げてしまうことになり、本末転倒になってしまいます。
私達は今後の検証を通して、どのようなケースでBoost機能を適用するとよいか検討していきたいと思います。
3. まとめ
本記事では、当社で開発中のアプリケーション「ビジネス向け生成AIアプリ」の概要と、検討中の機能「Boost機能」について紹介しました。
今後も商用リリースに向けて開発を進めていきます。
続報をお待ちいただけますと幸いです！
※Google、Google Cloud、Google Cloud Platformは、Google LLCの商標または登録商標です。
技業LOG
この記事の関連するサービス詳細は
こちら
ビジネス向け生成AIアプリ
中小企業の業務効率にまつわる課題を解決する生成AIアプリ