株式会社インターネットイニシアティブ

管理本部 IT企画室は、全社的なITの課題を捉えて改善するための部署です。私はその室長として、全社横断・部署横断でのIT活用や業務改善に関するプロジェクトの旗振り役を担っています。AI活用もその1つで、これまでMicrosoft Copilot、Microsoft 365 Copilotの全社導入を進めてきました。Copilotは自身の業務の効率化や部門業務の効率化の手段として活用が進んでいます。

そのほか、コーディング支援などの用途特化のAIツールを領域ごとに導入しています。IIJはエンジニアが多いので、使いたいツールがあれば現場から試し始めます。そこから広がっていくケースが多いです。

今は溜まってきた知見をどう生かすか、より活用を促進するための環境の整備や、ガバナンスの取り組みを進めている段階です。経営層からも「お客様のサービスにどう生かせるかという視点で取り組みを進めてほしい」というメッセージも出ています。

すでに利用していたため、追加コストがかからないことやセキュリティ面で安心できたこと、AIがどう判断したかを確認できることの3つです。

2024年春に導入検討を行い、新たにAI基盤を導入することを告知して、社内ニーズをヒアリングしました。すると、サービスサポート部門から「業務の効率化のために採用したい」という声が挙がりました。

サービスサポート部門が目指していたのは、お客様向けにWebで一般公開しているマニュアル「IIJ法人向けサービスマニュアル」の中から、サポートに必要な情報をAIで素早く検索することです。当社のサービスは多岐にわたり、そのマニュアルの量も膨大なものとなります。お客様からの質問に答えるために、その膨大な資料の中から必要な情報を探し、更にお客様への回答文を作成することは、容易なことではありませんでした。もっと時間をかけずに、また、対応する個々人のスキルによらず、サービス品質を均一化できないものかと悩んでいたのです。

しかし、全社導入しているCopilotは基本的にSharePointに蓄積した情報が対象で、外部サイトには対応していませんでした。そこで、Azure OpenAIを使ってAIチャットボットのPoCを行いました。お客様からの質問に回答するときに、サポートメンバーはAIチャットボットを使って、マニュアルのどこに答えがあるかを素早く探せます。また、Webサイトに公開されている内容なので、該当箇所をお客様にそのまま提示することもできます。PoCはサービスサポート部門のメンバーを中心に、2024年10月からスタートしました。

1つ目は、最初に品質が高くAIが学習しやすいコンテンツを対象にしたことです。サポート部門には、問い合わせ履歴やお客様固有のお困り事などについて社内ナレッジが豊富にあるものの、それらはAI向けに整備されているわけではありませんでした。一方、サポートマニュアルはお客様向けに公式に提供しているもので、データは正確で品質が高いです。

2つ目は、コストを抑えてコンパクトに始めることです。外部サービスを新たに導入するのではなく、すでに利用していたMicrosoft Azureのテナントを活用して、新たにサービスを利用するための費用をかけずにスモールスタートしました。

3つ目は、AIが裏側でどう動いているかを把握しながらPoCを進めたことです。外部のAIサービスを利用すると、AIがどう判断したかがブラックボックスになることがあります。それを防ぎ、自分たちの手元でAIを評価し、効果を検証できるようにしました。

はじめにコンパクトに動くものを作り、それを評価して、改善を行うというステップを3週間で1つのサイクルとし、それを3ヵ月間実施しました。AIプロジェクトは最初から成果を見込むことが難しいため、小さく始めて短いサイクルで回すスタイルが適しています。

作業としては、マニュアルのHTMLをRAGに取り込んで、問い合わせしたときにどう回答するかをひたすら繰り返すという泥臭いものです。想定の回答と実際の回答を比較して、重要な情報の欠損がないか、余計な情報を追加していないか、サービスとして間違っていないかを評価しました。

1つ目は、AIが余計な情報を追加して回答するというハルシネーションの解消です。原因を探っていくと、データベースから回答を作る際に、AIが勝手に知識を補完することが分かりました。そこで、「データベースの情報を正とし、勝手に情報を追加しないこと」をプロンプトで明示的に命令しました。チューニングしなくても回答品質は改善されました。

2つ目は、情報の欠落です。原因はデータベースに情報を格納するときに、すべてを格納するのではなく、最初の数項目以外をAIが勝手に取り除いてしまうことでした。たとえば、1〜3の内容すべてを格納したい場合、1〜2までを格納して、3つ目は別の情報を追加して格納していました。AIが取り扱う一定のデータのかたまりのことをチャンクと言いますが、このチャンクを妥当な大きさになるように設計し直し、データの分断が起こらないようにしました。

3つ目は、質問の仕方で回答の品質が変わることです。検証するなかで、プロンプトに特定の条件やルールを付けることで回答率が上がることが分かりました。そこで、ユーザが利用するUI上で、ルールを事前に適用できるようにしました。

そのほか、回答品質を向上させるため、HTMLをMarkdown形式に変換してデータベースに取り込む処理についても検証を行いました。その結果、情報の内容によっては品質が向上するケースと、そうでないケースがあることが分かりました。
現在はAIの性能向上により、文書構造を理解した上でデータを生成できるようになっており、従来は必要とされていた前処理が不要となるケースも増えています。

AIの回答品質を、業務に活用できる水準まで高められました。今後サポート部門では、問い合わせへの回答時間の短縮や回答文を作成する工数の削減などを中心に、大きな業務の効率化が期待できます。

また、PoCによってAIサービス開発の知見とノウハウを得られたことも大きな成果です。現在はPoCを経て、実運用調整のフェーズに入っています。また、PoCノウハウを横展開し、他部門でのAIチャットボットツールの開発も進行しています。その際に、Azure OpenAIでの基盤構築の知見や、ハルシネーション、情報の欠落、プロンプトへの特定条件の付与といったノウハウが生きています。

2024年下期に行ったPoCは1つのサービスだけが対象でしたが、2025年4月からは複数サービスで、HTMLのデータベースへの格納とAIチャットボット検索の仕組みを構築し、本番運用に向けて所管部門と一緒に試験運用を行いました。現在はちょうどその結果を分析しているところです。

IIJでは部門ごとにAI活用へのニーズが異なるため、今後部門ごとに最適なAIツールを準備していくことが求められます。そういう意味では、PoCの最も大きな成果は、サービスサポートという部門固有のニーズに対応したAI基盤を整備できたことです。

今後は、AIチャットボットの展開範囲を拡大すると共に、チャットボットにとどまらないAI活用にも取り組んでいきます。これらの取り組みを通じて、IIJはお客様のAI活用を支える技術力と知見を、より一層高めていきます。