セキュリティの不安を取り除く機能が充実。ヒューマンエラーによる情報漏洩も阻止する機能に安心感

------よろしくお願いします。早速ですが、Crew実証実験を実施された背景を教えてください。

2023年に入り全国的に生成AIの活用が自治体でも進んできた中で、我孫子市でもどのような業務に活用できるか、実証的に確認をしたいと考えていました。生成AIは、庁内業務の効率化や市民の利便性向上に大きく貢献する可能性がある一方で、日々様々な生成型AIサービスが生まれているので、それぞれのサービスで実現できることを具体的に精査する必要性もあると認識しております。

そのため実際の業務活用に向けた試行を検討していたところ、Crewの営業の方からお話をお聞きし、興味を持ちました。

------様々な自治体向けChatGPTがある中で、Crewに決定された理由を教えてください。

‍

既存のサービスだと中々提供されていない、ドキュメントから回答を生成する機能に魅力を感じ、Crewを選びました。

また、Crewにはアカウント管理機能やセンシティブ情報のアラート機能、及びセンシティブ情報が打ち込まれたチャットの閲覧機能などが備わっており、非常に有能なサービスだと感じました。今後このようなサービスをより幅広く庁内に展開していく場合、質問した人を特定できるようにしておくことが必要だと思っていますし、アラートについては、例えば市民の方からの問い合わせに対するメールを生成AIで考案する際、誤って個人の氏名をそのまま貼り付けてしまう可能性もあるので、画面上でアラートが上がり別の文字列に自動で変換してくれるのは安心感があって良かったです。

条例や規則を1,078ファイルアップロード！文脈理解ができるCrewに聞きながらExcelで使うコードを3倍速で作成

‍

------Crewをどのようにご活用いただきましたか？

‍

今回の実証実験では書類のチャネルとテキストチャネルのどちらも試行しました。書類のチャネルでは主には条例・規則を踏まえたQ＆Aの生成や、庁内のドキュメントを踏まえた新たな書類のドラフト作成等で利用し、テキストチャネルではコードの作成や文章生成で利用しました。

------ありがとうございます。では書類のチャネルからお伺いしますが、具体的にはどのような書類をアップロードしてご利用いただきましたか？

我孫子市の公開されている条例や規則を、合計1,078ファイルアップロードし、文書の検索や要約に利用したり、また国からいただく仕様書などを要約して、問い合わせメールの対応業務に利用しました。用途の中では文書情報の検索が大半を占めていましたね。

‍

------1,078ファイルも！実際にはどのような質問をされましたか。

例えば市の例規集をアップしたチャネルでは【決裁を電子化する際に留意する点を教えてください】という質問をし、回答としては【決裁を電子化する際に留意し留意する点は・・・・、次に掲げるもの（以下この条において「電磁的方法」という）により提供することができることです。】という具合に出力されました。回答についてより具体的に確認したい場合は【次に掲げるものの「次のもの」について教えてください】と追加で質問をすると、【「次に掲げるもの」は、電磁的方法により提供することができる重要事項を指しています。具体的には、以下の項目が含まれます。・・・】と詳細を書類から抜粋してくれるので、欲しい情報の当たりを付けにいく上で有効に感じました。

今後は情報の検索以外に、書類の内容を踏まえた文章の生成までできるようになると、Crewを自治体が導入する効果がさらに向上していくと思います。

‍

------ありがとうございます。書類のチャネル以外に、テキストチャネルではどのようにご利用いただきましたか？

エクセルで使用するVBAコードの生成をテキストチャネルで試行してみました。やはり行政職員はエクセルやワードで業務をすることが非常に多く、効率化の解決方法としてVBAを使えないかと庁内でトライしており、その一環でCrewにVBAコードの作成を依頼してみました。例えば【複数のエクセルを1つにまとめるVBAを作ってください。】とCrewに質問し、出力されたコードを実際に走らせ、エラー箇所があれば再度Crewに【実装した結果○○の部分でエラーが見つかったので、修正してください。】と修正を依頼しながらコードをブラッシュアップしていき、正常にVBAが機能するコードに仕上げられました。業務内容にもよりますが、自分で一からコードを書いて修正していくやり方だと、ならして2時間くらいかかりそうな業務を、Crewを使用することで3倍速で進められたイメージですね。

‍

------3倍速で業務を進められたのですね。他にはどのようにお試しされましたか？

‍

同じくテキストチャネルで、国の財政状況に関する文章を作成しました。具体的には、前年度決算に関する審査の時の想定問答をCrewに出力させました。実際の質問として【なぜ令和元年度の地方消費税交付金は前年度と比較して減少したのですか。】と打ち込んだ結果、【令和元年度の地方消費税交付金が前年度と比較して減少した理由について、以下の可能性を挙げます。1.・・・、2.・・・】とChatGPTと遜色ない精度で回答が返ってきました。出力された文章を参考に、職員が肉付けをして正式な回答を準備したので、十分実際の業務に活かせたと思います。

69%の職員が業務効率化に貢献すると回答、AIジョークで「ツール」を超えた「良き相棒」に

------実際にCrewを試行された職員様の反応はいかがでしたか？

Crewを利用した職員にアンケートを実施し、回答の精度が適切であるか確認した結果、職員の68%が「回答は適切だった」と回答しました。もちろん最終的には人間の目で最終確認を行う必要がありますが、情報を一から調べるよりも、Crewが数秒で回答を一次生成してくれることは非常に便利に感じました。また、「Crewが業務効率化にどれくらい貢献しますか」と尋ねた所、69%の職員が「業務効率は上がる」と回答しました。「検索結果が文章でわかりやすく詳しく記載される。」といった意見や、「専門的な知識がない市民などへの説明文章を作成する際に活用できる」という声をいただいており、情報の検索や外部向けの通知文作成などで幅広く庁内に展開できると思います。

それと余談ですが、アンケート結果の中で一部の職員が、「回答に対してお礼したところ、前段のやり取りを反映した冗談をCrewが言ってきて、ちょっと笑ってしまいました。副産物ではありますが、少人数で業務を行っている部署にとっては【ツール】を超えた【良き相棒】になる可能性を感じました。」と回答していました。当市としても、今後Crewの回答精度がさらに向上し、様々なことを気軽に相談できる相棒になってくれることを期待しています。

決算書など専門的な文書の読み込みで年間約60人工を削減できる、Crewの新機能への期待

‍

------ここまでは良い事例を中心に聞いておりましたが、一方でうまくいかなかった使い方などもあれば教えていただきたいです。

ドキュメントチャネルでの文章要約について、期待していた精度で回答が出力されないケースが散見されました。例えば市長がスピーチコンテストに出席して話す挨拶文の作成をCrewに依頼した際、予め出力された文章に対して【もう少し柔らかい挨拶文にしてください】と具合にニュアンスを追加して再度生成を依頼すると、過去の文章を反映せず別の草案が作成されることがありました。職員側のプロンプトにも改善の余地はありますが、この辺りの精度が改善されるとより便利になると思います。

また、書類をアップロードする時、同じ分野の書類のみがアップロードされたチャネルだと回答精度は保てるのですが、少しジャンルが異なる書類同士を同じチャネルにアップロードすると、回答の精度が下がってしまったので、チャネルにどこまで書類をアップロードするかも考える必要がありますね。

‍

------ありがとうございます。回答精度以外で、今後の改善要望はありますでしょうか？

難易度は高いと思いますが、市の予算書や決算書をアップロードし、その内容を踏まえた外部向けの説明文を生成してくれると、当市だけでなく全国の自治体様にとって非常に有益だと思います。日本の市では四半期に一度議会があり、当市では市議会の冒頭で職員が決算書の内容を説明しているのですが、自分で毎回紙の決算書を読み込んで内容の説明文を作成しており、その作成には1日以上かかる場合もあります。また、1回の市議会で30人ほどの職員が説明をするので、合計で約30人工が発生します。さらにそれが定例議会では年に4回あるので、年間120人工を説明文の作成に費やしています。それをCrewに代替させて、「総務費については・・・、民生費については・・・、」という具合に各予算科目に合わせた説明文の草案を出力してくれるようになると大変ありがたいです。仮に作業時間が半分になるだけでも年間で約60人工を削減できるので、相当な費用対効果だと思います。

------いただいたご要望を踏まえ、さらなる改善をしていきたいと考えています。お時間いただき、誠にありがとうございました！

‍

‍

‍