MENU

生成AIでHuman-in-the-Loopを使う方法|プロンプト例と人が確認すべきポイント

Human-in-the-Loopは、生成AIに処理を任せつつ、重要な判断や例外対応、最終確認を人が担う運用設計です。

このHuman-in-the-Loop自体を生成AIで補助すると、人が確認すべき項目の候補を洗い出したり、修正・差し戻しログを整理したり、高リスク案件の候補を見つけたり、運用ルールの抜けをレビューしたりできます。

ただし、生成AIに「人が確認すべき条件を決めて」と丸投げすると、自社ルールにない判断基準を作ったり、重大な案件を低リスク扱いしたり、逆に必要以上に人へ戻す条件を増やしたりする可能性があります。

この記事では、生成AIをHuman-in-the-Loopの設計・改善を支える補助役として使う方法を、具体的なプロンプト例、出力の使い方、人が確認すべきポイント、誤りや限界まで含めて解説します。

Human-in-the-Loopの意味や全体像から確認したい場合は、Human-in-the-Loopとは?を参照してください。導入手順は、Human-in-the-Loopのやり方で確認できます。

目次

生成AIを使うと効果が出やすい場面

Human-in-the-Loopでは、AIに任せる範囲と人が判断する範囲を決める必要があります。

生成AIは、その設計や改善の補助として次のような作業に使えます。

  • 業務を処理単位へ分解する候補を出す
  • 人が確認すべき項目候補を洗い出す
  • 承認・修正・差し戻し条件の抜けをレビューする
  • 高リスク案件の候補を列挙する
  • 修正・差し戻しログをパターン別に整理する
  • 頻出する誤りの改善候補を出す
  • 人手確認が過剰になっている箇所をレビューする
  • 運用ルール同士の矛盾候補を探す

一方で、次の判断は生成AIだけに任せない方が安全です。

  • 正式な承認条件
  • 差し戻し条件
  • 契約・法務・金額に関わる判断
  • 高リスク案件の最終定義
  • AIへ入力してよい情報の範囲
  • 外部送信や正式利用の可否
  • 最終責任者

AIは「候補を出す」「抜けを探す」「ログを整理する」役に置き、正式ルールと最終判断は人が管理します。

1. 業務を処理単位へ分ける候補を出す

Human-in-the-Loopを設計するとき、最初に難しいのは「どこまでAIに任せるか」です。

業務全体をAIへ渡すのではなく、処理を分解すると境界を考えやすくなります。

プロンプト例

次の業務を、生成AIに任せやすい処理、人が確認すべき処理、人が正式判断すべき処理に分けるための候補を出してください。

業務:既存顧客からの問い合わせメールへの返信

現在の流れ:

  • 問い合わせ内容を読む
  • 必要情報を確認する
  • 返信文案を作る
  • 契約条件を確認する
  • 最終送信する

条件:

  • 正式な担当分担は決めない
  • 誤った場合の影響が大きい処理を指摘する
  • 『候補』として出す

出力の使い方

AIが、

  • 問い合わせ要約:AIに任せやすい
  • 返信文案:AIに任せやすい
  • 契約条件の確定:人が正式判断
  • 最終送信:人が正式判断

といった候補を出したら、人が自社の業務責任に照らして採否を決めます。

AIが「自動化しやすい」と言っても、誤りの影響が大きければ人の判断を残します。

2. 人が確認すべき項目候補を洗い出す

「人が確認する」とだけ決めても、実務では確認漏れが起きます。

生成AIには、確認項目の候補出しをさせられます。

プロンプト例

次の生成AI出力を人が確認するときのチェック項目候補を出してください。

用途:既存顧客への価格改定メール

確認観点:

  • 数値
  • 日付
  • 契約条件
  • 未承認の約束
  • 顧客への誤解
  • 次の行動
  • 社内承認

条件:

  • 正式な確認基準は決めない
  • 業務上のリスク候補として出す
  • 事実確認は人が一次情報で行う前提にする

出力の使い方

AIが、

  • 改定率が正式価格表と一致しているか
  • 更新日が契約書と一致しているか
  • 未承認の値引き・返金・補償を含んでいないか
  • 実際に提示できない打ち合わせやサポートを約束していないか

といった候補を出したら、人が正式なチェックリストへ採用するものを決めます。

3. 承認・修正・差し戻し条件の抜けをレビューする

Human-in-the-Loopでは、AI出力を「OK / NG」だけで見るより、承認、修正して使用、差し戻しに分けると運用しやすくなります。

この条件の抜けも生成AIにレビューさせられます。

プロンプト例

以下のHuman-in-the-Loop判断基準をレビューしてください。

承認:事実と契約条件に問題がない 修正して使用:語調や長さだけ直せば使える 差し戻し:契約条件に重大な誤りがある

確認してください:

  • 未承認の値引き・返金・補償をどう扱うか
  • 問い合わせ取り違えをどう扱うか
  • 情報不足をどう扱うか
  • 法務確認が必要な案件をどう扱うか

修正版を勝手に確定せず、抜けと候補だけを出してください。

出力の使い方

AIの指摘を参考に、人が正式ルールを更新します。

大事なのは、AIの提案をそのまま社内ルールへ昇格させないことです。

4. エスカレーション候補を洗い出す

Human-in-the-Loopでは、「通常フローで処理せず、人へ戻す条件」を決めます。

プロンプト例

次の業務で、通常のAI支援フローから外して人へエスカレーションした方がよい可能性がある条件を候補として出してください。

業務:顧客問い合わせ返信

観点:

  • 契約
  • 値引き・返金
  • クレーム
  • 障害
  • セキュリティ
  • 法務
  • 金額
  • 重大な期限

条件:

  • 正式ルールは決めない
  • なぜ人の判断が必要になりやすいかを説明する

出力の使い方

AIが契約変更、返金要求、障害連絡などを挙げたら、人が自社の正式なエスカレーション基準と照合します。

AIは高リスク候補を探す補助には使えますが、「この案件は人の確認不要」と決める役には置きません。

5. 修正ログを誤りパターン別に整理する

Human-in-the-Loopの価値は、人が直すことだけではありません。

人が何を直したかを記録すると、AIが失敗しやすい箇所を改善できます。

ログが増えてきたら、生成AIにパターン整理を補助させます。

プロンプト例

以下は生成AI出力に対する人の修正ログです。

各ログには、

  • AI出力
  • 人の判断:承認 / 修正 / 差し戻し
  • 修正理由

があります。

似た修正理由をパターン別にまとめてください。

条件:

  • 新しい業務ルールは作らない
  • 個別案件ではなく誤りの種類で整理する
  • 各パターンに件数と代表例候補を付ける

出力の使い方

たとえば、50件のログから、

  • 未提示の約束追加
  • 契約条件の読み違い
  • 問い合わせ内容の取り違え
  • 語調・文量だけの軽微修正

といったパターンへ整理できます。

人は分類が妥当かを確認し、どの対策が必要かを判断します。

6. 誤りの原因候補を分ける

人の修正が発生すると、すべて「プロンプトが悪い」と考えがちです。

実際には原因が異なります。

プロンプト例

次の誤りについて、原因候補を分類してください。

誤り:AIが未承認の特別条件を顧客メールへ追加した

分類軸:

  • 入力情報不足
  • プロンプト不足
  • AIの生成誤り
  • 業務ルールの曖昧さ
  • 人の確認基準の曖昧さ

原因を断定せず、確認すべきことを出してください。

出力の使い方

AIが「禁止事項が明記されていない可能性」「未決定条件の扱いが曖昧」などを出したら、人が実際のプロンプトと運用を確認します。

原因が入力データ不足なら、プロンプトを長くするだけでは解決しません。

7. 改善案の候補を出す

誤りパターンと原因候補を整理した後、改善案候補を出させます。

プロンプト例

次の頻出誤りに対する改善候補を出してください。

誤り:未承認の値引き、返金、補償、特別条件をAIが提案する

現在の運用:

  • 価格改定情報をAIへ入力
  • AIが返信文案を作る
  • 人が確認して修正

改善候補を、

  • 入力情報
  • プロンプト
  • 人の確認項目
  • エスカレーション条件

に分けてください。

正式ルールは決めないでください。

出力の使い方

AIが、

  • 未決定条件を明示する
  • 未提示の提案を追加しないと指定する
  • 人の確認項目に未承認約束を追加する
  • 値引き交渉案件は早期エスカレーションする

などを出したら、人が実務へ合うものだけ採用します。

8. 過剰な人手確認を見直す

Human-in-the-Loopは、人を増やせばよいわけではありません。

運用ログを使って、人手確認が過剰な場所をレビューすることもできます。

プロンプト例

以下の運用実績から、人の確認負荷が高すぎる可能性がある箇所を候補として出してください。

50件の実績:

  • そのまま承認:31件
  • 軽微な表現修正:9件
  • 内容修正:6件
  • 差し戻し:4件

確認工程:

  • すべての案件で2名確認
  • 低リスクの社内要約も同じ確認項目を使用
  • 契約変更案件も通常案件と同じフロー

条件:

  • 人員削減を断定しない
  • リスク別に見直す候補を出す

出力の使い方

AIが、低リスク案件の確認簡略化や、高リスク案件の早期エスカレーションを提案しても、正式な変更は人が決めます。

通し例|価格改定メールのHuman-in-the-Loopを生成AIで改善する

法人向けSaaS企業の営業企画部では、既存顧客への価格改定問い合わせ返信にHuman-in-the-Loopを導入していました。

AIへ任せるのは、

  • 問い合わせ要約
  • 返信文案のたたき台

です。

人は、

  • 契約条件
  • 価格改定率
  • 更新日
  • 未承認の値引き・返金・補償
  • 最終送信

を確認します。

ある案件で確定していた情報は、

  • 更新日:9月末
  • 価格改定率:8%
  • 改定理由:運用コスト増、サポート体制強化
  • 値引き条件:未決定
  • 特別対応:未決定

でした。

AIは基本的な返信文案を作りましたが、末尾に、

ご負担を軽減できるよう、特別条件も検討いたします。

と追加しました。

人はチェックリストに照らし、「未承認の約束」に該当すると判断して削除しました。

判断は「修正して使用」、修正理由は「未提示の約束追加」と記録しました。

その後、50件の修正ログを生成AIへ渡し、修正理由だけをパターン化させました。

AIは、

  • 未提示の約束追加
  • 契約条件の読み違い
  • 問い合わせ内容の取り違え
  • 軽微な表現修正

という候補へ整理しました。

人が確認したところ、実際のログとも一致していました。

そこで、特に多かった「未提示の約束追加」について改善候補をAIに出させました。

AIは、

  • 値引き、返金、補償、特別条件を勝手に提案しないと明示する
  • 未決定事項は未決定として入力する
  • 人の確認項目に未承認約束を明記する
  • 値引き交渉案件は通常フローから外す

といった候補を出しました。

営業企画部は、その中から実務に合うものを採用しました。

最終的に、

値引き、返金、補償、特別条件、追加機能など、与えていない提案・約束を追加しない。未決定事項は推測で補わない。

という制約をプロンプトへ追加しました。

さらに、

  • 値引き交渉
  • 返金要求
  • 契約変更
  • 顧客クレーム
  • 障害・セキュリティ

は早い段階で人へエスカレーションする運用へ変えました。

ここで重要なのは、生成AIがHuman-in-the-Loopの正式ルールを決めたわけではないことです。

AIが行ったのは、

  • 確認項目候補の洗い出し
  • 修正ログの分類
  • 改善案候補の提示
  • 運用ルールの抜けレビュー

です。

承認条件、差し戻し条件、高リスク案件、正式採用する改善案は人が決めています。

そのまま使える運用設計の型が必要なら、Human-in-the-Loopテンプレートを使うと、AIに任せる処理、人の確認項目、判断条件、エスカレーション、記録、改善まで整理できます。

具体的な業務適用をケースで追いたい場合は、Human-in-the-Loopの具体例も参考になります。よくある失敗を先に確認したい場合は、Human-in-the-Loopで失敗しやすいポイントも参照してください。

人が必ず確認すべきポイント

正式な判断基準

AIは承認・修正・差し戻し条件の候補を出せますが、正式ルールは人が決めます。

高リスク案件

契約、法務、返金、障害、金額確定などの人手確認条件は、AIの提案だけで外さないようにします。

一次情報

AIが「数値は正しそう」と判断しても、契約書、承認済み価格表、社内規程など正しい一次情報へ照合します。

改善案の採否

AIが改善案を出しても、業務負荷、リスク、責任分担を踏まえて人が採否を決めます。

機密情報

修正ログや顧客メールをAIへ入力する場合は、顧客名、契約情報、個人情報などの入力可否を自社ルールで確認し、必要に応じて匿名化します。

生成AIの誤りと限界

人の確認条件を過剰に増やすことがある

網羅性を優先し、低リスク案件まで細かい人手確認を提案する場合があります。

高リスク判定を誤ることがある

一般論では低リスクでも、自社では重大な案件ということがあります。

修正ログを過度に単純化することがある

異なる原因の誤りを、同じパターンへまとめる可能性があります。

改善案をプロンプト変更へ寄せすぎることがある

実際には入力データや業務ルール、人の判断基準の方を直すべき場合があります。

もっともらしい新ルールを作ることがある

未提示の社内規程や承認条件を、一般的な運用として補う可能性があります。

他の生成AI手法との使い分け

Human-in-the-Loopは、人の確認・判断をどこに置くかを設計する考え方です。

社内文書や外部情報を検索・参照して回答させたい場合は、RAGとHuman-in-the-Loopの違いを確認すると役割を分けやすくなります。

背景、目的、読み手、出力形式など、プロンプト条件そのものを整理したい場合は、CO-STARとHuman-in-the-Loopの違いが参考になります。

RAG・CO-STAR・Human-in-the-Loopを目的別に選びたい場合は、RAG・CO-STAR・Human-in-the-Loopの使い分けも参照してください。

生成AIに任せすぎないためのチェックリスト

  • AIに正式な承認基準を決めさせていないか
  • 人が確認すべき項目候補を人が採否判断したか
  • 高リスク案件の条件を人が管理しているか
  • 修正・差し戻しログの分類を人が確認したか
  • 改善案をそのまま正式ルールにしていないか
  • AI出力ではなく一次情報へ照合しているか
  • 過剰な人手確認になっていないか
  • 低リスクと高リスクで確認負荷を分けたか
  • 誤り原因をプロンプトだけに限定していないか
  • 顧客情報や契約情報の入力可否を確認したか
  • 最終判断と責任者が明確か

まとめ

生成AIは、Human-in-the-Loopを効率よく設計・改善する補助役として使えます。

特に役立つのは、業務分解候補、人の確認項目候補、判断基準の抜けレビュー、エスカレーション候補、修正ログのパターン化、改善案候補の整理です。

一方で、正式な承認・差し戻し条件、高リスク案件、一次情報による事実確認、改善案の正式採用は人が担う必要があります。

生成AIにHuman-in-the-Loopのルールそのものを決めさせるのではなく、「候補を出させる」「ログを整理させる」「抜けをレビューさせる」ために使うと、Human-in-the-Loopをより速く、かつ人の責任範囲を保った形で改善しやすくなります。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!
目次