Human-in-the-Loopは、生成AIや自動化システムに処理を任せつつ、重要な判断や例外処理、最終確認を人が担う運用設計です。
ただし、実務でHuman-in-the-Loopを導入するときに難しいのは、「どこをAIに任せ、どこで人が入るのか」を決めることです。人の確認を増やしすぎると自動化の効果が小さくなり、減らしすぎると誤りや未承認の判断を見逃しやすくなります。
この記事では、法人向けSaaS企業が既存顧客への価格改定問い合わせに返信するケースを題材に、Human-in-the-Loopを使う前の状態から、AIへ任せる処理、人の確認点、差し戻し条件、修正記録、改善後までを通して解説します。
基本の意味や全体像から確認したい場合は、Human-in-the-Loopとは?を参照してください。具体的な設計手順を先に確認したい場合は、Human-in-the-Loopのやり方が役立ちます。
ケースの背景|価格改定への問い合わせ返信をAIで効率化したい
法人向けSaaSを提供する企業で、営業企画部は既存顧客から届く問い合わせメールへの返信作成に時間を使っていました。
ある日、既存顧客A社から次の問い合わせが届きました。
次回更新時の価格について確認したいです。現在の契約から変更はありますか。
担当者が社内資料で確認した事実は次のとおりです。
- 次回更新日は9月末
- 価格改定率は8%
- 改定理由は運用コスト増
- もう1つの改定理由はサポート体制強化
- 値引き条件は未決定
- 特別対応は未決定
営業企画部では、問い合わせ要約と返信文案作成を生成AIで補助し、対応時間を短くしたいと考えていました。
課題|AIへ丸ごと任せると未承認の提案が混ざる
最初は、担当者が生成AIへ問い合わせ本文を渡し、
この顧客へ丁寧な返信メールを作ってください。
とだけ依頼していました。
すると、AIは自然な文面を作る一方で、
ご負担を軽減できるよう、特別条件も検討いたします。
といった、社内で決まっていない内容を加えることがありました。
文章としては自然でも、業務上は問題です。
値引きや特別対応は未決定であり、担当者が勝手に約束してよい内容ではありません。
なぜHuman-in-the-Loopを使ったのか
今回の問題は、「生成AIを使わない方がよい」という話ではありません。
AIは、
- 問い合わせ内容の要約
- 返信文案のたたき台
- 文量や語調の調整
には役立ちます。
一方で、
- 契約条件の確定
- 値引き可否
- 特別対応可否
- 顧客へ何を約束してよいか
- 最終送信
は人が担うべき判断です。
そこで、AIを完全自動化の道具ではなく、「下書きを作る担当」と位置づけ、人の確認と判断を途中に組み込むHuman-in-the-Loopを採用しました。
1. 業務を処理単位に分けた
まず、顧客問い合わせ対応を1つの作業としてAIへ渡すのをやめました。
処理を次のように分けました。
- 問い合わせ本文を読む
- 問い合わせ内容を要約する
- 必要な契約・価格情報を確認する
- 返信文案を作る
- 事実と契約条件を確認する
- 未承認の約束がないか確認する
- 必要に応じて修正する
- 最終送信する
ここでの判断
AIへ任せるのは、2の要約と4の返信文案作成です。
3の契約・価格情報確認、5〜8の確認・判断・送信は人が担当します。
この分け方により、「AIが文章を作ること」と「AIが業務判断をすること」を分離しました。
2. AIへは確定情報だけを渡した
担当者は、AIへ次の確定情報だけを渡しました。
- 更新日は9月末
- 価格改定率は8%
- 改定理由は運用コスト増とサポート体制強化
- 値引き条件は未決定
- 特別対応は未決定
加えて、
値引き、返金、補償、特別条件、追加機能提供など、与えていない事実は追加しない。
という制約を入れました。
ここでの判断
AIに不足情報を推測させず、事実確認済みの範囲だけを使わせます。
Human-in-the-Loopでは、人が後で確認するだけでなく、AIへ渡す情報の段階から境界を作ります。
3. 人の確認項目を具体化した
以前は、「AI出力を人が確認する」というルールだけでした。
しかし、それだけでは担当者ごとに確認点が変わります。
そこで、次のチェック項目を固定しました。
- 価格改定率8%が正しいか
- 更新日9月末が正しいか
- 改定理由2点が正式情報と一致しているか
- 値引きや特別条件を勝手に提案していないか
- 返金や補償を約束していないか
- 未提供の機能改善を約束していないか
- 顧客へ誤解を与える表現がないか
- 実際に提示できる次の行動になっているか
ここでの判断
「文章が自然か」より先に、「事実・契約・未承認の約束」を確認するようにしました。
4. 承認・修正・差し戻しの3段階を決めた
Human-in-the-Loopを導入する前は、出力を「使う / 使わない」の2択で見ていました。
しかし、実務では軽微な修正で使える出力も多くあります。
そこで、次の3段階にしました。
承認
- 事実が正しい
- 契約条件と矛盾しない
- 未承認の約束がない
- 表現上の問題がない
修正して使用
- 事実は正しい
- 語調や文量の修正だけで使える
- 未承認表現が一部あるが削除すれば使える
差し戻し
- 問い合わせを取り違えている
- 改定率や更新日が誤っている
- 契約条件に関する重大な誤りがある
- 値引き・返金・補償など、未承認の提案が複数含まれる
5. AIの初回出力を確認した
AIが作った文案には、
- 価格改定率8%
- 更新日9月末
- 改定理由2点
が正しく含まれていました。
一方で末尾に、
ご負担を軽減できるよう、特別条件も検討いたします。
という一文がありました。
これは未承認の特別対応にあたります。
人の判断
このケースは、事実関係やメール全体の構成は問題ありませんでした。
そのため、出力全体を差し戻すのではなく、「修正して使用」と判断しました。
該当文だけを削除します。
6. 修正理由を記録した
修正後、担当者は次の内容を記録しました。
- 人の判断:修正して使用
- 修正内容:特別条件を検討するという一文を削除
- 修正理由:未承認の特別対応をAIが追加したため
- 誤りの種類:未提示の約束追加
ここでの判断
Human-in-the-Loopでは、修正するだけで終わらせません。
「何を直したか」を残すことで、AIがどこで失敗しやすいかを後から見直せます。
7. 同じ誤りが複数回起きていることに気づいた
その後、別の顧客問い合わせでも、
- 特別条件を検討する
- 個別割引を案内する
- 追加サポートを提供する
といった未承認の提案がAI出力へ混ざるケースがありました。
修正ログを見ると、「未提示の約束追加」が繰り返し起きていました。
ここでの判断
個別案件ごとに人が削除し続けるのではなく、プロンプト自体を改善することにしました。
8. プロンプトへ禁止事項を追加した
返信文案作成の指示へ、
値引き、返金、補償、特別条件、追加機能、特別サポートなど、与えていない提案・約束を追加しない。
という制約を追加しました。
また、未決定事項については、
未決定事項は「未決定」として扱い、推測で補わない。
と明記しました。
9. 改善後の運用
改善後も、人の確認をなくしたわけではありません。
返信文案を作った後は、引き続き、
- 数値
- 日付
- 契約条件
- 未承認の約束
- 顧客への誤解
を人が確認します。
一方で、同じ種類の「未提示の特別条件追加」は減り、担当者が修正する回数も減りました。
10. 高リスク案件は最初から人へ戻した
営業企画部では、すべての問い合わせを同じHuman-in-the-Loopフローに流しませんでした。
次に該当する場合は、AI文案作成より前に人へエスカレーションします。
- 値引き交渉
- 返金要求
- 契約変更
- 顧客クレーム
- 障害やセキュリティに関する問い合わせ
- 法務確認が必要
- 複数契約が絡み条件が複雑
ここでの判断
誤りを後で直すコストが大きい案件ほど、早い段階で人へ戻します。
11. 50件の実績を振り返った
営業企画部では、Human-in-the-Loop導入後の50件を振り返りました。
結果は次のようになりました。
- そのまま承認:31件
- 軽微な表現修正:9件
- 内容修正:6件
- 差し戻し:4件
差し戻し4件の内訳は、
- 契約条件の読み違い:2件
- 問い合わせ内容の取り違え:1件
- 未承認の提案が複数含まれた:1件
でした。
ここでの判断
単に「AIは46件使えた」と評価せず、差し戻し理由の種類を見ました。
その結果、次の改善が決まりました。
- 契約条件はAIへ推測させず、確認済みデータだけ渡す
- 問い合わせ要約と返信文案作成を分ける
- 未承認提案の禁止条件をより具体化する
- 契約条件が複数ある案件は人へエスカレーションする
Human-in-the-Loopを使う前後で何が変わったか
導入前
- AIへ問い合わせ返信を丸ごと依頼
- 人は最後に文章を読むだけ
- 確認項目は担当者任せ
- 修正理由を記録しない
- 高リスク案件も通常案件と同じ流れ
導入後
- AIは要約と文案作成に限定
- 契約条件・値引き・最終送信は人が担当
- 人の確認項目を固定
- 承認・修正・差し戻しを区別
- 修正理由・誤りの種類を記録
- 高リスク案件は人へエスカレーション
- 修正ログをもとにプロンプトを改善
このケースから分かるHuman-in-the-Loopのポイント
1. 人を最後に置くだけでは不十分
人の確認は、最終確認だけでなく、入力情報の確定や高リスク案件の振り分けにも使えます。
2. AIに任せる処理を狭く切る
「顧客対応」全体ではなく、「問い合わせ要約」「返信文案」など、やり直しや確認ができる処理へ分けます。
3. 人の確認項目を言語化する
「内容を確認」ではなく、数値、日付、契約条件、未承認の約束などを明示します。
4. 修正ログを改善へ使う
同じ誤りを毎回直すのではなく、繰り返しパターンを見つけ、プロンプトや入力条件へ反映します。
5. 高リスク案件は早く人へ戻す
契約、返金、障害、法務などは、AIの最終出力まで進めてから確認するより、早い段階でエスカレーションした方が安全です。
自分の業務へ置き換えるときの確認ポイント
自分の業務でHuman-in-the-Loopを使うなら、次を確認してください。
- 対象業務を処理単位へ分けたか
- AIに任せる処理を限定したか
- 人が確認する項目を具体化したか
- 承認・修正・差し戻し条件を決めたか
- 高リスク案件を人へ戻す条件を決めたか
- 修正理由を記録しているか
- 同じ誤りが繰り返されていないか
- 記録をプロンプトや入力条件の改善へ反映しているか
- 最終責任者が明確か
そのまま使える型が必要なら、Human-in-the-Loopテンプレートを使うと、対象業務、AIに任せる処理、人の確認項目、判断条件、エスカレーション、記録、改善まで整理できます。
よくある失敗を先に確認したい場合は、Human-in-the-Loopで失敗しやすいポイントも参考になります。
生成AIを補助的に使って、確認項目や差し戻し理由の整理を効率化したい場合は、生成AIでHuman-in-the-Loopを使う方法も参照してください。
他の生成AI手法との使い分け
Human-in-the-Loopは、人の判断や確認をどこへ入れるかを設計する考え方です。
社内資料や外部情報を検索・参照して回答させるRAGとは役割が異なります。違いを整理したい場合は、RAGとHuman-in-the-Loopの違いが参考になります。
また、背景・目的・読み手・出力形式など、プロンプト条件そのものを整理するCO-STARとの違いは、CO-STARとHuman-in-the-Loopの違いで確認できます。
RAG、CO-STAR、Human-in-the-Loopをまとめて使い分けたい場合は、RAG・CO-STAR・Human-in-the-Loopの使い分けも参照してください。
まとめ
このケースでは、既存顧客A社からの価格改定問い合わせに対し、生成AIへ問い合わせ要約と返信文案作成を任せ、契約条件の確定、未承認の提案確認、最終送信を人が担いました。
AIの初回出力には「特別条件も検討する」という未承認の表現が含まれましたが、人が「修正して使用」と判断して削除し、その修正理由を記録しました。同種の誤りが複数回起きたことで、禁止事項をプロンプトへ追加し、その後の修正回数を減らしました。
Human-in-the-Loopの価値は、AIの出力を人が最後に見ることだけではありません。AIに任せる処理を限定し、人の確認項目・判断基準・例外条件を明確にし、実際の修正ログを次の改善へつなげることで、生成AIのスピードを活かしつつ、重要な判断と責任を人に残せることにあります。