Few-shot Promptingは、生成AIへ複数の入力例と望ましい出力例を示し、そのパターンを参考に新しい入力へ回答させる方法です。
ただし、実務では「例を3件入れればうまくいく」というものではありません。何を学ばせたいのか、例の形式はそろっているか、どの境界で判断がぶれるのか、誤りが出たときにどの例を追加すべきかを確認しながら使う必要があります。
この記事では、営業部の共有アドレスに届く受信メールを「要対応」「情報共有」「返信不要」に分類するケースを題材に、Few-shot Promptingを使う前の状態から、代表例の選定、境界例の追加、人による確認、改善後までを通して解説します。
Few-shot Promptingの意味や基本構造から確認したい場合は、Few-shot Promptingとは?を参照してください。具体的な手順を先に確認したい場合は、Few-shot Promptingのやり方が役立ちます。
ケースの背景|1日100件以上のメールを3分類したい
ある営業部では、共有アドレスに1日100件以上のメールが届いていました。
内容は、
- 見積確認依頼
- 会議資料の共有
- 顧客からの問い合わせ
- 社内連絡
- 受領通知
- CCで届く参考連絡
などさまざまです。
担当者は、最初にメールを、
- 要対応
- 情報共有
- 返信不要
の3つに分類してから、必要なものだけ担当へ振り分けていました。
この一次分類に時間がかかっていたため、生成AIで補助することにしました。
課題|ゼロショットでは境界判断がぶれた
最初は、生成AIへ次のように指示しました。
次のメールを「要対応」「情報共有」「返信不要」のいずれかに分類してください。
典型的なメールはある程度分類できました。
たとえば、
本日17時までに、A社見積書の金額確認をお願いします。
は「要対応」と判定されました。
一方で、次のようなメールでは判断がぶれました。
明日の会議資料を共有します。修正が必要なら本日中に連絡してください。
生成AIは「要対応」と返しました。
しかし、この営業部では、受信者自身に必須の行動がなければ「情報共有」とするルールです。
この違いは、単に分類名を説明するだけでは伝わりにくいものでした。
なぜFew-shot Promptingを使ったのか
今回の問題は、生成AIがメール文を読めないことではありません。
問題は、営業部独自の分類基準を十分に理解していないことでした。
そこで、
こういう入力なら、こう分類する
という具体的な見本を示すFew-shot Promptingを使いました。
1. まず分類ルールを人が決める
Few-shot例を作る前に、チームで3分類の意味を確認しました。
要対応
受信者またはチームが、期限付き・明示的に何かの行動を求められている。
情報共有
情報の把握が主目的で、受信者に必須の行動はない。
返信不要
受領通知やお礼など、追加対応を求めていない。
ここでの判断
Few-shot Promptingは、曖昧な業務ルールを自動で決めてくれる方法ではありません。
最初に人が「何を正解とするか」を決める必要があります。
2. 代表例を3件選ぶ
最初のFew-shot例は、各分類1件ずつにしました。
例1|要対応
件名:A社見積確認
本文:本日17時までに、A社見積書の金額確認をお願いします。
出力:要対応
例2|情報共有
件名:来月の組織変更
本文:来月の組織変更について、人事部から正式発表がありました。詳細は添付資料をご確認ください。
出力:情報共有
例3|返信不要
件名:資料受領
本文:先ほどの資料、受領しました。ありがとうございます。
出力:返信不要
ここでの判断
最初から10件以上入れず、違いがはっきりした代表例だけにしました。
例を増やしすぎると、どの判断が重要なのか見えにくくなるためです。
3. 入力と出力の形式をそろえる
代表例を作るとき、最初は例ごとに情報量が違っていました。
- 例1は件名+本文
- 例2は本文だけ
- 例3は送信者名まで記載
これでは、AIが分類基準ではなく入力形式の違いに影響される可能性があります。
そこで、すべての例を、
- 件名
- 本文
に統一しました。
出力も、
- 要対応
- 情報共有
- 返信不要
の1語だけにそろえました。
そのまま使える形式が必要なら、Few-shot Promptingテンプレートを使うと整理しやすくなります。
4. 代表例3件で最初のFew-shotプロンプトを作る
最初のプロンプトは次のようにしました。
以下の例を参考に、受信メールを「要対応」「情報共有」「返信不要」のいずれかに分類してください。
例1
件名:A社見積確認 本文:本日17時までに、A社見積書の金額確認をお願いします。 出力:要対応
例2
件名:来月の組織変更 本文:来月の組織変更について、人事部から正式発表がありました。詳細は添付資料をご確認ください。 出力:情報共有
例3
件名:資料受領 本文:先ほどの資料、受領しました。ありがとうございます。 出力:返信不要
新しい入力
件名:会議資料の数値修正 本文:明日の会議までに、3ページ目の数値を最新版へ修正してください。
出力は分類名だけ返してください。
この入力は「要対応」と分類されました。
典型的な依頼については、期待どおりの出力でした。
5. 任意確認メールで再び判断がぶれる
次に、最初に誤ったメールを入力しました。
件名:明日の会議資料共有
本文:明日の会議資料を共有します。修正が必要なら本日中に連絡してください。
生成AIは再び「要対応」と返すことがありました。
ここでの判断
典型例3件だけでは、
任意確認は情報共有
というチーム独自の境界が伝わっていませんでした。
そこで、このケースを境界例として追加しました。
6. 境界例を追加する
追加した例は次のとおりです。
件名:明日の会議資料共有
本文:明日の会議資料を共有します。修正が必要なら本日中に連絡してください。
出力:情報共有
この例で伝えたい判断は、
受信者自身に必須対応がなく、確認や連絡が任意なら「情報共有」
という基準です。
Few-shot Promptingでは、典型例だけでなく「迷いやすい境界」を例として示すことが重要です。
7. 実運用前に50件を人が確認する
代表例3件+境界例1件で、過去メール50件を試しました。
人が正解ラベルを確認し、AI出力と照合しました。
すると、典型的な依頼や受領通知は安定していましたが、次の3種類で誤りが見つかりました。
- CCで届いた依頼
- 期限が書いてあるが受信者の対応は不要な連絡
- 「対応不要」と明記された更新予定の共有
ここでの判断
誤りが出たからといって、例を大量に増やしませんでした。
どの種類の境界で誤ったかを確認し、その境界だけ追加することにしました。
8. CCで届いた依頼の境界例を追加する
たとえば、
件名:B社資料修正依頼
本文:田中さん、明日までに資料を修正してください。営業企画チームはCCです。
というメールです。
本文には「修正してください」とありますが、営業企画チーム自身への依頼ではありません。
チームルールでは「情報共有」とします。
そこで、次の例を追加しました。
依頼文が含まれていても、受信者自身が対応主体でない場合は情報共有。
9. 「期限あり=要対応」ではないことを例で示す
次のようなメールもありました。
来週月曜にシステム更新を実施します。対応は不要です。
生成AIは「来週月曜」という期限表現に引っ張られ、「要対応」と分類することがありました。
そこで、
- 期限や日付が書いてあるだけでは要対応ではない
- 受信者自身に具体的行動があるかを見る
という境界を例で追加しました。
10. 出力形式も固定する
Few-shot例を増やした後、別の問題も見つかりました。
生成AIが、
要対応です。理由は、明日までの修正依頼があるためです。
のように理由を付けることがありました。
後工程では分類名だけを使いたいため、最後に、
出力は「要対応」「情報共有」「返信不要」のいずれか1語のみ。理由や補足は付けない。
と指定しました。
ここでの判断
Few-shot Promptingでは、判断パターンだけでなく出力形式も例と指示でそろえる必要があります。
11. 改善後のFew-shot例は7件になった
最終的に、例は次の7件になりました。
- 要対応の典型例
- 情報共有の典型例
- 返信不要の典型例
- 任意確認の境界例
- CC依頼の境界例
- 期限あり・対応不要の境界例
- 対応不要と明記された更新共有の境界例
重要なのは、7件という数ではありません。
最初から7件用意したのではなく、誤りが出た境界だけ追加したことです。
12. 改善前後で何が変わったか
改善前
ゼロショットでは、
- 「修正が必要なら連絡」を要対応と判定
- CCの依頼文を要対応と判定
- 日付表現だけで要対応と判定
することがありました。
改善後
Few-shot例にチーム独自の境界を入れたことで、
- 任意確認は情報共有
- 対応主体でなければ情報共有
- 日付があっても対応不要なら情報共有
という判断を出しやすくなりました。
13. それでも人の確認は残す
Few-shot Promptingを改善しても、すべてのメールを無条件で自動処理することはしませんでした。
特に、
- 顧客クレーム
- 契約変更
- 障害連絡
- 金額や期限に重大な影響がある依頼
- 分類確信度が低いメール
は人が確認する運用にしました。
Few-shot Promptingは、判断を補助する方法であり、業務責任を生成AIへ移す方法ではありません。
このケースから分かるFew-shot Promptingのポイント
1. 例の前に正解基準を決める
Few-shot例は、チームルールを反映する見本です。
ルール自体が曖昧なら、AIも安定しません。
2. 代表例だけでは足りないことがある
典型例は分かりやすい一方、実務の誤りは境界で起こります。
3. 入力・出力形式をそろえる
本番と同じ形式で例を作り、出力形式も統一します。
4. 誤りに応じて例を追加する
例の数を最初から増やすのではなく、誤りが出た境界を補います。
5. 例の正しさは人が確認する
誤ったFew-shot例は、誤った判断を再現する原因になります。
6. 自動化範囲を決める
顧客影響や契約に関わるメールなど、AI分類だけで処理しない対象を決めます。
自分の業務へ置き換えるときの確認ポイント
自分の業務でFew-shot Promptingを使うなら、次を確認してください。
- AIに何を判断・生成させたいか1つに絞ったか
- 正解基準を人が決めたか
- 各パターンの代表例があるか
- 迷いやすい境界例があるか
- 入力形式を本番とそろえたか
- 出力形式を統一したか
- 例の正しさを人が確認したか
- 実運用前に一定件数をテストしたか
- 誤りが出た境界だけ例を追加したか
- 重要案件を人が確認するルールがあるか
よくある失敗を先に確認したい場合は、Few-shot Promptingで失敗しやすいポイントも参考になります。
生成AIを補助的に使って例候補や誤りパターンを整理したい場合は、生成AIでFew-shot Promptingを使う方法も参照してください。
他の生成AI手法との使い分け
Few-shot Promptingは、「こういう入力にはこう返す」という出力パターンをそろえたいときに向いています。
一方、社内資料や外部知識を検索・参照して回答させたい場合は、RAGとFew-shot Promptingの違いを確認すると役割を分けやすくなります。
背景、目的、読み手、出力形式など、プロンプト条件そのものを整理したい場合は、CO-STARとFew-shot Promptingの違いが参考になります。
RAG・CO-STAR・Few-shot Promptingの3つを目的別に選びたい場合は、RAG・CO-STAR・Few-shot Promptingの使い分けも参照してください。
まとめ
このケースでは、営業部の共有アドレスに届く1日100件以上のメールを、「要対応」「情報共有」「返信不要」の3分類へ振り分ける作業でFew-shot Promptingを使いました。
ゼロショットでは任意確認メールやCC依頼、期限付き情報共有を誤って「要対応」と分類することがありました。そこで、代表例3件から始め、実運用前の50件確認で見つかった境界に合わせて4件を追加し、最終的に7件のFew-shot例へ改善しました。
Few-shot Promptingの価値は、例をたくさん入れることではありません。実務で繰り返したい判断基準を、代表例と境界例で具体化し、誤りが出たケースに合わせて少しずつ調整できることにあります。