MENU

生成AIでFew-shot Promptingを使う方法|プロンプト例と人が確認すべきポイント

Few-shot Promptingは、生成AIへ複数の入力例と望ましい出力例を示し、そのパターンを参考に新しい入力へ回答させる方法です。

このFew-shot Prompting自体を生成AIで補助すると、代表例の候補を洗い出す、境界例を見つける、誤分類ログをパターン別に整理する、例同士の矛盾をレビューするといった作業を効率化できます。

ただし、生成AIに「良いFew-shot例を作って」と丸投げすると、実際の業務ルールと合わない正解ラベルを作ったり、典型的だが自社では誤りとなる例を混ぜたりする可能性があります。

この記事では、生成AIをFew-shot Promptingの設計補助に使う方法を、具体的なプロンプト例、出力の使い方、人が確認すべきポイント、誤りや限界まで含めて解説します。

Few-shot Promptingの基本から確認したい場合は、Few-shot Promptingとは?を参照してください。自分で設計する基本手順は、Few-shot Promptingのやり方で確認できます。

目次

生成AIを使うと効果が出やすい場面

生成AIは、Few-shot Promptingの次のような作業を補助できます。

  • 業務ルールから代表例候補を洗い出す
  • 典型例と境界例を分ける
  • 入力形式・出力形式のばらつきを見つける
  • 例同士の矛盾候補を指摘する
  • 誤分類ログをパターン別に整理する
  • 追加すべき例の候補を出す
  • 古い例や重複例の整理候補を出す
  • Few-shotプロンプト全体のレビューを行う

一方で、次の判断は生成AIだけに任せない方が安全です。

  • 何を正解ラベルとするか
  • 自社の業務ルールは何か
  • どの例を正式採用するか
  • どの例を削除するか
  • どの案件をAIだけで処理してよいか
  • どこから人の確認を必須にするか

生成AIは「候補を出す」「誤りを整理する」「矛盾を探す」役に置き、正解基準と運用ルールは人が決めます。

1. 業務ルールから代表例候補を出す

Few-shot Promptingでは、最初に人が正解基準を決める必要があります。

たとえば、営業部の共有アドレスへ届くメールを、

  • 要対応
  • 情報共有
  • 返信不要

の3つに分けるとします。

人がまず、

  • 要対応:受信者自身に必須の具体的行動がある
  • 情報共有:受信者に必須の行動はない
  • 返信不要:受領や謝意などで追加対応を求めていない

と業務ルールを定義します。

そのうえで生成AIへ候補を出させます。

プロンプト例

次の業務ルールをもとに、Few-shot Prompting用の代表例候補を各分類3件ずつ作ってください。

分類ルール:

  • 要対応:受信者自身に必須の具体的行動がある
  • 情報共有:受信者に必須の行動はない
  • 返信不要:受領や謝意などで追加対応を求めていない

条件:

  • 件名と本文をセットにする
  • 例ごとの情報量をそろえる
  • 境界例ではなく典型例だけにする
  • 正解ラベルは候補として扱い、人が確認する前提にする

出力の使い方

AIが9件の候補を出しても、全部採用しません。

人が、

  • 本当に実務で頻出するか
  • チームルールと一致するか
  • 似た例が重複していないか

を確認し、各分類1件ずつなど、少数から始めます。

2. 典型例と境界例を分ける

生成AIは、典型例候補を作るだけでなく、境界になりそうなケースを探す補助にも使えます。

プロンプト例

次の分類ルールで、判断が迷いやすい境界ケースを10種類挙げてください。

分類:要対応 / 情報共有 / 返信不要

ルール:

  • 受信者自身に必須の行動があるなら要対応
  • 必須行動がなければ情報共有
  • 受領や謝意だけなら返信不要

条件:

  • 正解ラベルは確定しない
  • 『なぜ迷うか』だけ説明する
  • 任意確認、CC、期限表現、担当主体の違いなどを含める

出力の使い方

AIが、

  • 修正が必要なら連絡してほしい
  • CCで届いた依頼
  • 日付はあるが対応不要
  • 参考共有だが質問文が含まれる

といった境界候補を出したら、人が「自社ではどう扱うか」を決めます。

AIは境界を見つけることはできますが、その正解を決める権限はありません。

3. 入力・出力形式のばらつきをレビューする

Few-shot例を人が作ると、知らないうちに形式がばらつくことがあります。

プロンプト例

以下のFew-shot例をレビューしてください。

確認観点:

  • 入力項目が例ごとにそろっているか
  • 一部の例だけ情報量が多くないか
  • 出力形式が統一されているか
  • 本番入力と形式が一致しているか

修正案を確定せず、問題点と候補だけを出してください。

出力の使い方

AIが、

  • 例1だけ送信者名がある
  • 例2だけ理由付き出力になっている
  • 例3だけ本文しかない

と指摘したら、人が本番形式に合わせて修正します。

4. 例同士の矛盾候補を探す

Few-shot例が増えると、古い例と新しい例で判断が食い違うことがあります。

プロンプト例

以下のFew-shot例一覧から、同じ判断基準に照らすと矛盾して見える組み合わせを探してください。

出力してください:

  • 矛盾候補の例番号
  • 矛盾して見える理由
  • 人が確認すべき業務ルール

正しいラベルはAIが決めないでください。

出力の使い方

AIが、

例4では「期限あり・対応不要」を情報共有としているが、例9では同様のケースを要対応にしている

と指摘したら、人が業務ルールを確認して片方を修正または削除します。

5. 誤分類ログをパターン別に整理する

Few-shot Promptingを実運用すると、誤りが出ます。

そのたびに1件ずつ例を追加すると、プロンプトが長くなります。

そこで生成AIに、誤りをパターン化させます。

プロンプト例

以下はFew-shot分類の誤りログです。

各ログには、

  • 入力
  • AI出力
  • 人が確認した正解

があります。

誤りを似たパターンごとにまとめてください。

条件:

  • 個別案件ごとではなく、判断境界で分類する
  • 例:任意確認、CC依頼、期限あり対応不要、担当主体違い
  • 新しい正解ルールは作らない
  • 各パターンに代表例候補を1件だけ出す

出力の使い方

AIが100件の誤りログを、

  • 任意確認
  • CC依頼
  • 日付あり対応不要
  • 宛先不一致

のようにまとめたら、人がパターンの妥当性を確認します。

そのうえで、Few-shot例を4件追加すべきか、業務ルール自体を直すべきか判断します。

6. 追加例の候補を作る

誤りパターンが分かったら、生成AIへ代表例候補を作らせることができます。

プロンプト例

次の誤分類パターンについて、Few-shot Promptingに追加する境界例候補を2件作ってください。

誤分類パターン: 「期限が書かれているだけで、受信者の対応は不要なのに要対応と判定する」

正解ルール: 「日付や期限があっても、受信者自身に必須行動がなければ情報共有」

条件:

  • 件名+本文形式
  • 既存例と表現を重複させない
  • 正解ラベルは情報共有
  • 人が正式採用する前提にする

出力の使い方

生成された2件を見て、

  • 本当に実務で起こるか
  • 単語だけに依存していないか
  • 他の例と矛盾しないか

を人が確認し、必要なら1件だけ採用します。

7. 重複例や古い例の整理候補を出す

Few-shot例は追加だけでなく削除も必要です。

プロンプト例

以下のFew-shot例一覧をレビューし、

  • 意味がほぼ同じ重複例
  • 古いルールを反映している可能性がある例
  • 他の例で代替できそうな例

を候補として挙げてください。

削除は確定せず、理由と人が確認すべき点を示してください。

出力の使い方

AIの指摘を参考に、人が業務ルールと更新履歴を確認して削除判断をします。

8. Few-shotプロンプト全体をレビューする

完成後は、生成AIを“Few-shot作成者”ではなく“レビュアー”として使えます。

プロンプト例

以下のFew-shotプロンプトをレビューしてください。

確認観点:

  • 目的が1つに絞れているか
  • 入力形式が統一されているか
  • 出力形式が統一されているか
  • 各分類の代表例があるか
  • 境界例が必要十分か
  • 例同士に矛盾候補がないか
  • 高リスク案件をAIだけで処理する設計になっていないか

修正文を勝手に確定せず、問題点と修正候補を分けて出してください。

出力の使い方

レビュー結果を見て、人が最終版を決めます。

通し例|営業部のメール分類をAIで改善する

営業部では、共有アドレスに1日100件以上のメールが届きます。

人が最初に、

  • 要対応
  • 情報共有
  • 返信不要

の3分類ルールを決めました。

最初のFew-shot例は、各分類1件ずつの合計3件です。

この段階では、生成AIを使って代表例候補を各分類3件ずつ出させ、その中から人が実務に近いものを1件ずつ採用しました。

次に、過去メール50件で試すと、次の誤りが見つかりました。

  • 任意確認を要対応と判定
  • CCで届いた依頼を要対応と判定
  • 日付があるだけの対応不要連絡を要対応と判定
  • 「対応不要」と明記された共有を要対応と判定

担当者は、この50件の誤分類ログを生成AIへ渡し、誤りパターンだけを整理させました。

AIは、

  • 任意確認
  • 担当主体違い
  • 日付表現への過剰反応
  • 明示的な対応不要の見落とし

という4パターンにまとめました。

人が内容を確認したところ、実際の運用感とも一致していました。

そこで、各パターンについて境界例候補を2件ずつAIに作らせました。

全部で8件の候補が出ましたが、すべては採用しませんでした。

人が、

  • 実際に起こりやすいか
  • 既存例と重複しないか
  • チームルールと一致するか

を確認し、各パターンから1件ずつ、合計4件だけ採用しました。

最終的なFew-shot例は、

  • 典型例3件
  • 境界例4件

の合計7件になりました。

さらに、例一覧をAIへレビューさせると、1件だけ出力形式が「分類名+理由」になっていることを指摘されました。

人が確認して、すべて「分類名1語」へ統一しました。

その後もAIへ丸ごと任せることはせず、

  • 顧客クレーム
  • 契約変更
  • 障害連絡
  • 金額や重大な期限に関わる依頼

は、AI分類の結果に関係なく人が確認する運用にしました。

この例で重要なのは、生成AIがFew-shot Promptingの正解を決めたわけではないことです。

AIが行ったのは、

  • 代表例候補の作成
  • 誤分類ログの整理
  • 境界例候補の作成
  • 形式ばらつきのレビュー
  • 矛盾候補の指摘

です。

正解ラベル、業務ルール、採用例、人手確認範囲は人が決めています。

そのまま使える設計フォーマットが必要なら、Few-shot Promptingテンプレートを使うと、代表例、境界例、出力確認、改善メモまで整理できます。具体的な適用過程は、Few-shot Promptingの具体例も参考になります。失敗を先に確認したい場合は、Few-shot Promptingで失敗しやすいポイントも参照してください。

人が必ず確認すべきポイント

正解ラベル

AIが作った例のラベルは候補です。正式な業務ルールに照らして人が確認します。

業務ルール

AIは一般的な分類基準を作れても、自社の運用ルールを自動で知ることはできません。

例の採否

AIが10件候補を出しても、必要なものだけ採用します。

自動処理範囲

誤分類したときの影響が大きい案件は、人の確認を残します。

機密情報

実メールや誤分類ログを使う場合は、顧客名、契約情報、個人情報などの入力可否を確認し、必要に応じて匿名化します。

生成AIの誤りと限界

もっともらしい誤った正解例を作ることがある

一般的には正しく見えても、自社ルールでは誤りということがあります。

境界例を作る過程で業務ルールを勝手に補うことがある

未提示の条件を加えた例が混ざることがあります。

誤分類ログを過度に単純化することがある

実際には別の原因なのに、似たパターンとしてまとめる可能性があります。

重複例を誤って削除候補にすることがある

表面上は似ていても、業務上は重要な違いを示す例かもしれません。

例を増やしすぎる提案をすることがある

誤りごとに新しい例を作るのではなく、誤りパターンをまとめることが重要です。

他の生成AI手法との使い分け

Few-shot Promptingは、具体例によって判断や出力パターンをそろえたいときに向いています。

一方、社内資料や外部情報を検索・参照して回答させたい場合は、RAGとFew-shot Promptingの違いを確認すると役割を分けやすくなります。

背景、目的、読み手、出力形式など、プロンプト条件そのものを整理したい場合は、CO-STARとFew-shot Promptingの違いが参考になります。

RAG・CO-STAR・Few-shot Promptingをまとめて目的別に選びたい場合は、RAG・CO-STAR・Few-shot Promptingの使い分けも参照してください。

生成AIに任せすぎないためのチェックリスト

  • AIに正解ラベルを決めさせていないか
  • 業務ルールを人が先に定義したか
  • 代表例候補を人が採否判断したか
  • 境界例の正解を人が決めたか
  • 例同士の矛盾を人が最終確認したか
  • 誤分類ログのパターン化を人が確認したか
  • 例を増やしすぎていないか
  • 古い例や重複例の削除を人が判断したか
  • 入力・出力形式が統一されているか
  • 高リスク案件をAIだけで処理していないか
  • 実データやログの機密情報を確認したか

まとめ

生成AIは、Few-shot Promptingを効率よく設計・改善する補助役として使えます。

特に役立つのは、代表例候補の洗い出し、境界ケースの発見、入力・出力形式のレビュー、例同士の矛盾候補の指摘、誤分類ログのパターン化、追加例候補の作成です。

一方で、正解ラベル、業務ルール、正式採用する例、自動処理範囲は人が決める必要があります。

生成AIにFew-shot Promptingを丸ごと作らせるのではなく、「候補を出させる」「誤りを整理させる」「例をレビューさせる」ために使うと、Few-shot Promptingをより速く、かつ実務の正解基準を保った形で改善しやすくなります。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!
目次