ChatGPT・Claude・Gemini・Perplexityは自社と競合をどう語るか：10プロンプト監査

1回の回答では何も分からない

AIの回答は実行のたびに変わり、使う人はチャットに履歴を持ち込みます。SparkToroとGumshoeの調査は、Search Engine Journalの2026年1月30日の報道（英語）によれば、同じプロンプトを繰り返しても、同じブランド一覧が同じ順序で現れたのは0.1%未満で、多数の質問にわたる言及率のほうが一覧内の順位より安定していました。両社とも計測ツールを販売しており、この報告は査読を受けていません。以下の方法がすべてのプロンプトを繰り返し、割合で報告するのはそのためです。

2つ目の問題はメモリで、当社自身がこれに引っかかりました。2026年9月10日、ログイン済みのChatGPTアカウントで競合インテリジェンスソフトに関する8つのプロンプトを実行したところ、各プロンプトを新しいチャットで始めたにもかかわらず、回答は「以前の質問」に言及しました。8回の実行は独立していなかったのです。同じ実行で、Steveはブランド名を出さない候補一覧のすべてに現れず、名指しで聞いたときだけ現れました。Bingで「Klue alternative」を調べると、hiresteve.aiはどこにも出ませんでした。これを測定結果として引用するつもりはありません。1アカウントの、メモリの影響を受けた断片です。この記事の目的は、同じ失敗を繰り返さないことです。

10のプロンプトと、それぞれが測るもの

プロンプトは買い手の言葉で書き、自社のカテゴリ名、名指しする競合1社、自社名を入れます。調査の間、文言は固定します。1語変えれば別のプロンプトです。以下の分類は当社の標本設計であり、検証済みの調査手法ではありません。

1. ブランド名を出さない言及率（プロンプト1、8、10）

   「[セグメント]企業に向いた[カテゴリ]ソフトは？長所と短所付きの候補一覧を」。次に、ブランド名を出さずに「[買い手の仕事、例：バトルカードを最新に保つ]にはどのツールを使うべきか」。最後に、買い手自身の言葉による最重要の質問を、やはりブランド名なしで。この3つで、AIが描くカテゴリ像の中に自社が存在するかどうかが分かります。

2. 比較の枠組み（プロンプト2、3）

   「[競合]の代替ツールは？」と「[競合]と[自社]、[セグメント]企業はどちらを選ぶべきか」。AIが競合に対して自社をどう位置づけるか、そして引用元を見れば、誰の比較ページに依拠したかが分かります。

3. 自社に関する事実の正確さ（プロンプト4、5、6、9）

   「[自社]とは何か。知っていることを教えて」「[自社]は[用途]に向いているか」「[自社]の料金は」「[自社]について顧客は何と言っているか」。これらの回答に含まれる事実の主張は、採点の段階ですべて自社サイトと照合します。

4. AIが競合について語ること（プロンプト7）

   「[競合]の欠点は何か」。プロンプト3の鏡像です。競合へのどの批判が流通し、どこから来ているかが分かります。営業が商談で聞き返される内容そのものです。

実行を比較できるように設定する

プロンプト、エンジン、繰り返しごとに1行の表を用意します。最初の実行の前に記録欄を埋め、調査中のすべての実行で同じ値を保ちます。

• エンジンとプラン、画面に表示されるモデル名
• ログインの有無。ログイン済みなら、メモリの設定か、一時チャット・シークレットチャットを使ったこと
• 地域。買い手のいる国に、VPNか現地の同僚を通じて合わせる
• プロンプトの言語。買い手の言語にする
• ウェブ検索の有無。回答が参照する情報源が変わる
• 各プロンプトを3回、毎回新しいチャットで。それぞれの日時
• 回答の全文と、引用されたすべてのURLを行に貼り付ける

10のプロンプト、4つのエンジン、3回の繰り返しで120回のチャットになり、地域を増やせばさらに増えます。数時間かかり、どの回答も1標本です。あるエンジンに別のエンジンの回答を推測させてはいけません。ClaudeにChatGPTの回答を想像させるのも同じです。使えるデータは、自分の目で見た回答だけです。

もう1つ境界があります。一般向けアプリとベンダーのAPIは別の面です。OpenAIのウェブ検索ガイド（英語）（2026年10月7日確認）によれば、APIのウェブ検索ツールは既定でライブ検索を行い、ディープリサーチ系モデルではユーザーの位置情報に対応していません。位置情報を設定せずにAPIを呼ぶスクリプトの結果は、東京の買い手がアプリで見るものとは異なります。その差の大きさは測定していないので、アプリとAPIは一致すると仮定せず、別々の調査として扱ってください。

採点する

各実行を同じ6項目で採点し、3回の繰り返しにわたって集計します。必要ならエンジン横断でも集計します。

Claudeの出番は収集の後です。1つのプロンプトに対する保存済みの回答を新しいチャットかプロジェクトに貼り、自社に関するすべての主張を、元の文とともに表に抜き出させます。次に、主張ごとに自社のページを開き、自分で正誤を付けます。モデルが抽出し、人が判断します。

プロンプト：保存した回答群から主張を抜き出す

以下は、[自社]に関する同じ質問へのAIの回答を保存したもので、それぞれに
エンジン、日付、設定を付けています。[自社]について述べられた事実の主張を
すべて1行ずつ列挙してください。各行には、主張、元の文そのもの、エンジン、
その回答が根拠として引用したURL（あれば）を含めます。主張の真偽は判断
しないでください。引用元のない主張には「出典なし」と記してください。
1つの表で返してください。

良い成果物は、記録欄の揃った表、各誤りがどのページに由来するかを示した誤った主張の一覧、そして回答を形作った競合ページの一覧です。「ChatGPTでは当社が4位」は悪い成果物です。次の実行では2位にも6位にもなり、どちらの数字にも意味がありません。

文章ではなく、引用元を読む

回答の文章は引用元の書き換えなので、監査の価値は引用元の列に表れます。重要な型は3つです。自社に関する主張の引用元が自社ページなら、望ましい基準線です。レビューサイトが引用されているなら、正しいにせよ誤りにせよ、AIは公開されたレビューの記録を運んでいます。自社に関する質問で競合が書いた比較ページが引用されていれば、それ自体が発見です。競合の枠組みがAIの枠組みになっており、誤った主張の一覧はたいていそこへたどり着きます。

引用元の扱いにも誤りを見込んでください。Columbia Journalism ReviewのTow Centerは2025年3月に8つのAI検索ツールを試験し（英語）、質問の60%超に誤った回答が返され、ChatGPTが自信のなさを示したのは200回答中15回だけだったと報告しました。EBUとBBCによる18か国22の公共放送局にわたる調査は、journalism.co.ukの報道（英語）によれば、回答の45%に少なくとも1つの重大な問題があり、31%に深刻な出典の問題がありました。どちらもニュースに関する質問の試験で、ブランドに関する質問ではありません。自社のカテゴリの数値としてではなく、引用されたURLをすべて開く理由として読んでください。

日本語と地域ごとの実行

日本市場、あるいは英語以外のどの市場でも、英語での実行はその市場についてほとんど何も教えてくれません。計測ツールを販売するPeec AIは、1,000万件超のプロンプトと2,000万件のクエリ展開を分析し（英語）、2026年10月7日付の記事で、英語以外のプロンプトの背後にある調査ステップの43%が英語圏のウェブで行われたと報告しました。日本に限った数値はこの報告にないため、日本語のプロンプトがどの程度英語ページから回答されるかは分かりません。10のプロンプトを日本語で、日本のIPから実行し、その結果を独立した基準値として保管してください。買い手が英語で検索しないどの市場でも同じです。

GoogleのAI Overviewsは、この方法の空白です。当社の9月の実行では、Googleがロボット確認を表示したため標本を取れず、この面の測定はありません。計測ツールの推定値で埋めず、未測定として記録してください。

直すべきことと、追いかけないこと

まず誤った主張を直します。誤った主張の一覧の各行は1つのページを指しており、そのページは自社のもの（直せる）か、他者のもの（訂正を依頼するか、同じ問いに答える、より明確な自社ページで上回る）です。自社の料金についてAIが競合の比較ページを引用しているなら、日付と出典を付けた比較を自社で公開する理由になります。

上昇幅の数字は追いかけないでください。この分野の出発点となったGEO論文、Aggarwalほか、KDD 2024発表（英語）は、コンテンツの変更によって生成エンジンの回答における可視性を「最大40%」高められると報告しています。この数字は論文自身の質問とエンジンのベンチマークで測られたもので、BtoBのカテゴリや自社のページに当てはまると示した研究は、当社では見つかりませんでした。チームに約束できるのは、訂正された誤った主張の一覧と、再測定できる言及率までです。

同じプロンプトと同じ記録欄で、月1回再実行します。この頻度は当社の判断で、検証された規則ではありません。週1回の単発実行は、主にSparkToroのデータが示す揺らぎを測り直すことになります。代理店StartLinkのLLMOガイド（2026年10月11日最終更新）は、主要キーワードの週次の手動確認と、定型プロンプトによる月次の定点観測を勧めています。週次の確認を取り入れるなら非公式なものにとどめ、比較する系列は月次の記録付き実行だけにしてください。

Steveが担う範囲

この監査にソフトウェアは要らず、Steveにこれを実行する機能はありません。Steveは監視した情報源から競合インテリジェンスを作る製品です。AIの回答における自社ブランドの存在を追跡するツールが欲しいなら、それは別のカテゴリで、独自のベンダーがいて、いずれも上で述べた偏りを持ちます。

ただし、監査はSteveが担う仕事を1つ生み出します。誤った主張の一覧で、AIが古い競合の主張を引用している、あるいは競合の比較ページが自社の料金の枠組みを作っていると分かったとき、その後の仕事は、自社が持つ競合の事実を最新に保ち、出典を付けることです。Steveは競合サイトを監視して価格、製品、メッセージの変更を知らせ、バトルカードの行に「確認済み」「要確認」「未確認」の状態と、出典へのリンクを表示します。バトルカードの更新案は、PMMかCI担当者が確認するまで適用されません。追跡する競合が1、2社のチームは、まず監査も事実の維持も手作業で行ってください。詳しくはSteveを選ぶ理由をご覧ください。