من 13184 ارجاع هوش مصنوعی را از 4 LLM ردیابی کردم: این چیزی است که آموختم

در ابتدای تابستان (حدود 3 ماه پیش)، من ردیاب دید LLM خود را با کمک Claude Code ساختم.

ایده ساده بود: ردیابی پاسخ‌ها و ارجاع‌های تولید شده توسط هوش مصنوعی از 4 بزرگترین LLM (ChatGPT، Claude، Gemini و Perplexity) با 12 تا 40 درخواست برای هر مشتری، که هر هفته اجرا می‌شود.

من همچنین نتایج Google SERP را برای کلمات کلیدی مشابه یا یکسان ردیابی کردم تا نتایج سنتی Google را با پاسخ‌های ربات چت هوش مصنوعی مقایسه کنم. من می‌خواستم بفهمم که هر موتور چه چیزی را ذکر کرده است، چگونه پاسخ‌ها و استنادها بین LLMها متفاوت است و چگونه آنها در طول زمان برای پاسخ به چند سؤال ساده تغییر می‌کنند:

1. آیا LLM های مختلف در مورد نام بردن از چه کسی توافق دارند؟ آیا آنها موافق هستند که چه کسی را توصیه کنند؟
2. ارجاعات و توصیه ها در طول زمان، از اجرا به اجرا، چگونه تغییر می کنند؟
3. آیا SERP های گوگل با پاسخ های تولید شده توسط هوش مصنوعی مطابقت دارند؟

هدف سه چیز بود. برای بازی با ساخت ابزارهای خودم با هوش مصنوعی، نظارت بر رویت هوش مصنوعی برای مشتریان سئو و جمع‌آوری اطلاعات در مورد آنچه در حال حاضر در جستجوی هوش مصنوعی کار می‌کند.

من ذخیره کرده ام 13184 نقل قول و 1765 پاسخ در حال حاضر.هدف این مقاله توضیح آنچه آموخته ام است.

روش شناسی: چگونه این داده ها را جمع آوری کردم

تنظیم به اندازه کافی برای کپی کردن ساده است. از Claude Code خواستم تا به من کمک کند تا یک ردیاب استناد LLM بسازم که پاسخ متن را خراش می دهد و هر URL ذکر شده توسط مدل و اینکه آیا نام هر برند در متن پاسخ ذکر شده است را ثبت می کند و هر هفته اجرا می شود. سپس تست کردم و بهینه سازی کردم تا اینکه نتیجه را دوست داشتم.

من 72 تماس برای اقدام از سه برند B2B را دنبال کردم:

1. وب سایت من (billwidmer.com)
2. آژانس آمازون دوست من (evolveadagency.com)
3. مشتری من، سمروش (semrush.com)

من سوالاتی مانند “بهترین پلتفرم سئو همه کاره برای تیم های بازاریابی” و “آیا ارزش پرداخت به یک آژانس برای مدیریت آمازون را دارد؟” هر هفته اسکریپت هر سوال را از طریق چهار الگو اجرا می کند: ChatGPT (جستجوی اجباری وب)، کلود، سرگیجه و جمینی.

نقل قول ها و پاسخ ها وارد صفحه گسترده شدند:

این بخشی از بررسی دید هوش مصنوعی است که من روی همه مشتریانم اجرا می کنم. آن مقاله بررسی کامل را انجام می دهد و می توانید تنظیمات دقیق ردیابی را در آنجا بگیرید.

این اطلاعات دارای محدودیت هایی است که من از آنها آگاهم:

• 12-40 سوال در هر برند یک نمونه نشانگر است نه اثبات آماری.
• داده‌های Claude من از تنظیمات جستجوی با عامل می‌آیند و نه از API خام، بنابراین سبک استناد آن ممکن است کمی با claude.ai متفاوت باشد. سه مورد دیگر مبتنی بر API هستند.
• Gemini گاهی اوقات فقط دامنه ای را که ذکر می کند، نشان می دهد، نه صفحه دقیق.

اطلاعات تا 23 آگوست 2026.

یادداشتی در مورد ذکر در مقابل نقل قول

برای روشن بودن: “ذکر” به معنای زمانی است که یک هوش مصنوعی نام تجاری شما را در پاسخ خود نام می برد یا توصیه می کند. «نقل» به معنای زمانی است که به صفحه شما به عنوان منبع پیوند می‌دهد.

تا آنجا که من می دانم، نقل قول ها زیرمجموعه ای تقریباً سختگیرانه از ذکرها هستند: از 1052 پرس و جو، تنها 17 مورد به صفحه برند بدون ذکر نام تجاری اشاره کردند. با این حال، ذکر بدون نقل قول در همه جا وجود دارد.

در کل مجموعه داده:

• کلود: برندها در 70 درصد پاسخ ها ذکر شده اند، در 40 درصد ذکر شده اند (تفاوت 30 امتیاز)
• جوزا: 72% ذکر شده، 41% نقل قول (31 امتیاز)
• سردرگمی: 67% ذکر شده، 44% ذکر شده (23 امتیاز)
• ChatGPT: 56% ذکر شده، 47% ذکر شده (فقط 8 امتیاز)

ChatGPT یک ناهنجاری است. وقتی نام یک برند را نام می برد، معمولاً برند را نیز به هم متصل می کند. کلود و جمینی آزادانه در مورد برندها صحبت می کنند بدون اینکه آنها را خریداری کنند.

مشاهده شماره 1: مدل ها تقریباً هرگز منابع یکسانی را ذکر نمی کنند

در ترکیبی از 1792 پرس و جو و دامنه، هر چهار مدل تنها توافق دارند که یک دامنه در یک پرس و جو 30 بار ارجاع داده شود. یعنی 1.7 درصد.

حتی دو نام بزرگ به سختی همپوشانی دارند. در یک مجموعه از سوالات برند، ChatGPT و Perplexity 7.6٪ از دامنه های ذکر شده خود را به اشتراک گذاشتند. از سوی دیگر، 5.4 درصد.

به نظر می رسد هر مدل دارای شخصیت اکتسابی ثابتی است:

• Confusion به شدت ذکر می کند: به طور متوسط 19.2 منبع در هر پاسخ. موارد دلخواه همیشه در داده های من لینکدین (374 نقل قول)، یوتیوب (248) و ردیت (232) هستند.
• Gemini به طور متوسط از 8.1 منبع در هر پاسخ استفاده می کند و به Reddit و شرکت های فهرستی متکی است.
• ChatGPT دارای میانگین 4.5 است و به سمت منابع اولیه مانند اسناد خود گوگل، مقاله arXiv و صفحات قیمت و راهنمای فروشندگان سوگیری دارد.
• کلود دارای میانگین 3.6 است و عاشق سایت های بررسی و لیست های سرپرست است. پلتفرم بررسی Clutch تنها دامنه شخص ثالثی است که بیشترین استناد در داده های من وجود دارد.

من فکر می کنم جالب ترین مشاهده این است در صدها پاسخ، کلود یک بار هم به reddit اشاره نکرد.

اندی در اوایل سال جاری 150 مقاله سئو جستجوی هوش مصنوعی را تجزیه و تحلیل کرد و دریافت که 79 درصد از آنها افزایش دید در Reddit و جوامع را توصیه می کنند. نتیجه‌گیری او این بود که منابع مربوط به دسته‌بندی و فوری هستند، و برای مارک‌های B2B، احتمالاً Reddit نیست.”

داده های من از او پشتیبانی می کند. هفته گذشته’ 72 سوال خریدار B2B، Reddit 0٪ از ارجاعات کلود، 0٪ از ChatGPT، 3٪ از Perplexity و 1٪ از جمینی بود.

این همچنین به دنبال به‌روزرسانی اخیر ChatGPT است که ارجاعات Reddit را تقریباً به صفر رساند.

در عوض چه چیزی نقل شد؟ لیست های طاقچه، تابلوهای بررسی و پست های مقایسه.

مشاهده شماره 2: مدل ها نیز با گوگل موافق نیستند

رتبه بندی در صفحه اول گوگل برای پیشنهاد هوش مصنوعی نه ضروری است و نه کافی. من درخواست‌های بعدی خود را برای سؤالاتی جستجو کردم که می‌توانم درخواست را با جستجوی کلمه کلیدی ترکیب کنم، 10 نتیجه ارگانیک برتر را در همان هفته از Google استخراج کردم و همپوشانی را با اطلاعات ذکر شده توسط هر الگو اندازه‌گیری کردم.

• در سطح دامنه، تنها 10 تا 30 درصد از دامنه‌های مدل‌های استناد شده، بسته به مدل و مجموعه سؤال‌ها، در رتبه 10 برتر گوگل برای پرس و جوی مربوطه قرار دارند.
• در URL دقیق، آن را کوچک می کند: حدود 1-5٪ در Gemini و ChatGPT. سردرگمی بیشتر از همه گوگل را دنبال می‌کند، و حتی در سطح URL فقط 13 تا 23 درصد همپوشانی دارد.

لارا استریس، مشاور رشد، داستانی را به من گفت که این موضوع را تأیید می‌کند: در حین تحقیق در مورد نرم‌افزار حسابداری شرکت خود، از هوش مصنوعی درخواست توصیه‌هایی کرد، و بزرگترین مدیر در این رده هرگز مطرح نشد.

“فقط به استارتاپ ها بگویید… کسب و کارهایی که جدیدتر بودند و تعامل اجتماعی بیشتری در اطراف خود داشتند،” او گفت. برندی با Domain Authority عظیم و کوهی از محتوای با ارزش که در گفتگو وجود ندارد. “این برای من کاملا با سئو متفاوت است.”

قبل از اینکه تصمیم بگیرید که سئو مرده است (اینطور نیست)، در اینجا یک واقعیت متعادل وجود دارد: فروزی پتی، مشاور بازاریابی استارتاپی که با او مصاحبه کردم، به من گفت که مشتریانش بدون بودجه اختصاصی AEO در معرض هوش مصنوعی قرار گرفتند.

“ما بر فعالیت‌های روابط عمومی تمرکز کرده‌ایم…و متوجه شدیم که این نوع فعالیت‌ها ما را در جستجوی عامل به جلو سوق داده است.”

پایه های قوی همچنان به سوخت موتور ادامه می دهند. دارایی ها با هم همپوشانی دارند، حتی اگر URL ها با هم همپوشانی نداشته باشند.

مشاهده شماره 3: مدل ها حتی با خودشان هم موافق نیستند

من همان 72 سوال را دو بار به فاصله دو روز از طریق همان مدل ها اجرا کردم. کلود تنها 30 درصد از URL هایی را که دو روز قبل نقل کرده بود، حفظ کرد. Gemini 38 درصد از دامنه های خود را حفظ کرد. سردرگمی با 65% پایدارترین بود.

در قطعه بهینه سازی خارج از سایت اندی، بریتنی مولر هشدار داد که خروجی های هوش مصنوعی غیر قطعی هستند و حتی اجرای ده دستور به شما می دهد. “یک تابلوی راهنمایی بسیار خشن.”

غذای آماده؟ یکی از پاسخ های هوش مصنوعی آب و هوا است. نرخ بهره هفتگی اقلیم است. هرگز بر اساس آب و هوا یک تصمیم استراتژیک بلند مدت (یا وحشت) نگیرید.

پاداش: هر چه شما مشهورتر باشید، نقل قول ها کمتر به شما می گویند

نکته جالبی که متوجه شدم این است که Semrush، که ردپای آنلاین عظیمی دارد، 50 امتیاز بین منشن ها و ارجاع ها تفاوت دارد. این را با وب سایت من و آژانس تبلیغاتی Evolve مقایسه کنید که 5 و 4 امتیاز (در هفته گذشته) اختلاف داشتند.

Semrush (یک شرکت نرم افزار سئوی تاسیس شده) در 83-100٪ پاسخ های مربوطه در هر مدل ذکر شده است. نرخ استناد آن در همان پاسخ ها از 83% تا 0% متغیر است. اجرای هفته گذشته، نیمی از زمان های پرس و جو آن بدون ذکر منبع ذکر شده بود.

نظریه من این است: مدل‌ها دارای داده‌های آموزشی برندهای معروف هستند، بنابراین هوش مصنوعی آنها را از حافظه توصیه می‌کند و پاسخ را از سایت‌های شخص ثالث می‌گیرد. برندهای ناشناس تنها زمانی ذکر می شوند که مدل واقعاً سایت آنها را جستجو کرده و بخواند.

مسلماً، Semrush محتوای بسیار بیشتری نسبت به هر یک از سایت‌های دیگر دارد، بنابراین می‌تواند به این دلیل باشد که نام تجاری من و Evolve فقط زمانی ذکر شده است که نام آنها در اعلان وجود داشته باشد. اما این همچنین می‌تواند از این نظریه حمایت کند که هوش مصنوعی زمانی که داده‌های آموزشی کافی دارد، نقل قول‌ها را نمی‌کشد.

که منجر به قانونی می شود که من در هیچ جای دیگری ندیده ام: داشبوردهای استناد، دیده شدن برندهای بزرگ را دست کم می گیرند و آن را تقریباً منحصراً برای برندهای کوچک دنبال می کنند.

یک هفته ارجاع 0٪ برای یک نام خانوادگی کاملاً متفاوت از یک استارتاپ است. قبل از هراس و قبل از اینکه اجازه دهید فروشنده شما را با آن بترساند، متوجه شوید که در کدام انتهای طیف قرار دارید.

نتیجه گیری: شما به چهار استراتژی مختلف نیاز ندارید. شما به یک مورد جامع نیاز دارید.

پس از این همه اختلاف، انتظار دارید که من یک کتابچه راهنمای مخصوص موتور را تجویز کنم. Reddit برای Gemini، LinkedIn برای Perplexity و غیره.

نه! من فکر می کنم پاسخ این است که یک استراتژی بازاریابی واحد و جامع ایجاد کنید. این چیزی است که من معتقدم AEO/GEO فقط SEO نیست. این به سادگی بازاریابی خوبی است.

اما حرف من را قبول نکن من با نیک لافرتی، مهندس بازاریابی موسس در پلتفرم دید هوش مصنوعی Profound مصاحبه کردم. وقتی از من پرسیدم که آیا آنها برای موتورهای مختلف بهینه سازی متفاوتی انجام می دهند، با توجه به تغییرات داده های خود، او به صراحت پاسخ داد:

“راستش را بخواهید، ما کارها را برای موتورهای مختلف متفاوت انجام نمی دهیم. ما به نوعی برای جستجوی هوش مصنوعی به طور گسترده به عنوان یک سطل بهینه‌سازی می‌کنیم.”اولویت آنها انجام کارهای واقعاً جالب است (تحقیق اصلی، پادکست، حتی تبلیغات مترو)، با دانستن اینکه قابلیت مشاهده هوش مصنوعی به دنبال آن خواهد بود، “مثل این است که بیایید این کار را انجام دهیم زیرا جالب است.” ما فکر می کنیم مخاطبان ما آن را دوست خواهند داشت. و بعد تمام شد. جستجوی هوش مصنوعی مزایای بیشتری دارد.”

لارا استیریس از سمت اندازه گیری در همان جهت هل می دهد. او هشدار می‌دهد که مردم داده‌های دید هوش مصنوعی را به‌عنوان «حقیقت مطلق در مقابل روند» می‌بینند، زیرا آنها همیشه روش‌شناسی پشت آن را درک نمی‌کنند، و بسیاری از فروشندگان، آنچه را که واقعا انجام می‌دهند بیش از حد می‌فروشند.”

بنابراین، من دانش متفاوت خود را با توصیه‌های ناشناخته موتور آنها ترکیب می‌کنم: خود کار (تخصص واقعی، کل منسجم، حضور در منابع همیشه در حال ظهور) یک استراتژی است که هر چهار موتور را با سرعت‌های مختلف تغذیه می‌کند.

کتاب بازی 4 مرحله ای

در اینجا چهار چیز است که من بر اساس مشاهداتم روی آنها تمرکز می کنم:

1. فهرستی از سوالات خریدار واقعی ایجاد کنید و آن را به صورت هفتگی دنبال کنید.سوالات را از تماس های فروش و چت های پشتیبانی، نه از ابزارهای کلیدواژه، انتخاب کنید. روش رونویسی تماس فروش اندی بهترین نسخه ای است که من دیده ام. هم تبلیغات و هم مخاطبین را در هر الگو ردیابی کنید.
2. دروازه بان های کلاس خود را در اطلاعات نقل قول پیدا کنید. تمام صفحات شخص ثالثی را که به جای شما به آنها پیوند داده شده اند فهرست کنید، تکرارها را بشمارید و مواردی را که ادامه دارند ارائه دهید. یک اضافه در صفحه ای که هر چهار مدل به آن اعتماد دارند، چهار تاکتیک خاص موتور را شکست می دهد.
3. روندها را بر اساس بیش از سه هفته داده ارزیابی کنید. با 30 تا 65 درصد گردش مالی هفتگی، عکس های جداگانه شما را به تعقیب ارواح وادار می کند.
4. به انجام اصول اولیه ادامه دهید. موتورها در مورد URL ها اختلاف نظر دارند، اما همه آنها به چیزهای اساسی یکسانی پاداش می دهند: تخصص واقعی، موجودیت های ثابت در وب و اعتبار سنجی شخص ثالث. به همین دلیل است که یک استراتژی می تواند به چهار موتور مختلف خدمت کند.

در پایان روز، این یک آزمایش سرگرم کننده است که من انجام دادم. اگر متوجه هر گونه ایراد یا باگ دیگری شدید، در لینکدین به من پیام دهید و من سعی می کنم آنها را برطرف کنم!