به Puls خوش آمدید: این هفته به نحوه استفاده از 503 در خلال وقفه‌های کوتاه به‌روزرسانی PHP، آنچه robots.txt به خزنده‌ها و عوامل هوش مصنوعی می‌گوید، و چگونه Google URLهای پرانتز و تصاویر JPEG XL را مدیریت می‌کند، نگاه می‌کنیم.
در اینجا مواردی وجود دارد که برای شما و کار شما مهم است.
گوگل می گوید زمانی که سایت ها برای رفع مشکل PHP حذف می شوند، 503 را ارائه می دهد
در یک پست لینکدین در 21 اکتبر، مرکز جستجوی گوگل به هر کسی که سرورهای آفلاین را برای رفع PHP استفاده می کند یادآوری کرد که کد وضعیت 503 را بازگرداند. این پست در همان روز منتشر شد که PHP اصلاحات اضطراری دو باگ مهم را منتشر کرد.
مهمترین حقایق:
در این پست آمده است که 503 “تضمین می کند که URL های قبلاً فهرست شده در جستجو باقی می مانند” و به جلوگیری از صفحات خطای رایج 404 یا 200 اشاره کرد، و جان مولر گوگل نیز یادآوری را با Bluesky به اشتراک گذاشت که 503 ها نیازی به تحویل از طریق PHP ندارند. گوگل در اسناد فرکانس خزیدن خود، به کاربران توصیه می کند که کدهای وضعیت 503 را حداکثر به 1 تا 2 روز محدود کنند، زیرا ممکن است URL را در صورت بازگرداندن 503s برای چند روز، از فهرست خود حذف کنند.
چرا این مهم است
اگر سایت شما خطای 503 را به دلیل خرابی ناشی از رفع مشکل PHP برگرداند، باید از طریق موجودی که هنوز در دسترس است (یعنی در زمانی که PHP در دسترس نیست)، مانند یک قانون مسیریابی CDN یا یک سرور موقت که DNS به آن اشاره می کند، راه اندازی شود. بر اساس راهنمای تعلیق سایت گوگل، راه اندازی 503 در پاسخ به درخواست های robots.txt از همه خزیدن جلوگیری می کند.
مقاله کامل ما را بخوانید: گوگل به سایت‌ها یادآوری می‌کند که در زمان خرابی به‌روزرسانی PHP به 503 سرویس دهند
Illyes می گوید که قوانین استاندارد Robots.txt نمایه سازی را پوشش می دهد، نه دسترسی های بعدی
Gary Illyes گوگل در یک ویدیوی مرکز جستجو در 21 اکتبر اظهار داشت که طبق RFC 9309، استانداردهای robots.txt (قوانین robots.txt) تنها مواردی را که خزنده‌های سازگار مجاز به خزیدن هستند، دیکته می‌کنند. این دستورالعمل ها نحوه استفاده سیستم ها از محتوا را پس از نمایه شدن کنترل نمی کند.
مهمترین حقایق:
Ilyes robots.txt را یک “پروتکل مجوز” نامید و گفت که نگه داشتن یک خزنده هوش مصنوعی و اجازه دادن به دیگران به معنای هدف قرار دادن شناسه عامل کاربر آن خزنده است. فهرست خزنده‌های رایج Google، Google-Extended را به عنوان نشانه‌ای برای کنترل اینکه آیا محتوای خزیده شده توسط Google می‌تواند برای آموزش مدل‌های Gemini آینده و ایجاد Gemini Apps و Vertex AI مورد استفاده قرار گیرد یا خیر، مستند می‌کند و می‌گوید که این توکن بر گنجاندن در جستجوی Google تأثیری ندارد. Google-Extended یک خزنده مستقل نیست و رشته عامل کاربر HTTP خود را ندارد. پیش‌نویسی که ایلیز برای گروه ضربت مهندسی اینترنت نوشت، یک قانون دسترسی به محتوا را به فایل robots.txt اضافه می‌کند تا اولویت‌های استفاده را نشان دهد، اما همچنان یک سند کارگروه است و تأیید نشده است.
چرا این مهم است
یک قانون غیر مجاز در زیر شناسه خزنده می تواند به دور نگه داشتن خزنده از مسیرهای فهرست شده کمک کند. با استفاده از Google-Extended می توانید نحوه استفاده Google از محتوای نمایه شده در Gemini را محدود کنید. روش معمول برای بیان تمایل تمرین جدا از کاربرد نمایه سازی فقط به صورت پیش نویس موجود است.
مقاله کامل ما را بخوانید: Google’s Illyes: Robots.txt خزیدن را پوشش می دهد، نه آموزش هوش مصنوعی
Cloudflare و OpenAI Say A Pilot صفحات جدیدی برای جستجوی ChatGPT پیدا کردند
Cloudflare و OpenAI می گویند آزمایش آزمایشی به OpenAI کمک کرد تا صدها میلیون صفحه وب جدید را کشف و فهرست بندی کند و اطلاعات مفیدتری را به ChatGPT بدهد.
مهمترین حقایق:
این خلبان از یک گروه مشارکت‌کننده حدود 1 درصد از شبکه Cloudflare با سیگنال‌هایی استفاده می‌کند که به خزنده OpenAI در شناسایی صفحات کمک می‌کند. صفحاتی که وجود ندارند را رد کنید و در صورت به روز رسانی صفحه مطلع شوید. یک پست وبلاگی 15 اکتبر (تألیف دو کارمند OpenAI) خاطرنشان می کند که کشف صفحات جدید “ممکن است در ابتدا نمایه سازی را افزایش دهد” و نمی گوید که هر چند وقت یکبار به آن صفحات تازه شناسایی شده ارجاع داده می شود، یا تعداد بازدیدهایی که آن صفحات ایجاد می کنند، نمی باشد. علاوه بر این، در این پیام آمده است: “سیگنال مربوط به صفحه اجازه استفاده از آن را نمی دهد.”
چرا این مهم است
اسناد خزنده OpenAI بر اساس جستجو و آموزش تقسیم می شوند. یک وب‌سایت می‌تواند از ورودی‌های robots.txt مانند Allow for OAI-SearchBot و Disallow for GPTBot استفاده کند تا به خزنده بگوید که محتوای آن ممکن است برای اهداف آموزشی استفاده نشود. از آنجایی که OpenAI صفحات را به طور مستقل رتبه بندی می کند، پیام می گوید که فقط به این دلیل که وب سایت شما از طریق آزمایشی پیدا شده است به این معنی نیست که شما یک استناد دریافت خواهید کرد.
پوشش کامل را بخوانید: جستجوی ChatGPT ممکن است پس از اجرای آزمایشی Cloudflare صفحات بیشتری به دست آورد
مولر می گوید: براکت های خام و کدگذاری شده URL های متفاوتی هستند
جان مولر از Google در Bluesky در 19 اکتبر گفت که کروشه‌های مربع در URL و فرم‌های کدگذاری شده درصد آنها %5B و %5D نشانی‌های اینترنتی متفاوتی ایجاد می‌کنند.
مهمترین حقایق:
مولر به RFC 3986 (استاندارد نحوی URI که کروشه‌ها و علائم بعلاوه را ذخیره می‌کند) ارجاع داد و خاطرنشان کرد که اگر سایتی همان محتوا را در پاسخ به هر یک از نسخه‌های قالب URL برگرداند، مولر بیان می‌کند که Google هر کدام را فهرست می‌کند و موارد تکراری را حذف می‌کند، سپس یکی را انتخاب می‌کند. مولر با گفتن «یکی را انتخاب کنید» راه حلی ارائه کرد و توصیه کرد از آن به طور مداوم در تمام صفحات، از جمله پیوندها، برچسب‌های اولیه، نشانه‌گذاری‌های نقشه سایت و داده‌های ساختاریافته استفاده کنید. این با مستندات ساختار URL فعلی Google مطابقت دارد، که مستلزم کدگذاری نویسه‌های رزرو شده به صورت درصد است.
چرا این مهم است
وقتی پیوندها و برچسب‌های اولیه فرمت‌های خام و کدگذاری شده را با هم ترکیب می‌کنند، ممکن است Google تصمیم بگیرد که کدام نسخه را نگه دارد. اگر سایت فعلی شما در همه جا از بریس استفاده می کند، مولر گفت که انتظار دارد به کار خود ادامه دهد حتی اگر “سایت جدیدی مانند این راه اندازی نکند.”
پوشش کامل را بخوانید: Google URL های براکت خام و کدگذاری شده را به طور جداگانه فهرست می کند
JPEG XL توسط جستجوی تصویر Google یا پیش‌نمایش کشف پشتیبانی نمی‌شود
تصاویر JPEG XL در حال حاضر در جستجوی تصویر گوگل یا به عنوان پیش نمایش در Discover پشتیبانی نمی شوند، همانطور که جان مولر گوگل در Bluesky در 15 اکتبر به اشتراک گذاشته شد.
مهمترین حقایق:
پست او به دنبال پشتیبانی از JPEG XL در کروم 155 بود، که Google در 6 اکتبر به طور گسترده منتشر شد و فایرفاکس 158 در 13 اکتبر. اسناد SEO تصاویر Google BMP، GIF، JPEG، PNG، WebP، SVG و AVIF را به عنوان فرمت های تصویر پشتیبانی شده در ویژگی های JP و Xp عنصر img، p22 و XP فهرست می کند. مولر در پاسخ به سوالی درباره جایگزینی برای عنصر تصویر، گفت که این عنصر شامل یک عنصر img است “بنابراین در هر موتور جستجویی کار می کند.”
چرا این مهم است
استفاده از JPEG XL به عنوان منبع تصویر و فایل JPEG، WebP یا AVIF در عنصر img، فرمت پشتیبانی شده را در ویژگی src حفظ می‌کند، جایی که اسناد Google می‌گوید جستجو تصاویر را می‌خواند. راهنمای کشف گوگل به تگ‌های og:image و schema.org برای پیش‌نمایش تصاویر اشاره دارد، بنابراین آنها نیز باید به یکی از قالب‌های فهرست‌شده اشاره کنند.
پوشش کامل را بخوانید: تصاویر Google و پیش‌نمایش‌های کاوش از JPEG XL پشتیبانی نمی‌کنند
پیچای انتظار دارد که عوامل هوش مصنوعی با مرور و استفاده از پروتکل ها به سایت ها دسترسی داشته باشند
ساندار پیچای، مدیرعامل گوگل در مصاحبه ای با الکس هیث در پادکست Sources گفت که انتظار دارد عوامل هوش مصنوعی هم با مرور صفحاتی مانند انسان ها و هم با استفاده از پروتکل هایی که به طور خاص برای نمایندگان طراحی شده اند، به وب سایت ها دسترسی داشته باشند.
مهمترین حقایق:
پیچای گفت: “من فکر می کنم شما هر دو راه را دارید و آنها تکامل خواهند یافت.” او به شتاب پشت پروتکل‌های نمایندگی و پرداخت، از جمله پروتکل تجارت جهانی تحت حمایت گوگل اشاره کرد. او پروتکل ها را “رویکردی بسیار مقیاس پذیرتر” خواند اما گفت که انتظار دارد تکامل آنها بیشتر طول بکشد. بعداً در مصاحبه، او گفت که انتظار دارد ماموران یک تجربه متحد کننده در Hau و Gemini ارائه دهند.
چرا این مهم است
طبق گزارش پیچای، عواملی که مانند انسان صفحات را مرور می کنند، با تکامل پروتکل ها در تصویر باقی می مانند. نمایندگی‌های میزبان خود گوگل با نام Google-Agent مرور می‌کنند، که یکی از جستجوگرانی است که توسط کاربر آغاز می‌شود و گوگل می‌گوید معمولا قوانین robots.txt را دور می‌زند.
مقاله کامل ما را بخوانید: پیچای می‌گوید عوامل هوش مصنوعی روی صفحات کلیک می‌کنند و از پروتکل‌ها استفاده می‌کنند، و ساندار پیچای، مدیر عامل گوگل، جستجو را در لایه عامل جذب می‌کند.
موضوع هفته: هر سیگنال به چه چیزی می رسد
هر داستان این هفته در مورد سیگنالی است که خزنده ها و عوامل از یک وب سایت دریافت می کنند و آنچه می توانند به آن دسترسی داشته باشند. یک عدد 503 به گوگل می گوید که این قطعی فقط موقتی است (در بازه زمانی توصیه شده در اسناد گوگل). دستورالعمل فهرست‌سازی ممنوعه از ایندکس کردن محتوای صفحات شما توسط خزنده‌های سازگار جلوگیری می‌کند، اما استفاده از آن بعداً به کنترل‌هایی مانند Google-Extended و GPTBot بستگی دارد. با این حال، سیگنال جستجوی Cloudflare به OpenAI حق دسترسی به صفحه وب شما را نمی دهد. اینکه گوگل صفحه شما را با یک یا دو URL ببیند بستگی به این دارد که آیا براکت های مربع خام و کدگذاری شده را ترکیب کنید. در حال حاضر، فایل تصویر JPEG XL عنصر img با جستجوی تصویر گوگل قابل مشاهده نیست. عواملی که بر اساس ورودی کاربر بازیابی می‌شوند تا حدی خارج از فایل robots.txt هستند که توسط Google برای جستجوگران آغاز شده توسط کاربر تعریف شده است. گزارش‌های سرور ردیابی می‌کنند که خزنده‌ها از سرور شما درخواست کرده‌اند. با این حال، خزنده های خاص و کنترل خزیدن و دسترسی های بعدی در اسناد هر شرکت توضیح داده شده است.
محبوب ترین داستان های هفته:
منابع بیشتر:
تصویر ویژه: Cast Of Thousands / Shutterstock
