خیلی وقت ها ممکن است که شما یک سایت را بطور کلی تغییر دهید، این تغییر ممکن است در نحوه آدرس دهی صفحات یا بطور کلی در محتوای ارائه شده در آن باشد. همچنین در بسیاری موارد یک یا چند صفحه خاص در سایت شما ممکن است کارایی و ارزش گذشته را نداشته باشند و شما مجبور به حذف آنها از سایت خود شوید. در این شرایط با ارورهای زیادی در وبمستر مواجه خواهید شد.

Crawl Errors در گوگل وبمستر چیست؟ آموزش کار با آن

Crawl Errors چیست؟ بخش Crawl Errors در اکانت وبمستر گوگل آدرس صفحاتی از سایت شما را نشان میدهد که گوگل امکان بررسی و خزیدن در آنها را ندارد. خود روبرو خواهید شد.

ابزار Removals که بعنوان زیرمجموعه ای از بخش Index در اکانت سرچ کنسول قرار گرفته است به شما این امکان را میدهد که صفحات خاصی از سایت خود را برای حذف از نتایج گوگل معرفی کنید.

نحوه کار با ابزار Removals

با ورود به این بخش و با فضایی مشابه تصویر زیر روبرو می‌شویم. اولین گزینه فعال در این بخش Temporary Removals است که وظیفه اصلی آن ارسال درخواست حذف صفحه از نتایج یا Cache گوگل است.

با فشردن دکمه New Request پنجره جدیدی به ما نمایش داده می‌شود تا آدرس صفحه مورد نظر را وارد کرده و درخواست خود را ثیت کنیم. کمی جلوتر با هم خواهیم دید.

در بخش Submitted Requests نیز لیستی از آخرین درخواست‌های ما شامل آدرس صفحه، نوع درخواست، زمان ارسال و وضعیت نمایش داده می‌شود.

حذف موقتی صفحه از گوگل وبمستر

پس از فشردن دکمه New Request امکان ارسال دو نوع درخواست برای یک صفحه را داریم که عبارتند از:

Temporarily remove URL

در این بخش آدرس یک صفحه از سایت خود را وارد کرده و یکی از دو گزینه موجود را انتخاب می‌کنیم. گزینه اول به معنی حذف همین صفحه از نتایج جستجو و گزینه دوم برای حذف این صفحه و همه آدرس‌های بعد از آن است.

به عنوان مثال با وارد کردن https://websima.com/blog اگر گزینه اول را انتخاب کنیم تنها همین آدرس از نتایج حذف می‌شود و با انتخاب گزینه دوم همه صفحات وابسته به این آدرس مثل https://websima.com/blog/article نیز از نتایج جستجو حذف می‌شوند. در واقع با انتخاب گزینه دوم یک فولدر را حذف کرده‌ایم.

Clear cached URL

انتخاب این گزینه صفحه مورد نظر را بطور کلی از نتایج گوگل حذف نمیکند بلکه تنها ایندکس گوگل از این صفحه سایت را به طور موقتی پاک میکند. به عبارت دیگر این گزینه زمانی کاربرد دارد که شما تغییرات اساسی در محتویات یک صفحه از سایت خود ایجاد کرده باشید و خواهان بازبینی و ایندکس مجدد آن توسط گوگل هستید.

البته ارسال درخواست برای ایندکس مجدد از طریق ابزار URL Inspection شانس ایندکس صفحه جدید را افزایش می‌دهد. ولی این ابزار به ما اجازه می‌دهد که مجموعه‌ای از صفحات مثلا همه مقالات یک دسته بندی را برای بررسی مجدد ارسال کنیم.

در نهایت این آدرس به لیست انتظار حذف از نتایج گوگل افزوده شده و مورد بررسی روبات های گوگل قرار خواهد گرفت. پس از تایید صفحه مورد نظر همچنان در لیست نتایج جستجو حضور خواهد داشت ولی نسخه Cache از گوگل پاک شده و با ایندکس بعدی مجدد در دسترس قرار می‌گیرد.

برای مشاهده نسخه Cache صفحات سایت خود در گوگل، پس از نمایش در نتایج جستجو بر “فلش رو به پایین” کنار آدرس کلیک کرده و گزینه Cache را بزنید.

حذف کل صفحات سایت از گوگل

اگر در این ابزار آدرس دامنه سایت را وارد کرده و گزینه Remove all URLs with this prefix را انتخاب کنیم عملا درخواست حذف صفحات سایت را به گوگل ارسال کرده‌ایم. این قابلیت چه زمانی کاربرد دارد؟

فرض کنید به تازگی یک دامنه که قبلا فعال بوده است را خریداری کرده‌ایم. با توجه به فعالیت‌های پیشین این دامنه صفحات زیادی در گوگل ایندکس شده است که در حال حاضر بر روی سایت ما وجود ندارند یا حتی از نظر موضوعی به سایت ما نامرتبط هستند. در این شرایط می‌توانیم همه صفحات ایندکس شده را از نتایج جستجو حذف کرده و محتوای جدیدی بر روی سایت قرار دهیم.

نکته بسیار مهم هنگام کار با این ابزار Temporary یا موقت بودن درخواست‌ها است. هر درخواستی که ثبت می‌کنیم تنها تا ۹۰ روز معتبر بوده و پس از آن به صورت خودکار غیرفعال می‌شود. اگر صفحه معرفی شده همچنان بر روی سایت ما وجود داشته باشد ربات‌های گوگل مجدد آن را بررسی و ایندکس خواهند کرد.

به بیان دیگر درخواست ما در این بخش به معنی حذف دائمی صفحات سایت نیست و برای اطمینان از اینکه مجدد ایندکس نشوند یا باید صفحه مورد نظر را از سایت خود حذف کرده باشیم و یا با استفاده از ویژگی Noindex یا فایل Robots.txt دسترسی ربات‌های گوگل را به آن مسدود کنیم.

انصراف از حذف یک صفحه

اگر هنگام ورود آدرس خطایی رخ داد و گزینه اشتباهی را انتخاب کردیم، میتوانیم درخواست مورد نظر را از لیست پیدا کرده و آن را Cancel کنیم. تصویر زیر مراحل کار را به ما نشان می‌دهد.

اگر درخواست ما هنوز در وضعیت بررسی باشد هیچ تغییری در وضعیت ایندکس صفحه ایجاد نخواهد شد ولی اگر تایید شده باشد عملا بازه ۹۰ روزه درخواست را غیرفعال کرده‌ایم. به عنوان مثال ما ۳ روز قبل درخواستی را برای حذف یک صفحه ارسال کردیم و حالا به درستی از نتایج خارج شده است. اگر درخواست خود را cancel کنیم؛ یا آن صفحه هنوز در دسترس گوگل است و مجدد ایندکس می‌شود یا اینکه با توجه به حذف از سایت ما تا همیشه در دسترس گوگل نخواهد بود.

این قابلیت برای زمانیکه کل صفحات یک سایت قدیمی را حذف می‌کنیم بسیار کارآمد است. چرا که بعد از حذف صفحات قدیمی می‌توانیم درخواست خود را لغو کرده و اجازه ایندکس آدرس‌هایی که به تازگی تولید کرده‌ایم را به گوگل بدهیم.

البته استفاده از این ابزار همیشه توصیه نمیشود. برای مطالعه بیشتر درباره موارد تذکر داده شده توسط گوگل در عدم استفاده از remove URLs به صفحه When NOT to use the URL removal tool مراجعه کنید.