امروزه میلیون ها سایت وجود دارند در تمام سطح دنیا، که در رقابت هستند برای دیده شدن، گوگل طبق الگوریتم ها و معیارهای خود بهترین سایت ها را در نتایج خود به نمایش در میآورد.

ممکن است سایت شما ایندکس شده است ولی در صفحات اول نتایج دیده نمیشود، ابتدا مطمئن شوید که ایندکس نشده اید و بعد اقدامات لازم را انجام دهید،درصورتی که ایندکس نشده باشید مواردی هستند که عموما برای اکثر سایت هایی که ایندکس نشده اند بوجود می آید و قابل رفع شدن است ، بجز موارد خاص و نادری که ممکن است پنالتی شده باشند و تا مدتها گوگل از ایندکس کردن آن چشم پوشی میکند.بررسی مواردی که در ایندکس شدن مطالب تاثیر گذار است.

اگر بعد از بررسی متوجه شدید که سایت شما ایندکس  نشده است به دنبال علت  ایندکس نشدن سایت بگردید و رفع کنید.برای این کار ابندا به سراغ سرچ کنسول بروید زیرا خطاهای احتمالی از قبیل  خطای url  یا خطای سرور را از گوگل سرچ کنسول را متوجه میشوید.

مطئن شدن از ریدایرکت بودن ۴ حالت سایت، گاها سایت ما ترافیک مناسبی میتواند دریافت کند ولی ما فراموش کرده ایم که چهار حالت سایت را ریدایرکت کنیم و همین کار موجب شده گوگل فکر کند این ۴ سایت مجزا است،  مثلا حالت https://www  به کاربرنشان داده میشود ولی حالت های http://www و https و http بدون www روی حالت اولیه ریدایرکت نشده است.

دلیل دیگر ایندکس نشدن سایت ممکن است این باشد که سایت شما از نظر گوگل ایمن نیست ، هشدار های مرورگر یا گزارش غیرایمنی بودن سایت شما میتواند دلیل این باشد.

پیروی نکردن از دستورات گوگل سرچ کنسول نیز میتواند علت ایندکس نشدن سایت شما باشد.

عوامل مهم در دیده شدن و یا ایندکس نشدن سایت

  • محتوای قوی و نسبتا طولانی

ماباید در نظر داشته باشیم که حداقل تعداد کلمات متن مورد قبول توسط گوگل برای ایندکس شدن، ۳۰۰ کلمه است و هرچه بیشتر از این عدد باشد مثلا ۲۰۰۰ کلمه محتوای مفید، بسیار با ارزش است ، ولی به این معنا نیست که ما یک متن طولانی و با نوشتن موارد و مسائل غیر مهم و درحاشیه به طولانی کردن متن بپردازیم، گاها مشاهده میشود که سایت ها صدها محتوای کمتر از ۳۰۰ کلمه دارند و دیده نمیشوند، دلیل این اتفاق کم بودن تعداد کلمات از حداقل گوگل است، گاها سایت هایی با اینکه متنشان حدود ۳۰۰ کلمه است در جایگاه های یک و دو دیده میشوند، دلیل این نیز میتواند قدمت و اعتبار بالای سایت باشد، چرا که سایت با اعتبار اگر مطلب مفید اما کوتاهی درج کند از نظر گوگل قابل قبول تر است تا سایتی نوپا محتوای کم ارزش و گاها بی ارزش تولید کرده و ساعت ها راجب آن موضوع به گزافه گویی بپردازد

  • رفع خطاهای احتمالی سایت

ابزارهای گوگل نظیر  search Console (سرچ کنسول)  بسیار کمک فراوانی به ما میکند تا خطاهای ایندکس نشدن را مشاهده کنیم، و سپس به بررسی و رفع ایرادات بپردازیم،در بخش Coverage در سرچ کنسول خطاهای ۹۰ روز اخیر را به نمایش در می آورد
برخی ازآن خطاهای سرچ کنسول عبارتند از
خطای dns
خطای سرور
خطای روبوت (رایج ترین مورد )
خطای URL (آدرس صفحات )
خطای دسترسی رد شده
خطای Not followed

منبع: ایران سئو


۷ علت ایندکس نشدن سایت در گوگل

آیا تاکنون برایتان پیش آمده که در خصوص ایندکس کردن وب سایت خود با مشکل مواجه شوید؟ تاکنون از خودتان پرسیده اید که چرا گوگل سایت رو ایندکس نمیکند؟ به نظرتان دلیل عدم نمایش سایت در سرچ گوگل چیست؟ در هنگام بروز چنین اتفاقی چه کار می کنید؟ احتمالا بهترین راه حل این است که به حساب سرچ کنسول خود مراجعه کرده و با مطالعه گزارش های مربوطه، در جستجوی علت ایندکس نشدن سایت در گوگل باشید. اما اگر تاکنون به بخش coverage سرچ کنسول خود مراجعه نکرده اید، ممکن است با مشاهده ارورهای قرار گرفته در این قسمت شوکه شوید. اگر چنین شد اصلا نگران نباشید. چرا که ما قصد داریم در این مقاله از پایگاه دانش میزبان فا به بررسی علت ایندکس نشدن سایت در گوگل و روش مناسب برای رفع ارورهای آن بپردازیم. گزارش های وضعیت ایندکس را به کمک آموزش زیر تحلیل کنید. 🙂

دلیل عدم نمایش سایت در سرچ گوگل چیست؟

بخش ارورهای ایندکس سرچ کنسول با نام coverage در پیشخوان این ابزار قرار گرفته است. در این بخش ارورهای وب سایت به صورت کلی به نمایش گذاشته می شوند. error هایی که در گزارش coverage می توانید مشاهده نمایید در واقع ارورهایی هستند که روی عملکرد وب سایتتان به صورت کلی تاثیر می گذارند. در بخش coverage سرچ کنسول گوگل می توانید موارد مربوط به ۹۰ روز گذشته که باعث ایندکس نشدن سایت می شوند را به صورت کامل بررسی نمایید.

بهتر است که هر روز به سرچ کنسول خود مراجعه کرده و به بررسی ارورهای موجود در گزارش coverage بپردازید. در ادامه نیز اقدام به رفع آنها نمایید. ممکن است در ابتدا همه چیز خوب به نظر برسد و برایتان یکنواخت باشد. اما این کار باعث می شود که ارورهای مهم و تاثیرگذار وب سایت خود را خیلی سریع پیدا کرده و درصدد حل آن ها برآیید. اگر فرصت بررسی روزانه سرچ کنسول خود را ندارید نیز می توانید در کمتر از ۹۰ روز برای این کار اقدام کنید. بدین ترتیب قبل از از دست رفتن اطلاعات ۹۰ روز پیشین؛ می توان به رفع ارورهای حاضر اقدام کرد.

همانطور که پیش تر گفته شد دسته بندی ارورهای موجود در بخش coverage سرچ کنسول گوگل مشخص هستند. در ادامه به معرفی و نحوه رفع هر یک از آنها خواهیم پرداخت.

۱. ایندکس نشدن سایت به دلیل خطاهای سایت

ارورهایی که در این دسته قرار می گیرند تمام وب سایتتان را تحت تاثیر قرار می دهند. به همین دلیل از خطاهای سایت به عنوان خطاهایی با اهمیت بالا یاد می شود. در ادامه انواع خطاهایی که می توانند عملکرد کل سایت را تحت تاثیر قرار دهند را به شما معرفی خواهیم نمود.در این مقاله ابتدا می آموزیم که به صورت فنی چه مواردی ممکن است موجب ایندکس نشدن محتوا گردند، و در مقاله تکمیلی یاد می گیریم که هر کدام از این خطا ها تحت چه عنوانی در کنسول گوگل نمایش داده می شوند و چطور می توانیم آن ها را رفع کنیم.

خطای DNS

ارورهای DNS برای مدیریت یک وب سایت از اهمیت بسیار زیادی برخوردارند و می توانند روی ایندکس نشدن سایت در گوگل نقش مهمی را ایفا کند. DNS مخفف عبارت Domain Name System به معنای سیستم نام دامنه است. خطاهای dns اولین و مهم ترین خطایی هستند که می توان به آن ها اشاره نمود.

داشتن مشکل dns به این معنا است که ربات گوگل به دلیل dns timeout یا مشکل dns lookup نمی تواند به دامنه شما متصل شود. همه دامنه ها به طور قطع توسط یک شرکت ارائه دهنده خدمات هاستیگ میزبانی می شوند. اگر با چنین مشکلی مواجه شدید، باید سریعا برای رفع آن اقدام کنید. چرا که در واقع اولین مرحله دسترسی ربات های گوگل به وب سایتتان همین مرحله است.

رفع خطای dns

به منظور رفع خطای dns که نتیجه آن ایندکس نشدن سایت است، باید به تریتب زیر پیش بروید:

  1. در گام اول بهتر است از ابزار URL inspection سرچ کنسول گوگل استفاده نمایید تا متوجه شوید ربات گوگل به چه شکلی صفحه مربوط به URL مورد نظر را crawl می کند.
  2. اگر گوگل نمی تواند صفحه مورد نظر را به درستی fetch کند، نیاز است که اقدامات بیشتری را داشت باشید. در این حالت می توانید به تنظیمات dns خود مراجعه کرده و مشکل را مورد بررسی قرار دهید.
  3. بررسی کنید که آیا  که سرور میزبانتان ارور ۴۰۴ یا ۵۰۰ را نمایش می دهد یا خیر. در این حالت سرورتان به جای نمایش failed connection باید ارور ۴۰۴ (not found) یا ارور ۵۰۰ (server error) را نشان دهد. این ارورها در مقایسه با خطای dns دقیق تر است.

خطاهای سرور (server errors)

یکی دیگر از دلایل ایندکس نشدن سایت خطای سرور است. این خطا اغلب به این معنا است که زمان پاسخگویی سرور بیش از اندازه طولانی می شود. به همین دلیل با خطای سرور رو به رو می شوید. ربات های گوگل در هنگام خزیدن در وب سایت می توانند تنها یک بازه زمانی مشخص را برای بارگذاری سایت صبر کنند. اگر زمان بارگذاری بیش از اندازه طولانی شود، ربات گوگل دست از تلاش برای crawl کردن وب سایتتان برمی دارد.

خطاهای سرور با خطاهای dns تفاوت دارد. خطای dns به این معنا است که ربات های گوگل به دلیل مشکلات موجود حتی امکان پیدا کردن URL شما را نیز ندارد. در حالی که در خطاهای سرور، ربات های گوگل می توانند به یک وب سایت متصل شوند اما به دلیل وجود مشکلات نمی توانند صفحه را بارگذاری کنند. یکی از دلایل بروز خطای سرور ورود ترافیک بیش از اندازه به وب سایتتان است. برای جلوگیری از وقوع چنین اتفاقی باید اطمینان حاصل کنید که سرویس ارائه دهنده میزبانی وب شما می تواند در هنگام ورود ترافیک بالا، آنها را مدیریت نماید.

رفع خطای سرور

در هنگام بروز چنین اتفاقی در وب سایت خود باید از ابزار URL inspection استفاد کنید تا متوجه شوید که ربات های گوگل می توانند وب سایتتان را crawl کنند یا نه. اگر گوگل سرچ کنسول توانست بدون هیچ مشکلی صفحه اصلی وب سایت را پیدا کند، می توانید اطمینان پیدا کنید که گوگل امکان دسترسی به سایتتان را دارد. در غیر این صورت علت ایندکس شدن سایت خطای سرور است.

خرابی robots

در این حالت ربات گوگل نمی تواند فایل robots.txt را بازیابی کند و این امر منجر به ایندکس نشدن سایت می شود. شاید برایتان جالب باشد که بدانید تنها زمانی استفاده از فایل robots.txt ضرورت پیدا می کند که قصد داشته باشید دسترسی گوگل به برخی از صفحات خود را محدود کنید. اگر قصد دارید موتورهای جستجو تمامی اطلاعات موجود در وب سایتتان را ایندکس کند، نیازی به فایل robots.txt ندارید.

رفع خطای robots

اطمینان حاصل کنید که فایل robots.txt به شکل درستی پیکربندی شده باشد. بررسی کنید که در این فایل دسترسی گوگل به کدام یک از صفحات را محدود کرده اید. تمامی خطوط /:Diwallow نوشته شده در فایل robots.txt خود را بررسی نمود و اطمینان حاصل کنید که دسترسی همه لینک های تعیین شده به خواست خودتان محدود شده است.

۲. ایندکس نشدن سایت به دلیل خطاهای URL

خطاهایی که در این دسته قرار می گیرند با خطاهای سایت تفاوت دارند. چرا که این خطاها تنها یک صفحه مشخص وب سایت را تحت تاثیر قرار می دهند و همانند ارورهای سایت به تمام وب سایت کاری ندارند. بسیاری از سایت ها ممکن است با حجم بسیار بالایی از ارورهای URL رو به رو شوند و همین امر باعث نگرانی آنها شود. اما خبر خوب این است که می توان با استفاده از بخش coverage سرچ کنسول جدید گوگل  ارورهای این بخش را به صورت دسته بندی شده مشاهده و اقدام به رفع آنها نمایید. بعد از رفع آن نیز می توان با استفاده از اعتبارسنجی آن در خصوص رفع این ارورها اطمینان حاصل کنید.

خطای ۴۰۴

این ارور در واقع یکی از گیج کننده ترین خطاهایی است که در بحث crawl و ایندکس نشدن سایت وجود دارد. زمانی که ربات های گوگل تلاش می کنند تا صفحه ای که آدرس آن دیگر معتبر نیست را crawl کنند، با ارور ۴۰۴ مواجه می شوند. حال با توجه به اینکه یک عامل نرم افزاری سبب این اتفاق شده است یا اینکه صفحه مورد نظر دیگر وجود ندارد، می توان این ارور را به دو دسته soft و hard تقسیم کرد.

خطای ۴۰۴ hard

این خطا یکی از پیچیده ترین و در عین حال ساده ترین اروری است که می توان با آن رو به رو شد. خطای ۴۰۴ زمانی اهمیت خود را بیشتر نشان می دهد که برای صفحات مهم وب سایت به نمایش گذاشته شود. این خطا زمانی خود را نشان می دهد که صفحه مورد نظر دیگر وجود خارجی نداشته باشد. در نتیجه زمانی که کاربر یا ربات های گوگل وارد آن صفحه می شوند با این ارور مواجه می شوند.

رفع خطای hard 404

به منظور رفع این خطا باید به طریق زیر عمل کنید:

  1. در گام اول باید اطمینان حاصل کنید که صفحه مورد نظر را از طریق سیستم مدیریت محتوا منتشر کرده اید. محتوا نباید از این قسمت حذف شده باشد همچنین بررسی کنید در حالت پیشنویس قرار نگرفته باشد.
  2. سپس لازم است که مطمئن شوید که URL مربوطه صحیح است و مشکلی ندارد.
  3. در گام بعد باید بررسی کنید که این ارور در حالت www نشان داده می شود یا اینکه زمانی که بدون www جستجو می شود، مشاهده می شود. همچنین این موضوع را برای نسخه https یا نسخه http لینک مورد نظر نیز امتحان نمایید.
  4. اگر می خواهید صفحه به صورت ریدایرکت نشان داده شود باید اطمینان حاصل کنید که لینک مورد نظر به یک صفحه مرتبط مناسب ریدایرکت ۳۰۱ داده می شود.

در ساده ترین حالت باید گفت که اگر صفحه مرده است، باید دوباره آن را زنده کنید. اگر هم نمی خواهید جان دوباره ای به آن صفحه بدهید، پس لازم است که آن را روی یک صفحه مناسب دیگر redirect کنید.

خطای soft 404

خطای soft 404 زمانی رخ می دهد که اعتبار آدرس یک صفحه به خاطر عاملی نرم افزاری اعتبار خود را از دست بدهد. این عامل می تواند رول هایی که در htaccess تعریف شده اند، افزونه ها یا هر مورد مشابه دیگر باشد. زمانی که یک کاربر با پیغام ۴۰۴ رو به رو می شود، متوجه این نکته خواهد شد که آن صفحه دیگر وجود ندارد. اما در خطای soft 404 ماجرا کمی متفاوت است.

رفع خطای soft 404

به منظور رفع مشکل مربوط به صفحاتی که دیگر وجود ندارند، باید موضوعات زیر را در نظر داشته باشید:

  • اگر صفحه ای از بین رفته است و هیچ ترافیک یا لینک مهمی را دریافت نمی کند، اجازه دهید ارور ۴۰۴ یا ۴۱۰ نمایش داده شود. البته باید اطمینان حاصل کنید که پاسخی که ارور ۴۰۴ یا ۴۱۰ ارائه می شود و کد ۲۰۰ نشان داده نمی شود.
  • صفحات قدیمی را با استفاده از ریدایرکت ۳۰۱ به صفحات مرتبط در سایت خود redirect کنید.
  • توجه داشته باشید تعداد زیادی از این صفحات مرده را به صفحه اصلی خود ریدایرکت نکنید. این صفحات یا باید خطای ۴۰۴ را نشان دهند یا اینکه به یک صفحه مرتبط مناسب ریدایرکت شوند.
    می توانید به کمک آموزش ساخت صفحه ۴۰۴ در وردپرس یک صفحه اختصاصی برای خود طراحی کنید تا در چنین مواقعی نمایش داده شود.

اگر صفحات شما زنده هستند اما خطای ۴۰۴ را نشان داده می شود، باید اقدامات زیر را داشته باشید:

  • اطمینان حاصل کنید که محتوای کافی در صفحه مورد نظر وجود داشته باشد. چرا که در برخی از موارد صفحاتی که محتوایی ندارند یا محتوای آنها کم است، خطای soft 404 ارائه می دهند.
  • همچنین باید مطمئن شوید که در حین نشان دادن کد ۲۰۰، صفحه به صورت ۴۰۴ نشان داده نمی شود.

شناخت و درک خطای soft 404 کمی دشوار است. چرا که صفحات دارای این خطا به نوعی میان یک صفحه عادی بودن و یک صفحه با خطای ۴۰۴ گیر افتاده اند. به همین دلیل باید اطمینان حاصل کنید که صفحات مهم و اصلی سایت شما خطای soft 404 را نشان نمی دهند.

خطای Access denied

زمانی با خطای دسترسی رد شد رو به رو می شوید که ربات گوگل به دلیل نداشتن مجوز دسترسی نتواند صفحه وب سایتتان را crawl کند. دلایلی که سبب بروز این خطا می شوند، عبارتند از:

  • کاربران برای اینکه بتوانند URL سایتتان را مشاهده نمایند، باید ابتدا در سایت ثبت نام کنند. به همین دلیل ربات گوگل نیز نمی تواند به آن دسترسی پیدا کند.
  • از طریق فایل robots.txt دسترسی گوگل به یک URL، فولدر یا کل سایت بلاک شده است.
  • سرویس ارائه دهنده میزبانی وب، دسترسی ربات گوگل به وب سایتتان را بلاک کرده است یا سرور نیاز دارد که کاربران توسط پروکسی اعتبار خود را تایید کنند.
  • و…

مطمئنا زمانی که دسترسی ربات های گوگل به وب سایتتان محدود شده باشد، در زمینه ایندکس شدن محتوا دچار مشکل خواهید شد. به همین دلیل بررسی این موضوع و حل آن امری مهم است.

رفع خطای Access denied

به منظور رفع خطای access denied برای از بین بردن مشکل ایندکس نشدن سایت باید تمامی عواملی که دسترسی googlebot را محدود کرده اند، حذف نمایید. این عوامل عبارتند از:

  • صفحاتی که می خواهید گوگل آنها را crawl کند را از حالت نیاز به ثبت نام خارج کنید.
  • فایل robots.txt را بررسی کنید تا اطمینان حاصل کنید که صفحات مورد نظرتان در لیست بلاک آن قرار نگرفته اند.
  • با استفاده از URL inspection می توانید بررسی کنید که آیا موتور جستجو گوگل می تواند وب سایتتان را نمایش دهد یا نه.

مشکلات مربوط به access denied می تواند روی رتبه سایت شما تاثیر بگذارد. به همین دلیل بررسی ارورهای مربوط به مجوز دسترسی از اهمیت بسیار بالایی برخوردار است.

خطای Not followed

نباید این خطا را با ارور «nofollow» در بحث لینک دهی اشتباه بگیرید. مورد «not followed» در واقع به این معنا است که گوگل نمی تواند یک URL مشخص را دنبال کند. بیشتر اوقات این خطا به این دلیل پیش می آید که گوگل هنوز با خواندن محتوای Flash، کدهای Javascript و مقوله ریدایرکت شدن مشکل دارد. به همین دلیل اگر صفحات اصلی دچار مشکل not followed شده اند، باید برای رفع آن ها اقدام نمایید.

رفع خطای Not followed

گوگل ویژگی هایی را که موتورهای جستجو در هنگام crawling با آنها مشکل دارند را مشخص نموده است. این ویژگی ها عبارتند از:

  • JavaScript
  • Cookies
  • Session IDs
  • Frames
  • DHTML
  • Flash

اگر صفحه ای که با مشکل مواجه شده است یکی از ویژگی های بالا را دارد، پس دلیل خطای موجود را پیدا کرده اید. زمانی که محتوا و لینک های قرار گرفته در یک صفحه قابل دیدن نباشد، ربات های گوگل نیز نمی توانند آن صفحه را crawl کرده و همین امر سبب ایندکس نشدن سایت می شود. پس در خصوص حذف عامل مربوطه اقدام نمایید. مورد دیگری که به عنوان عامل خطای not followed به آن اشاره شد ریدایرکت شدن صفحه بود. در این خصوص باید کارهای زیر را انجام دهید:

  • زنجیرهای ریدایرکت را بررسی کنید. اگر این زنجیر دارای هاپ یا جهش زیادی باشد، گوگل آن ها را دنبال نمی کند.
  • در صورتی که فرصت کافی داشتید، به جای استفاده از redirect سعی کنید معماری وب سایت خود را بروز رسانی کنید.
  • URL های ریدایرکت شده خود را در نقشه سایت قرار ندهید. در سایت مپ تنها باید URL نهایی قرار گرفته باشد.

خطاهای dns و server

در زیر مجموعه خطاهای URL می توان خطاهای dns و سرور را نیز دوباره در نظر گرفت. البته روش حل و مدیریت این دسته از ارورها برای یک URL مشخص با تمام یک وب سایت یکی است. به همین دلیل روش رفع این خطاها که باعث ایندکس نشدن سایت می شوند را در قسمت جداگانه ای توضیح نمی دهیم. اما تفاوت هایی که در این زمینه وجود دارد که باید آنها را در نظر گرفت. اگر شما یک پیکربندی مجزا برای URL های خاص دامنه خود دارید باید آنها را در دسته خطاهای URL قرار دهید.

در این مقاله از پایگاه دانش میزبان فا تلاش بر این بوده است که اطلاعات جامعی درباره انواع ارورهایی که می توانند علت ایندکس نشدن سایت در گوگل باشند را به شما معرفی نماییم. همچنین روش رفع هر یک از این خطاها نیز به شما آموزش داده شد. امید است که اطلاعات قرار گرفته در این مقاله برای شما مفید واقع شده باشد.