شما که این مطلب را میخوانید حتما برای ایندکس شدن مطلبتون به مشکل خورده اید. این مطلب را با دقت بخوانید تا مشکلات index شدن مطالب سایتتون رو بتونید برطرف کنید.

یکی از دغدغه هایی که بسیاری از وب سایت ها در دنیای اینترنت و کسب و کار آنلاین با آن ها مواجه هستند ایندکس نشدن مطالب و خدمات وب سایت می باشد.

بدون شک هر طراح سایت و صاحب سایتی دوست دارد که مطالب و خدماتی را که در وب سایت خود منتشر می کند بلافاصله در صفحات گوگل برای کاربران نمایش داده شود اما مسئله مهمی که اینجا وجود دارد این است که ایندکس شدن مطالب در گوگل چه گونه صورت می گیرید و اینکه برخی از مطالب وب سایت ایندکس نمی شوند چه چیز می تواند باشد.

ما در مقاله امروز می خواهیم به این موضوع بپردازیم که تگ noindex چیست؟ پیشنهاد می کنم این مقاله را تا انتها مطالعه کرده تا بتوانید به این آگاهی دست پیدا کنید که چرا برخی از مطالب و خدمات شما ایندکس نمی شوند.

ایندکس

برای شروع اینکه بخواهیم بدانیم تگ noindex چیست؟ ابتدا باید با مفهوم ایندکس آشنایی داشته باشیم.

تمام افرادی که در زمینه وب سایت فعالیت دارند بارها با این موضوع برخورد کرده اند و این اصطلاح را شنیده اند که فلان مطلب در گوگل ایندکس شده است.

اما برخی دیگر از افراد آگاهی چندانی از این موضوع ندارند. در حقیقت ایندکس به معنا و مفهوم فهرست شدن می باشد و زمانیکه شما با عبارت مطالب در گوگل ایندکس شده اند برخورد می کنید یعنی اینکه آن مطلب توسط گوگل پیدا شده است و قابل خواندن می باشد.

شما تصور کنید که گوگل همانند ذهن شما عمل می کند و هر آنچه که می بیند به نوعی در ذهن اون خاطره می شود. به همین سادگی خاطره ها در ذهن می مانند و شما آن ها را به یاد می آورید و این همان ایندکس شدن می باشد.

اغلب وب سایت ها بروزرسانی روزانه ندارند و این مسئله در ایندکس شدن مطالب و خدمات آن ها می تواند تاثیر گذار باشد. زمانیکه مطالب شما توسط گوگل ایندکس نمی شوند باید به دنبال علت و مشکل به وجود آمده باشید تا بتوانید آن ها را در اسرع وقت برطرف کرده و جان تازه ای که وب سایت خود بدهید تا بتوانید رتبه و جایگاه مناسبی را در نتایج جستجو گوگل بدست آورید.

تگ noindex چیست؟

نو ایندکس تگ پیغامی می باشد که به موتورهای جستجو هشدار می دهد که این صفحه از وب سایت نباید ایندکس شود اما دلیل اینکه ما نمی خواهیم برخی از صفحات از دید موتورهای جستجو مخفی بماند چیست؟

این موضوع را به خوبی می دانید که تمامی وب سایت ها دارای صفحات مختلفی می باشند که شما در جایگاه صاحبین وب سایت تمام تلاش خود را کرده اید تا سئو سایت موفقی داشته باشید تا بتوانید رتبه و جایگاه مناسبی را در نتایج جستجو در گوگل بدست آورید.

صفحات وب سایت شما می توانند از دیدگاه موتورهای جستجو کاربردی و یا غیر کاربردی تشخیص داده شوند. که مجموع صفحات سایت شما به اضافه صفحاتی که به وب سایت شما لینک داده اند باعث می شوند که سایت شما یک سایت ارزشمند و یا یک وب سایت بی ارزش شناخته شود.

حال برای اینکه صفحات اسپم وب سایت خود را بخواهید افزایش دهید تا صفحات مطالب و خدمات شما دارای ارزش بیشتری شوند نیاز دارید که از noindex استفاده کنید. که در مطالب بالا به اختصار توضیح داده ایم که تگ noindex چیست؟

استفاده از noindex

برایتان عنوان کردیم که تگ noindex چیست؟ حال بد نیست که بدانید از این تگ به صورت های مختلفی استفاده می شود که استانداردترین حالت استفاده از آن به شرح زیر می باشد.

  • به عنوان متاتگ
  • برای جلوگیری از محتواهای تکراری در http و https

شاید برای شما هم این مسئله پیش آمده باشد که در وبمستر تولز از گوگل این پیغام را دریافت کرده باشید که شما از تگ noindex استفاده کرده اید و باید این فایل را از پرونده سایت خود حذف نمایید و دلیل آن هم این است که خزنده های گوگل آن را نادیده می گیرند.

شما با استفاده از آموزش هایی که در این زمینه گوگل در اختیارتان قرار می دهد می توانید صفحاتی را که می خواهید از دید موتورهای جستجو مخفی نگه دارید با استفاده از نو ایندکس مخفی کنید.

اگر استفاده از تگ noindex را بدون دانش انجام دهید، این احتمال وجود دارد که به سایت خود آسیب برسانید. لطفا برای این کار از یک فرد خبره و با تجربه که کارهای مشابهی برای سئوی سایت های گوناگون انجام داده کمک بگیرید… خصوصا این سئوکار می بایست با موضوعاتی مانند tag و code آشنایی کامل داشته باشد.

تگ نو ایندکس (noindex) همان طور که از نامش پیداست، برای ایندکس نشدن صفحات وب استفاده می‌شود. اما چرا باید بخواهیم برخی از صفحات سایتمان در صفحه نتایج جستجو ایندکس نشوند و چگونه می‌توان این کار را انجام داد؟ این‌ها سؤالاتی است که در این مطلب به آن پرداخته‌ایم.

نو ایندکس noindex  به چه معناست؟

همان طور که می‌دانید، برای اینکه یک صفحه وب در صفحه نتایج موتورهای جستجو ظاهر شود، ابتدا باید توسط اسپایدرها یا همان ربات‌های موتور جستجو ایندکس شود.
در واقع وقتی ما کلیدواژه‌ای را در گوگل جستجو می‌کنیم، گوگل در میان صفحات ایندکس شده خود به دنبال آن می‌گردد. صفحاتی که اسپایدرهایش قبلاً آن را خزیده‌اند.
نو ایندکس دستوری است برای خزنده‌ها که به آن‌ها دستور می‌دهد یک یا چند صفحه مشخص از سایت را ایندکس نکنند.
این دستورالعمل اغلب به صورت یک متا تگ به کد منبع HTML صفحه وب اضافه می‌شود. البته روش‌های متنوعی برای no index کردن یک صفحه وب وجود دارد که در ادامه به آن‌ها خواهیم پرداخت.

کاربرد تگ noindex در سئو

دلایل متعددی می‌تواند باعث شود متخصصان سئو از تگ noindex استفاده کنند یا به عبارتی از موتورهای جستجو بخواهند صفحه‌ای را ایندکس نکنند.

  • محتوای تکراری

معمول‌ترین دلیل، جلوگیری از بروز خطای duplicate content یا محتوای تکراری است. وقتی بیش از یک نسخه از یک صفحه توسط موتورهای جستجو ایندکس شود (مثلاً نسخه قابل پرینت صفحه هم ایندکس شود) باعث ایجاد محتوای تکراری در سایت شده که در نتیجه آن، صفحه مذکور با افت رتبه مواجه خواهد شد.
البته دلایل دیگری نیز برای عدم تمایل وبمستران به ایندکس شدن صفحات وب وجود دارد که از آن جمله می وان به موارد زیر اشاره کرد:

  • محتوای ضعیف

بعضی صفحات وب هیچ سودی برای ایندکس شدن ندارند. این صفحات اطلاعات مفیدی برای کاربران به همراه نداشته و اصولاً کلیدواژه خاصی نیز ندارند. مثل صفحه «تشکر» که بعد از خرید یا دانلود نمایش داده می‌شود. هدف از طراحی این نوع صفحات صرفاً برقراری ارتباط دوستانه با کاربران و بازدیدکنندگان سایت است، نه کسب رتبه.
ایندکس شدن این صفحات، به دلیل محتوای غیرمفید و سطحی باعث افت رتبه کلی سایت خواهد شد.

تفاوت no index و disallow

دستور دیگری تقریباً مشابه دستور نو ایندکس وجود دارد با عنوان Disallow. اما تفاوت اینجاست که با دستور disallow به خزنده‌ها می‌گویید «صفحه مورد نظر را نخزند و اطلاعات آن را نخوانند». این در حالی است که با دستور no index به خزنده‌ها اجازه خزیدن صفحه داده می‌شود؛ اما از آن‌ها می‌خواهیم که «اطلاعات صفحه را در فهرست نتایج گوگل نشان ندهند یا به عبارت دیگر آن را ایندکس نکنند».

نحوه استفاده از تگ noindex

همان طور که گفته شد، روش‌های مختلفی وجود دارد برای اینکه به خزنده‌های موتورهای جستجو بگوییم صفحه یا صفحات مشخصی از سایتمان را ایندکس نکرده و آن را در صفحه نتایج موتورهای جستجو نشان ندهند. ساده‌ترین و مؤثرترین این روش‌ها استفاده از تگ noindex است.
این تگ به موتورهای جستجو می‌گوید که می‌توانند صفحه را بخزند (crawl کنند) اما نباید محتوای آن را در صفحه نتایج جستجو (SERP) نمایش دهند.
 برای این منظور باید یک برچسب در بخش «HEAD» HTML یا در هدرهای response اضافه کنید. برای دیدن اطلاعات سایت توسط موتورهای جستجو، این صفحه نباید در فایل robots.txt مسدود شده باشد (disallowed شده باشد).
اگر این صفحه از طریق پرونده robots.txt مسدود شده باشد، گوگل هرگز برچسب noindex را نمی‌بیند و ممکن است صفحه همچنان در نتایج جستجو ظاهر شود. برای اینکه به موتورهای جستجو بگویید صفحه شما را ایندکس نکنند، فقط موارد زیر را به بخش <head/> اضافه کنید:

<meta name=”robots” content=”noindex, follow”>

تفاوت تگ نو ایندکس و نوفالو

تگ نو ایندکس کل یک صفحه را از حضور در صفحات نتایج جستجو منع می‌کند؛ در حالی که تگ نوفالو فقط برای لینک‌های موجود در یک صفحه به کار می‌رود و به موتورهای جستجو می‌گوید «با اینکه من در این صفحه یک لینک گذاشته‌ام، اما مورد تأیید من نیست. آن را فالو نکن و امتیاز صفحه‌ام را تحت تأثیر آن قرار نده». علاوه بر این، وقتی از تگ نوفالو استفاده کنید، امتیاز صفحه شما نیز به صفحه مقصد منتقل نخواهد شد.

جلوگیری از ایندکس شدن صفحه با استفاده از متا تگ robots

یکی دیگر از روش‌های noindex کردن صفحات، استفاده از متاتگ robots در صفحاتی است که نمی‌خواهید ایندکس شوند.
برای این منظور کد زیر را در HTML تمام صفحاتی که نباید ایندکس شوند اضافه کنید:

<meta name=”robots” content=”noindex >

تفاوت متا تگ robots و تگ x-robots

خیلی مهم است که متا تگ robots را با تگ x-robots اشتباه نگیرید. چراکه تگ x-robots کل سایت را نو ایندکس می‌کند و در نتیجه آن کل سایت شما از صفحات نتایج گوگل (SERP) محو خواهد شد.
اگر برچسب X-Robots را به شکل X-Robots-Tag: “noindex” در هدر HTTP استفاده کنید، این اتفاق خواهد افتاد.

استفاده از تگ noindex در فایل robots.txt

فایل robots.txt نوعی فایل متنی حاوی نقشه سایت و یک سری دستورات برای خزنده‌ها است. وقتی خزنده‌ها به یک سایت می‌رسند، ابتدا این فایل را چک کرده و بر اساس مقررات آن عمل می‌کنند.
شما می‌توانید با قرار دادن دستور نو ایندکس در فایل robots.txt صفحاتی که نباید ایندکس شوند را به اطلاع خزنده‌ها برسانید.
مزیت استفاده از فایل robots.txt این است که به وسیله آن می‌توانید علاوه بر ممنوع کردن یک صفحه از ایندکس شدن، یک دایرکتوری کامل، یک تصویر یا فایل را به حالت نو ایندکس دربیاورید.
کافی است در این فایل دستور no index را نوشته و سپس آن را در گوگل کنسول ثبت کنید. در زیر یک نمونه دستور نو ایندکس را مشاهده می‌کنید:

Noindex: /robots-txt-noindexed-page/

مشکل استفاده از فایل robots.txt برای نو ایندکس کردن صفحات این است که گوگل اعلام کرده الزامی برای استفاده از این فایل برای خود نمی‌بیند. بنابراین ممکن است با اینکه ایندکس شدن صفحه‌ای را در این فایل ممنوع اعلام کنید، خزنده‌های گوگل بی‌توجه به دستور، آن صفحه را در فهرست نتایج نمایش دهند.
جمع بندی
با اینکه همواره هدف ما از تولید محتوا و ایجاد صفحات وب، دیده شدن در صفحه نتایج جستجوی گوگل و سایر موتورهای جستجو است، گاهی به دلایلی که اکثر آن‌ها به سئو سایت و کسب رتبه بهتر برمی‌گردد ترجیح می‌دهیم صفحات بی‌ارزش یا تکراری سایتمان در جستجوهای کاربران نمایش داده نشود. به این منظور روش‌های مختلفی پیش پای شما وبمستران قرار دارد که در این مطلب به آن‌ها پرداخته شد.
از میان سه روش نام برده شده، متاتگ robots و تگ نو ایندکس مناسب‌تر بوده و به هدف ما از noindexing نزدیک‌ترند.