هر وب سایتی تا حدودی به گوگل متکی است. دلیل آن بسیار ساده است: صفحات شما توسط گوگل ایندکس می­شوند و این امکان را برای کاربران فراهم میکند که شما را پیدا کنند. این تنها راهی است که کاربر را به سایت شما هدایت می­کند.

با این حال، همیشه هم اینطور آسان نیست. بسیاری از صفحات هرگز توسط گوگل ایندکس نمی­شوند.

اگر سرو کار شما با یک وب سایت است، به خصوص یک وب سایت بزرگ، احتمالاً متوجه شده ­اید که برخی از صفحات سایت شما ایندکس نمی­شوند و بسیاری از صفحات هفته­ ها منتظر می­مانند تا گوگل آنها را انتخاب و تایید کند.

عوامل مختلفی به این موضوع کمک می­کند. بسیاری از آنها همان عواملی هستند که در رتبه­ بندی ذکر شده است یعنی: کیفیت محتوا و لینک­ها که دو نمونه از این موارد هستند. گاهی اوقات، این عوامل نیز بسیار پیچیده و فنی هستند. وب‌سایت‌های مدرن که به شدت به فناوری‌های جدید وب متکی هستند، در گذشته با مشکلات ایندکس شدن مواجه بودند، و برخی هنوز هم با چنین مشکلاتی دست و پنجه نرم می­کنند.

بسیاری از افراد متخصص سئو هنوز هم بر این باورند که این گونه موارد کاملاً فنی است و گوگل را از ایندکس کردن محتوا باز می­دارد، اما این موضوع واقعیت ندارد. در حالی که اگر شما سیگنال‌های فنی ثابتی ارسال نکنید مبنی بر اینکه کدام صفحات را می‌خواهید که ایندکس شوند یا اگر بودجه خزش کافی ندارید، ممکن است گوگل صفحات شما را ایندکس نکند، به همان اندازه این امر مهم است که کیفیت محتوای شما و سازگاری آن اهمیت دارد.

اکثر وب سایت­های، بزرگ یا کوچک، دارای محتوای زیادی هستند که باید ایندکس شوند – اما همیشه هم اینطور نیست. در حالی که مواردی مانند جاوا اسکریپت ایندکس را پیچیده ­تر می­کند، وب سایت شما ممکن است با مشکلات جدی در زمینه
ایندکس شدن روبرو شود. حتی اگر با HTML خاصی نوشته شده باشد. در این مقاله، به بررسی برخی از رایج ترین این مشکلات و نحوه کاهش آنها میپردازیم.

دلایلی که گوگل صفحات شما را ایندکس نمی­ کند

با استفاده از ابزار custom indexing checker tool، یک نمونه بزرگی از محبوب­ترین فروشگاه­ های اینترنتی در ایالات متحده را از نظر مشکلات ایندکس شدن بررسی کردیم. متوجه شدیم که به طور متوسط، 15٪ از صفحات محصولات قابل ایندکس شدن آنها را نمی­توان در گوگل پیدا کرد.

نتیجه این بررسی بسیار شگفت انگیز بود. در اینجا این سوال مطرح می­شود: رایج‌ترین دلایلی که گوگل تصمیم می‌گیرد که صفحه ای را که از نظر فنی باید ایندکس شود، فهرست نکند چیست؟

سرچ کنسول گوگل وضعیت­های مختلف را برای صفحات فهرست نشده گزارش می‌کند، مانند:

«Crawled – currently not indexed» یا « Discovered – currently not indexed».

اگرچه این اطلاعات به صراحت به حل مشکل کمک نمی­کند، اما محل خوبی برای شروع تشخیص و بررسی چرایی این موضوع است.
مشکلات مهم در ایندکس نشدن سایت

بر اساس حجم نمونه بزرگی از وب‌سایت‌هایی که جمع‌آوری شد، مهم­ترین و رایج­ترین مشکلات ایندکس گزارش ‌شده توسط سرچ کنسول گوگل عبارتند از:

    “Crawled – currently not indexed ”  کرال شده – اما در حال حاضر ایندکس نشده است”

کرال شده – اما در حال حاضر ایندکس نشده است

در این مورد یعنی علیرغم اینکه گوگل از یک صفحه بازدید کرده، اما آن را ایندکس نکرده است.

بر اساس تجربه، باید بگوییم که این مشکل معمولاً ناشی از کیفیت محتواست. با توجه به رونق روز افزون فروشگاه های اینترنتی در دنیای امروز، می­توان انتظار داشت که گوگل از نظر کیفیت انتخابی­ تر و سخت پسند­تر شده است. بنابراین، اگر متوجه شدید که صفحات شما کرال شده – ولی در حال حاضر ایندکس نشده است، مطمئن شوید که محتوای آن صفحات منحصر به فرد و ارزشمند است:

1. از عناوین خاص و یونیک، توضیحات متای مناسب در تمام صفحات قابل ایندکس شدن استفاده کنید.
2. از کپی کردن توضیحات محصولات از منابع خارجی جداً خودداری کنید.
3. از تگ کنونیکال برای ادغام محتوای تکراری استفاده کنید.
4. با استفاده از فایل robots.txt یا تگ noindex، گوگل را از خزیدن یا ایندکس بخش­های بی کیفیت در وب سایت خود باز دارید.
5. “Discovered – currently not indexed” “یافت شده – اما در حال حاضر ایندکس نشده است”

افت شده – اما در حال حاضر ایندکس نشده است

این یکی از موضوعات مهم است که جای بسی تأمل و کار دارد، زیرا می­تواند همه چیز از مشکلات خزش گرفته تا کیفیت نامناسب محتوا را در بر گیرد. این مورد یک مشکل بزرگی است، به‌ویژه در مورد فروشگاه‌های بزرگ اینترنتی و دیده شده که این مورد برای ده‌ها میلیون URL در یک وب‌سایت بصورت جداگانه اعمال شده است.

اگر گوگل گزارش دهد که صفحات مرتبط با محصولات فروشگاه آنلاین که «کشف شده – اما در حال حاضر ایندکس نشده است» به دلایل زیر باشد:

    مشکل بودجه خزش: ممکن است URL های زیادی باشد که در صف خزش وجود دارد و احتمالاً بعدها قرار است که خزیده و ایندکس شوند.

    مشکل در کیفیت: ممکن است گوگل فکر کند که برخی از صفحات در آن دامنه ارزش خزیدن را ندارند و تصمیم بگیرد با جستجوی الگوی URL آنها از بازدید کردنشان منصرف شود.

حل این مشکل نیاز به تخصص دارد. اگر متوجه شدید که صفحات شما “یافت شده ­اند – اما در حال حاضر ایندکس نشده ­اند”، موارد زیر را اعمال کنید:

مشخص کنید که آیا الگوهایی از صفحات وب سایت شما در این دسته قرار می­گیرند یا خیر. شاید مشکل مربوط به دسته خاصی از محصولات شما باشد و این موضوع ربطی به کل دسته نداشته باشد؟ یا شاید بخش عظیمی از صفحات محصولات شما در صف انتظارند تا ایندکس شوند؟

    بهینه سازی بودجه خزش: روی مشاهده و بررسی صفحات با کیفیت پایین تمرکز کنید زیرا گوگل زمان زیادی را صرف خزیدن آنها می­کند. مواردی که روی آنها شک و گمان وجود دارد شامل صفحات دسته ­بندی و فیلتر شده یا صفحات جستجوی داخلی هستند – در یک سایت فروشگاهی معمولی این صفحات می­توانند به راحتی به تعداد ده ­ها میلیون برسند. اگر ربات گوگل بتواند آزادانه آنها را بخزد، ممکن است منابع لازم برای دسترسی به مطالب ارزشمند در وب سایت شما که در گوگل ایندکس شده است را نداشته باشد.

     محتوای تکراری

این موضوع به طور گسترده توسط مرکز آموزشی Moz SEO پوشش داده شده است. در اینجا فقط به این نکات اشاره می­کنیم که محتوای تکراری ممکن است به دلایل مختلفی ایجاد شود، از جمله:

تغییرات در گویش­های زبانی (به عنوان مثال زبان انگلیسی در بریتانیا، ایالات متحده، یا کانادا). اگر چندین نسخه از یک صفحه دارید که کشورهای مختلف را هدف قرار می­دهند، ممکن است برخی از این صفحات ایندکس نشده باشند.

 محتوای تکراری که توسط رقبای شما استفاده می­شود. این مورد اغلب در صنعت سایت فروشگاهی زمانی اتفاق می‌افتد که چندین وب‌سایت از همان توضیحات محصول ارائه‌شده توسط تولیدکننده محتوا استفاده می‌کنند.

علاوه بر استفاده از rel=canonical، 301 ریدایرکت یا ایجاد محتوای منحصر به فرد و خاص، ما روی ارائه ارزش خاص و منحصر به فرد برای کاربران تمرکز میکنیم.