محتوای تکراری یا اصطلاحا Duplicate Content، محتواییست که در چند جا از اینترنت به طور یکسان وجود دارد. منظور از جا در اینجا، یک آدرس اینترنتی یا همان URL است. بنابراین اگر یک محتوای سایت شما در چند یو آر ال مشاهده گردد، با مشکل محتوای تکراری روبرو هستید.
در حالی که شاید محتوای تکراری باعث جریمه سایت شما نشود، اما در بسیاری از مواقع باعث افت رتبه سایت در نتایج جستجو می گردد. هنگامی که یک محتوای تقریبا یکسان در چند آدرس اینترنتی وجود دارد، برای گوگل دشوار می شود که از بین این آدرس ها، کدام یک را در هنگام جستجو به کاربران نشان دهد.

چرا توجه به Duplicate Content مهم است؟

محتوای تکرای از دید موتورهای جستجو و صاحبین سایت ها اهمیت دارد.

از دید موتورهای جستجو

محتوای تکراری موجب سه مشکل اساسی برای موتورهای جستجو می گردد:

1. آنها نمی دانند که کدام نسخه از محتوا را وارد شاخص اصلی خود کنند.
2. آنها نمی دانند که میزان اعتبار محتوا را به یکی از آدرس ها اختصاص داده یا بین همه تقسیم کنند.
3. آنها نمی دانند که کدامیک از آدرس ها را در SERP (صفحه نتایج جستجو)، نمایش دهند.

از دید صاحبین وب سایت ها

هنگامی که محتوای تکراری در سایت به وجود می آید، صاحبین سایت ها از افت رتبه سایت ضربه خواهند دید. این مسئله به دو قسمت تقسیم می شود:

1. موتورهای جستجو برای نمایش بهترین نتایج، به طور نادری چند نسخه از یک محتوا را نمایش می دهند و بنابراین مجبور به انتخاب یکی از چند نسخه محتوا در سایت می گردند. این حالت موجب کاهش نمایش هر یکی از محتواهای تکراری در نتایج جستجو می گردد.
2. سایر سایت ها نیز مجبورند یکی از چند نسخه لینک ها را انتخاب کنند، در نتیجه ارزش بک لینک کاهش پیدا می کند. در این حالت به جای اینکه وب سایت ها فقط به یک نسخه از محتوا لینک دهند، ناخواسته به چندین آدرس از آن محتوا لینک داده می شود و در نتیجه اعتبار بک لینک ها کاهش پیدا می کند. چون بک لینک ها یکی از فاکتورهای رتبه بندی صفحات محسوب می شوند، این مسئله بر تعداد نمایش یک محتوا در نتایج جستجو تاثیر منفی می گذارد.

نتیجه کلی: محتوای سایت شما از نمایش خوبی در نتایج برخوردار نمی شود و رقبایی که محتوای تکراری ندارند، از شما سبقت می گیرند.

چگونه مشکل محتوای تکراری ایجاد می شود؟

در بسیاری از موارد مشاهده شده، صاحبین سایت ها نقشی در تولید محتوای تکراری ندارند. اما این مسئله به معنی نبود آن نیست. حقیقت اینست که به طور متوسط، 29 درصد وب را محتوای تکراری تشکیل داده است.
در ادامه نگاهی به عوامل ایجاد محتوای تکراری می پردازیم که اغلب به صورت ناخواسته به وجود می آیند:

1. تغییرات یو آر ال

پارامترها در یو آر ال صفحات یکی از اصلی ترین عوامل ایجاد محتوای تکراری هستند. هم خود پارامترها و هم توالی ایجاد آنها در یو آر ال باعث ایجاد این مشکل می گردند.
مثال:

• یو آر ال www.widgets.com/blue-widgets?color=blue، تکراری از یو آر ال www.widgets.com/blue-widgets است.
• یو آر ال www.widgets.com/blue-widgets?color=blue&cat=3 تکراری از یو آر ال www.widgets.com/blue-widgets?cat=3&color=blue است.

همچنین، ID هایی که در هر ارتباط کاربران با وبسیات در یو آر ال ایجاد می شوند نیز می توانند موجب بروز محتوای تکراری شوند. در این حالت هر کاربر بعد از ورود به سایت، یک ID به آن نسبت داده شده و این ID در یو آر ال پدیدار می شود.
نسخه های پرینتی صفحات نیز موجب بروز Duplicate Content می گردند و به این واسطه چندین نسخه از یک صفحه ایندکس می شود.

2. نسخه های Http و Https یا نسخه با www و بدون www

اگر سایت شما دارای دو نسخه با www و بدون www به شکل های www.site.com و site.com است و در هر دو نسخه یک محتوا وجود دارد، شما به همین سادگی محتوای تکراری ایجاد کرده اید. این مسئله درباره نسخه های http و https سایت نیز وجود دارد. اگر هر دو نسخه از سایت اجرا و مشاهده می شوند، مصداق محتوای تکراری هستند.

3. محتوای کپی شده

محتوای سایت تنها شامل پست ها یا صفحات دارای مطلب شما نمی شوند. اطلاعات موجود در صفحه محصولات شما نیز جز محتوای سایت هستند. کپی کنندگان ممکن است، پست های شما را در هنگام انتشار سرقت کرده و در سایت خود منتشر کنند. همچنین بسیاری از فروشگاه های اینترنتی از اطلاعات داده شده از طرف تولید کننده آن در توضیحات محصولات استفاده کنند. این توضیحات احتمالا توسط سایت های دیگری نیز به کار برده شده است. هر دوی این حالات جز محتوای تکراری محسوب می شوند.

چگونه مشکل محتوای تکراری را حل کنیم؟

حل مشکل محتوای تکراری از این ایده آغاز می شود که کدام یک از آدرس ها، آدرس صحیح محتوا است. وقتی محتوایی در چندین آدرس ارائه می شود، می بایست برای موتورهای جستجو تفهیم شود که کدام آدرس صحیح است. سه راهکار برای انجام این کار عبارتند از: استفاده از ریدایرکت 301 به یو آر ال صحیح، تگ rel=canonical یا استفاده از بخش کنترل پارامترهای گوگل در کنسول جستجوی آن.

ریدایرکت 301

در بسیاری از موارد، بهترین راه استفاده از ریدایرکت صفحات تکراری به صفحه اصلیست. وقتی چندین صفحه مشابه را به یک صفحه ریدایرکت می کنیم، ارزش صفحه در رقابت با سایر صفحات دیگر سایت ها افزایش می یابد. در نتیجه رتبه صفحه در نتایج جستجو ارتقا داده می شود.

Rel=canonical

راهکار دیگر در برخورد با محتوای تکراری استفاده از تگ rel=canonical در صفحات تکراری است. این تگ به موتورهای جستجو اعلام می کند که این صفحات در واقع کپی از یک صفحه اصلی هستند و اعتبار آنها می بایست به آن صفحه اصلی منتقل شوند.
تگ rel=canonical در واقع بخشی از هد کد HTML سایت و به شکل زیر است:

[jv_label background_color="#09c" font_size="13" border_radius="0" text_color="#ffffff"]<head>
...[other code that might be in your document's HTML head]...
<meta name="robots" content="noindex,follow">
...[other code that might be in your document's HTML head]...
</head>[/jv_label]

تگ rel=canonical می بایست به قسمت هد کد HTML تمام صفحات تکراری اضافه شده و یو آر ال اصلی نیز قید گردد. دقت کنید که کوتیشن ها را حتما قرار دهید. این تگ مانند ریدایرکت 301، تقریبا تمام اعتبار صفحه را به صفحه اصلی منتقل کرده و به خاطر اینکه در سطح صفحه اجرا میشود (نه در سطح سرور)، مدت زمان کمتری برای تاثیر گذاری نیاز دارد.
با استفاده از افزونه MozBar در مرورگر کروم، می توان در هر صفحه ای که هستید، یو آر ال اصلی آن را مانند شکل زیر مشاهده کنید.

متای Noindex

متا تگی که در ابنجا بسیار کارامد است و در برخورد با صفحات تکرای می تواند مفید باشد، متا تگ Robots با مقدار "noindex, follow" می باشد. با قرار دادن این تگ در قسمت هد صفحات تکراری می توان از ایندکس شدن آنها توسط موتورهای جستجو جلوگیری کرد.
فرمت کلی این متا تگ به شکل زیر است:

[jv_label background_color="#09c" font_size="13" border_radius="0" text_color="#ffffff"]<head>
...[other code that might be in your document's HTML head]...
<meta name="robots" content="noindex,follow">
...[other code that might be in your document's HTML head]...
</head>[/jv_label]

این متا تگ به موتورهای جستجو اجازه می دهد که لینک های درون صفحات تکراری را پایش کرده اما خود آن صفحات ایندکس نگردند. دادن اجازه دسترسی به گوگل از بابت پایش صفحات تکراری از اهمیت برخوردار است، حتی اگر به گوگل اعلام می کنید که آن را ایندکس نکند. گوگل به صورت ضمنی اعلام کرده است که از محدود کردن دستری ربات های آن به پایش صفحات هر چند تکراری جلوگیری نکنید. موتورهای جستجو علاقه مندند که هر چیزی در سایت را مشاهده کنند. این قابلیت به آنها اجازه می دهد که در شراط مبهم تصمیمات درستی بگیرند.
استفاده از نو ایندکس کردن در صفحاتی مانند صفحه بندی ها، بسیار مفید است و از ایجاد محتوای تکراری جلوگیری می کند.

دامین ارجح و کنترل پارامترها در کنسول جستچوی گوگل

کنسول جستجوی گوگل به صاحبین سایت ها اجازه می دهد که از بین نسخه با www و بدون www، نسخه انتخابی خود را برای پایش و ایندکس توسط ربات های گوگل انتخاب کنند. همچنین می توان پارامترهایی که نیازی به پایش ندارند را نیز در قسمت مربوطه مشخص کنند.
بسته به ساختار یو آر الی سایتتان و عوامل ایجاد محتوای تکراری، استفاده از راهکارهای انتخاب یو آر ال ارجح و کنترل پارامترها می تواند بسیار کارامد باشد.
اشکال اصلی در استفاده از کنترل پارامترها به عنوان تنها راه حل رفع مشکل محتوای تکراری اینست که این سیستم فقط در گوگل کاربرد دارد و هر یکی از قوانین تعریف شده در آن ،توسط دیگر موتورهای جستجو مانند بینگ، دیده نمی شود. به همین دلیل شما می بایست به وبمستر هر یک از موتورهای جستجو رفته و تنظیمات مربوط به کنترل پارامترها را انجام دهید.

دیگر راهکارها در برخورد با مشکل محتوای تکراری

1. در استفاده از لینک های داخلی در سایت از یک فرمت ثابت استفاده کنید. به عنوان مثال اگر نسخه انتخابی سایت شما بدون www است، تمام لینک های داخلی را نیز بدون www نوشته و از استفاده از نسخه های با www خودداری کنید.
2. در هنگام به کاربردن لینک های سایت در سایر سایت ها مطمئن شوید که از نسخه اصلی لینک ها استفاده می شود و از به کاربردن سایر لینک های تکراری پرهیز کنید.
3. برای ایجاد یک لایه امنتیتی بیشتر برای محتوایتان در هنگام سرقت شدن توسط کپی کنندگان، تگ کانونیکال را در صفحه اصلی نیز به کارببرید. این کار موجب خنثی شدن تاثیر کپی مطالب توسط سرقت کنندگان آن می شود. با اینکه همه کپی کنندگان از کد صفحات در جهت کپی کردن مطالب استفاده نمی کنند، اما هنوز بسیار از آنها از این تکنیک بهره می برند. به کار بردن تگ کانونیکال، موجب خنثی شدن تاثیر کپی مطالب توسط آنهایی می گردد که از کد صفحه استفاده می کنند.