محتوای تکراری Duplicate Content چیست و چرا ایجاد می شود؟

گوگل ماموریت خود را اینگونه بیان کرده است: ما می خواهیم اطلاعات موجود در جهان  را سازماندهی کنیم تا این اطلاعات موجود برای مردم جهان در دسترس و قابل استفاده شود. یکی از مشکلاتی که گوگل در مسیر انجام این ماموریت دارد مواجهه با تعدادی محتوای کاملا یکسان یا بسیار مشابه در آدرس های متفاوت است. کدام یک باید بالاتر از دیگری نمایش داده شود؟ کدام یک محتوای اصلی است و کدام برداشتی از آن است؟

محتوای تکراری یا Duplicate Content  به یک بسته محتوایی گفته میشود که مشابه همان محتوا و یا کپی آن، داخل همان دامنه و یا دامنه های دیگر موجود باشد. در واقع یک محتوا  در آدرس(URL)های متفاوتی وجود دارد و درنتیجه گوگل در تشخیص این که کدام یک را باید در نتایج جستجو نمایش دهد گیج میماند.

.اگر وبسایت شما نیز محتوای تکراری دارد ممکن است رتبه شما در نتایج جستجوی گوگل آسیب ببیند. در این مقاله از وبسایت کافه سئو دلایل مختلف ایجاد محتوای داپلیکیت را باهم بررسی کرده و برای هر کدام راه حل های مختلف ارائه میدهیم.

تعریف رسمی گوگل از محتوای تکراری Duplicate Content چیست؟

“ Duplicate Content به بلوکهای محتوایی گفته میشود که یا کاملا مشابه هم هستند و یا بصورت قابل توجهی به هم شباهات دارند. همه این بلوک های محتوایی ممکن است داخل یک دامنه باشند و یا بین چند دامنه متفاوت وجود داشته باشند. بیشتر مواقع محتوای تکراری به خاطر مقاصد فریبکارانه تولید نمی شود”

 جمله آخر تعریف بالا خیلی مهم است. اگر شما بخش از متنی را از مقاله دیگری از وبسایت خودتان یا از وبسایتی دیگر کپی کنید اتفاق خاصی نمی افتد. نه ارزش خاصی برای وبسایتتان ایجاد میشود و نه وبسایتتان آسیبی میبیند. اما اگر گوگل تشخیص دهد این کار با هدف فریب موتورهای جستجو انجام شده ریسک کرده اید. خود گوگل در این رابطه می گوید:

“ما واکنشی به محتوای تکراری نشان نمیدهیم مگر اینکه مشخص شود هدف از انتشار آن فریبکاری و دستکاری نتایج گوگل بوده است”

محتوای تکراری Duplicate Content  چگونه ایجاد می شود؟

همانطور که گفته شد محتوای تکراری زمانی ایجاد میشود که یک محتوای مشترک در چند آدرس اینترنتی یا URL وجود داشته باشد.این اتفاق ممکن است به دلیل کپی عامدانه همه یا بخشی از یک متن ایجاد شده باشد و یا به دلایل فنی رخ دهد. در زیر به مهمترین دلایل این اتفاق اشاره میکنیم:

1. مشابه محتوای شما در وبسایت دیگری وجود دارد:

اگر از وبسایت دیگری محتوایی برداشته اید و آن را عینا و یا با تغییرات اندک و تغییر کلمات و جمله بندی در سایت خود آورده اید مطمئن باشید این مطلب نه تنها کمکی به افزایش ا عتبار شما نخواهد کرد بلکه در بلند مدت هم اعتبار شما نزد گوگل و هم اعتبارتان نزد مخاطب را کاهش میدهد.

مهمترین چیزی که در تولید محتوا باید در نظر داشته باشید این است که محتوای شما باید خلق ارزش کند. چیز اصیل و اورجینالی به دنیای اینترنت اضافه کند که قبلا وجود نداشته یا حداقل با این کیفیت وجود نداشته. خودتان را جای کاربر بگذارید. آیا حاضرید به طور مرتب به سایتی سر بزنید که مطابش اورجینال نیستند و فقط مطالبی از منابع مختلف را کپی میکند؟

 اگر کسی محتوای من را  کپی کرد چه؟

اگر محتوای اورجینالی که شما تولید کرده اید را وبسایت دیگری استفاده کرده و شما از این موضوع رضایت ندارید میتوانید به میزبان آن وبسایت درخواست دهید تا محتوای کپی را حذف کند.

شما همچنین میتوانید از گوگل بخواهید که این محتوا را از نتایج گوگل حذف کند. این کار با پر کردن فرمی به اسم فرم DMCA امکان پذیر است.

2. صفحات زیادی در وبسایت خودتان دارید که محتوای مشابه دارند:

گر صفحات زیادی در وبسایت خودتان داشته باشید که محتوای کاملا مشابه یا نزدیک به هم دارند هم مشکل محتوای تکراری میتواند به وجود بیاید.

راهکار : اگر صفحات زیادی داری که مشابه هم هستن و محتوای نزدیک به هم دارن یا باید هر کدوم رو به اندازه کافی بسط و شرح بدی و وارد جزئیات شی که هر کدوم تبدیل به مطلب جدایی بشن. راه دوم این است که  همه اینها را به یک صفحه با محتوای غنی تبدیل کنید.

3. ورژن قابل پرینت یا PDF محتوا :

ممکن است برای محتوای وبسایتتان ورژن قابل پرینت یا نسخه PDF هم اضافه کنید. خوشبختانه گوگل در مواجهه با این مورد هم بسیار باهوشتر از گذشته عمل میکند اما کار از محکم کاری عیب نمیکنه.

راهکار : بهتره که به تمام نسخه ها کد rel=cannonical را اضافه کنید و محتواها را به عنوان نسخه کپی محتوای اصلی علامت گذاری کنید.

4. صفحات تگ ها یا دسته بندی :

وقتی محتوایی را داخل دسته ای قرار می دهید و یا برچسبی به آن میزنید بخشی از محتوا ممکن است در صفحه مربوط به برچسب یا دسته بندی تکرار شود. با پیشرفت الگوریتمهای گوگل این مورد مشکل خاصی ایجاد نمیکند و  گوگل در انتخاب صفحه مرتبط با کلید واژه مورد نظر، تفاوت مقاله اصلی با قسمتی از آن در صفحه برچسب یا صفحه دسته بندی و یا صفحه آرشیو را می داند.

مشکل انجایی ایجاد میشود که دسته بندی یا برچسب ها به درستی ایجاد نشوند. برای مثال اگر برای یک دسته بندی فقط یک مقاله در سایتتان داشته باشید و یک برچسب مشابه هم برای آن مقاله بزنید سه صفحه در وبسایتتان با محتوای مشابه خواهید داشت.

راهکار :

•  استفاده از استراتژی قوی دسته بندی و برچسب
• استفاده از ریدایرکت 301 و ریدایرکت صفحات

5. ورژن www سایت و ورژن فاقد www و  ورژن https و http :

این هم یکی از حالتهایی است که منجر به وقوع محتوای تکراری میشود. اما نگران نباشید،، گوگل به اندازه کافی با این مورد آشناست .

راهکار: برای این مورد اگر اقدام خاصی هم انجام ندهید مشکلی پیش نمی آید. برای محکم کاری میتوانید یکی از ورژن ها را به ورژن دیگر Redirect کنید.

تفاوت محتوای تکراری با محتوای کپی و محتوای لاغر

وقتی محتوای تکراری را در کنار محتوای کپی و محتوای لاغر Thin Content قرار میدهیم موضوع ممکن است سردرگم کننده به نظر برسد. اما واقعیت این است که این دسته بندی برای این است که خود گوگل بتواند برخورد مناسبتری در مواجهه با محتوای تکراری داشته باشد. برای اینکه بتوانید محتوای تکراری وبسایت خود را بهتر مدیریت کنید بهتر است به تفاوت این سه دسته بندی توجه کنید.

به هیچ عنوان دسترسی گوگل به محتوای تکراری را نبندید

الگوریتم های گوگل برای کشف و رسیدگی به امورات مربوط به محتوای تکراری کاملا بهینه هستند. گوگل به اندازه کافی باهوش است و بیشتر محتوای تکراری یا Duplicate Content که پیدا میکند را میتواند مدیریت کند.زمانی که گوگل چندین ورژن مختلف از یک محتوا را پیدا میکند میان همه بهترین مورد را انتخاب میکند که معمولا ورژن اصلی آن محتوا هست. برای این کار نیز گوگل باید به صفحه دسترسی کامل داشته باشد. اگر دسترسی ربات های گوگل به URL را از طریق فایل robots.txt ببندید گوگل نمیتواند این موضوع را متوجه شود و این ریسک وجود دارد که این صفحات را به عنوان صفحات مستقل و کاملا جدا از هم در نظر بگیرد.

پس از بازنشسته شدن Google’s URL Parameter tool چه کنیم؟

در حالی که از سال ۲۰۰۹ گوگل ابزاری به اسم Google’s URL Parameter tool برای مدیریت پارامترهای URL ها و اعلام به گوگل برای نادیده گرفتن برخی URL ها(و در نتیجه مدیریت محتوای تکراری) معرفی کرده بود ۲۶ آوریل ۲۰۲۲ و کمتر از دو ماه پیش این ابزار را بازنشسته کرد. چرا که  رباتهای گوگل برای تشخیص URL ها بسیار باهوش تر از گذشته شده اند. با این حال توصیه میکنیم از انجام کارهای زیر برای مدیریت محتوای تکراری غافل نشوید چرا که کار از محکم کاری عیب نمیکنه:

• حتما از تگ  rel=canonical استفاده کنید
• با استفاده از تگ rel=canonical محتوا رابه عنوان نسخه اصلی یک تعداد محتوای تکراری یا Duplicate  علامتگذاری کنید
• از ریدایرکت ۳۰۱ استفاده کنید تا کاربران و Crawler ها را به سمت محتوای Canonical هدایت کنید.
• البته برای مقابله با تاثیرات منفی محتوای تکراری راههای بیشتری وجود دارد که در آینده و در مقاله دیگری به آن خواهیم پرداخت.