نحوه خزیدن موتورهای جستجو در سایت‌ها و تحلیل محتوای آنها دارای محدودیت است. تا به امروز هیچ موتورجستجویی مثل انسان عمل نکرده. موتورهای جستجو نمی‌توانند آن طوری که انسان‌ها سایت‌ها را می‌بینند آن‌ها را مورد مشاهده قرار دهند. در مقاله طراحی و بهینه سازی سایت بر اساس قواعد سئو قصد داریم  جنبه‌های فنی صفحات سایت‌ها را  مورد بررسی قرار دهیم.  

محتوای که ایندکس می‌شود 

فرمت متنی html  تاثیرگذاری بیشتری بر روی موتورهای جستجو دارد. برای اینکه بتوانید در لیست موتورهای جستجو جایگاه مناسبی داشته باشید لازم است برای محتواهای پراهمیت از این فرمت استفاده کنید.
با اینکه تکنولوژی موتورهای جستجو هر روز در حال پیشرفت است اما همچنان محتواهایی نظیر تصاویر، کدهای جاوا و سایر محتوای غیر متنی توسط خزندگان موتورهای جستجو نادیده گرفته می‌شوند و ارزشی برای  آنها ندارند.
برای اینکه که مطمئن شوید محتوایی که تولید می‌کنید توسط موتورهای جستجوگر خوانده می‌شود بهترین روش استفاده از فرمت html است. البته لازم به ذکر است است کسانی که به دنبال فرم‌های نمایش بصری و فرمت‌های بهتری هستند روش‌های پیشرفته‌تری هم برایشان وجود دارد.
مثلاً:
اگر در محتوای خود از تصویر استفاده می‌کنید برای این تصاویر  تگ Alt  در نظر بگیرید.
این روش باعث می‌شود که محتوای تصویری شما برای موتورهای جستجو خوانا باشد و اگر کسی  به دنبال  کلید واژه خاصی می‌گشت محتوای شما را پیدا کند.
 برای باکس‌های جستجوی خود لینک‌هایی در نظر بگیرید که برای خزندگان موتورهای جستجو خوانا باشد.
اگر از فایل‌های صوتی و ویدیویی استفاده میکنن می‌توانید آن را به همراه یک متن منتشر کنید.
برای تکمیل افزونه‌های فلش  یا جاوا از متن استفاده کنید.

طوری که موتورهای جستجو به سایت نگاه می‌کنند 

غالباً سایت‌ها با محتوایی که قابل ایندکس است به مشکل بر می‌خورند. از رو دوباره بررسی کردن این موضوع پر اهمیت است.
ابزارهایی نظیر  Google’s cache، SEO-browser.com یا MozBar به شما کمک می‌کنند تا  ببینید چه بخش‌هایی از محتوای شما توسط موتورهای جستجو ایندکس شده است.
ابزار Google’s cache اطلاعات جالبی در اختیارتان قرار می‌دهد.  برای مثال می‌توانید بفهمید که یک سایت در حالت کلی بر اساس فلش طراحی شده و خب این ناراحت کننده به نظر می‌رسد چرا که نشان می‌دهد موتورهای جستجو قابلیت این را ندارند که محتوای متنی آن را ایندکس کنند یا حتی به آن لینک بدهند.
 به این ترتیب این صفحه به سختی می‌تواند در موتورهای جستجو پیشرفت کند چرا که محتوای متنی آن قابل ایندکس نیست. اما تنها بررسی محتوای متنی کفایت نمی‌کند. در کنار این لازم است که از ابزارهای سئو برای اینکه بفهمید صفحه در موتورهای جستجو قابل نمایش است نیز استفاده  کنید.  برای تصاویر و لینکها هم می‌توانید از این روش استفاده کنید. 

ساختار لینک بیلدینگ قابل خزش

موتورهای جستجو برای این که بتوانند صفحات را در نتایج قرار دهند به محتوا نیاز دارد و این محتوا باید برای آنها قابل مشاهده باشد. همچنین این برای پیدا کردن محتوا لینک نیاز دارند. 
وجود یک ساختار لینک که برای خزندگان قابل خزش باشد برای پیدا کردن سایت یک موضوع بسیار حیاتی و مهم است. بسیاری از سایتها در ساخت و سازماندهی ناوبری دارای اشتباهات فراوانی هستند و همین امر سبب در دسترس قرار نگرفتن محتوا برای موتورهای جستجو می‌شود. 
حتی با وجود محتوای بسیار خوب و کلمات کلیدی  مناسب و هوشمندانه، اگر خزندگان موتورهای جستجو راهی به لینک‌های این صفحات پیدا نکنند، انگار که صفحه شما وجود ندارد و موتورهای جستجو آنها را نمی‌شناسند.
به این مثال توجه کنید. 


خزنده گوگل به صفحه A  می‌رسد  و به لینک‌های E و B راه می‌یابد. اما  هیچ راهی برای رسیدن به صفحات C و D 
وجود ندارد.  پس حتی اگر این صفحات دارای مطالب مهمی هم باشند از نظر خزندگان گوگل قابل شناسایی نیستند. 

چرا موتورهای جستجو نمی‌توانند که تعدادی از صفحات را پیدا کنند؟

پر کردن فرم‌های اشتراک

اگر  بلافاصله بعد از ورود به سایت فرمی قرار داده‌اید که بازدیدکنندگان ملزم به پر کردن آن هستند. طبیعی است که موتورهای جستجو هرگز چنین صفحات محافظت شده‌ای را مشاهده نمی‌کنند. در نتیجه هر محتوایی که در آن صفحه وجود داشته باشد برای موتورهای جستجو نامرئی است و قادر به شناسایی آن  نیستند.

وجود لینک‌های غیر قابل تجزیه در کدهای جاوا اسکریپت 

موتورهای جستجو در لینک‌هایی که توسط جاوا اسکریپت ساخته شده نمی‌خزند ویا توجه خیلی کمی به آن نشان می‌دهند.  برای اینکه صفحات شما توسط خزندگان موتورهای جستجو ایندکس شود باید از لینکهای استاندارد html استفاده کنید نه جاوا  اسکریپت.

 فریم‌ها و آی فریم‌ها

از لحاظ فنی خزیدن موتورهای جستجو در لینک‌های موجود در فریم‌ها و آی فریم‌ها بلامانع است. اما هر دوی این‌ها برای موتورهای جستجو در زمینه سازماندهی و دنبال کردن لینک‌ها مشکلاتی فراهم می‌کنند. پس توصیه می‌شود که از این دو مورد دوری کنید مگر اینکه کاربر حرفه‌ای باشید و به شرایط موجود واقف.

لینک‌های موجود در صفحاتی که از هزاران لینک تشکیل شده است

 موتورهای جستجو تنها قابلیت خزیدن در تعداد محدودی از لینک‌ها را دارند.  چرا که این محدودیت برای تشخیص اسپم و تعیین رتبه در نظر گرفته شده است. در نتیجه صفحاتی که از هزاران لینک تشکیل شده‌اند قابلیت  ایندکس شدن را ندارند.

ربات‌ها از فرم‌های جستجو استفاده نمی‌کنند 

تصور تعدادی وبمسترها بر این است که اگر یک باکس جستجو در سایت قرار دهند ربات‌ها می‌توانند هر چیزی که کاربران جستجو می‌کنند را شناسایی کنند اما این تصور اشتباه است چرا که ربات‌ها از این فرم‌ها استفاده نمی‌کنند و در آن‌ها نمی‌خزند. آن‌ها از لینک‌های موجود در سایت استفاده می‌کنند که اگر این لینک‌ها وجود نداشته باشد دسترسی به سایر محتوا امکان پذیر نیست.
 

لینک به صفحاتی که توسط متا تگ کنترل ربات‌های موتور جستجو یا فایلهای Robots.txt مسدود شده‌اند.

این قابلیت به صاحبان سایت اجازه می‌دهد در دسترسی  ربات‌های خزنده به یک صفحه به خصوص محدودیت ایجاد کنند.  یادتان باشد که تنها صفحاتی که اهمیتی ندارند را مسدود کنید. بارها اتفاق افتاده است که استفاده از متا تگ یا فایل  robot.txt باعث مسدود شدن همه ربات‌های خزنده شده است.

لینک‌هایی که در فلش، جاوا و سایر افزونه‌ها وجود دارد

ربات‌های خزنده نمی‌توانند در لینک‌هایی که در فایل‌های جاوا و فلش و یا سایر افزونه‌ها قرار دارد بخزند. این موضوع  سبب این می‌شود که محتواهای موجود در صفحه توسط موتورهای جستجو دیده نشوند و از دید آنها پنهان 
بمانند. 

تگ Rel=nofollow

لینک‌ها دارای تگ‌ها و صفات زیادی  هستند که موتورهای جستجو اغلب همه آنها را نادیده می‌گیرند. به جز  تگ “Rel=”nofollow. اضافه کردن این تگ به لینک  بیانگر این است که  صاحب صفحه علاقه‌ای به اینکه  لینک مورد نظر به عنوان تأییدیه وب سایت اشاره شود ندارد.
در حالت کلی nofollow ها به موتورهای جستجو میگویند که نیازی نیست این لینک را دنبال کنید. هرچند که گاهی این لینک‌ها دنبال شوند. 
این تگ این قابلیت را دارد که به صاحبان سایتها کمک کند تا از نظرات و لینک‌های اسپم جلوگیری کنند. لینک‌های دارای این تگ با توجه به شیوه‌های مختلف هر موتور جستجو، متفاوت عمل می‌کنند. اما چیزی که کاملاً مشخص است است، مثل یک لینک عادی با آنها برخورد نمی‌شود.

آیا لینک‌های nofollow  آسیب می‌رسانند؟

 با اینکه ارزش آنها به اندازه لینک‌های Follow نیست، اما به عنوان یک بخش طبیعی در پروفایل لینک بیلدینگ سایت‌ها به حساب می‌آیند. وجود لینک‌های متعدد نوفالو در سایت‌هایی که تعداد لینک‌های داخلی فراوانی دارند بلامانع است و هیچ مشکلی به وجود نمی‌آورد. طبق نتایج بدست آمده، سایت‌هایی که رتبه‌های بالاتری دارند تعداد زیادی از لینک‌های دریافتی که در اختیار دارند نوفالو است. 
طبق اطلاعاتی که گوگل  ارائه  کرده است. در اکثر مواقع لینک‌های نوفالو دنبال نمی‌شوند و ارزشی برای رتبه بندی ندارند. با استفاده از لینک‌های نوفالو گوگل  لینک هدف را از نمودار کلی ساعت خارج می‌کند و به آنها هیچ وزنی نمی‌دهد و آنها را مانند عنوان متن html تفسیر می‌کند. 
در رابطه با موتورهای جستجوی بینگ و یاهو نیز لینک‌های نوفالو در نمودار قرار نمی‌گیرند اما امکان دارد که خزندگان این موتورهای جستجو  از این لینک‌ها برای پیدا کردن صفحات جدید در یک سایت استفاده کنند. یعنی در واقع این موتورهای جستجو این لینک‌ها را دنبال می‌کنند اما در رتبه بندی از آنها استفاده نمی‌کنند.

مورد هدف قرار دادن مخاطبان و به کار بردن کلمات کلیدی

مهم‌ترین عنصر و در جستجوی یک عبارت و موضوع کلمات کلیدی هستند. اسکلت اصلی موتورهای جستجو از عبارات کلیدی تشکیل شده است. یعنی در واقع تمام اطلاعات موجود در موتورهای جستجو بر اساس خوانش این کلمات کلیدی امکان پذیر است. چیزی که خزندگان موتورهای جستجو در سایت‌ها آن را دنبال می‌کند کلمات کلیدی در محتوا هستند. وجود پایگاه‌های کوچکی که بر روی یک عبارت کلیدی خاص تمرکز دارد  به موتورهای جستجو این اجازه را می‌دهد که داده‌های مورد نیاز را در فاصله چند ثانیه‌ای بازخوانی کند.
پس آنچه که مشخص است این است که اگر می‌خواهید صفحه شما برای یک عبارت کلیدی در موتورهای جستجو قرار بگیرد باید این کلمه را در قسمتی از محتوای خود به کار ببرید که ایندکس می‌شود.

قلمرو کلمات کلیدی 

کلمات کلیدی که جستجو می‌کنیم در واقع نشان‌دهنده خواسته ما از موتورهای جستجو است. پس وقتی موتورهای جستجو با این کلمات روبه‌رو می‌شوند آن عبارت کلیدی را در صفحات مختلف جستجو می‌کنند و و صفحاتی که دارای آن عبارت کلیدی هستند اطلاعاتش را بازخوانی می‌کنند. و در اختیار ما قرار می‌دهند. چینش کلمات،  املای آن  و هر اطلاعات کم و زیاد دیگری از عبارت کلیدی، بر روی نتایج موتورهای جستجو تاثیرگذار است. موتورهای جستجو نحوه بکارگیری عبارات کلیدی را یک محتوا می‌سنجد تا با این کار ارتباطات آن با کوئری ها را  مشخص کنند. 
یکی از موثرترین روش‌ها برای بهینه سازی رتبه بندی یک صفحه این است که عبارت کلیدی مورد نظر خودتان را در عنوان، متن اصلی  و متا به کار ببرید.
وقتی یک عبارت کلیدی خاص را انتخاب می‌کنید سطح رقابت برای خود را کم کرده و شانس ارتقاء رتبه در موتورهای جستجو را افزایش می‌دهید. 
به عبارتی چون نتایج به دست آمده برای عبارات کلیدی خاص کمتر است در نتیجه رقابت‌ها هم کمتر است و شانس ارتقا  رتبه نیز افزایش پیدا می‌کند.

به کار بردن نادرست کلمات کلیدی 

برخلاف تصور بسیاری از کاربران که خیال می‌کنند اگر از کلمات کلیدی در عنوان، متن، متا و آدرس سایت زیاد استفاده کنند نتیجه مثبتی برایشان به همراه دارد و می‌تواند با این روش موتورهای جستجو را دستکاری کنند باید گفت که این تصور کاملاً اشتباه است و اینکار به سایت ضرر می‌رساند.
سال‌ها پیش یکی از اصلی‌ترین روشهایی که موتورهای جستجو از آن استفاده می‌کردند استفاده از کلمات کلیدی به عنوان سیگنال اصلی مرتبط بودن بود. اما امروزه با پیشرفت موتورهای جستجو آن‌ها می‌توانند بهتر درک کنند و بخوانند راحت‌تر ارتباط را تشخیص دهند.
از کلمات کلیدی به طور طبیعی استفاده کنید. اگر کلمه کلیدی شما تخت جمشید است،  پس محتوایی که تولید می‌کنید هم باید متناسب با کلمه کلیدی که دارید باشد و درباره تخت جمشید.
هدف تنها به دست آوردن رتبه بالا در موتورهای جستجو نیست بلکه ارائه محتوا متناسب با کلمه کلیدی است. پس تلاش برای اینکه یک کلمه کلیدی بی ربط را به یک محتوا بچسبانید کاملاً بی فایده است.

 سئو داخلی یا on-page

هنوز هم بخش مهمی از الگوریتم‌های رتبه بندی گوگل تحت تأثیر کلمات کلیدی هستند. بنابراین امکان بهینه سازی صفحه  به کمک این روش وجود دارد. 
توصیه می‌کنیم برای استفاده از کلمات کلیدی به روش‌هایی که در ادامه می‌آوریم دقت کنید:
حداقل یک بار از کلمه کلیدی موردنظرتان در تگ عنوان استفاده کنید.  هرچقدر این کلمه کلیدی به ابتدای عنوان نزدیک‌تر باشد بهتر است. 
سعی کنید از کلمه کلیدی در پاراگراف اول استفاده کنید.
چندین بار از کلمات مترادف با کلمه کلیدی در ساختار متن استفاده کنید. 
حداقل در یکی از تصاویر از کلمه کلیدی مورد نظر خود در تگ Alt استفاده کنید. این کار علاوه بر اینکه به جستجوی محتوای شما در سایت کمک می‌کند، در رتبه بندی جستجوی تصاویر نیز تأثیر گذار است و باعث افزایش ترافیک می‌شود.
 حتماً برای یک بار هم که شده از کلمه کلیدی خود در توضیحات متا استفاده کنید. با اینکه این کار تاثیری در رتبه بندی موتورهای جستجو ندارد اما باعث می‌شود که کلیک‌های بیشتری از طریق صفحات نتایج جستجو به دست آورید. به همین دلیل تگ توضیحات متا به  ریچ اسنیپت  تبدیل شده که موتورهای جستجو مورد استفاده قرار می‌دهند.
همچنین لازم است که بدانید از کلمات کلیدی در در انکر تکست هایی صفحات دیگری از سایتتان اشاره دارند استفاده نکنید. به این کار در اصطلاح Keyword Cannibalization می گویند.

عنوان

عنوانی که برای یک محتوای انتخاب می‌کنید در واقع نشان‌دهنده کلیات محتوای شماست. این کار برای بهینه سازی موتورهای جستجو و تجربیات کاربری اهمیت بسیار زیادی دارد. در ادامه روش‌هایی ارائه می‌دهیم که که برای ایجاد یک عنوان مناسب می‌تواند بند بر روی سئوی سایت تاثیری عالی داشته باشد 

به طول تگ عنوان خود بسیار دقت کنید

یادتان باشد که موتورهای جستجو فقط ۶۵ الی ۷۵ کاراکتر اول عنوان را در نتایج جستجو ارائه می‌دهند و اگر این عنوان‌ها طولانی باشد از (…) استفاده می‌کنند.
این قانون تقریباً در تمام شبکه‌های اجتماعی یکی است. پس به طول عنوان خود دقت کنید.  البته اگر نیاز است که از چند عبارت کلیدی در تگ عنوان استفاده کنید مانعی وجود ندارد که عنوان طولانی شود زیرا کلمات کلیدی در رتبه بندی تاثیرگذارند.

استفاده از از کلمات کلیدی مهم در ابتدای عنوان 

 هرچه عبارت کلیدی موردنظرتان به ابتدای عنوان نزدیکتر باشد تأثیر بهتری روی رتبه بندی سایت خواهد گذاشت. زیرا اکثر کاربران تنها به ابتدای جملات در نتایج جستجو توجه می‌کنند.

استفاده از برندینگ در تگ عنوان

این امکان وجود دارد که شما در انتهای تگ عنوان از نام برند خود استفاده کنید. در حقیقت این کار باعث می‌شود کاربران نسبت به برند شما آگاهی بیشتری پیدا کنند و در نتیجه نرخ کلیک بیشتری ایجاد می‌شود. گاهی نیز قرار دادن نام برند در ابتدای تگ عنوان  یک حرکت معنا دارد.  پس یعنی باید در انتخاب این که عبارت کلیدی مورد نظر را در چه موقعیتی قرار دهید بسیار هوشمندانه عمل کنید. 

 به خوانا بودن و همچنین  تاثیرات حسی عنوان توجه کنید

تگ عنوان باید خوانا و قابل فهم باشد زیرا اولین خورد بازدیدکننده با صفحه شما است. همچنین باید این قابلیت را داشته باشد که احساسی مثبت در بازدیدکننده به وجود آورد. اگر در انتخاب تگ عنوان به این فاکتورها توجه کنید کاربران بیشتری را به سوی سایت خود جذب می‌کنید. مقاله‌ی” طراحی و بهینه سازی سایت بر اساس قواعد سئو ” یاد آور می شود که علاوه بر اینکه  این موضوع در بهینه سازی سایت تأثیر گذار است بلکه با تجربه کاربری نیز در ارتباط است.

متا تگ

 متا تگ نوعی فیلتر برای ارائه اطلاعات درباره محتوای وب سایت‌ها است. در ادامه مقاله به معرفی چند نوع متا تگ می‌پردازیم:

متا تگ کنترل ربات‌های جستجو

از این نوع متا تگ برای کنترل فعالیت  ربات‌های خزنده موتورهای جستجو در هر صفحه  استفاده می‌شود.  برای کنترل کردن رفتار موتورهای جستجو، چند نوع روش برای استفاده از این نوع متا تگ‌ها وجود دارد.

index/noindex 

تعیین می‌کند که ربات‌های خزنده صفحه مورد نظر را بخزند یا نه.  با انتخاب Noindex صفحه‌ای که مد نظر قرار دادید ایندکس نخواهد شد. به طور پیش فرض موتورهای جستجو تمام صفحات موجود در یک سایت را قابل ایندکس می‌دانند. در نتیجه استفاده از مقدار ایندکس در حالت کلی کاملاً غیر ضروری است. 

follow/nofollow

تعیین می‌کند که موتورهای جستجو لینک‌های یک صفحه را دنبال کند یا نه.  اگر از  گزینهٔ … استفاده کنید بعد از این که موتورهای جستجو   لینک را یافتند آن را دنبال نخواهد کرد. در حالت کلی تمام صفحات تگ Follow  دارند.

noarchive 

از ذخیره شدن نسخه کش هر صفحه  توسط موتورهای جستجو جلوگیری می‌کند. موتورهای جستجو به طور پیش فرض  نسخه‌های واضح تمام صفحات ایندکس شده را نگه می‌دارند.

nosnippet 

مشخص می‌کند که موتورهای جستجو اجازه ندارند از نمایش متن توصیفی در کنار عنوان صفحه و URL استفاده کنند. 

noodp/noydir 

این تگ‌ها تعیین کننده  این هستند که موتورهای جستجو نباید  از دایرکتوری‌هایی مانند DMOZ یا یاهو اسنیپت های توصیفی دربارهٔ هر صفحه به دست آورند. 

تگ توضیحات متا

این تگ به نوعی توضیح مختصری از یک صفحه است و نشان می‌دهد که محتوا در چه زمینه‌ای است. کلمات کلیدی که در توضیحات متا آورده می‌شود در رتبه بندی موتورهای جستجو بی‌تأثیر است. اما اولین مبعی است که اسنیپت های متن از زیر لینک‌ها در موتورهای جستجو با آن رو به می‌شوند.
توضیحات متا غالباً شبیه به یک تبلیغات عمل می‌کنند. پس یعنی می‌تواند طوری نوشته شود که توجه مخاطب را جلب کند.   به همین دلیل در زمینه بازاریابی موتورهای جستجو اهمیت ویژه‌ای دارد. اگر توضیحاتی که در  این بخش آورده می‌شود متقاعد کننده و جذاب باشد کلمات کلیدی درستی در آن به کار رفته باشد می‌تواند موجب شود که نرخ کلیک بالاتری از یک صفحه به دست آید.
این توضیحات می‌توانند از کاراکترهای زیادی تشکیل شوند. اما غالباً موتورهای جستجو بیشتر از ۱۶۰ کاراکتر را نشان نمی‌دهد. بنابراین دانستن این موضوع و انتخاب کردن کلمات با این طول یک حرکت هوشمندانه است.
اگر توضیحات متا وجود نداشته باشد موتورهای جستجو این کار را با استفاده از سایر قسمت‌های موجود در یک صفحه  جبران می‌کنند. برای صفحاتی که کلمات کلیدی و موضوعات مختلفی را در خود گنجاندن این یک تاکتیک درست و حسابی محسوب می‌شود.

گزینه‌هایی که به اندازه متا تگ‌ها اهمیت ندارند 

کلمات کلیدی متا: این تگ قبلاً یک تگ ارزشمند بود اما دیگر برای بهینه سازی سایت مهم نیست و به کار نمی‌آید.
تگ‌هایی نظیر  Meta Refresh, Meta Revisit-after, Meta Content-type و..: از این طرح‌ها نیز می‌توان برای بهینه سازی در موتورهای جستجو استفاده کرد اما چندان ضروری نیستند.

فرم آدرس سایت

 در ادامه‌ی مقاله‌ی” طراحی و بهینه سازی سایت بر اساس قواعد سئو ” به شما خواهیم گفت که آدرس صفحات ارزش بسیار زیادی برای موتورهای جستجو دارند و از آنها در چندین موقعیت مهم استفاده می‌شود. از آنجایی که آدرس‌ها در نتایج جستجو نشان داده می‌شود در نتیجه استفاده درست از آنها بر روی نرخ کلیک و بازدید از سایت تأثیر بسیاری دارد. همچنین در رتبه بندی وب سایت‌ها نیز از آدرس‌ها استفاده می‌شود و آدرس‌هایی که کوئری های جستجو بهتری دارند، عملکرد بهتری نیز نسبت به سایر سایت‌ها دارند.
قاعدتاً می دانید که این آدرس‌ها در نوار آدرس موگر نیز نمایش داده می‌شوند. اگرچه چه این موضوع تأثیر چندانی برای موتورهای جستجو ندارد اما از نظر تجربه کاربری بسیار پر اهمیت است.
بعضی از آدرس‌ها به عنوان انکر تکست عمل می‌کنند. بنابراین ساخت یک URL خوب بر روی سئو تأثیر گذار است.