بهترین فایل robots.txt

مهارت استفاده از فایل robots.txt خیلی می‌تونه کمک کنه صفحات اصلی مورد توجه باشن (صفحاتی که مربوط به ناحیه کاربری یا خدماتیه ایندکس نشن)
البته این تنها کاربردش نیست. بطور مثال شما فروم دارید و همه کاربرها می‌تونن در پروفایل خودشون اسپم کنن و راه حل ساده اینکار بستن ریشه پروفایله

Disallow: /Forum/User/

فلسفه کلی فایل ربات دسترسی ربات به صفحات اصلی و منع دسترسی به صفحاتیه که نمی‌خوایم از اعتبار سایتمون براش هزینه کنیم و همچنین معرفی فایل xml نقشه سایت که می‌تونه gz هم باشه
در این قسمت می‌خوام برای یه وبلاگ ساده وردپرسی نمونه فایل بذارم که بدونید به چه صورته

Sitemap: https://ehsanchhry.wordpress.com/sitemap.xml 

# global
User-agent: *
Allow: /wp-content/uploads/
Allow: /sitemap.xml.gz
Allow: /wp-content/themes
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache
Disallow: /wp-login.php
Disallow: */trackback
Disallow: /*/comments
Disallow: /*/feed
Disallow: /*/feed/rss
Disallow: /readme*
Disallow: /xmlrpc.php
Disallow: /wp-includes
Disallow: /wp-admin
Disallow: /wp-signup
Disallow: /cgi-bin
Disallow: /*.php$
Disallow: /*.ASPX$
Disallow: /*.aspx$
Disallow: /*.asp$
Disallow: /*.htm$
Disallow: /*.html$
Disallow: /*.pdf$
Disallow: /*.inc$
Disallow: /*.gz
Disallow: /*.cgi

در این فایل از انواع مختلف دسترسی‌ها استفاده کردم تا بیشتر باهاشون آشنا بشید و بتونید یه فایل خودتون بسازید
در این فایل خط اول سایت‌مپ معرفی شده و بعد دسترسی ربات رو برای فایل‌های آپلود شده و تم که شامل فایلای css هست باز کردم
خطوط بعدی به ترتیب دسترسی به پلاگین‌ها، کش، صفحه ورود به سایت، ترک‌بک، کامنت‌ها، فیدها، فایل‌ توضیحات و سایر آدرس‌هایی که نباید موتور جستجو بهش دسترسی داشته باشه رو بستم
در ادامه مسدود کردن فرمت‌های مختلف صفحات (جلوگیری از محتوای دوگانه) رو اضافه کردم

robots.txt
robots.txt

این موارد برای سایت‌های وردپرسی مشترکه و رعایت کردن همین نکات ساده می‌تونه اعتبار صفحات اصلی سایت رو بالا ببره

Advertisements

دیدگاه

در پایین مشخصات خود را پر کنید یا برای ورود روی شمایل‌ها کلیک نمایید:

نشان‌وارهٔ وردپرس.کام

شما در حال بیان دیدگاه با حساب کاربری WordPress.com خود هستید. بیرون رفتن / تغییر دادن )

تصویر توییتر

شما در حال بیان دیدگاه با حساب کاربری Twitter خود هستید. بیرون رفتن / تغییر دادن )

عکس فیسبوک

شما در حال بیان دیدگاه با حساب کاربری Facebook خود هستید. بیرون رفتن / تغییر دادن )

عکس گوگل+

شما در حال بیان دیدگاه با حساب کاربری Google+ خود هستید. بیرون رفتن / تغییر دادن )

درحال اتصال به %s