[Admin]

اگر می خواهید برخی از پوشه ها و فایل های شما توسط موتورهای جستجو بررسی و ایندکس نشوند آموزش زیر را مطالعه نمایید. (ایندکس= یعنی نمایش در نتایج جستجوها)
که معمولا بهتر است این محدودیت را ایجاد و فایل ها را تعیین کنید.

مثلا پوشه ها و فایل هایی که نباید و نیاز نیست در نتایج جستجو بیایند و گاه برخی باعث سردرگم شدن کاربران نیز می شوند.


روش انجام:
خب اول از همه در ریشه (root) هاست سایت خود یک فایل تکست دقیقا با این نام ایجاد کنید: robots.txt

حال سطر اول باید یکی از کد های زیر را طبق نیاز خود قرار دهید:

کد:

اگر می خواهید محدودیت های اعمال شده کل موتور های جستجو را شامل شود - کد زیر:
User-agent: *

اگر تنها می خواهید یک موتور جستجو خاص را محدود کنید (مثلا گوگل) کد زیر
User-agent: Googlebot

مثل مثال بالا می توانید برای موتور جستجوی مورد نظر خود کد را وارد کنید
و از لینک زیر می توانید دیتابیس کاملی از موتورهای جستجو را مشاهده کنید
http://www.robotstxt.org/db.html

حال برای سطر های بعدی کد طبق مثال های زیر استفاده کنید:

اگر می خواهید اجازه بررسی و ایندکس کل سایت را بدهید کد زیر:

کد:

Allow: /

اگر می خواهید کل سایت ایندکس نشود کد زیر:

کد:

Disallow: /

اگر می خواهید کل یک پوشه یا ساب‌دامین ایندکس نشود - مثال های زیر:

کد:

Disallow: /directory-name/
Disallow: /dl1/
Disallow: /upload/
Disallow: /sub-domain/
Disallow: /sub-domain/folder-name/

اگر می خواهید فایل ایندکس نشود - مثال های زیر:

کد:

Disallow: /test.php
Disallow: /index.html
Disallow: /sub-domain/newreply.php

اگر می خواهید کلا پسوند خاصی از فایل یا تصاویر ایندکس نشوند - مثال های زیر:

کد:

Disallow: /*.gif$
Disallow: /*.php$

اگر می خواهید تمام لینک های دارای "?" ایندکس نشوند - مثال کد زیر:

کد:

Disallow: /*?

اینم یک مثال از کد کامل robots.txt:

کد:

User-agent: *
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /feed/
Disallow: /trackback/
Disallow: /forum/memberlist.php
Disallow: /forum/newreply.php
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*?
User-agent: Googlebot
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
User-agent: ia_archiver
Disallow: /

توجه داشته باشید که برای پوشه هایی که پسورد دایرکتوری از داخل هاست قرار داده اید نیاز به بلاک کردن ربات ها نیست، چون توسط موتور های جستجو قابل بررسی نیستند.

-----------------------------

همچنین اگر می خواهید صفحه خاصی را محدود کنید می توانید برای این کار از تگ متا در صفحه مورد نظر استفاده کنید:
برای این منظور باید کد مربوطه بین تگ head در صفحه(های) مورد نظر قرار گیرد:

کد:

برای ایندکس نشدن صفحه توسط همه موتور جستجو ها کد زیر
<meta name="robots" content="noindex">

و برای ایندکس نشدن صفحه تنها توسط موتور جستجوی گوگل کد زیر
<meta name="googlebot" content="noindex">

نکته: بهتر است حجم فایل robots.txt کمتر از 500KB باشد.