آشنایی با فایل robots.txt در طراحی سایت

 

توسط این فایل شما به ربات های وبسمتر دستور می دهید که به فایل ها و پوشه های سایت شما چه نگاهی داشته باشند. برای مثال در عکس بالا در خط دوم به ربات ها گفته می شود که صفحه و پوشه ادمین را در نتایج موتورهای جستجو ایندکس نکند چرا که صفحه مدیریت باید در نتایج جستجوها پنهان باشد.
در خط سوم اعلام می شود که نقشه سایت در چه آدرسی قرار دارد و ربات را به آن آدرس ارجاع می دهد.

از جمله موارد استفاده از فایل ربات بلاک کردن تعدادی صفحه خاص برای جستجوگرها می باشد. باید این را در نظر بگیرید که هر فایلی را نباید بلاک کرد چون ممکن است نتایج بدی را برای سایت شما به همراه داشته باشد. برخی از این صفحات در صفحه Blocked Resources در همان وبمستر قابل مشاهده است.


چگونه فایل robots.txt را بسازیم؟
 

برای اینکار شما کار ساده ای در پیش دارید و باید وارد هاست خود شده و فایلی به نام robots با فرمت txt بسازید و سپس کدهای خود را وارد کنید. باز هم دقت کنید که وجود این فایل در سایت شما کمک شایانی در طراحی سایت خواهد کرد.