آشنایی با فایل robots.txt در طراحی سایت


زمانی که وب سایت شما آماده شده و روی هاست قرار می گیرد نوبت به ثبت سایت در وبمسترهایی مثل گوگل و بینگ می شود. پس از ثبت در وبمستر موردی به نام robots.txt وجود دارد و برای تست این فایل  هم خود وبمستر گزینه ای را پیشنهاد می دهد که در شکل زیر مشخص است.

آشنایی با فایل robots.txt در طراحی سایت


حال سوال این است که چرا باید از robots.txt استفاده کرد؟

توسط این فایل شما به ربات های وبسمتر دستور می دهید که به فایل ها و پوشه های سایت شما چه نگاهی داشته باشند. برای مثال در عکس بالا در خط دوم به ربات ها گفته می شود که صفحه و پوشه ادمین را در نتایج موتورهای جستجو ایندکس نکند چرا که صفحه مدیریت باید در نتایج جستجوها پنهان باشد.
در خط سوم اعلام می شود که نقشه سایت در چه آدرسی قرار دارد و ربات را به آن آدرس ارجاع می دهد.

از جمله موارد استفاده از فایل ربات بلاک کردن تعدادی صفحه خاص برای جستجوگرها می باشد. باید این را در نظر بگیرید که هر فایلی را نباید بلاک کرد چون ممکن است نتایج بدی را برای سایت شما به همراه داشته باشد. برخی از این صفحات در صفحه Blocked Resources در همان وبمستر قابل مشاهده است.


چگونه فایل robots.txt را بسازیم؟

برای اینکار شما کار ساده ای در پیش دارید و باید وارد هاست خود شده و فایلی به نام robots با فرمت txt بسازید و سپس کدهای خود را وارد کنید. باز هم دقت کنید که وجود این فایل در سایت شما کمک شایانی در طراحی سایت خواهد کرد.