اگر شما مدیر یک وب سایت اینترنتی باشید احتمالاً با فایل
Robot.txt برخورد کرده اید یا حداقل درباره آن شنیده
اید در این مقاله می خواهیم کمی بیشتر درباره این فایل مزایای آن و بدفهمی هایی که
در مورد آن وجود دارد صحبت کنیم.
این فایل در حقیقت یک فایل متنی است که به موتور های جستجو می
گوید کجا ها را نباید بکاود و در لیست خود اضافه کند. حتی شما می توانید یک
موتور جستجو را از زیر و رو کردن وب سایت خود بر حذر کنید اما این فایل هیچ
الزامی برای آن موتور جستجو ایجاد نمی کند و هیچ ضمانتی نیست که نرم افزار های
کاونده موتور های جستجو از دستورات این فایل پیروی کنند ولی به هر حال موتور
های جستجوی بزرگ و معتبر به این فایل اهمیت می دهند و از آن استفاده می کنند.
چرا باید از آن استفاده کنید؟
هدف موتور های جستجو جمع آوری محتویاتی است که قرار است به
کاربران شما ارائه شود بنابراین لازم نیست مثلاً کد های برنامه های وب سایت شما توسط
موتور جستجو کاوش شود توسط موتور جستجو کاوش شود این کار دو مشکل به وجود می
آورد
اول اینکه به سرور وب سایت شما بار اضافه تحمیل می کند و سرعت سرور کاهش می
یابد و در همین هنگام اگر کاربران هم در حال بازدید از سایت شما یا در حال
دانلود فایل های حجیم باشند این مشکل بیشتر به چشم می آید. دوم اینکه
بعضی کد های وب سایت شما در اختیار دیگران می افتد که از نظر امنیتی اصلاً جالب
نیست هر چند این راه کار به عنوان یک راهکار امنیتی به هیچ وجه کامل نیست و شما
باید تنظیمات لازم را برای محدودیت دسترسی به این بخش در کنترل پنل سایت خود
انجام دهید.
ادامه مطلب ...
