فایل Robots . txt و دستگاه لیزر هر چیزی که نیاز است درباره‌ی آن بدانیم

همانطور که میدانید دستگاه لیزر فایل Robots . txt به خزندگان ( یا به عبارتی کراولرهای ) موتورهای جستجو و بقیه کراولرها می گوید کدام صفحه از وبسایت برای کپی کردن باز است و کدام صفحه را نمی‌توانند بازنگری نمایند . این فایل امروزه بوسیله اکثر تارنما ها مورد استفاده قرار می گیرد و اکثر کراولرهای اینترنت به آن احترام دستگاه لیزر می گذارند . این پروتکل اغلب بر روی وبسایت هایی استفاده می شود که در حال توسعه می باشند یا بر روی صفحاتی قضیه به کار گیری قرار میگیرد که دوست ندارند در اختیار عموم باشند . در پروسه بهینه سازی وب سایت برای موتورهای جستجو یا این که به عبارتی دستگاه لیزر , پوشه Robots . txt دستگاه لیزر نقش مهمی در با صرفه سازی خزش و ایندکس موتورهای کاوش بازی می نماید .
تاریخچه فایل Robots . txt


پروتکل Robots . txt اصولا توسط یک کدام از پیشگامان فضای وب و سازنده Allweb یعنی Martijn Koster پیشنهاد شد . وی در اوایل سال دستگاه برش لیزر این پیشنهاد را بخشید که درین عصر برای کمپانی Nexor فعالیت می‌کرد . مولف انگلیسی به نام Charlie Stross داعیه می کند این سفارش را هنگامی که وی خزنده بدخواهی را تشکیل داد که باعث پیدایش مشکلاتی بر روی سرورها شد به Koster بخشید . به لطف سادگی و اثرگذار بودن این پروتکل , بیشتر وب سایت ها و موتورهای جستجوی اولیه نیز خویش را با این پوشه سازگار کردند . تا به امروز , موتورهای جستجویی همچون گوگل , بینگ , یاهو و سایر موتورهای کاوش بدین پروتکل احترام می گذارند و خود را از صفحاتی که بوسیله استفاده کننده محدود شده‌است به دور نگه می‌دارند .

برای مراحل سئوی سایت هم فایل robots . txt به بخش یک دست فرآیند بهینه سازی تبدیل شده‌است . زیرا جامعه آگاهی بیشتری درباره‌ی مفاهیمی همچون جریان تساوی لینک و دارایی خزش به دست آورده اند . امروزه سئوکاران کارشناس و با تجربه بر روی این پروتکل تکیه می کنند تا بتوانند ربات ها را از خرش صفحه ها پویا , صفحه های مختص ادمین , صفحه ها پرداخت و سایر اسناد شبیه باز دارا هستند . با اینحال کلیه خزندگان از این استاندارد پیروی نمی کنند . ربات های اسپم , اسکن کنندگان محتوا , نرم افزاری های هک و بدخواه کلیه دستورالعمل های دستگاه لیزر جان دار در این فولدر را نادیده میگیرند .

در برخی از موردها , خزندگان بدخواه چه بسا خزش این صفحات را در اولویت کاری خود قرار وارد می کنند . تارنما های دستگاه لیزر آرشیوی همچون Archive Team و Internet Archive چنین استانداردهایی دستگاه لیزر را نادیده میگیرند و آن را تحت عنوان یک پروتکل منسوخ می شناسند که بیش تر برای موتورهای کاوش تاسیس شده است . تیم های آرشیوی معمولا ادعا می نمایند اطلاعاتی را ذخیره میسازند که تکامل وب و بقیه بنیانگذاران دستگاه لیزر را صفحه نمایش می نماید .