فولدر Robots . txt و دستگاه لیزر هر چیزی که نیاز است راجع به آن بدانیم

همانطور که می‌دانید دستگاه لیزر فولدر Robots . txt به خزندگان ( یا به عبارتی کراولرهای ) موتورهای کاوش و بقیه کراولرها می‌گوید کدام صفحه از سایت برای اسکن کردن باز است و کدام ورقه را نمی‌توانند بازنگری کنند . این فایل امروزه به وسیله اکثر وبسایت ها آیتم استفاده قرار میگیرد و طولانی تر کراولرهای اینترنت به آن احترام دستگاه لیزر می‌گذارند . این پروتکل اغلب بر روی وبسایت هایی به کار گیری میشود که در حال توسعه می باشند یا بر روی صفحاتی مورد فایده قرار می‌گیرد که دوست ندارند در چنگ عموم باشند . در روند بهینه سازی سایت برای موتورهای جستجو یا این که به عبارتی دستگاه لیزر , فایل Robots . txt دستگاه لیزر نقش مهمی در باصرفه سازی خزش و ایندکس موتورهای جستجو بازی می نماید &# دستگاه ایران روتک لیزر . txt

پروتکل Robots . txt اساسا به وسیله یکی‌از پیشگامان فضای وب و خالق Allweb یعنی Martijn Koster توصیه شد . وی در اوایل سال 1994 این سفارش را اعطا کرد که در این مجال برای شرکت Nexor عمل می کرد . تالیف کننده انگلیسی به نام Charlie Stross داعیه می کند این پیشنهاد را هنگامی که وی خزنده بدخواهی را ساخت که سبب ساز بروز مشکلاتی بر روی سرورها شد به Koster داد . به لطف سادگی و مفید بودن این پروتکل , بیشتر وبسایت ها و موتورهای جستجوی نخستین هم خویش را با این پوشه سازگار کردند . تاکنون , موتورهای جستجویی همچون گوگل , بینگ , یاهو و بقیه موتورهای جستجو بدین پروتکل احترام می گذارند و خود را از صفحاتی که توسط استفاده کننده محدود شده‌است دور نگه می‌دارند .


برای پروسه سئوی تارنما هم فولدر robots . txt به بخش یکدست فرایند باصرفه سازی تبدیل شده‌است . زیرا جامعه آگاهی بیشتری در زمینه‌ی مفاهیمی همچون جریان تساوی لینک و میزان دارایی خزش به دست آورده اند . امروزه سئوکاران کارشناس و با تجربه بر روی این پروتکل تکیه می نمایند تا بتوانند ربات ها را از خرش صفحه ها پویا , صفحات مختص ادمین , صفحه های پرداخت و بقیه سندها شبیه گشوده دارند . با اینحال همگی خزندگان از این استاندارد پیروی نمی کنند . ربات های اسپم , اسکن کنندگان محتوا , قابل انعطاف افزاری های هک و بدخواه تمامی راهبرد های دستگاه لیزر جان دار در‌این پوشه را نادیده می گیرند .

در بعضی از مورد ها , خزندگان بدخواه چه بسا خزش این صفحات را در حق تقدم کاری خود قرار میدهند . وب سایت های دستگاه لیزر آرشیوی همچون Archive Team و Internet Archive چنین استانداردهایی دستگاه لیزر را نادیده می‌گیرند و آن را به عنوان یک پروتکل منسوخ میشناسند که بیشتر برای موتورهای جستجو تاسیس شده است . تیم های آرشیوی معمولا ادعا می کنند اطلاعاتی را ذخیره می سازند که تکامل وب و بقیه بنیانگذاران دستگاه لیزر را مانیتور می کند .