نظرًا لأن زاحف محرك البحث قد يحتفظ بنسخة مخبأة من هذا الملف ، فقد يقوم في بعض الأحيان بالزحف إلى صفحات لا يرغب مشرف الموقع في الزحف إليها. تتضمن الصفحات التي يتم منع الزحف إليها عادةً صفحات خاصة بتسجيل الدخول مثل عربات التسوق والمحتوى الخاص بالمستخدم مثل نتائج البحث من عمليات البحث الداخلية. في مارس 2007 ، حذرت Google مشرفي المواقع من أنه يجب عليهم منع فهرسة نتائج البحث الداخلية لأن هذه الصفحات تعتبر بحثًا غير مرغوب فيه.
اقرا المزيدشركة تصميم مواقع بالعين