جدول المحتويات:
تعريف - ماذا يعني العنكبوت؟
في سياق الإنترنت ، يعد العنكبوت برنامجًا مخصصًا مصممًا للزحف على شبكة الويب العالمية واستعراضها بشكل منتظم بغرض فهرسة صفحات الويب من أجل توفيرها كنتائج بحث لاستعلامات بحث المستخدم. أشهر هذه العناكب هو Googlebot ، الزاحف الرئيسي لـ Google ، والذي يساعد على ضمان إرجاع النتائج ذات الصلة لاستفسارات البحث.
تُعرف العناكب أيضًا باسم برامج زحف الويب أو برامج البحث أو برامج الروبوت.
تيكوبيديا تشرح العنكبوت
العنكبوت هو في الأساس برنامج يستخدم لجمع المعلومات من شبكة الويب العالمية. يزحف عبر صفحات مواقع الويب التي تستخرج المعلومات وفهرستها لاستخدامها لاحقًا ، وعادةً ما تكون نتائج محرك البحث. يزور العنكبوت مواقع الويب وصفحاتهم من خلال الروابط المختلفة من وإلى الصفحات ، لذلك سيكون من الصعب فهرسة الصفحة التي لا تحتوي على رابط واحد وقد يتم تصنيفها في مرتبة منخفضة بالفعل في صفحة نتائج البحث. وإذا كان هناك الكثير من الروابط التي تشير إلى الصفحة ، فهذا يعني أن الصفحة شائعة وستظهر أعلى في نتائج البحث.
الخطوات المتضمنة في الزحف إلى الويب:
- يبحث العنكبوت عن موقع ويبدأ في الزحف إلى صفحاته.
- فهرسة العنكبوت كلمات ومحتويات الموقع.
- يزور العنكبوت الروابط الموجودة على الموقع.
العناكب أو المبرمجون على الويب هم مجرد برامج ، وهم يتبعون القواعد المنهجية التي وضعها المبرمجون. يمكن لمالكي مواقع الويب أيضًا الدخول إلى هذا عن طريق إخبار العنكبوت بأجزاء الموقع التي تريد فهرستها وأيها لا ينبغي أن يفعل ذلك. يتم ذلك عن طريق إنشاء ملف "robots.txt" يحتوي على إرشادات للعنكبوت بشأن الأجزاء التي يجب فهرستها والروابط التي يجب متابعتها وتلك التي يجب تجاهلها. أهم العناكب الموجودة هناك هي تلك التي تملكها محركات البحث الرئيسية مثل Google و Bing و Yahoo ، وتلك المخصصة للبحث عن البيانات والبحث ، ولكن هناك أيضًا بعض العناكب الخبيثة المكتوبة للعثور على رسائل البريد الإلكتروني وجمعها للمستخدم ليبيعها للشركات أو للعثور على نقاط الضعف في أمان الويب.
