ما هو متتبع ارتباطات الويب؟ - تعريف من techopedia

التعريف - ماذا يعني Web Crawler؟

متتبع ارتباطات الويب هو روبوت إنترنت يساعد في فهرسة الويب. يزحفون إلى صفحة واحدة في كل مرة عبر موقع ويب حتى يتم فهرسة جميع الصفحات. تساعد برامج زحف الويب في جمع معلومات حول موقع ويب والروابط المرتبطة به ، كما تساعد في التحقق من صحة كود HTML والارتباطات التشعبية.

يُعرف متتبع ارتباطات الويب أيضًا باسم عنكبوت الويب أو المفهرس التلقائي أو ببساطة الزاحف.

يشرح Techopedia Web Crawler

تقوم برامج زحف الويب بجمع معلومات مثل عنوان URL لموقع الويب ، ومعلومات علامة التعريف ، ومحتوى صفحة الويب ، والروابط في صفحة الويب والوجهات المؤدية من تلك الروابط ، وعنوان صفحة الويب وأي معلومات أخرى ذات صلة. يتتبعون عناوين URL التي تم تنزيلها بالفعل لتجنب تنزيل نفس الصفحة مرة أخرى. تحدد مجموعة من السياسات مثل سياسة إعادة الزيارة وسياسة الاختيار وسياسة الموازاة وسياسة التهذيب سلوك الزاحف على الويب. هناك العديد من التحديات التي تواجه برامج زحف الويب ، وهي شبكة الويب العالمية الكبيرة والمتطورة باستمرار ، والمقايضات في اختيار المحتوى ، والالتزامات الاجتماعية والتعامل مع الخصوم.

برامج زحف الويب هي المكونات الرئيسية لمحركات البحث على الويب والأنظمة التي تبحث في صفحات الويب. فهي تساعد في فهرسة إدخالات الويب وتسمح للمستخدمين بإرسال استعلامات مقابل الفهرس وتوفر أيضًا صفحات الويب التي تطابق الاستعلامات. استخدام آخر لبرامج زحف الويب هو أرشفة الويب ، والتي تتضمن مجموعات كبيرة من صفحات الويب التي يتم جمعها وحفظها بشكل دوري. تستخدم برامج زحف الويب أيضًا في استخراج البيانات ، حيث يتم تحليل الصفحات لخصائص مختلفة مثل الإحصاءات ، ثم يتم إجراء تحليلات البيانات عليها.