خبير Semalt في كشط بيانات الموقع - الروبوتات الجيدة والسيئة

تم تجريف الويب منذ فترة طويلة ويعتبر مفيدًا لمشرفي المواقع والصحفيين والمستقلين والمبرمجين وغير المبرمجين والباحثين التسويقيين والعلماء وخبراء وسائل التواصل الاجتماعي. هناك نوعان من البوتات: البوتات الجيدة والبوتات السيئة. تمكّن الروبوتات الجيدة محركات البحث من فهرسة محتوى الويب ويتم إعطاؤها تفضيلًا عاليًا من قبل خبراء السوق والمسوقين الرقميين. الروبوتات السيئة ، من ناحية أخرى ، عديمة الفائدة وتهدف إلى الإضرار بترتيب محرك البحث الخاص بالموقع. تعتمد شرعية إلغاء الويب على نوع الروبوتات التي استخدمتها.

على سبيل المثال ، إذا كنت تستخدم الروبوتات السيئة التي تجلب المحتوى من صفحات الويب المختلفة بقصد استخدامه بشكل غير قانوني ، فقد تكون خدش الويب ضارة. ولكن إذا كنت تستخدم الروبوتات الجيدة وتجنب الأنشطة الضارة بما في ذلك رفض هجمات الخدمة ، والاحتيال عبر الإنترنت ، واستراتيجيات استخراج البيانات التنافسية ، وسرقة البيانات ، وسرقة الحساب ، وفحص الثغرات غير المصرح به ، وعمليات الاحتيال للإعلانات الرقمية ، وسرقة الممتلكات الفكرية فإن إجراء تجريف الويب جيد ومفيد لتنمية أعمالك على الإنترنت.

لسوء الحظ ، يحب معظم المستقلين والشركات الناشئة برامج الروبوت السيئة لأنها طريقة رخيصة وقوية وشاملة لجمع البيانات دون الحاجة إلى شراكة. ومع ذلك ، تستخدم الشركات الكبرى كاشطات الويب القانونية لتحقيق مكاسبها ولا تريد تدمير سمعتها على الإنترنت باستخدام كاشطات الويب غير القانونية. لا يبدو أن الآراء العامة حول شرعية إلغاء الويب أمر مهم لأنه في الأشهر القليلة الماضية أصبح من الواضح أن أنظمة المحاكم الفيدرالية تلاحق المزيد والمزيد من استراتيجيات إلغاء الويب غير القانونية.

بدأ إلغاء الويب كعملية غير قانونية في عام 2000 ، عندما اعتبر استخدام برامج الروبوت والعناكب لاختراق مواقع الويب هراء. لم يتم تكييف العديد من الممارسات لمنع هذا الإجراء من الانتشار على الإنترنت حتى عام 2010. قام موقع eBay أولاً بتقديم الأوامر الأولية ضد Bidder's Edge ، مدعياً أن استخدام الروبوتات على الموقع قد انتهك قوانين Trespass to Chattels. سرعان ما منحت المحكمة الأوامر القضائية لأن المستخدمين اضطروا إلى الموافقة على شروط وأحكام الموقع وتم تعطيل عدد كبير من الروبوتات لأنها يمكن أن تكون مدمرة لأجهزة الكمبيوتر في eBay. سرعان ما تمت تسوية الدعوى خارج المحكمة ، وأوقف eBay الجميع من استخدام برامج التتبع للكشف عن الويب بغض النظر عن كونهم جيدين أو سيئين.

في عام 2001 ، رفعت وكالة سفر دعوى قضائية ضد المنافسين الذين استبعدوا محتواها من الموقع بمساعدة العناكب الضارة وبرامج الروبوت السيئة. اتخذ القضاة مرة أخرى تدابير ضد الجريمة وفضلوا الضحايا ، قائلين إن كشط الويب واستخدام الروبوتات يمكن أن تضر بالعديد من الشركات عبر الإنترنت.

في الوقت الحاضر ، بالنسبة للتجميع الأكاديمي والخاص والمعلومات ، يعتمد الكثير من الناس على إجراءات القشط العادل على الويب ، وقد تم تطوير الكثير من أدوات القشط على الويب في هذا الصدد. الآن يقول المسؤولون أن هذه الأدوات ليست جميعها موثوقة ، ولكن تلك التي تأتي في إصدارات مدفوعة أو مدفوعة أفضل من كاشطات الويب المجانية .

في عام 2016 ، أقر الكونغرس أول تشريع لاستهداف الروبوتات السيئة وتفضيل الروبوتات الجيدة. تم تشكيل قانون مبيعات التذاكر عبر الإنترنت الأفضل (BOTS) الذي حظر استخدام البرامج غير القانونية التي يمكن أن تستهدف مواقع الويب ، مما أدى إلى إتلاف صفوف محرك البحث وتدمير أعمالهم. هناك مسائل العدل. على سبيل المثال ، أنفق LinkedIn الكثير من الأموال على الأدوات التي تحظر أو تزيل الروبوتات السيئة وتشجع الروبوتات الجيدة. بينما كانت المحاكم تحاول البت في شرعية إلغاء الويب ، فإن الشركات تسرق بياناتها.

mass gmail