Является ли веб-скрейпинг законным?

Да, законен. Вопреки распространенному мнению, в самом веб-скрейпинге нет ничего теневого или незаконного. Но это не означает, что любой вид веб-скрейпинга законен. Как и любая деятельность человека, она должна оставаться в определенных рамках. При веб-скрейпинге наиболее важными границами являются персональные данные и правила интеллектуальной собственности, но и другие факторы, такие как условия обслуживания сайта, также могут играть роль.

Если вы хотите узнать больше о законности веб-скрейпинга, читайте дальше. Мы поочередно рассмотрим наиболее важные области, в которых возникает путаница, и дадим вам несколько полезных советов, чтобы ваши скраперы соответствовали требованиям и этическим нормам.

Мы юристы, но мы не ваши адвокаты. Несмотря на то, что мы хотим помочь, насколько это возможно, мы не знаем деталей вашего проекта. Для получения профессиональной юридической консультации, пожалуйста, обратитесь к сертифицированному юристу в вашей стране.

Эта статья была написана в августе 2021 года и обновлена в апреле 2022 года с учетом последних изменений в этой области.

Что вы узнаете:

  • Распространенные заблуждения, связанные с веб-скрейпингом.
  • Самые важные моменты для соблюдения этических норм при работе со скрепами.
  • Что такое персональные данные и как их идентифицировать.
  • Как авторское право влияет на скраппинг.
  • Как веб-сайты предотвращают скраппинг с помощью своих условий использования.
  • Что такое CFAA и как он связан с веб-скрейпингом.

Веб-скрейпинг является законным, если вы собираете данные, находящиеся в открытом доступе в Интернете. Но некоторые виды данных защищены международными нормами, поэтому будьте осторожны при соскабливании личных данных, интеллектуальной собственности или конфиденциальных данных. Уважайте целевые веб-сайты и используйте эмпатию для создания этичных скреперов. Если вы хотите обсудить ваш проект по веб-скрейпингу с нашей командой, вы можете связаться с нами через эту форму.

Содержание
  1. Распространенные заблуждения
  2. Миф 1: Веб-скрейпинг незаконен
  3. Миф 2: Веб-скрейперы действуют в серой зоне закона
  4. Миф 3: Веб-скрейпинг — это хакерство
  5. Миф 4: Веб-скреперы крадут данные
  6. Как сделать этичные скреперы
  7. Подумайте дважды, прежде чем использовать личные данные
  8. Что такое персональные данные (информация)?
  9. Общедоступные персональные данные
  10. Как этично соскабливать личные данные
  11. Соскабливание контента, защищенного авторским правом
  12. Добыча данных в Европейском Союзе
  13. Применение robots.txt.
  14. Добросовестное использование в США
  15. Факты не являются объектом авторского права, но следите за защитой баз данных
  16. Этичные скраперы не публикуют оригинальные работы
  17. Условия использования и скраппинг
  18. Соглашения Browsewrap
  19. Соглашения Clickwrap
  20. Директива DSM и условия использования
  21. Простая структура для оценки условий использования при скраппинге
  22. CFAA и уголовная ответственность в США
  23. Обновление — последние новости в 2022 году
  24. Заключение
  25. Дополнительная информация

Распространенные заблуждения

Прежде чем мы начнем, давайте проясним несколько заблуждений. Иногда мы слышим, что «веб-скрейперы работают в серой зоне закона». Или что «веб-скрейпинг незаконен, но никто не следит за соблюдением закона, потому что это сложно». Иногда даже говорят, что «веб-скрейпинг — это хакерство» или «веб-скрейперы крадут наши данные». Мы слышали это от клиентов, друзей, интервьюеров и других компаний. Дело в том, что все это неправда.

Миф 1: Веб-скрейпинг незаконен

Все зависит от того, что и как вы собираете. Это похоже на фотографирование телефоном. В большинстве случаев это совершенно законно, но если вы фотографируете армейскую базу или конфиденциальные документы, у вас могут возникнуть проблемы. С веб-скраппингом дело обстоит точно так же. Не существует закона или правила, запрещающего веб-скрейпинг. Но это не значит, что вы можете скрести все подряд.

Миф 2: Веб-скрейперы действуют в серой зоне закона

Вовсе нет. Легальные компании, занимающиеся веб-скрейпингом, являются обычными предпринимателями и следуют тем же правилам и нормам, которые должны соблюдать все остальные для ведения своего бизнеса. Веб-скрейпинг не является предметом жесткого регулирования, это правда. Но это не подразумевает ничего противозаконного. Совсем наоборот.

Миф 3: Веб-скрейпинг — это хакерство

Хотя слово «хакерство» имеет множество толкований, в основном оно используется для описания доступа к компьютерной системе нестандартными средствами, эксплуатируя систему. Веб-скреперы получают доступ к веб-сайтам точно так же, как это делает легитимный пользователь. Они не используют уязвимости и получают доступ только к тем данным, которые находятся в открытом доступе.

Миф 4: Веб-скреперы крадут данные

Веб-скреперы собирают только те данные, которые находятся в открытом доступе в Интернете. Можно ли украсть общедоступные данные? Представьте, что вы увидели в магазине красивую рубашку, достали телефон и записали марку и цену. Будете ли вы думать, что украли информацию? Нет, не подумаете. Да, некоторые виды данных защищены различными нормативными актами, и мы расскажем об этом позже, но в остальном при сборе таких фактов, как цены, местоположение или звезды в отзывах, беспокоиться не о чем.

Как сделать этичные скреперы

Даже если большинство плохих вещей, которые вы читали о скрапбукинге, не соответствуют действительности, вам все равно нужно быть осторожными в этом вопросе. Откровенно говоря, вы должны быть осторожны при ведении любого бизнеса. И веб-скрейпинг не является исключением. Существуют определенные виды данных, которые не следует соскабливать до того, как вы поговорите с адвокатом, и самый важный вид — это личные данные, на втором месте — интеллектуальная собственность.

Это не означает, что веб-скрейпинг опасен. Да, существуют правила, но вы можете использовать эмпатию, чтобы определить, будет ли ваш скраппинг этичным и законным или нет. Эмбер Замора предлагает список характеристик, которыми должен обладать этичный скрепер:

  • Скрепер действует как добропорядочный гражданин Интернета и не стремится перегрузить целевой сайт;
  • Копируемая информация была общедоступной и не находилась за барьером аутентификации с паролем;
  • скопированная информация была в основном фактической по своему характеру, и взятие не нарушало прав — включая авторские права — другого лица; и
  • Информация была использована для создания преобразующего продукта и не использовалась для кражи доли рынка у целевого сайта путем переманивания пользователей или создания практически аналогичного продукта.

Если вы будете следовать этим рекомендациям, вы можете быть уверены в этичности ваших действий.

В этой статье приведены рекомендации по этичному скрапбукингу для бизнеса. Если вы занимаетесь скраппингом для личного проекта или для академических исследований, вам будет немного проще, но мы не будем рассматривать здесь эти исключения.

Подумайте дважды, прежде чем использовать личные данные

Не так давно мало кто беспокоился о персональных данных. Не было никаких специальных правил, и все имена, дни рождения и предпочтения в покупках можно было свободно использовать. В Европейском Союзе (ЕС), Калифорнии и других юрисдикциях это уже не так. Если вы занимаетесь соскабливанием персональных данных, вам обязательно следует ознакомиться с Общим положением о защите данных (GDPR) и Калифорнийским законом о конфиденциальности потребителей (CCPA), а также с местными нормативными актами.

Поскольку в разных странах мира действуют разные правила, вам необходимо тщательно продумать, откуда и чьи данные вы соскабливаете. В некоторых странах это может быть совершенно нормально, в то время как в других местах вам следует полностью избегать персональных данных. Если вы хотите узнать больше, вот отличное сравнение GDPR и CCPA.

Как определить, что следует применять — GDPR, CCPA или какой-либо другой нормативный акт? Это упрощение, но если вы из ЕС, ведете бизнес в ЕС или люди, чьи данные вам нужны, находятся в ЕС, GDPR будет применяться. Это далеко идущее регулирование. С другой стороны, CCPA применяется только к калифорнийским предприятиям и жителям Калифорнии. Мы используем его для сравнения и потому, что это новаторское законодательство в Соединенных Штатах. Где бы вы ни находились, вы всегда должны проверять законы о конфиденциальности своей страны.

Что такое персональные данные (информация)?

GDPR определяет персональные данные следующим образом: «Персональные данные — это любая информация, относящаяся к идентифицированному или поддающемуся идентификации физическому лицу» Это немного сложно читать, но это дает нам представление о том, насколько широким является определение. Почти все может быть персональными данными, если это относится к конкретному человеку. Определение CCPA довольно похоже, но там это называется личной информацией. Для простоты мы будем использовать только термин «персональные данные».

Чтобы проиллюстрировать широту определения, давайте рассмотрим некоторые примеры персональных данных:

  • Официальные данные о человеке
    • имя, фамилия
    • дата рождения
    • адрес
    • номер социального страхования, номер паспорта, национальный идентификационный номер
    • информация о работе
  • контактные данные
    • номер телефона
    • адрес электронной почты
    • IP-адрес
    • учетные записи Facebook, Twitter и других сетей
  • Данные, часто собираемые приложениями
    • местоположение по адресу или GPS
    • предпочтения при покупках
    • поведенческие данные
  • видео- и аудиозаписи людей и биометрические данные.
  • Специальные категории персональных данных
    • пол, гендерная принадлежность и сексуальная ориентация
    • расовое или этническое происхождение
    • религиозные убеждения
    • политические взгляды
    • медицинские записи

Как видите, практически любая информация о человеке представляет собой персональные данные. Не забывайте, что это не исчерпывающий список. Если вы сомневаетесь, прочитайте определение еще раз и попытайтесь решить, подходит ли ваша информация под него или нет.

Общедоступные персональные данные

Большая часть сообщества веб-скрейпинга живет под ошибочным впечатлением, что защищены только частные персональные данные, что бы это ни значило, и что соскабливание персональных данных из общедоступных источников — веб-сайтов — абсолютно нормально. Ну, это зависит от обстоятельств.

Согласно GDPR, все персональные данные защищены, и совершенно неважно, откуда они получены. Одна компания в ЕС была оштрафована на довольно крупную сумму за соскабливание публичных данных из польского реестра предприятий. Позже суд отменил штраф, но однозначно подтвердил запрет на соскабливание общедоступных данных.

Согласно CCPA, информация, предоставленная правительством, например, данные бизнес-реестра, считается «общедоступной» и поэтому не подлежит защите. В США есть важное дело, касающееся соскабливания общедоступных данных из социальных сетей: HiQ против LinkedIn. Мы все еще ждем окончательного решения, но предварительные результаты поддерживают идею соскабливания личной информации, которая была обнародована самим человеком.

В 2023 году вступит в силу Калифорнийский закон о правах на частную жизнь (CPRA), который расширит определение CCPA как общедоступной информации. Данные, которые ранее были обнародованы субъектом, больше не будут защищены. Это может фактически разрешить соскабливание персональных данных с сайтов, на которых люди размещают свои личные данные в свободном доступе, например, LinkedIn или Facebook, но только в Калифорнии. Мы ожидаем, что другие штаты США могут вдохновиться CCPA и CPRA в своем собственном законодательстве о конфиденциальности.

Как этично соскабливать личные данные

Прежде чем приступить к юридическому анализу, воспользуйтесь эмпатией. Как вы думаете, будет ли рад человек, чьи данные вы собираетесь соскрести? Принесет ли это большую пользу? При этическом подходе к соскабливанию мы рассматриваем не только то, что законно, но и то, что правильно. У Apify есть прекрасный пример использования с Thorn, где мы находим потерявшихся детей с помощью личных данных. Мы очень гордимся этим примером и твердо уверены, что он проходит проверку на законный интерес, а также проверку на жизненно важный интерес и общественный интерес, предусмотренные GDPR.

После того как вы убедились, что не причиняете никому вреда своим скретчингом, вам следует проанализировать, какие нормативные акты применяются к вам. Если вы являетесь компанией в ЕС, GDPR применяется к вам, даже если вы хотите соскабливать личные данные людей в других странах мира. Как компания из ЕС, вы должны провести свое исследование. Иногда можно двигаться вперед на основании законного интереса, но чаще всего вам придется передать проект по соскабливанию персональных данных своим партнерам или конкурентам, не входящим в ЕС. С другой стороны, если вы не являетесь компанией из ЕС, не ведете бизнес в ЕС и не нацелены на людей, находящихся в ЕС, вы можете быть спокойны. Также не забудьте проверить местные правила, например, CCPA.

Наконец, вы должны запрограммировать свои скреперы так, чтобы собирать как можно меньше персональных данных и хранить их только временно. Создание базы данных людей и их информации (например, для привлечения потенциальных клиентов) является очень сложным делом в защищенных юрисдикциях, в то время как сбор людей из отзывов на Google Maps для автоматического выявления фальшивых отзывов и последующего удаления персональных данных может легко пройти проверку на законный интерес.

<h4>Meta v Social Data Trading Ltd.</h4>
<b>Meta Platforms, Inc. v. Social Data Trading Ltd.</b>
<p>In late December 2021, Meta Platforms, Inc., sued Hong Kong-based Social Data Trading Ltd. for scraping Instagram and Facebook profile data. Meta's case is built on the allegation that Social Data Trading Ltd. circumvented Meta's blocking measures and thereby engaged in illegal hacking under Section 502 of California's Penal Code. Meta had blocked Social Data Trading accounts, but alleges that the defendant used "thousands of automated Instagram accounts to improperly collect and aggregate data". The case is interesting because it will determine whether the use of fake accounts to bypass limited access to data is illegal.
Вход в полноэкранный режим Выход из полноэкранного режима

Соскабливание контента, защищенного авторским правом

Практически все в Интернете защищено каким-либо авторским правом. Некоторые вещи более очевидны, чем другие. Музыка, фильмы, фотографии? Конечно, защищены. Новостные статьи, сообщения в блогах, посты в социальных сетях, научные работы? Также защищены. HTML веб-сайтов, структура и содержание баз данных, изображения, логотипы и цифровая графика? Все эти вещи защищены авторским правом. Единственное, что не защищено авторским правом, — это простые факты. Но что это значит для веб-скреппинга?

Если часть контента защищена авторским правом, это означает, помимо прочего, что вы не можете делать копии без согласия автора (лицензии) или законного разрешения. Поскольку само определение скраппинга — это копирование контента, а у вас почти никогда нет прямого согласия автора, юридические разрешения — ваш лучший выбор. Как всегда, законы в разных странах мира различны. Мы будем обсуждать только правила ЕС и США.

Добыча данных в Европейском Союзе

В ЕС соскабливание контента, защищенного авторским правом, разрешено статьями 3 и 4 Директивы 2019/790 об авторском праве и смежных правах на цифровом едином рынке (Директива DSM). Директива DSM разрешает добычу текста и данных, что означает:

любой автоматизированный аналитический метод, направленный на анализ текста и данных в цифровой форме с целью получения информации, которая включает, но не ограничивается, закономерности, тенденции и корреляции;

Это очень важно, потому что это означает, что соскабливание защищенного авторским правом контента разрешено только в целях получения информации. Например, вы можете соскабливать веб-страницу, чтобы извлечь из нее цены, или книги для анализа естественного языка, но вы не можете соскабливать новостные статьи и затем переиздавать их на своем сайте.

Есть и другие условия, которые необходимо выполнить, прежде чем разрешить скраппинг:

  • Соскабливайте только то, к чему у вас есть законный доступ — общедоступные данные.
  • Для научных исследований вы можете свободно соскабливать практически все.
  • Для бизнеса владелец контента может отказаться от соскабливания, явно оформив это право в машиночитаемом формате.

Применение robots.txt.

Директива DSM не описывает подробно, как должно выглядеть явное резервирование в машиночитаемом формате, но общее предположение состоит в том, что владелец сайта может использовать команду Disallow стандарта robots.txt или другие подобные средства для выражения этого резервирования. Если URL-адреса, которые вы хотите соскрести, запрещены, вам не следует их соскребать. В противном случае вы рискуете нарушить авторские права владельцев.

Добросовестное использование в США

В США соскабливание защищенного авторским правом контента разрешено доктриной добросовестного использования. Правила в чем-то похожи на европейские, но они не проводят резкого различия между научными исследованиями и коммерческим скрапбукингом. Основополагающим прецедентным правом для применения принципа добросовестного использования к скрапбукингу является дело Гильдия авторов против Google (дело Google Books). В деле Google Books суд постановил, что создание виртуальных копий защищенного авторским правом контента — целых книг — разрешено в рамках добросовестного использования.

Применяя доктрину добросовестного использования к вашему скрапбукингу, мы рекомендуем сначала проверить, соответствуете ли вы этим условиям:

  • Оригинальное содержимое преобразуется в осмысленном виде. Например, HTML веб-страницы преобразуется в список названий товаров и цен. Не переиздавайте оригинальный контент.
  • Не создавайте конкурирующий продукт. Скраппинг предложений по продаже недвижимости для количественного анализа, скорее всего, нормален. Скрапирование тех же предложений для публикации их на собственном сайте — определенно нет.
  • Если есть возможность, не копируйте значительную часть оригинальной работы. Если вам не нужны определенные данные, не копируйте их.

Факты не являются объектом авторского права, но следите за защитой баз данных

Из определения авторского права следует, что факты не могут быть защищены авторским правом, поскольку они не являются оригинальным произведением автора, а всего лишь наблюдениями за реальностью. Это было подтверждено в деле C.B.C. Distribution and Marketing, Inc. против Major League Baseball Advanced Media, L.P. Что это означает для скраппинга, так это то, что вам в основном не нужно беспокоиться об авторском праве, если вы скраппируете такие факты, как цены на акции или данные о погоде в США.

В ЕС все немного сложнее. Согласно Директиве 96/9/EC о правовой защите баз данных (Директива о базах данных) даже факты могут быть защищены, если их сбор, проверка или представление потребовали значительных инвестиций. Это означает, что если кто-то приложил много усилий для создания коллекции данных, вы не можете просто скопировать ее и делать с ней все, что захотите. К счастью, это ограничение отменяется Директивой DSM. Поэтому, если вы собираете факты в ЕС, убедитесь, что вы выполняете перечисленные выше условия.

Этичные скраперы не публикуют оригинальные работы

Несмотря на то, что существует множество способов разрешенного скраппинга в ЕС или США, мы хотели бы подчеркнуть, что самым важным фактором из всех является уважение к работе оригинального автора и его бизнес-модели. Если вы это сделаете, то вряд ли у вас возникнут какие-либо претензии с их стороны. Этичный скрапер не переиздает и не продает оригинальные работы ради собственной выгоды. Это пиратство, а не скраппинг.

Условия использования и скраппинг

Могут ли веб-сайты ограничить скраппинг в условиях использования? Да, могут. Это может измениться в будущем, но в настоящее время ничто не мешает владельцу сайта добавить положения, запрещающие скрепинг или автоматизированный доступ. Но главный вопрос заключается в том, имеют ли эти положения исковую силу? Юридическая теория, лежащая в основе возможности принудительного исполнения договора, довольно сложна, но если говорить о веб-скрейпинге, то первое, что необходимо проверить, это способ создания договора.

Соглашения Browsewrap

Соглашение Browsewrap — это термин, используемый для описания договоров, которые были заключены просто при посещении веб-сайта. Худшие виды условий могут быть спрятаны в нижнем колонтитуле или зарыты глубоко в выпадающих меню. К счастью, юридическая теория обычно не признает соглашения такого типа действительными, поскольку маловероятно, что пользователь даже прочитал соглашение и, следовательно, не мог согласиться с его условиями. Ключевым компонентом является представление соглашения пользователю. Если сайт использует всплывающее окно для демонстрации соглашения или размещает ссылку на соглашение на видном месте, то даже соглашение, заключенное путем просмотра, может быть признано действительным. Соответствующее прецедентное право хорошо изложено в Википедии.


Условия использования сайта Apify являются оборачиваемыми для посетителей, потому что они находятся в нижнем колонтитуле.

Соглашения Clickwrap

Соглашения Clickwrap, с другой стороны, требуют действий со стороны пользователя. Эти условия будут заключены не просто при просмотре сайта, а при нажатии кнопки или установке флажка. Этот тип соглашений чрезвычайно распространен в интернет-магазинах и в формах регистрации, где пользователю необходимо поставить галочку, прежде чем продолжить, или где кнопка «Далее» содержит примечание: «Продолжая, вы соглашаетесь с нашими Положениями и условиями». Соглашения Clickwrap являются вполне нормальными и справедливыми договорами, и суды охотно применяют их. Как показало дело Ryanair v PR Aviation.text=&docid=161388&pageIndex=0&doclang=EN&mode=req&dir=&occ=first&part=1&cid=340454).


Условия использования Apify меняются на кликабельные, как только посетитель решает подписаться.

Директива DSM и условия использования

Скреперам в ЕС теперь будет немного легче благодаря Директиве DSM. Как мы уже говорили выше, добыча данных разрешена при определенных условиях, и если владелец сайта хочет отказаться от скраппинга, он должен сделать это в машиночитаемом формате. Это обеспечивает дополнительную безопасность для веб-скрейперов, поскольку им не нужно, чтобы их юридический отдел находил и просматривал сложные положения и условия веб-сайта. Их скреперы сделают это автоматически.

Простая структура для оценки условий использования при скраппинге

Несмотря на то, что теория и прецедентное право могут показаться сложными, в действительности определить, может ли веб-сайт успешно предотвратить скраппинг, довольно просто по его Условиям использования. При создании скрепера для конкретного веб-сайта обратите особое внимание на шаги, которые робот выполняет на сайте.

Должен ли он в какой-то момент нажать кнопку, ссылающуюся на условия веб-сайта? Или ему нужно закрыть модальное окно с условиями, чтобы продолжить работу? Выполняет ли он подписку на какую-либо услугу? Если роботу нужно выполнить действие, которое связало бы человека с условиями сайта, то вполне вероятно, что условия были приняты законно и являются обязательными.

С другой стороны, если на протяжении всего процесса соскабливания вы нигде не увидели ни одного упоминания об условиях, они, вероятно, зарыты где-то глубоко, и искать их — не ваша работа. Если владельцы сайта хотят, чтобы условия были обязательными, они должны разместить их на видном месте. Это справедливо. Тем не менее, если у вас есть какие-либо сомнения, вам следует обратиться к юристам.

Это цитата из ранее упомянутого решения о предварительном судебном запрете по делу HiQ против LinkedIn. Мы считаем, что это отличное руководство к тому, как следует подходить к односторонним запретам на скрейпинг со стороны владельцев сайтов:

[…] в целом, общественные интересы благоприятствуют позиции HiQ. Мы согласны с окружным судом в том, что предоставление таким компаниям, как LinkedIn, свободы действий в принятии решений на любой основе о том, кто может собирать и использовать данные — данные, которые не принадлежат компаниям, которые они делают общедоступными для зрителей, и которые сами компании собирают и используют — чревато возможным созданием информационных монополий, которые будут противоречить общественным интересам.

CFAA и уголовная ответственность в США

Последняя проблема, с которой сталкиваются веб-скреперы, существует только в США. Это чрезвычайно распространенное утверждение, что веб-скрейпинг нарушает Закон о компьютерном мошенничестве и злоупотреблении — спорный закон о борьбе со взломом, принятый в 1986 году (да, это было еще до появления современного Интернета). Согласно CFAA, доступ к компьютерной системе без разрешения является уголовным преступлением. С тех пор суды спорят о том, что значит «без разрешения».

Верховный суд США поддержал узкое толкование закона. В деле Ван Бюрен против Соединенных Штатов Верховный суд постановил, что «положение CFAA о «превышении санкционированного доступа» распространяется на тех, кто получает информацию из компьютерных сетей или баз данных, на которые их компьютерный доступ не распространяется, и не распространяется на тех, кто, как Ван Бюрен, имеет ненадлежащие мотивы для получения информации, которая в противном случае была бы им доступна».

Если мы попытаемся экстраполировать это решение на веб-скрейпинг, мы, возможно, захотим сказать, что «скрейпинг общедоступных данных — это нормально». На самом деле Верховный суд не сказал этого прямо и оставил на усмотрение судей Девятого округа обновить свое решение по делу HiQ против LinkedIn в свете дела Ван Бюрена.

Обновление — последние новости в 2022 году

18 апреля 2022 года Девятый округ в очередной раз подтвердил, что соскабливание общедоступных данных не может нарушать CFAA. Девятый округ основывался на деле Ван Бюрена, где Верховный суд США использовал «критерий «ворота вверх или вниз» (т.е. если требуется разрешение и оно было дано, то ворота подняты; если разрешение требуется и не было дано, то ворота опущены) для доступа к защищенному компьютеру. В новейшем решении по делу HiQ против LinkedIn Девятый округ указал, что определяющей особенностью публичных веб-сайтов является отсутствие ограничений на доступ, поэтому, используя аналогию с воротами, можно сказать, что изначально не было ворот, которые можно было бы поднять или опустить. Другими словами, если вначале не требуется авторизация, то впоследствии не из чего выходить. Концепция CFAA «без разрешения» просто не применима к публичным веб-сайтам.

Заключение

Итак, законен или нет веб-скрепинг? Это сложная проблема, но мы твердо уверены, что да, и надеемся, что этот краткий и смело упрощенный юридический анализ убедил и вас. Мы также считаем, что у веб-скрейпинга впереди большое будущее. Мы видим медленный, но неуклонный сдвиг парадигмы в принятии скраппинга как полезного и этичного инструмента для сбора информации и даже создания новой информации в Интернете.

В конечном счете, это не более чем автоматизация работы, которую обычно выполняют люди. Веб-скрепинг просто делает этот процесс более быстрым и надежным. А самое главное, это позволяет людям сосредоточиться на более важных делах. Apify помогает спасать детей, ставших жертвами торговли людьми, находить потерявшихся собак и даже восстанавливать леса с помощью веб-скрейпинга, так что не все так плохо, не так ли? 🙂.

Дополнительная информация

Если вам все еще недостаточно, вот список нескольких перспективных текстов, которые объясняют темы, которые мы обсуждали, гораздо более подробно, чем мы могли бы в этой статье.

  • Making Room For Big Data: Веб-скрейпинг и утвердительное право на доступ к общедоступной информации в Интернете», Амбер Замора.
  • GitHub Copilot не нарушает ваши авторские права Юлия Реда
  • Решение окружного суда по делу HiQ против LinkedIn
  • Решение апелляционного суда по делу HiQ против LinkedIn
  • HiQ против LinkedIn Апелляционный суд Соединенных Штатов по девятому округу подтвердил решение окружного суда

Оцените статью
Procodings.ru
Добавить комментарий