Scrapling и скрейпинг защита от ботов, как Cloudflare борется с новым инструментом

Инструмент Scrapling, созданный на Python, за короткое время набрал более 200 000 загрузок. Его задача проста: обходить системы защиты от ботов, включая Cloudflare Turnstile, и позволять AI-агентам извлекать данные с сайтов без ограничений. На этой неделе ситуация вокруг него обострилась до предела.

Что такое Scrapling и почему он стал популярен

Scrapling представляет собой open-source библиотеку, которая работает в связке с различными AI-агентами. Особенно активно её начали использовать вместе с OpenClaw. Схема простая: пользователь указывает, какие данные нужно извлечь, а Scrapling берёт на себя обход защитных механизмов. В вирусных постах на X (бывший Twitter) инструмент рекламировали фразами вроде «никакого обнаружения ботов, никаких проблем с Cloudflare».

Популярность объяснима. Крупные языковые модели изначально обучались на массивах данных, собранных скрейпингом из интернета. Теперь пользователи повторяют этот процесс, но уже в индивидуальном масштабе, для собственных нужд.

Как Cloudflare реагирует на угрозу

Cloudflare уже блокировала предыдущие версии Scrapling. По словам Дэйна Кнехта, технического директора компании, это постоянная гонка: «Мы вносим изменения, потом они вносят изменения». На этой неделе команда инженеров по безопасности работала над патчем для новейшей итерации инструмента.

Компания утверждает, что за неполный год заблокировала 416 миллиардов несанкционированных попыток скрейпинга. Скрейпинг защита от ботов становится всё более сложной задачей, потому что инструменты вроде Scrapling постоянно эволюционируют.

Криптоскандал вокруг проекта

Ситуация приобрела неожиданный поворот, когда криптоэнтузиасты запустили мемкоин $Scrapling. Карим Шоаир, разработчик инструмента, первоначально поддержал монету в своих постах, но потом удалил их. Цена токена взлетела примерно на пять часов, после чего рухнула. «Куча чертовых мошенников», написал один из пользователей на платформе Pump.Fun.

Шоаир заявил в переписке с WIRED, что не понимал, во что ввязывается, и что выведенные средства пойдут на благотворительность. Аккаунт GitHub Projects Community с более чем 300 000 подписчиков удалил свои посты о Scrapling и дистанцировался от проекта.

Что дальше

Несмотря на конфликт, даже представители Cloudflare признают: будущее интернета связано с AI-агентами. Кнехт говорит, что видит путь к интернету, дружелюбному и для агентов, и для людей, при условии уважения к правам владельцев сайтов.

Для бизнеса это означает, что вопрос защиты данных и контроля доступа к контенту будет только обостряться. Если вам нужно выстроить автоматизацию сбора или обработки данных с учётом всех правовых и технических нюансов, компания Фабио Де Лука разрабатывает AI-решения, которые работают в рамках допустимых правил, интегрируя инструменты вроде OpenAI, Google Gemini и другие в готовые продукты для бизнеса.

Гонка между инструментами обхода защиты и системами скрейпинг защита от ботов не закончится в ближайшее время. Каждая сторона адаптируется к действиям другой, и этот цикл будет продолжаться, пока индустрия не выработает общепринятые стандарты доступа AI-агентов к веб-контенту.