Аннотация:
В июле этого года компания Cloudflare опубликовала заявление, которое непосредственно стало причиной взрыва X. Что означает это объявление? Блогер @iyici_ прокомментировал: «Компания, производящая код подтверждения, используемый всеми веб-сайтами, хочет заблокировать поисковые системы, которыми пользуются все».
Новые правила, новые сборы, пришло время взимать плату за искусственный интеллект｜Cloudflare
Самое интересное в анонсе | Облачная вспышка
Чарльз Петерсен, известный писатель и редактор в области технологий из Сан-Франциско, считает, что Интернету наступает конец. Он написал в Твиттере X "
RIP World Wide Web (1993-2026)
. »
Исходный комментарий @iyici_｜X.com
Почему заявление этой технологической компании, о которой большинство людей никогда не слышало, может вызвать такой большой шок? Потому что эта компания приняла решение, которое, вероятно, изменит экосистему Интернета:
Это поможет веб-сайтам собирать «пошлину» с ИИ
.Кибербодхисаттва: Вы этого не знаете, но пользуетесь этим каждый день
Что именно делает Cloudflare?
Cloudflare – один из крупнейших в мире поставщиков услуг сетевой инфраструктуры. Ее доля на рынке CDN и защиты от DDoS уже давно занимает лидирующие позиции. Вы можете просто понимать это как «передний склад» и «ров» сайта.
Например, вы владелец небольшого веб-сайта в Китае. Если пользователи из Сингапура, США и Японии посещают ваш сайт, они каждый раз будут получать изображения, скрипты и контент непосредственно с китайского сервера, что будет крайне медленно. Таким образом, вы подключаете свой веб-сайт к Cloudflare, который имеет множество узлов по всему миру и кэширует часто используемый контент на ближайшем к пользователю сервере, чтобы пользователи из других стран могли быстрее получить доступ к вашему сайту.
Поскольку, когда пользователи посещают ваш веб-сайт, они сначала посещают узел Cloudflare, он также может предоставлять услуги защиты от вредоносных атак и роботов с аномальным трафиком.
Все еще чувствуете себя абстрактным? Тогда вы наверняка видели следующий значок:
Нажмите эту кнопку и подождите около четырех-пяти секунд, прежде чем веб-сайт можно будет открыть: это работающая служба проверки человека и машины Cloudflare, широко известная как «пятисекундный щит». Он определяет, являетесь ли вы реальным человеком или роботом, анализируя траекторию движения мыши пользователя, частоту кликов и другие модели поведения.
Сегодня
Cloudflare обрабатывает около 102 миллионов HTTP-запросов в секунду, и его услугами пользуются примерно 20 % веб-сайтов в мире.
, от личных блогов до интернет-гигантов, таких как Discord и LinkedIn, являются объектами его услуг.Его сервис охватывает 125 стран и регионов, 95% пользователей Интернета по всему миру, а средняя задержка не превышает 50 миллисекунд
.Вот почему, если возникнут какие-либо беспорядки, мир Интернета будет потрясен. В ноябре 2025 года в Cloudflare произошел крупномасштабный сбой, который длился около 6 часов, что привело к одновременной парализованной работе большого количества веб-сайтов и сервисов, таких как X, ChatGPT, Spotify, Uber и Discord.
Итак, какие правила он установил на этот раз?
Что делает Cloudflare?
Проще говоря, новое правило Cloudflare заключается в следующем предложении:
Начиная с 15 сентября 2026 года все веб-сайты, использующие сервисы Cloudflare, будут по умолчанию блокировать «гибридные сканеры с искусственным интеллектом».
.Что такое гибридный робот с искусственным интеллектом?
Сканеры — это программы-роботы, которые автоматически сканируют веб-контент. Причина, по которой поисковые системы могут выполнять поиск по веб-страницам, заключается в том, что они выпускают большое количество сканеров для сканирования веб-контента в Интернете, построения индексов и последующего предоставления их пользователям.
Google, Bing и Baidu занимаются этим уже более 20 лет.
Позже появился искусственный интеллект, и обучение искусственному интеллекту потребовало большого количества данных, поэтому крупные модельные компании, такие как OpenAI, начали в значительной степени полагаться на сканеры. В начале этого года AI Agent стал популярным. Позвольте Кодексу, Кими работать, а другие инструменты искусственного интеллекта помогут вам проверить информацию. За кулисами сканер выполняет ваши поручения по получению контента с веб-страниц.
Вот так | через Кими Ворк
Теперь роботы с искусственным интеллектом заняли половину Интернета. По официальным данным Cloudflare, в июне 2026 года
весь нечеловеческий трафик (включая сканеры поисковых систем, сканеры искусственного интеллекта и т. д.) составлял 57,4 % от общего трафика веб-страниц
. Другими словами, более половины людей, которые сегодня «читают» веб-страницы в Интернете, уже не люди.Поэтому, начиная с 2025 года, Cloudflare запустит функцию «Контроль сканирования с помощью ИИ», которая позволит владельцам веб-сайтов вручную блокировать сканеры с использованием ИИ. Также был запущен механизм «Pay Per Crawl». Если ИИ-сканер хочет получить доступ к контенту, он должен включить в запрос намерение оплаты, иначе в доступе будет напрямую отказано.
К концу 2025 года эта функция перехватила более 416 миллиардов запросов роботов
.Эта функция хорошо работает для сканеров, использующих чистый искусственный интеллект, таких как GPTBot от OpenAI и ClaudeBot от Anthropic, но она застревает, когда дело касается Google.
В Google есть функция под названием «Обзоры ИИ»: когда пользователи выполняют поиск, Google больше не просто выдает ссылки, а напрямую генерирует ИИ-сводку ответов с других веб-сайтов в верхней части страницы результатов. Проблема в том, что когда эта функция генерирует сводки, она не использует данные, собранные отдельным ИИ-сканером, а напрямую вызывает индекс поиска — то есть она использует одного и того же робота Googlebot с поиском, и этот сканер называется «гибридным ИИ-сканером».
Как только владелец веб-сайта блокирует Googlebot, AI-обзор действительно блокируется, но его веб-сайт также исчезает из результатов поиска Google и получает меньше трафика. Не заблокировано? Этот обзор ИИ по-прежнему тщетно получает ваш контент.
Столкнувшись с этой дилеммой, владельцу веб-сайта-одиночке действительно сложно вести переговоры напрямую с таким гигантом, как Google, поэтому Cloudflare стал старшим братом, который смог встать на ноги.
Новые правила, принятые в сентябре, нацелены на этот гибридный сканер, и политика проста: она была заменена ручной блокировкой владельцами веб-сайтов на блокировку по умолчанию, что заставляет Google сделать выбор: либо прекратить ловить рыбу в мутной воде, либо принять на себя последствия значительного сокращения поискового контента.
По сообщениям СМИ, запуская политику запрета смешанных сканеров, Cloudflare также ведет переговоры с Google, требуя отделить поисковый робот с ИИ от поискового, чтобы веб-сайт мог только блокировать сканер с ИИ и сохранять поисковый трафик.
Google не согласен. Он обеспокоен тем, что после разделения большое количество веб-сайтов напрямую заблокируют сканеры обзора ИИ.
Тогда почему Cloudflare берет на себя такую тяжелую руку? Из-за появления поисковых роботов с искусственным интеллектом логика Интернета, функционирующая десятилетиями, меняется.
Меняющаяся Всемирная паутина
За последние тридцать лет поиск информации в Интернете работал следующим образом: вы ищете «как приготовить тушеную свинину», поисковая система выдает вам десять ссылок, вы нажимаете на первый блог о еде, просматриваете контент и выходите.
В этом процессе веб-сайт записывает контент, поисковая система отправляет сканерам его захватывать, а пользователи выполняют поиск и нажимают на него; И веб-сайт, и поисковая система получают трафик, который можно монетизировать с помощью рекламы или партнерских ссылок, а рекламодатели получают более эффективную доставку. Все счастливы.
Это молчаливое понимание может длиться тридцать лет. По сути, он основан на молчаливом обмене равной ценности. Я позволяю вам бесплатно захватывать мой контент, а вы даете мне бесплатный трафик. Никто никому не должен.
Когда в поисковых системах появляется искусственный интеллект, все меняется.
Когда вы ищете «как приготовить тушеную свинину», Google больше не просто дает вам десять ссылок. Он суммирует рецепты, шаги и меры предосторожности и помещает их вверху результатов поиска.
Пользователь уходит после прочтения ответов, не переходя ни на один сайт
.Google по-прежнему получает трафик, но трафик владельца сайта исчез.
В середине 2025 года Cloudflare объявила о «коэффициенте сканирования и возврата» набора сканеров различных производителей:
Google составляет примерно 10:1 (сканирует 10 веб-страниц, привлекает 1 посетитель), OpenAI — 3700:1, а Anthropic достиг ошеломляющего показателя 500000:1
. Другими словами, Google, по крайней мере, возвращает часть трафика, а компании, занимающиеся искусственным интеллектом, почти ничего не получают.Академические исследования также подтверждают это изменение.
Исследование 2026 года показало, что более половины (51,5%) поисковых запросов вызывают обзор ИИ Google.
Данные исследовательского центра Pew показывают, что на страницах поиска без обзора ИИ доля пользователей, нажимающих на ссылки, составляет 15 %. При наличии обзора ИИ он падает сразу до 8%; что касается ссылки, приведенной в обзоре AI... кликабельность составляет всего лишь жалкий 1%.
Уже есть платформы, которые теряют реальные деньги.
В сентябре 2025 года американская издательская группа Penske Media подала на Google в суд. Penske Media владеет такими известными медиа-брендами, как «Rolling Stone», «Hollywood Reporter» и «Billboard», с более чем 120 миллионами посетителей в месяц, и большая часть ее доходов поступает от посещений веб-сайтов. Однако с тех пор, как Google опубликовал обзор искусственного интеллекта, доходы Penske Media от партнерских ссылок упали более чем на треть.
Это не просто история за океаном. Xiaohongshu запустила функцию поиска AI под названием «Спросить» в 2025 году. Логика точно такая же, как и в обзоре Google AI: результаты, отсортированные AI, отображаются непосредственно в верхней части поиска.
Воздействие от этого точно такое же, как и от Google: раньше пользователи искали ключевые слова, просматривали заметки одну за другой и сами фильтровали информацию; теперь пользователи задают вопросы, а ИИ интегрирует соответствующий контент заметок и напрямую дает ответы. Пользователи больше не нажимают на заметки одну за другой, а блоггеры теряют возможность быть увиденными, подписанными и конвертированными.
По сообщениям СМИ, изначально Xiaohongshu разрешала «задавать вопросы» только для 1–2% внутренних поисковых запросов. Причина была в том, что «начальник боялся оказать слишком большое влияние», и позже она была увеличена до 3–4%. Очевидно, сама платформа знает, какое влияние этот инцидент оказывает на создателей.
Старая эра заканчивается и начинается новая эра
В игре между Cloudflare и Google пока нет ответа. Но одно можно сказать наверняка:
Негласное понимание «бесплатного контента в обмен на трафик», действовавшее в Интернете тридцать лет, больше не может вернуться назад
.На самом деле китайский Интернет уже прошел этот путь. Вы не можете искать статьи в общедоступных аккаунтах WeChat на Baidu, а также не можете искать контент на Xiaohongshu. Дело не в том, что технологии поисковых систем не могут этого сделать, а в том, что платформа активно возводит стены, чтобы удерживать контент в своей собственной экосистеме. Теперь Cloudflare создает «платный доступ» для веб-сайтов, чтобы ИИ не мог получать контент бесплатно. Методы разные, но результат один.
Если все больше и больше веб-сайтов блокируют поисковые роботы с искусственным интеллектом, поиск с использованием искусственного интеллекта будет получать все меньше и меньше высококачественного контента, а качество получаемых ответов будет снижаться; и поддерживать сайт будет сложно, если он потеряет поисковый трафик. В конце концов, обе стороны рухнут вместе, в результате чего образуется «пустыня контента».
Поиск с помощью ИИ действительно удобен, ответ за три секунды. Но все резюме основаны на том, что кто-то написал оригинальный текст.
Если эти люди больше не умеют писать, то вещей, которые ИИ может резюмировать, будет становиться все меньше и меньше
. Рано или поздно кто-то должен будет оплатить этот счет.
Комментарии