Журналисты обнаружили, что новые ИИ-браузеры, вроде Atlas от OpenAI и Comet от Perplexity, с легкостью обходят пейволлы — страницы на сайтах, доступные читателям только по платному доступу.
Для этого не нужно использовать никаких дополнительных инструментов, достаточно просто попросить ИИ-браузер предоставить полное содержание статьи. В эксперименте Columbia Journalism Review, браузеры Atlas и Comet на запрос журналистов запросто представили эксклюзивный для подписчиков текст на 9 тысяч слов от MIT Technology Review. Тогда как в стандартных интерфейсах ChatGPT и Perplexity, чат-боты ответили, что не могут получить доступ, поскольку их сканеры заблокированы там.
Дело в том, что для сайтов Atlas и Comet не отличаются от человека, который использует стандартный браузер Chrome. Обычные автоматизированные системы, такие как краулеры и парсеры, проявляют себя с помощью цифрового идентификатора, который сообщает сайту, какое программное обеспечение делает запрос и какова его цель. Издатели могут выборочно блокировать определенные сканеры с помощью протокола исключения ботов (Robots Exclusion Protocol).
«Поскольку браузеры с искусственным интеллектом, такие как Comet и Atlas, отображаются в журналах сайта как обычные сеансы Chrome, их блокировка также может помешать легитимным пользователям-людям получить доступ к сайту. Это значительно усложняет для издателей обнаружение, блокирование или мониторинг этих агентов искусственного интеллекта», — пишут авторы исследования.
В случае MIT Technology Review, доступ удалось получить из-за того, что сайт использует так называемый «клиентский пейволл» — текст загружается на страницу, но скрыт за баннером, который просит читателя подписаться или зарегистрироваться. Хотя этот контент невидим для людей, агенты искусственного интеллекта, такие как Atlas и Comet, все еще могут его прочитать. В то же время другие издания, такие как Wall Street Journal и Bloomberg, используют «серверный пейволл», который отображает полный текст только после входа и оплаты — в этом случае ИИ-браузеры не смогут получить доступ к статье без авторизации.
Интересно, что авторы Columbia Journalism Review обнаружили, что Atlas избегает чтения текстов тех медиакомпаний, которые подали в суд на OpenAI. Comet, для сравнения, подобного поведения не проявлял.
«Когда мы попросили Atlas подытожить статью из PCMag, материнская компания которой Ziff Davis подала в суд на OpenAI за нарушение авторских прав в апреле, агент создал сводный итог, опираясь на твиты о статье, цитаты в других изданиях и тому подобное. Эксперт по онлайн-исследованиям Хэнк ван Эсс впервые задокументировал это поведение в июле, отметив, что агенты ИИ могут провести обратный инжиниринг статьи, используя «цифровые крошки».
Подобное произошло, когда журналисты попросили Atlas подытожить статью из New York Times, которая также подает в суд на OpenAI. ИИ-браузер представил краткое изложение на основе сообщений четырех альтернативных изданий — The Guardian, Washington Post, Reuters и Associated Press, три из которых имеют лицензионные соглашения с OpenAI.
Пошук на базі штучного інтелекту обирає маловідомі джерела замість популярних, — дослідження