Cloudflare Представила Нову Функцію Robotcop для Контролю за Політиками Robots.txt
5s
2
15:21, 11.12.2024
Опис нової функції Robotcop
Cloudflare анонсувала нову функцію в своїй панелі управління аудиту під назвою Robotcop. Цей інструмент допомагає перевіряти, як різні AI-сервіси виконують політики, прописані у файлах robots.txt, а також дає змогу автоматично застосовувати ці політики на рівні мережі. З розвитком генеративного штучного інтелекту, який активно сканує інтернет для збору даних для навчання моделей, багато власників сайтів почали оновлювати свої політики robots.txt, обмежуючи доступ не лише для веб-сканерів, але й для ботів AI.
Завдяки новій функції від Cloudflare, власники сайтів можуть отримати звіт про кількість запитів від різних ботів, зокрема тих, що належать до AI-сервісів, таких як ChatGPT, Google Gemini та інші. В панелі аудиту можна фільтрувати запити за категоріями та отримувати інформацію про порушення політик.
Як Robotcop допомагає в управлінні трафіком та порушеннями
Функція Robotcop надає звітність про порушення політик для кожного бота. Користувачі можуть побачити, який трафік порушує встановлені правила, а також отримати спливаючі підказки з деталями порушень. Завдяки розділу «Найпопулярніші шляхи», відображається трафік, який порушує політику сайту. Користувачі також можуть застосувати правила robots.txt через розширене правило брандмауера, автоматично блокуючи порушників.
Ця можливість вже доступна всім користувачам Cloudflare, надаючи додаткові інструменти для ефективного управління доступом до сайту і захисту від небажаних ботів.
Чи була ця стаття корисною для вас?
Так
Ні
Популярні пропозиції VPS
розпродаж
-14.9%
Linux
€ 7.7 /м
При оплаті за рік
розпродаж
-15%
Linux
€ 49.99 /м
При оплаті за місяць
розпродаж
-15%
Linux
€ 17 /м
При оплаті за місяць
розпродаж
-15%
Windows
€ 12.1 /м
При оплаті за рік
розпродаж
-15%
Linux
€ 4.94 /м
При оплаті за рік
-15.5%
Linux
€ 95 /м
При оплаті за рік
розпродаж
-15%
Windows
€ 138.99 /м
При оплаті за місяць
розпродаж
-15%
Linux
€ 13 /м
При оплаті за рік
розпродаж
-15%
Windows
€ 18.65 /м
При оплаті за місяць
-16.3%
Linux
€ 48 /м
При оплаті за рік
