Cloudflare Представила Нову Функцію Robotcop для Контролю за Політиками Robots.txt

watch 5s
views 2

15:21, 11.12.2024

Зміст статті
arrow

  • Опис нової функції Robotcop
  • Як Robotcop допомагає в управлінні трафіком та порушеннями

Опис нової функції Robotcop

Cloudflare анонсувала нову функцію в своїй панелі управління аудиту під назвою Robotcop. Цей інструмент допомагає перевіряти, як різні AI-сервіси виконують політики, прописані у файлах robots.txt, а також дає змогу автоматично застосовувати ці політики на рівні мережі. З розвитком генеративного штучного інтелекту, який активно сканує інтернет для збору даних для навчання моделей, багато власників сайтів почали оновлювати свої політики robots.txt, обмежуючи доступ не лише для веб-сканерів, але й для ботів AI.

Завдяки новій функції від Cloudflare, власники сайтів можуть отримати звіт про кількість запитів від різних ботів, зокрема тих, що належать до AI-сервісів, таких як ChatGPT, Google Gemini та інші. В панелі аудиту можна фільтрувати запити за категоріями та отримувати інформацію про порушення політик.

Як Robotcop допомагає в управлінні трафіком та порушеннями

Функція Robotcop надає звітність про порушення політик для кожного бота. Користувачі можуть побачити, який трафік порушує встановлені правила, а також отримати спливаючі підказки з деталями порушень. Завдяки розділу «Найпопулярніші шляхи», відображається трафік, який порушує політику сайту. Користувачі також можуть застосувати правила robots.txt через розширене правило брандмауера, автоматично блокуючи порушників.

Ця можливість вже доступна всім користувачам Cloudflare, надаючи додаткові інструменти для ефективного управління доступом до сайту і захисту від небажаних ботів.

Поділитися

Чи була ця стаття корисною для вас?

Популярні пропозиції VPS

-10%

CPU
CPU
8 Epyc Cores
RAM
RAM
32 GB
Space
Space
200 GB NVMe
Bandwidth
Bandwidth
Unlimited
KVM-NVMe 32768 Linux

96.8

При оплаті за рік

CPU
CPU
10 Epyc Cores
RAM
RAM
64GB
Space
Space
400 GB NVMe
Bandwidth
Bandwidth
Unlimited
Keitaro KVM 65536
OS
CentOS
Software
Software
Keitaro

При оплаті за місяць

-24.7%

CPU
CPU
4 Xeon Cores
RAM
RAM
4 GB
Space
Space
50 GB SSD
Bandwidth
Bandwidth
4 TB
KVM-SSD 4096 Metered Linux

31

При оплаті за рік

-10%

CPU
CPU
10 Epyc Cores
RAM
RAM
64 GB
Space
Space
400 GB NVMe
Bandwidth
Bandwidth
Unlimited
KVM-NVMe 65536 Linux

187

При оплаті за рік

-9.7%

CPU
CPU
10 Xeon Cores
RAM
RAM
64 GB
Space
Space
300 GB SSD
Bandwidth
Bandwidth
Unlimited
wKVM-SSD 65536 Windows

187.5

При оплаті за рік

-12.8%

CPU
CPU
3 Xeon Cores
RAM
RAM
1 GB
Space
Space
50 GB SSD
Bandwidth
Bandwidth
1 TB
wKVM-SSD 1024 Metered Windows

17

При оплаті за рік

-10%

CPU
CPU
4 Xeon Cores
RAM
RAM
2 GB
Space
Space
30 GB SSD
Bandwidth
Bandwidth
Unlimited
10Ge-KVM-SSD 2048 Linux

30.3

При оплаті за рік

-15.5%

CPU
CPU
6 Xeon Cores
RAM
RAM
8 GB
Space
Space
100 GB SSD
Bandwidth
Bandwidth
80 Mbps
DDoS Protected SSD-KVM 8192 Linux

95

При оплаті за рік

-10.2%

CPU
CPU
6 Xeon Cores
RAM
RAM
16 GB
Space
Space
150 GB SSD
Bandwidth
Bandwidth
100 Mbps
DDoS Protected SSD-KVM 16384 Linux

123

При оплаті за 6 місяців

-18.6%

CPU
CPU
4 Xeon Cores
RAM
RAM
4 GB
Space
Space
100 GB SSD
Bandwidth
Bandwidth
4 TB
wKVM-SSD 4096 Metered Windows

38

При оплаті за рік

Інші статті на цю тему

cookie

Чи приймаєте ви файли cookie та політику конфіденційності?

Ми використовуємо файли cookie, щоб забезпечити вам найкращий досвід роботи на нашому сайті. Якщо ви продовжуєте користуватися сайтом, не змінюючи налаштувань, вважайте, що ви згодні на отримання всіх файлів cookie на сайті HostZealot.