Cloudflare Представила Нову Функцію Robotcop для Контролю за Політиками Robots.txt

watch 5s
views 2

15:21, 11.12.2024

Зміст статті
arrow

  • Опис нової функції Robotcop
  • Як Robotcop допомагає в управлінні трафіком та порушеннями

Опис нової функції Robotcop

Cloudflare анонсувала нову функцію в своїй панелі управління аудиту під назвою Robotcop. Цей інструмент допомагає перевіряти, як різні AI-сервіси виконують політики, прописані у файлах robots.txt, а також дає змогу автоматично застосовувати ці політики на рівні мережі. З розвитком генеративного штучного інтелекту, який активно сканує інтернет для збору даних для навчання моделей, багато власників сайтів почали оновлювати свої політики robots.txt, обмежуючи доступ не лише для веб-сканерів, але й для ботів AI.

Завдяки новій функції від Cloudflare, власники сайтів можуть отримати звіт про кількість запитів від різних ботів, зокрема тих, що належать до AI-сервісів, таких як ChatGPT, Google Gemini та інші. В панелі аудиту можна фільтрувати запити за категоріями та отримувати інформацію про порушення політик.

Як Robotcop допомагає в управлінні трафіком та порушеннями

Функція Robotcop надає звітність про порушення політик для кожного бота. Користувачі можуть побачити, який трафік порушує встановлені правила, а також отримати спливаючі підказки з деталями порушень. Завдяки розділу «Найпопулярніші шляхи», відображається трафік, який порушує політику сайту. Користувачі також можуть застосувати правила robots.txt через розширене правило брандмауера, автоматично блокуючи порушників.

Ця можливість вже доступна всім користувачам Cloudflare, надаючи додаткові інструменти для ефективного управління доступом до сайту і захисту від небажаних ботів.

Поділитися

Чи була ця стаття корисною для вас?

Популярні пропозиції VPS

-10.2%

CPU
CPU
6 Xeon Cores
RAM
RAM
16 GB
Space
Space
150 GB SSD
Bandwidth
Bandwidth
100 Mbps
DDoS Protected SSD-KVM 16384 Linux

123

При оплаті за 6 місяців

-7.3%

CPU
CPU
3 Epyc Cores
RAM
RAM
2 GB
Space
Space
25 GB NVMe
Bandwidth
Bandwidth
Unlimited
wKVM-NVMe 2048 Windows

22

При оплаті за рік

-10%

CPU
CPU
4 Epyc Cores
RAM
RAM
4 GB
Space
Space
50 GB NVMe
Bandwidth
Bandwidth
Unlimited
KVM-NVMe 4096 Linux

25.9

При оплаті за рік

-12.3%

CPU
CPU
6 Xeon Cores
RAM
RAM
16 GB
Space
Space
150 GB SSD
Bandwidth
Bandwidth
Unlimited
10Ge-wKVM-SSD 16384 Windows

237

При оплаті за рік

-7.9%

CPU
CPU
6 Xeon Cores
RAM
RAM
8 GB
Space
Space
200 GB HDD
Bandwidth
Bandwidth
300 Gb
wKVM-HDD HK 8192 Windows

26.01

При оплаті за рік

-13.1%

CPU
CPU
2 Xeon Cores
RAM
RAM
512 MB
Space
Space
10 GB SSD
Bandwidth
Bandwidth
300 GB
KVM-SSD 512 HK Linux

7

При оплаті за рік

-5.4%

CPU
CPU
4 Xeon Cores
RAM
RAM
2 GB
Space
Space
60 GB HDD
Bandwidth
Bandwidth
300 Gb
wKVM-HDD HK 2048 Windows

11.66

При оплаті за рік

-20.5%

CPU
CPU
6 Xeon Cores
RAM
RAM
16 GB
Space
Space
150 GB SSD
Bandwidth
Bandwidth
10 TB
KVM-SSD 16384 Metered Linux

95

При оплаті за рік

-10%

CPU
CPU
4 Xeon Cores
RAM
RAM
4 GB
Space
Space
50 GB SSD
Bandwidth
Bandwidth
Unlimited
10Ge-KVM-SSD 4096 Linux

60.5

При оплаті за рік

-7.1%

CPU
CPU
4 Xeon Cores
RAM
RAM
4 GB
Space
Space
100 GB HDD
Bandwidth
Bandwidth
Unlimited
wKVM-HDD 4096 Windows

21

При оплаті за рік

Інші статті на цю тему

cookie

Чи приймаєте ви файли cookie та політику конфіденційності?

Ми використовуємо файли cookie, щоб забезпечити вам найкращий досвід роботи на нашому сайті. Якщо ви продовжуєте користуватися сайтом, не змінюючи налаштувань, вважайте, що ви згодні на отримання всіх файлів cookie на сайті HostZealot.