Меню Закрыть

Рубрика: robots.txt

Cloudflare представила Robotcop для соблюдения политик robots.txt и блокировки ботов

Cloudflare внедрила в панель управления аудита ИИ новую функцию, которую шутливо назвала Robotcop. Она позволит проверить, какие ИИ-службы соблюдают политики robots.txt, а какие нет, а затем программно применять эти политики. Читать далее…

Гендиректор Reddit: Microsoft должна платить за сбор данных платформы

После заключения сделок с Google и OpenAI генеральный директор Reddit Стив Хаффман призвал Microsoft и другие компании поступить аналогичным образом, если они хотят продолжить сбор данных платформы. Читать далее…

Reddit ужесточает правила использования своих данных для обучения ИИ

В своем последнем заявлении Reddit объявил о планируемых изменениях в политике использования своих данных компаниями, занимающимися разработкой искусственного интеллекта. Изменения коснутся веб-стандарта robots.txt, который определяет доступ автоматизи…

Разработчики веб-сайтов теперь могут запретить боту GPTBot от OpenAI посещать сайт

OpenAI рассказала в своём блоге, что сторонние веб-разработчики могут явно запретить боту GPTBot посещать сайт. Таким образом, OpenAI не сможет использовать контент на сайте для обучения своих моделей. Читать далее…