Existe un bot llamado ByteSpider o ByteDance que provoca saturaciones en muchas webs de clientes, provocando que sus sitios carguen de manera extremadamente lenta debido a que este bot de demasiado agresivo y utiliza muchos rangos de IPs distintos (de Singapur concretamente) para indexar páginas webs públicas.
Añadir una excepción al archivo robots no sirve para nada ya que este bot no respeta el archivo "robots.txt"
Para bloquearlo a nivel de hosting, puedes añadir las siguientes líneas al archivo .htaccess de tu web:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (ByteSpider|Bytedance) [NC]
RewriteRule (.*) - [F,L]Para bloquear más bots molestos además de estos, como el bot de Claude AI, podremos añadir más headers a la línea del HTTPS_USER_AGENT, por ejemplo:
RewriteEngine On RewriteCond %{HTTP_USER_AGENT} (ByteSpider|Bytedance|ClaudeBot|Claude-Web|MJ12bot|SemrushBot|Barkrowler|AhrefsBot|BLEXBot|GPTBot|anthropic-ai|dataforseobot|Barkrowler|Scrapy|AliyunSecBot|Aliyun) [NC] RewriteRule (.*) - [F,L]NOTA: Aquí se incluyen los bots de Semrush y Ahrefs, si usas estas herramientas SEO no incluyas sus nombres.