Existe un bot llamado ByteSpider o ByteDance (son bots de TikTok) que provocan saturaciones en muchas webs de clientes, provocando que sus sitios carguen de manera extremadamente lenta debido a que este bot de demasiado agresivo y utiliza muchos rangos de IPs distintos (de Singapur normalmente) para indexar páginas webs públicas.
Añadir una excepción al archivo robots no sirve para nada ya que este bot no respeta el archivo "robots.txt"
Para bloquearlo a nivel de hosting, puedes añadir las siguientes líneas al archivo .htaccess de tu web:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (ByteSpider|Bytedance) [NC]
RewriteRule (.*) - [F,L]
No recomendamos bloquear los bots de ChatGPT, Claude, Gemini y bots de Inteligencias Artificiales muy conocidas, ya que cada vez más usuarios hacen búsquedas en esas IAs en lugar de Google y si los bloqueas tu web puede no aparecer en sus conversaciones.
Para bloquear más bots molestos además de estos, podremos añadir más headers a la línea del HTTPS_USER_AGENT, por ejemplo:
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (ByteSpider|Bytedance|MJ12bot|Barkrowler|AhrefsBot|BLEXBot|Pinterest|anthropic-ai|dataforseobot|Scrapy|AliyunSecBot|Aliyun|DuckDuckBot|WebsiteOps|Go-http-client|okhttp|python-requests|axios|node-fetch|go-resty|facebookexternalhit|Facebot|meta-externalagent|meta-externalfetcher|meta-webindexer|meta-externalads|facebookcatalog) [NC]
RewriteRule (.*) - [F,L]
</IfModule>
NOTA: Aquí se incluyen los bots de Semrush, Ahrefs, Pinterest, Facebook y TikTok: si necesitas esos bots no incluyas sus nombres.