El problema: la web va muy lenta o deja de cargar sin haber hecho cambios
Si tu web se ha vuelto extremadamente lenta o ha dejado de cargar de repente, una de las causas más frecuentes hoy en día son los bots de rastreo de Meta (la empresa de Facebook e Instagram). En concreto, el bot llamado meta-webindexer puede llegar a hacer multitud de peticiones simultáneas sobre la web, generando una gran cantidad de procesos PHP que agotan los recursos del hosting.
El síntoma típico es que la web empieza a ir cada vez más lenta hasta que deja de cargar, sin que se haya tocado nada en el sitio. Al revisar los procesos del servidor se observa un crecimiento anormal en las últimas horas.
La solución: bloquear el bot en el archivo .htaccess
Nuestro equipo de soporte puede bloquear este tipo de bots mediante reglas en el archivo .htaccess de tu hosting, filtrando por su identificador (User-Agent). Una vez bloqueado, la web vuelve a cargar con normalidad en pocos minutos, ya que los procesos dejan de acumularse.
Si sospechas que tu web está siendo sobrecargada por bots, abre un ticket de soporte y lo revisamos: comprobamos qué bots están accediendo, cuántos procesos generan y aplicamos el bloqueo adecuado.
Importante: no todos los bots de Meta son iguales
Meta utiliza varios bots con funciones distintas, y conviene no bloquearlos todos en bloque:
meta-webindexer / Meta ExternalAgent: bots de indexación y de entrenamiento de IA. Son los que suelen provocar consumos excesivos y se pueden bloquear sin afectar al funcionamiento normal de la web.
facebookexternalhit: es el bot que genera las previsualizaciones de enlaces cuando tú o cualquier persona comparte una URL de tu web en Facebook. Si este bot está bloqueado, al compartir un enlace aparecerá un error 403 Forbidden y no se mostrará la imagen ni la descripción de la página.
Por eso, si necesitas que las previsualizaciones de tus enlaces sigan funcionando en Facebook, la configuración recomendada es mantener bloqueados los bots de indexación de Meta y permitir únicamente facebookexternalhit. Si más adelante ese bot también empezara a hacer un consumo elevado, se pueden estudiar otras opciones.
¿Se puede limitar el número de peticiones en lugar de bloquear?
El archivo .htaccess no permite contar repeticiones de accesos, por lo que no es posible configurar en él un límite del tipo "bloquear solo si hay más de X peticiones por minuto". El bloqueo por User-Agent es todo o nada. Para necesidades más avanzadas de limitación de peticiones, contacta con soporte y estudiamos la mejor opción para tu caso.