¿Qué es esa pantalla de verificación?
Si al acceder de forma automatizada a tu web (rastreadores, comparadores, asistentes de IA) aparece la pantalla "Please wait while your request is being verified", se trata de la capa de protección antibots del servidor. Su objetivo es frenar los scrapeos agresivos que saturan el servidor, no bloquear a los buscadores legítimos.
Qué bots están bloqueados y cuáles no
En los últimos meses se han detectado bots de IA de altísimo consumo que realizan consultas infinitas y ralentizan los servidores. Por ese motivo, de forma general están bloqueados bots como:
ClaudeBot
Meta ExternalAgent
ByteSpider / TikTokSpider
En cambio, los rastreadores de Google, Bing y los de búsqueda de ChatGPT no están bloqueados. Además, los bots no se consideran legítimos solo por su User-Agent (que puede falsificarse): Google, Bing o Meta se validan también por sus redes de IPs oficiales.
Quiero aparecer en las búsquedas de ChatGPT y otras IAs
Para que tu web pueda aparecer en las respuestas de ChatGPT, los rastreadores relevantes son:
OAI-SearchBot: el que indexa contenido para ChatGPT Search.
ChatGPT-User: el que se usa cuando un usuario pide consultar directamente una página.
GPTBot: este solo se usa para entrenamiento de modelos y no es necesario permitirlo para aparecer en las búsquedas.
Si necesitas que estos rastreadores accedan sin la pantalla de verificación, abre un ticket de soporte indicándolo. Podemos incluirlos en lista blanca validándolos por los rangos de IP oficiales publicados por OpenAI (no solo por User-Agent), manteniendo la protección activa frente al resto de bots.
Consejo adicional para tiendas online
Si tu tienda tiene navegación por filtros (facetas), los buscadores pueden llegar a rastrear decenas de miles de combinaciones de URLs que no aportan posicionamiento y consumen recursos. Siguiendo las recomendaciones de Google, se pueden bloquear en robots.txt las URLs de filtros (parámetros como ?q= o ?selected_filters=), sin afectar a productos, categorías, carrito ni compras. Consúltanos si crees que es tu caso.