Bloquea los crawlers de IA y desapareces de las respuestas que alimentan
Millones de sitios pasaron 2025 cerrándoles la puerta a los bots de IA, y el instinto se entiende: ¿por qué dejar que un modelo lea tu trabajo para responder en tu lugar? Pero «bloquear los crawlers de IA» esconde una distinción que decide si estás protegiendo tu contenido o borrándote en silencio de las respuestas que la gente ahora hace primero.
la respuesta corta
Bloquear los crawlers de IA protege tu contenido del entrenamiento, pero un bloqueo amplio también te quita de las respuestas que esos motores citan. Los bots hacen trabajos distintos: GPTBot entrena, mientras OAI-SearchBot y PerplexityBot te traen para citarte. El movimiento pensado es selectivo —prohíbe los crawlers de entrenamiento, permite los de recuperación— porque un crawler que no puede leer tu página no puede citarla. Para diciembre de 2025, unos 5,6 millones de sitios bloquean GPTBot; el error común es bloquear mucho más de lo que pretendían.
claves
- Bloquear los bots de IA protege tu contenido del entrenamiento, pero un bloqueo amplio también te borra de las respuestas que esos motores generan.
- No es un solo bot: OpenAI corre tres (GPTBot para entrenamiento, OAI-SearchBot para search, ChatGPT-User para recuperación); bloquear uno no bloquea los otros.
- El movimiento pensado es selectivo: prohíbe GPTBot y otros crawlers de entrenamiento, pero permite los de recuperación —OAI-SearchBot, PerplexityBot— que te citan.
- Para diciembre de 2025, unos 5,6 millones de sitios bloquean GPTBot, +70 por ciento desde julio; el error común es bloquear de más sin querer.
- Un crawler que no puede leer tu página no puede citarla: para GEO, el acceso de recuperación es la condición de entrada, no un extra opcional.
una empresa, varios bots — bloquea el equivocado y pierdes la cita
En palabras, para que la tabla no lo cargue sola: GPTBot entrena los modelos de OpenAI, así que bloquearlo mantiene tu trabajo fuera del entrenamiento —una postura defendible con poco costo de search por sí sola—. OAI-SearchBot indexa páginas para el search de ChatGPT, así que bloquearlo te vuelve invisible ahí. PerplexityBot trae páginas en vivo para construir respuestas citadas, así que bloquearlo te quita de las respuestas de Perplexity. Mismo instinto —«bloquear el bot de IA»— pero tres desenlaces distintos, y solo el primero es el que la mayoría de las marcas quiere de verdad.
Por qué tantos sitios bloquearon y qué protegían
La ola de bloqueos es real y se aceleró a lo largo de 2025. Para diciembre, unos 5,6 millones de sitios prohibían GPTBot en robots.txt, +70 por ciento desde julio, lo que lo convierte en el crawler más bloqueado de la web abierta; el New York Times, CNN y más de treinta de los cien sitios principales están entre ellos. Una firma de monitoreo reportó un alza del 336 por ciento en sitios bloqueando crawlers de IA en el último año. La queja de fondo es coherente: producir buen contenido cuesta tiempo y dinero, y un modelo que lo lee para responder en tu lugar rompe el viejo trato donde ser rastreado al menos te compraba una visita.
La infraestructura se movió con el ánimo. Cloudflare introdujo un modelo de pago por rastreo en julio de 2025, que deja a los publishers cobrar por el acceso de bots en vez de bloquear del todo, y empezó a poner por defecto el bloqueo de crawlers de IA en los sitios nuevos. Así que el impulso de amurallar tu contenido no es ni marginal ni irracional: es una respuesta directa a un cambio real en quién captura el valor de una página. El problema no es el instinto. El problema es que su expresión más tosca —bloquear todo lo que huela a IA— también cierra el canal por el que la IA ahora te manda gente.
La queja tiene números detrás. Hasta mediados de 2025, los referrals de Google a publishers premium cayeron cerca de un 10 por ciento interanual, y las marcas que no son de noticias vieron caídas más cerca del 14 por ciento, conforme las respuestas de IA resolvían más consultas antes de cualquier clic. Para un publisher que ve caer esa línea, amurallar los bots que leen su trabajo puede sentirse como la única palanca que queda. El truco es que la palanca corta en ambos sentidos: los mismos motores que drenan los referrals son los que, dejándolos entrar, aún pueden mandar lectores cualificados, pero solo a las fuentes a las que se les permite llegar. Esa asimetría —pagan el costo de ser leídos pero pierden la visita— es justo la que un bloqueo selectivo intenta equilibrar: cerrarle la puerta al entrenamiento y dejarla abierta a la cita, en lugar de tapiar las dos y quedarse sin ninguna.
La decisión, en tres partes
Acertar aquí es menos cuestión de postura y más de precisión. Abre cada capa para ver la distinción que importa, la trampa que atrapa a casi todos los equipos y por qué la versión amplia del bloqueo te cuesta justo lo que intentabas hacer crecer.
01 Entrenamiento, recuperación, indexación: tres trabajos distintos
No todos los crawlers de IA quieren lo mismo, y confundirlos es donde empiezan casi todos los errores. Un bot de entrenamiento recoge contenido para enseñar a un modelo; bloquearlo mantiene tu trabajo fuera del próximo entrenamiento. Un bot de recuperación trae tu página en vivo, en el momento en que un usuario pregunta, para anclar o citar una respuesta; bloquearlo te quita de esa respuesta. Un bot de indexación preconstruye el corpus contra el que un motor busca; bloquearlo te deja fuera de lo que ese motor puede encontrar. Tres trabajos, tres consecuencias. Decide a qué te opones de verdad —a que te entrenen o a que no te citen— porque la respuesta apunta a bots distintos, y bloquear el equivocado resuelve un problema que no tienes mientras crea uno que sí.
02 El problema de los tres bots
Una sola empresa de IA suele correr varios bots, uno por trabajo. OpenAI corre tres: GPTBot para entrenamiento, OAI-SearchBot para indexación de search y ChatGPT-User para recuperación iniciada por el usuario. Anthropic y Perplexity siguen el mismo patrón. La trampa práctica es que bloquear uno no bloquea los otros, y una regla de robots.txt escrita para «el bot de OpenAI» suele dejar fuera a dos de los tres, o, cuando se escribe demasiado amplia, barre a los que querías conservar. En diciembre de 2025 OpenAI revisó su documentación de crawlers, incluido un cambio por el que ChatGPT-User ya no trata robots.txt como vinculante para acciones iniciadas por el usuario. La lección no es el cambio concreto: es que estas políticas se mueven, y un bloqueo de hace un año puesto y olvidado quizá ya no hace lo que crees.
03 Por qué un bloqueo amplio sale por la culata
La reciprocidad que antes ataba el rastreo al descubrimiento se ha deshilachado: los bots leen tu página y luego sirven la respuesta ellos mismos. Esa es la queja real detrás de la ola de bloqueos: para diciembre de 2025, unos 5,6 millones de sitios prohíben GPTBot, +70 por ciento desde julio, y el New York Times, CNN y más de treinta de los cien sitios principales están entre ellos. Pero bloquear los bots de recuperación para protestar contra los de entrenamiento tira la visibilidad junto con la queja. Un crawler que no puede llegar a tu página no puede citarla, así que una marca que bloquea en amplio se retira de un canal de descubrimiento que aún crece. La versión defendible del bloqueo es estrecha y deliberada; la que duele es la amplia aplicada en frustración.
Cómo decidir, bot por bot
Cambia la pregunta de todo o nada por una por bot. Si tu objeción es que tu contenido entrene gratis el modelo de otro, prohíbe los crawlers de entrenamiento —GPTBot, Google-Extended y sus equivalentes—, lo que tiene poco costo para la visibilidad en search o en citas de IA, porque esos corren en bots aparte. Si tu meta es ser encontrado y citado, deja permitidos los bots de recuperación y de search: OAI-SearchBot para ChatGPT, PerplexityBot para Perplexity, y los bots de indexación que dejan que un motor sepa que tu página existe. Casi todas las marcas quieren exactamente esta combinación —fuera del entrenamiento, dentro de las respuestas— y son unas pocas líneas precisas en robots.txt, no un muro.
Después, audita lo que ya tienes, porque los bloqueos peligrosos suelen ser viejos y accidentales. Una regla escrita hace un año contra «el bot de OpenAI» quizá ahora deja fuera a dos de los tres, o un bloqueo amplio puede estar dejando fuera en silencio a los crawlers que te citarían. Comprueba qué bots permites de verdad, confirma que los de recuperación están entre ellos, y vigila tus logs de servidor para ver quién llega de verdad a tus páginas. La distinción entre un bloqueo de principios y estrecho y uno amplio que se dispara en el pie es la diferencia entre proteger tu trabajo y desaparecer de las superficies donde la gente cada vez más empieza.
Crawlers de IA: respuestas rápidas
¿Debería bloquear GPTBot?
Depende de qué quieras proteger, y GPTBot es el bot donde bloquear es más defendible. GPTBot recoge datos de entrenamiento para los modelos de OpenAI; bloquearlo mantiene tu contenido fuera de futuros entrenamientos sin, por sí solo, sacarte de las respuestas en vivo de ChatGPT, porque esas respuestas las sirve otro bot, OAI-SearchBot. Así que si tu preocupación es que tu trabajo se use para entrenar un modelo gratis, prohibir GPTBot es una decisión coherente. El error es suponer que GPTBot es el único crawler de OpenAI y que bloquearlo es inofensivo para la visibilidad. Es inofensivo para la visibilidad en búsqueda solo si dejas permitidos los bots de recuperación y de search; bloquéalos a todos con una regla amplia y te has dado de baja en silencio de ser citado.
¿Bloquear crawlers de IA daña mi ranking en Google?
Bloquear los bots específicos de IA —GPTBot, Google-Extended, PerplexityBot— no cambia directamente el ranking clásico de Google, porque Googlebot es un crawler aparte y Google-Extended rige solo el uso para entrenamiento, no la indexación de Search. Puedes bloquear bots de entrenamiento y seguir rankeando normal en los enlaces azules. El riesgo real es más amplio y más torpe: bloquear rutas de rastreo, cabeceras o scripts enteros para dejar fuera a los bots suele esconder las mismas señales que los sistemas de search y de IA necesitan para leer tus páginas siquiera. El daño no suele venir de un bloqueo preciso de bot de IA, sino de uno tosco que también bloquea a los crawlers que alimentan las respuestas, y cada vez más esas superficies de IA son un canal de descubrimiento del que no quieres desaparecer aunque el ranking clásico aguante.
¿Cuál es la diferencia entre bots de entrenamiento y bots de recuperación?
Los bots de entrenamiento recogen contenido para enseñar a un modelo; los de recuperación traen páginas en vivo para anclar o citar una respuesta en el momento en que un usuario pregunta. Bloquear un bot de entrenamiento como GPTBot impide que tu contenido se use para construir el modelo. Bloquear un bot de recuperación o de search —OAI-SearchBot para ChatGPT, PerplexityBot para Perplexity— impide que aparezcas cuando ese motor trae fuentes en vivo para responder con citas. Los dos tienen implicaciones opuestas para una marca que quiere ser encontrada: dejar fuera a los bots de entrenamiento puede ser una postura de principios con poco costo de visibilidad, mientras que dejar fuera a los de recuperación te quita directamente de las respuestas citadas. El error de configuración más común es tratarlos como una sola cosa y bloquear ambos con una regla amplia.
¿Cómo dejo que la IA me cite sin entregar datos de entrenamiento?
Sé selectivo por bot en vez de todo o nada. En robots.txt puedes prohibir los crawlers de entrenamiento —GPTBot, Google-Extended y los equivalentes— mientras permites los bots de recuperación y de search que te meten en las respuestas citadas, como OAI-SearchBot y PerplexityBot. Esa combinación mantiene tu contenido fuera del entrenamiento del modelo y te deja elegible para ser citado cuando alguien hace una pregunta que tu página responde. Dos salvedades lo mantienen honesto: no todos los bots obedecen robots.txt —una parte medible de las solicitudes lo ignora— y cualquier crawler puede falsear un user-agent, así que las directivas son una señal fuerte, no una garantía. Pero para el objetivo que casi todas las marcas tienen de verdad —ser citado, no ser minado para entrenamiento gratis— la lista de permitidos selectiva es el movimiento, no un bloqueo total.
Una nota sobre fuentes y certeza
Las cifras de aquí —unos 5,6 millones de sitios bloqueando GPTBot para diciembre de 2025, +70 por ciento desde julio, y la revisión de la documentación de crawlers de OpenAI ese mes— vienen de la cobertura de la época y de las políticas publicadas por los propios operadores de bots. Caben dos salvedades honestas. Primera, robots.txt es una petición, no una valla: una parte medible de las solicitudes de crawlers la ignora, y cualquier bot puede falsear un user-agent, así que las directivas son una señal fuerte, no una garantía. Segunda, estas políticas cambian a menudo —la actualización de documentación de diciembre es una de varias en la vida de GPTBot— así que cualquier regla concreta debería revisarse, no fijarse una vez. Lo estable es la distinción de fondo entre entrenamiento y recuperación, y la consecuencia que se deriva de ella. El AC Group lleva 27 años en el lado poco glamoroso del descubrimiento —quién puede llegar a una página y por qué— y esto es ese trabajo aplicado a la puerta que casi todos los sitios cierran de golpe sin mirar qué bots hay del otro lado.