Mejorando la indexación del contenido con IndexNow: cómo y por qué lo adopté en Deeditt

Internet esta innundado de contenido que se genera constantemente y las plataformas evolucionan rápidamente, garantizar que ese contenido sea visible y encontrable es clave. En Deeditt, donde los usuarios comparten ideas, reflexiones y aprendizajes reales, era fundamental que todo ese conocimiento no quedara oculto, esperando a que un bot lo descubriera.

Aquí es donde entra en juego IndexNow, un protocolo moderno que cambia radicalmente la forma en que los motores de búsqueda acceden a la información nueva o actualizada.

¿Qué es IndexNow?

IndexNow es un protocolo abierto propuesto inicialmente por Microsoft Bing y Yandex que permite a los sitios web notificar de forma directa a los motores de búsqueda cada vez que el contenido cambia. En lugar de esperar a que los bots rastreen periódicamente el sitio (modelo "pull"), IndexNow permite hacer un "push" activo de las URLs actualizadas o nuevas.

¿Por qué se creó IndexNow?

Porque el enfoque tradicional de rastreo tiene varias limitaciones:

• Los bots tardan horas o días en descubrir nuevos contenidos.
• Se desperdician recursos rastreando páginas que no han cambiado.
• El rastreo masivo consume ancho de banda y CPU tanto del buscador como del servidor.

IndexNow fue diseñado para resolver estos problemas. Su objetivo es mejorar la eficiencia, rapidez y sostenibilidad del descubrimiento web.

¿Cómo funciona IndexNow?

La lógica detrás de IndexNow es simple:

1. El sitio genera una clave única y la publica en su raíz para verificar su identidad.

2. Cuando se publica o actualiza contenido, el sitio envía una petición HTTP POST a https://api.indexnow.org/indexnow.

3. El cuerpo de la solicitud contiene:

   • host: el dominio base del sitio.
   • key: la clave publicada.
   • keyLocation: la URL pública de la clave.
   • urlList: un array con las URLs modificadas.

4. Los motores compatibles (Bing, Yandex, Seznam, Naver) reciben la notificación y programan una indexación inmediata de esas páginas.

Ejemplo práctico de uso

curl -X POST 'https://api.indexnow.org/indexnow' \
  -H 'Content-Type: application/json' \
  -d '{
    "host": "tu_dominio.com",
    "key": "API_KEY",
    "keyLocation": "https://tu_dominio.com/API_KEY.txt",
    "urlList": [
      "https://tu_dominio.com/@sofia/deeds/1234",
      "https://tu_dominio.com/@pablo/journeys/5678"
    ]
  }'

Este ejemplo envía un ping para que los motores actualicen solo las URLs que cambiaron.

¿Por qué usar un modelo push en lugar de pull?

La lógica tradicional se basa en que los buscadores rastrean nuestro sitio de forma regular (pull). Pero eso tiene varios inconvenientes:

• No hay garantías de cuándo ocurrirá. Puede pasar mucho tiempo hasta que un nuevo contenido sea indexado.
• El rastreo es costoso. Los bots exploran muchas páginas aunque no hayan cambiado.
• No tenemos control. Somos reactivos ante el ritmo de los buscadores.

Con IndexNow:

• Notificamos solo cuando algo cambia.
• Evitamos rastreos innecesarios.
• Ahorramos ancho de banda y procesamiento.
• Aceleramos la aparición del contenido en los resultados de búsqueda.

Es decir: hacemos que el rastreo sea más inteligente, rápido y "ecológico".

Cómo se integra en Deeditt

En Deeditt, el contenido cambia constantemente y depende de los usuarios, por lo que decidi adoptar IndexNow para mantener a los motores de búsqueda informados casi en tiempo real.

El enfoque fue mixto:

• Para el sitio principal que contiene páginas estáticas, se generan pings a IndexNow en cada despliegue de contenido nuevo.

• Para la aplicación web, construi un proceso programado que cada día:

  • Analiza los nuevos deeds, journeys públicos publicados.
  • Filtra solo las URLs públicas.
  • Envía un batch de pings a IndexNow usando colas en segundo plano.

Este sistema permite mantener actualizado el índice de los motores de búsqueda sin sobrecargar nuestros servidores ni desperdiciar solicitudes.

Conclusión

IndexNow representa un cambio importante en la forma en que los sitios modernos informan a los motores de búsqueda. Al adoptar un modelo push en lugar de esperar pasivamente el rastreo, ganamos:

• Velocidad: el contenido nuevo aparece en minutos.
• Eficiencia: menos recursos malgastados.
• Control: decidimos qué y cuándo notificar.

Para plataformas como Deeditt, donde el contenido tiene un alto valor narrativo y personal, asegurarse de que sea visible y accesible para quien lo busca es parte de la misión. Integrar IndexNow fue un paso lógico para hacerlo realidad.

Happy coding! :D

Photo by Aram Ramazyan on Unsplash

Written with StackEdit.