Y las paginas que no pueden ser indexadas son las que forman la web profunda o invisible y contienen casi el 95% de las paginas de internet.
Algunos motivos por los que los buscadores no pueden indexar algunas páginas:
- Web contextual: páginas cuyo contenido varía dependiendo del contexto (por ejemplo, la dirección IP del cliente, de las visitas anteriores, etc).
- Contenido dinámico: páginas dinámicas obtenidas como respuesta a parámetros, por ejemplo, datos enviados a través de un formulario.
- Contenido de acceso restringido: páginas protegidas con contraseña, contenido protegido por un Captcha, etc.
- Contenido No HTML: contenido textual en archivos multimedia, otras extensiones como exe, rar, zip, etc.
- Software: Contenido oculto intencionadamente, que requiere un programa, contraseña o protocolo específico para poder acceder (Ejemplos: Tor, I2P)
- Páginas no enlazadas: páginas que los buscadores no tienen referencia de su existencia, por ejemplo, páginas que no tienen enlaces desde otras páginas.

No hay comentarios:
Publicar un comentario