Para poder realizar búsquedas en internet eficientes no sólo se encuentran los buscadores convencionales, si no, que hay otras fuentes en las que poder consultar para obtener nuevos resultados.
Los buscadores tracicionales sólo ofrecen acceso a una pequeña parte de lo que se encuentra en internet, lo que se ha comenzado a llamar la Web Superficial o visible. El resto de lo que se encuentra en internet es un gran conjunto de información contenido en catálogos, revistas digitales, blogs, entradas en diccionarios, contenido de sitios con login (sean gratuitos o no) y otros tipos de contenidos que no aparecen en los resultados de los buscadores tradicionales, a todo esto se le ha comenzado a llamar la Web Profunda o invisible.
La Web Superficial o visible
La Web Superficial es la que contiene a todos los sitios cuya información puede ser indexada por los robots de los buscadores tradicionales y puede ser obtenida mediante una consulta mediante sus formularios de búsqueda.
Las características principales de las web que forman la Web Superficial son las siguientes:
- Su información no está contenida en bases de datos
- Es de libre acceso
- No se requiere la realización de un proceso de registro para acceder a la información.
- Mayoritariamente está formada por páginas Web estáticas, es decir páginas o archivos con una URL fija y accesibles desde otro enlace.
La Web Profunda o invisible
Web Profunda es el término utilizado para describir toda la información disponible en internet y que no se puede obtener mediante consulta a los buscadores tradicionales. Parte de esta información es invisible a los robots de búsqueda por que las páginas se generan de forma dinámica y se destruyen una vez finalizado el acceso a ellas.
Algunos recursos de búsqueda en la web profunda:
- The WWW Virtual Library se considera el catálogo más antiguo en la web y fue iniciado por Tim Berners-Lee, el creador de la web.
- Infoplease es una Web de consulta con más de 57.000 artículos de la prestigiosa enciclopedia Columbia. Facilita la consulta de información con opciones de búsqueda por términos o por áreas de conocimiento. Es posible acceder a un buen número de enciclopedias, atlas, y biografías. Y también tiene algunas ramificaciones interesantes como Factmonster.com para los niños y Biosearch, un motor de búsqueda sólo para biografías, o información de todo lo acontecido históricamente en un determinado día.
- DeepWebTech ofrece cinco motores de búsqueda para temas específicos. Los motores de búsqueda abarcan la ciencia, medicina y negocios. El uso de estos motores de búsqueda específicos del tema, puede consultar las bases de datos subyacentes en la Web profunda.
- TechXtra centra su información, en ingeniería, matemáticas e informática. Es posible navegar a través de una extensa lista de revistas gratuitas especializadas de ingeniería, documentos técnicos, descargas y podcasts.
Sherman y Price identifican cuatro tipos de contenidos invisibles en la Web:
- La Web opaca
- La Web privada
- La Web propietaria
- La Web realmente invisible
Web opaca
Está compuesta por archivos que, si bien podrían estar incluidos en los índices de los buscadores, no lo están por alguno de los siguientes motivos:
- Extensión de la indización: a veces, por economía, no todas las páginas de un sitio son indizadas en los buscadores.
- Frecuencia de la indización: los buscadores no poseen la capacidad de indizar todas las páginas existentes; a diario se agregan y modifican muchas y la indización no se realiza al ritmo que permita incluirlas a todas.
- Número máximo de resultados visibles: aunque los motores de búsqueda arrojan a veces un gran número de resultados, generalmente limitan el número de documentos que se muestran (entre 200 y 1000).
- URL desconectadas: las generaciones más recientes de buscadores, presentan los documentos por relevancia basada en el número de veces que aparecen referenciados en otros. Si un documento no tiene un link a él, desde otro documento, será imposible que la página sea encontrada, pues no se encuentra indizada.
Web privada
Está compuesta por las páginas Web que podrían estar indizadas en los buscadores pero son excluidas deliberadamente por alguno los siguientes motivos:
- Las páginas están protegidas por contraseñas.
- Contienen un archivo “robots.txt” para evitar ser indizadas.
- Contienen un campo “noindex” para evitar que el buscador pueda indizar la parte correspondiente al cuerpo de la página.
Este segmento de la web suele contener documentos de baja utilidad que los dueños de estos deciden que no puedan ser encontrados por los buscadores.
Web propietaria
Está compuesta por las páginas web que requieren registro, ya sea gratuito o de pago.
Web realmente invisible
Está compuesta por las páginas web que se generan de forma dinámica, normalmente a partir de consultas a bases de datos.
