Explorar los rincones ocultos de Internet

Un día del verano pasado, el motor de búsqueda de Google alcanzó un hito sin que prácticamente nadie se enterara. Añadió un billón de direcciones a su lista de páginas de Internet. Pero por increíblemente elevado que parezca ese número, representa sólo una fracción de la totalidad de la Red.

Más allá de ese billón de páginas está una Red todavía más grande de datos ocultos: información financiera, catálogos de com­pra, billetes de avión, investigación médica y cualquier otra información que se haya guardado en las bases de datos que resultan invisibles en muchos casos para los buscadores.

Los problemas con los que tropiezan los motores de búsqueda más importantes al penetrar en la llamada Red profunda con­tribuyen de manera esencial a explicar por qué todavía no pueden dar una respuesta sa­tisfactoria a la pregunta de "Cuál es la mejor tarifa para viajar de Nueva York a Londres el jueves". Las respuestas a estas preguntas se podrían obtener fácilmente... si los moto­res de búsqueda supieran cómo hallarlas.

Actualmente está cobrando forma un nue­vo tipo de tecnologías que extenderá el al­cance de los motores de búsqueda para que puedan llegar hasta los rincones ocultos de la Red. Cuando eso ocurra, no sólo mejorará la calidad de los resultados de la búsqueda, sino que también cambiará la forma en que numerosas empresas hacen negocios en Internet.

"La Red rastreable es la punta del ice­berg", explica Anand Rajaraman, cofun­dador de Kosmix, una nueva empresa de búsqueda en la Red profunda. Kosmix ha desarrollado programas que asocian las búsquedas con las bases de datos que tienen más probabilidades de ofrecer información relevante, y luego ofrecen una visión gene­ral del tema obtenida de múltiples fuentes.

"La mayoría de los buscadores te ayudan a encontrar una aguja en un pajar" dice Ra­jaraman, "pero lo que nosotros tratamos de hacer es ayudar a la gente a explorar el pajar".

Ese pajar es inmensamente grande. Con millones de bases de datos conectadas a la Red, e infinitas posibilidades de combinar los términos de búsqueda, resulta sencilla­mente imposible para cualquier motor de búsqueda cribar todas las combinaciones

posibles de datos. Para extraer informa­ción significativa de la Red profunda, los motores de búsqueda tienen que analizar los términos empleados por los usuarios para la búsqueda y determinar el modo en que formularán esas consultas en bases de datos determinadas.

La profesora Juliana Freire de la Univer­sidad de Utah está trabajando en un ambi­cioso proyecto llamado DeepPeep [Ojeada Profunda] que tiene como objetivo rastrear e indexar todas las bases de datos que están en la Red pública. La extracción de conte­nidos en ubicaciones de datos tan ocultas requiere un sofisticado juego informático de adivinanzas.

DeepPeep empieza por hacer un pequeño número de consultas "de forma que luego podamos usarlas para avanzar en nuestro conocimiento de las bases de datos y elegir qué palabras buscamos".

Más allá del reino de las búsquedas de los consumidores, las tecnologías de la Red pro­funda podrían finalmente permitir que las empresas usasen la información de un modo diferente. Por ejemplo, una página web de noticias locales podría ampliar su información si permitiera a los usuarios entrar en los archivos públicos almacenados en bases de datos del Estado.