Un motor de búsqueda es un sistema informático que indexa (ordena contenidos poniendo índices) archivos almacenados en servidores web (programas informáticos que realizan ciertas tareas en nombre de los usuarios). Un ejemplo claro de estos motores son los buscadores de internet (algunos buscan sólo en la web, pero otros también buscan noticias y servicios) que rastrean información sobre un tema. Estas búsquedas se realizan con palabras clave o con árboles jerárquicos. Esta clase de búsquedas se pueden clasificar en dos grupos:

Índices temáticos

Son sistemas de búsqueda por temas o categorías jerarquizadas. Se trata de una serie de base de datos elaboradas manualmente, o lo que es lo mismo: gestionadas por una serie de personas que se encargan de asignar un tema determinado a cada página web o categoría.

Motores de búsqueda

Son sistemas de búsqueda desarrolladas a través de palabras clave. Bases de datos que incorporan a su registro páginas webs mediante robots de búsquedas en la red. Como operan de forma automática, normalmente los motores de búsqueda generan más información que los directorios. Sin embargo, éstos también han de construirse a partir de búsquedas (no automatizadas) o bien a partir de avisos dados por los creadores de las páginas (lo que puede ser muy limitante). Los mejores directorios combinan ambos sistemas en su modo de funcionamiento. Dentro de los motores, se pueden establacer diferentes clases de buscadores.

Buscadores jerárquicos (arañas o spiders)

La mayoría de los grandes buscadores internacionales son de este tipo. Requieren de muchos recursos para su funcionamiento. No están al alcance de cualquiera. Recorren las páginas recopilando información sobre el contenido de las mismas. Cuando se busca información en los motores, ellos consultan su base de datos y presentan resultados clasificados por una referencia.

Estos buscadores jerarárquicos son interesantes si se busca una palabra, por ejemplo raquetas. En los resultados que ofrecerá el motor de búsqueda aparecerán páginas que contengan esta palabra en alguna parte de su texto. Muestra una descripción que es un trozo de texto cortado de los alrededores de las páginas clave que se han utilizado en la búsqueda. Si consideran que una página web es impiortante para el usuario, tienden a registrar todo el sitio. Si no lo considera importante, sólo almacena una o más páginas.

Cada araña consiste en un buscador con formato de software (programa informático) y miles de servidores que rastrean la red bajando y guardando todas las páginas que encuentran, alojándolos en una base de datos. En los buenos spiders está casi todo lo que existe en internet.

Cada cierto tiempo, los motores revisan los sitios y actualizan los contenidos de su base de datos, por lo que no es infrecuente que los resultados de esa búsqueda estén desactualizados. Los buscadores jerárquicos tienen una colección de programas simples y potentes con diferentes cometidos. Se suelen dividir en tres partes. Los programas que exploran la red, también conocidos como arañas (spiders). Los que construyen bases de datos. Y los que utiliza el usuario, el programa que explota la base de datos.

El caso es que si un anunciante (o usuario) que quiera promocionar su página paga, su web aparecera en los primeros lugares de las páginas de resultados. Gracias a ese tipo de publicidad los buscadores jerarquicos pueden seguir ofreciendo el servicio de forma gratuita. Hasta el momento, al menos aparentemente, esta forma de publicidad es indicada explícitamente.

Los directorios

Estos buscadores funcionan con una tecnología barata, ampliamente utilizada por gran cantidad de scripts en el mercado. Para desarrollarlos, no se requieren muchos recursos de informática. En cambio, se requiere más soporte humano y de mantenimiento. Los algoritmos que se plantean en estos directorios son mucho más sencillos, presentando la información de los sitios registrados como una colección de directorios. No recorren los sitios webs ni almcenan sus contenidos. Sólo reconocen algunos datos de nuestra página, como el título y la descripción para que se introduzca al momento de registrar el sitio en el directorio.

Los resultados de la búsqueda estarán determinados por la información que se haya suministrado al directorio cuando se registra el sitio en el mismo. En cambio, a diferencia de los motores, son revisados por operadores humanos y clasificados según categorías, de forma que es más fácil encontrar páginas del tema de nuestro interés.

Más que buscar información sobre contenidos de la página, los resultados serán presentados haciendo referencia a los contenidos y las visitas que reciba el sitio. Su tecnología es muy barata y sencilla. Entre los ejemplos más relevantes de directorio figuran Open directory proyect, Terra (Antigua Olé) y Yahoo.