Grundsätzlich sind Suchmaschinen „umfangreiche Computerprogramme, mit denen man im Web systematisch suchen kann.“ Suchmaschinen liefern nach Eingabe von Suchbegriffen in der Suchmaske eine Suchergebnisliste.
Diese Suchergebnisliste enthält Verweise, die nach Auffassung der Suchmaschinen auf potentielle Websites verweisen. Die Verweise sind mit dem Titel einer Website sowie einem automatisch generierten Auszug aus dem Inhalt einer Website versehen. Suchmaschinen unterscheiden sich im Hinblick auf Funktion, Aufbau des Datenbestandes und die Art der Relevanzbeurteilung in vier Grundtypen:

• Roboter-Suchmaschinen
• Metasuchmaschinen
• Webkataloge
• Preisvergleichsmaschinen und Online-Marktplätze

Neben diesen Suchmaschinen-Arten gibt es auch eine Reihe von anderen Suchmaschinen, die sich auf spezielle Bereiche fokussieren. Hier sind insbesondere Weblog-Suchmaschinen wie Blogpulse.com zu nennen, die Weblog-Inhalte durchsuchen. Nachfolgend werden grundlegende Aspekte der Suchmaschinen-Typen hinsichtlich ihrer Funktionalität behandelt, um ein besseres Verständnis des Ablaufs eines Suchvorganges zu erläutern.

 

Jede Suchmaschine besteht aus drei Teilen:

• Crawler -auch Roboter, Bot oder Spider genannt- besucht Internetseiten ähnlich wie ein Internetsurfer und lädt selbige herunter. Er frischt Informationen über ihm bekannte Websites auf und fügt neu entdeckte Adressen zu einer Aufgabenliste hinzu.

• Indexer, der aus den herunter geladenen Websites einen durchsuchbaren Index erstellt.

• Abfragemodul, welches die Anfragen der Nutzer an die Suchmaschine weiterverarbeitet. Dieses Modul wird auch als Query-Server bezeichnet und ist zuständig für die Sortierung der Treffer nach Ihrer Relevanz zur Suchanfrage. Dieses Verfahren nennt man Ranking.

Die Suchmaschinen durchsuchen das Web nicht erst in dem Moment, in dem eine Anfrage gestellt wird. Sie sammeln stattdessen die Informationen, indexieren diese dann und bereiten sie für die Suche auf. Dies ist auch eine Erklärung dafür, warum vorgenommene Veränderungen an einer Web-Datei (HTML, PHP etc.) manchmal erst Tage oder sogar mehrere Wochen später in den Suchmaschinen zu finden sind.

Der Crawler muss eine Web-Datei besucht haben, damit diese in den Datenbestand der Suchmaschine aufgenommen werden kann. Dabei analysiert er die Seite anders, als Besucher es tun. Die meisten Crawler verarbeiten nur den auf einer Seite vorhandenen Text und die alternativen Texte der Bilder oder Links. Das Bild selbst oder andere Multimedia-Formate wie Flash werden jedoch nicht durch den Crawler erfasst.

Mit einem speziellen textbasierten Browser wie Lynx oder Spider-Simulation (wie bei http://www.seekport.de/seekbot) im Web kann sich der Webmaster einen Eindruck davon verschaffen, welche Informationen ein Crawler von einer Seite erkennen kann.

 

Roboter-Suchmaschinen

Ein Webcrawler (auch Spider oder Robot, kurz Bot) ist ein Computerprogramm, das automatisch das World Wide Web durchsucht und Webseiten analysiert. Der Datenbestand der Roboter-Suchmaschinen wird durch den Besuch der Websites durch einen Webcrawlers ständig mit neuen Informationen erweitert. Berühmte Suchmaschinen wie Google, MSN, Yahoo oder Ask.com sind ebenfalls vom Typ Roboter.

 

Meta-Suchmaschinen

Mit diesen Maschinen findet eine Suche mit einer breiteren Menge an Daten statt. Sie schicken gleichzeitig an mehrere andere Suchmaschinen Anfragen und listen die Ergebnisse, die auch in den Suchergebnislisten der verschiedenen Suchmaschinen erscheinen, auf. Dabei werden doppelte Ergebnisse gelöscht und eigene mathematische und statistische Kriterien zur Bestimmung der Auflistung durchgeführt.
Eine bekannte deutsche Meta-Suchmaschine ist MetaGer, welche von der Universität Hannover gepflegt wird und über deutschsprachige Suchdienste sucht. Eine andere verbreitete Metasuchmaschine ist Webcrawler.de.

Ein weiterer Vorteil der Nutzung solcher Suchmaschinen sind die umfangreichen Einstellungsmöglichkeiten für den User. Die gewünschten Suchdienste, die „gecrawlt“ werden, können vorher ausgewählt werden.
Diese Art von Suchmaschinen hat keinen wirklichen Einfluss auf die Suchmaschinenoptimierung. Dies liegt zum einen an der geringen Anzahl der Nutzer, die Meta-Suchmaschinen benutzen und zum anderen daran, dass solche Suchdienste ihre Ergebnisse aus anderen Suchmaschinen beziehen.