Wie funktionieren Suchmaschinen?

Wie funktioniert das Web?

Webseiten sind Dokumente, die mit HTML formatiert sind. Dies ist wiederum eine Web-Programmiersprache, die eine Seite mit einer anderen durch eingebettete Hyperlinks verbindet. Das ist das wichtigste Konzept, das du wissen solltest, um zu verstehen, wie das Web funktioniert.

Webseiten enthalten Inhalte wie Text, Bilder, Formulare, Videos, Hyperlinks und mehr. Dieser Inhalt ist das, wonach die Benutzer mit der Eingabe von Suchanfragen in der jeweiligen Suchmaschine suchen. Man geht auf eine Webseite, um diese zu lesen, anzusehen oder sie anzuhören oder aber, um ein Produkt zu kaufen oder sich für einen Newsletter anzumelden. Mithilfe von Links wird zwischen den Seiten navigiert.

Diese Aktionen sind aufgrund des programmierten Inhalts in einer Webseite möglich. Die Natur des Webs macht es einfach, dass du dich von einer zur nächsten Seite klicken kannst – je nachdem, was du vorhast.

Was ist eine Website?

Eine Website ist eine Ansammlung von Webseiten, die sich alle auf derselben Domain befinden und normalerweise derselben Organisation gehören, von welcher sie verwaltet werden. Die Homepage von Mailchimp ist beispielsweise über die URL https://mailchimp.com/ erreichbar.

In dieser URL ist „mailchimp.com“ die Domain. Wenn du dir andere URLs auf dieser Website ansiehst, wirst du feststellen, dass sie dieselbe Domain teilen, obwohl die vollständige URL anders ist. Zum Beispiel:

• https://mailchimp.com/resources/
• https://mailchimp.com/why-mailchimp/

Mailchimp verwendet auch Links, um Besucher auf andere Bereiche der Website zu leiten. Vom Navigationsbereich oben auf jeder Seite aus kannst du dich beispielsweise ganz einfach zu einer anderen Seite der Website durchklicken. Dies ist durch interne Links möglich, die Links zwischen Seiten derselben Domain sind.

Unterschiede zwischen internen und externen Links

Links zu einer anderen Domain sind externe Links. (Du wirst am Ende dieses Artikels einen externen Link in der Autorenzeile bemerken.)

Mailchimp hat im unteren Bereich jeder Seite einen Fußzeilenbereich. Dies hilft Besuchern, über interne und externe Links zu bestimmten Seiten zu navigieren. In diesem Fall verweisen die externen Links auf Profilseiten in den sozialen Medien.

Die meisten Websites verwenden mehr interne als externe Links. Normalerweise verlinken alle Seiten einer Website auf andere Seiten derselben Website, wodurch ein eigenes Miniaturnetz aus miteinander verknüpften Dokumenten entsteht.

Interne Links verbinden Seiten, die sich aufeinander beziehen und auf derselben Domain existieren, aber die Macht des Webs hat mehr mit externen Links zu tun. Externe Links stellen Verbindungen zu Webseiten her, die außerhalb der Grenzen einer einzelnen Organisation existieren und betrieben werden. Sie tragen dazu bei, Teil des Netzwerks von Milliarden von Seiten zu werden, die im Internet existieren.

Die Gründe für die Verwendung eines externen Links sind unterschiedlich. Es könnte sein, dass du eine Statistik in einen Artikel aufnehmen und auf die Quelle der Daten auf einer anderen Website verlinken möchtest. Dies verleiht dem, was du postest, nicht nur mehr Glaubwürdigkeit, sondern trägt auch zum ausgedehnten Netzwerk des Webs bei.

Was macht eine Suchmaschine?

Suchmaschinen erfüllen 3 Hauptaufgaben:

1. Crawlen
2. Indexierung
3. Bereitstellung von Suchergebnissen

Einfach ausgedrückt ist Crawlen der Zugriff auf Webseiten im Internet. Beim Indexieren wird dem Inhalt von Webseiten eine Bedeutung zugewiesen und eine Verbindung zwischen beiden aufgebaut. Das Liefern von Suchergebnissen bedeutet, dass eine professionell entwickelte Suchmaschine die Suchanfrage eines Benutzers interpretiert und dann Ergebnisse aus dem Index bereitstellt, welche diese Suchanfrage am besten beantworten.

So funktionieren Crawler

Das Crawlen von URLs ist eine Aufgabe, die von einem Computerprogramm ausgeführt wird, das als Crawler oder Spider bezeichnet wird. Die Aufgabe des Crawlers besteht darin, Webseiten zu besuchen und den gefundenen HTML-Inhalt zu extrahieren. Zu den wichtigsten Dingen, nach denen ein Crawler von Suchmaschinen sucht, gehören Links.

Jede Webseite hat eine einzige eindeutige Kennung, nämlich ihre URL. Wenn du die URL in die Adressleiste deines Browsers eingibst, gelangst du automatisch auf die dazugehörige Webseite. Webseiten selbst bestehen aus Inhalten, die in HTML gekennzeichnet sind.

HTML ist eine maschinenlesbare Sprache, sodass ein externes Programm wie ein Crawler eine URL besuchen, den HTML-Code extrahieren und auf strukturierte Weise auf den Inhalt zugreifen kann. Es ist wichtig zu verstehen, dass diese Programmiersprache zwischen Text und Hyperlinks unterscheiden kann.

Wenn Crawler von Suchmaschinen den HTML-Code für eine Seite untersuchen (zum Beispiel die Seite, auf der du gerade diesen Artikel liest), stellen sie fest, dass jeder Absatz am Anfang und am Ende durch ein Stück Code namens Absatzelement oder p-Tag versetzt ist. Dies identifiziert einen Absatztextblock: das p-Tag am Anfang öffnet das Absatzelement und das p-Tag am Ende schließt es. Obwohl du diesen Code nur siehst, wenn du die Seite untersuchst, sieht der Crawler ihn und versteht, dass diese Seite Textinhalte enthält, die für Besucher zum Lesen bestimmt sind.

Links sind aufgrund ihres HTML-Codes auch für Crawler von Suchmaschinen sichtbar und interpretierbar. Programmierer codieren Links mit einem Ankerelement am Anfang und am Ende. Links enthalten auch ein „Attribut“, welches das Ziel des Hyperlinks angibt, und einen „Ankertext“. Ein Ankertext ist der verlinkte Text, der von Lesern gesehen wird und in Browsern oft in Blau mit Unterstreichung angezeigt wird.

Für einen Crawler ist es eine einfache Aufgabe, diesen HTML-Block zu verarbeiten und den Text vom Link zu trennen. Auf einer einzelnen Webseite gibt es jedoch viel mehr als einen Absatz und einen Link. Um dir diese Art von Daten selbst anzeigen zu lassen, besuche einfach eine beliebige Webseite in deinem Browser, klicke mit der rechten Maustaste auf eine beliebige Stelle auf dem Bildschirm und klicke dann auf „Quelle anzeigen“ oder „Seitenquelle anzeigen“. Auf den meisten Seiten findest du Hunderte von Codezeilen.

Für jede Webseite, auf die ein Crawler trifft, analysiert er den HTML-Code, d. h. er zerlegt den HTML-Code in seine Bestandteile, um ihn weiter zu verarbeiten. Der Crawler extrahiert alle Links, die er auf einer bestimmten Seite findet, und plant sie dann zum Crawlen ein. Tatsächlich baut sich der Crawler selbst eine kleine Rückkopplungsschleife auf:

URL crawlen → Links zu URLs finden → URLs zum Crawlen planen → URL crawlen

So kannst du einem Crawler eine einzelne URL als Quelle geben, von der aus er mit dem Crawlen beginnen kann, und er wird weitermachen, bis er aufhört, neue URLs zum Crawlen zu finden – dies können später Tausende oder sogar Millionen von URLs sein.

Kurz gesagt: Crawling ist eine Methode, um Dinge zu entdecken. Suchmaschinen bestimmen, was den Nutzern bei Suchanfragen angezeigt wird, indem sie Web-Crawler aussenden, um Webseiten zu finden, die dann wiederum zu den nächsten Webseiten verlinken.

Aus diesem Grund sind interne Links auf deiner Website wichtig, da sie es Suchmaschinen-Crawlern ermöglichen, alle Seiten deiner Website zu entdecken. Durch externe Links entdecken sie andere Websites, während sie das Netzwerk miteinander verbundener Seiten erkunden, aus denen das Internet besteht.

So funktioniert die Indexierung

Wenn Suchmaschinen das Web durchsuchen, erstellen sie einen Speicher von Webseiten. Damit generieren sie dann einen Index.

Denke an den Index, den du in deiner Schulzeit hinten in einem Lehrbuch gefunden hast. Wenn du mehr über die Zellstruktur erfahren wolltest, konntest du im Index eines Biologiebuchs nach den Seiten zu diesem Thema suchen. Das Indexieren von Webseiten funktioniert ähnlich.

Ein Index ist nützlich, da er in der jeweiligen Suchmaschine eine schnelle Suche ermöglicht. Auch eine bekannte Suchmaschine wie Google benötigt eine schnelle Möglichkeit, Informationen abzurufen und Suchergebnisse zu liefern, daher ist die Indexierung von Webseiten von so entscheidender Bedeutung.

Die beliebtesten Suchmaschinen nehmen sich jede Webseite, die sie crawlen, vor und analysieren das dazugehörige HTML-Dokument, um daraus alle Links herauszufiltern. Indexbasierte Suchmaschinen tun dies, damit sie die Ziel-URL, auf die jeder Link verweist, zusammen mit dem verwendeten Ankertext speichern können. In ähnlicher Weise nehmen sie den gesamten gefundenen Textinhalt und teilen ihn in eine Reihe von Wortvorkommen auf.

Mit diesen analysierten Daten generieren die indexbasierten Suchmaschinen einen umgekehrten Index, indem sie die URL der Webseite jedem der Wörter auf der Seite zuordnen. Sobald sie eine URL auf diese Weise speichern, wird sie indexiert. Dies bedeutet, dass die Webseite das Potenzial hat, dem Nutzer in einer Reihe von Suchergebnissen in der jeweiligen Suchmaschine angezeigt zu werden.

Für jede indexierte URL speichern die professionell betriebenen Suchmaschinen so viele dieser Wort-URL-Beziehungen, wie sie für relevant halten. Darüber hinaus speichern sie auch alle anderen, zugehörigen Metadaten, die sie über die Seite gesammelt haben. Dies sind die Daten, die eine entwickelte Suchmaschine verwendet, um zu bestimmen, welche URLs in ihren Suchergebnissen angezeigt werden.

So werden Suchergebnisse bereitgestellt

Das Crawlen und die Indexierung erfolgen automatisch und ständig. Der Index wird in Echtzeit aktualisiert. Diese Erfassung und Speicherung von Daten läuft selbstständig im Hintergrund ab – unbeeinflusst von den Suchenden, die in der jeweiligen Suchmaschine eine Suchanfrage eingeben.

Die Bereitstellung von Suchergebnissen wird jedoch vollständig von den Benutzereingaben und ihren Suchanfragen bestimmt. Wenn jemand nach „bester Fernseh-Streaming-Dienst“ sucht, gleichen die indexbasierten Suchmaschinen jedes Wort mit Dokumenten in ihrem Index ab.

Aber das einfache Abgleichen von Wörtern mit indexierten Seiten führt zu Milliarden von Dokumenten, also müssen die indexbasierten Suchmaschinen bestimmen, wie sie dir die besten Übereinstimmungen zuerst anzeigen können. Hier wird es schwierig – und das ist auch der Grund, warum SEO so wichtig ist. Wie entscheiden Suchmaschinen aus Milliarden potenzieller Ergebnisse, welche Ergebnisse angezeigt werden? Die Antwort ist, dass sie einen Ranking-Algorithmus verwenden.

Algorithmen sind eine Reihe von Regeln, denen Computerprogramme folgen, um einen bestimmten Prozess auszuführen. Ein Ranking-Algorithmus besteht aus einer großen Anzahl von Algorithmen und Prozessen, die alle miteinander im Einklang arbeiten.

Der Ranking-Algorithmus sucht nach Faktoren wie diesen:

• Erscheinen alle Wörter der Suchanfrage auf der Seite?
• Erscheinen bestimmte Wortkombinationen auf der Seite (z. B. „bester“ und „Streaming“)?
• Erscheinen die Wörter im Titel der Seite?
• Sind die Wörter in der URL der Seite vorhanden?

Dies sind grundlegende Beispiele, und es gibt Hunderte anderer Faktoren, die der Ranking-Algorithmus berücksichtigt, wenn er bestimmt, welche Ergebnisse in der jeweiligen Suchmaschine angezeigt werden sollen. Dies bezeichnet man auch als Rankingfaktoren.

Der Grund, warum Google zunächst zu den beliebtesten Suchmaschinen gehörte und dann zur dominierenden Suchmaschine weltweit wurde, ist einfach: Der Ranking-Algorithmus von Google war besser als die Ranking-Algorithmen seiner Konkurrenten.

Den Sinn hinter der Komplexität verstehen

Suchmaschinen sind äußerst komplizierte Gebilde, die täglich unvorstellbare Datenmengen verarbeiten. Sie wenden komplexe Algorithmen an, um diese Daten zu verstehen und die Suchenden zufriedenzustellen.

Tausende der weltbesten Softwareentwickler arbeiten an immer detaillierteren Verfeinerungen und Verbesserungen, wodurch Unternehmen wie Google für die Weiterentwicklung einiger der fortschrittlichsten Technologien der Welt verantwortlich sind.

Technologien wie maschinelles Lernen, künstliche Intelligenz und Verarbeitung natürlicher Sprache werden sich weiterhin stärker auf die Bereitstellung von Suchergebnissen auswirken. Du musst nicht die ganze Komplexität verstehen, aber durch die Anwendung einer Reihe von grundlegenden Best Practices ist es möglich, deine Website für die Wörter und Ausdrücke auffindbar zu machen, nach denen deine Kunden über indexbasierte Suchmaschinen suchen.

Verfasst von Patrick Hathaway für Mailchimp. Patrick ist Mitbegründer von Sitebulb, einem technischen SEO-Auditing-Tool.