Damit die Seiten einer Webseite in den Suchergebnissen einer Suchmaschine, wie beispielsweise Google, erscheinen, müssen diese einzeln von dem jeweiligen Suchsystem indexiert werden. Das bedeutet, dass die Seiten im Repertoire der Suchmaschine gespeichert und bei einer relevanten Suche angezeigt werden können.
Standardmäßig sind erstellte Seiten dafür ausgelegt, dass sie von der Suchmaschine erfasst und ausgelesen werden können, doch es gibt Situationen, in denen der Webmaster möchte, dass genau das nicht passiert. In diesem Fall muss die Seite einen entsprechenden Code erhalten, der sie als „Noindex“ markiert.
Wie wird eine Indexierung verhindert?
Um die Indexierung einer Seite durch eine Suchmaschine zu verhindern, gibt es mehrere Möglichkeiten. Zum einen kann eine robot.txt-Datei erstellt werden, in der genau beschrieben ist, welche Ordner oder Dateien der Webseite ausgelesen, bzw. eben nicht ausgelesen werden sollen. Um diese Datei zu erstellen, ist allerdings etwas Fachwissen erforderlich. Inzwischen gibt es aber auch zahlreiche Online-Generatoren.
Eine wesentlich einfachere Methode ist das explizite Setzen eines Meta-Tags, in diesem Fall „noindex“ im HTML-Code der entsprechenden Seite. Hierbei wird im-Bereich der Seite der Codeeingefügt. Ist die Webseite mit einem Content Management System (CMS), wie beispielsweise WordPress, erstellt, gibt es darüber hinaus unzählige Plugins, die beim Setzen des Meta-Tags unterstützen. In diesen Fällen ist keine manuelle Änderung im HTML-Code notwendig, sondern die Seite kann durch einen einfachen Klick bei der Erstellung von der Indexierung ausgenommen werden.
Beim Setzen eines solchen „noindex“-Tags ist darüber hinaus zu beachten, dass gegebenenfalls vorhandene Links auf der Seite hiervon ausgenommen sind.
Der Tag bedeutet in diesem Fall, dass die Suchmaschine die betroffene Seite auslesen, aber nicht indexieren darf. Hingegen werden vorhandene Links weiterverfolgt. Auch dieses kann durch einen einfachen Meta-Tag verhindert werden, „nofollow“. Der bereits beschriebene Code wird dann einfach um diesen Tag erweitert.
Warum sollte aber eine Seite nicht von einer Suchmaschine gefunden werden?
Es gibt diverse Gründe, weshalb ein Webseitenbetreiber möchte, dass eine Seite nicht im Index der Suchmaschine aufgenommen werden soll. Hierzu gehören beispielsweise duplizierte Seiten, die mitunter zu einer Abstrafung seitens des Suchmaschinenanbieters führen können. Sie werden allerdings benötigt, um zum Beispiel eine spezielle Druckversion der Seite anzeigen zu können.
Ist eine Webseite schon länger online, dann hat sie gegebenenfalls Seiten, deren Inhalte veraltet oder archiviert sind. Diese Seiten sollten ebenfalls aus dem Index gehalten werden, da sie ansonsten einen negativen Einfluss auf das Ranking verursachen können.
Oftmals sollen Seiten auch noch nicht indexiert werden, wenn diese noch im Aufbau oder in einer Testphase sind. Hier erfolgen oftmals noch erhebliche Änderungen, die dann im Nachhinein der Suchmaschine neu gemeldet werden müssen. Hat die Webseite einen geschützten Zugang für Mitarbeiter, Kunden oder sonstige Nutzer, so ist es ebenfalls nicht sinnvoll, wenn diese Seiten in der Suchmaschine erscheinen. Schließlich ist der Inhalt nur für ausgewählte Personen sichtbar. Auch diese Seiten sollten einen entsprechenden „Noindex“-Code erhalten.
Eine weitere Situation sind zum Beispiel Seiten, die angezeigt werden, wenn der Nutzer sich für einen Newsletter eingetragen hat. Hier stehen dann üblicherweise eine Danksagung und der Hinweis zu dem weiteren Vorgehen. Diese Seite sollte aber nicht von anderen Nutzern gefunden werden, da sie ohne eine entsprechende Anmeldung nichts damit anfangen können.
Positiven Einfluss auf das SEO durch „Noindex“
Grundsätzlich ist es für die Suchmaschinenoptimierung (SEO) notwendig, dass Seiten auch von einer Suchmaschine gefunden und indexiert werden können. Bei einem doppelten Inhalt oder Seiten mit irrelevantem Inhalt für den Nutzer kann sich eine Indexierung andererseits negativ auf das Ranking der gesamten Webseite auswirken. Hingegen hat die Anzahl der nicht zu indexierenden Seiten keinen Einfluss auf das Ranking.
Webseitenbetreiber können also mit der Methode, eine Seite mit dem „Noindex“-Tag von der Indexierung auszunehmen, bewirken, dass nur die relevanten Seiten ausgelesen und von Nutzern gefunden werden können.