Redirects via Script inhaltlich identifizieren und mappen

Wer bereits schon mal den Relaunch eines etwas größeren Webprojekts begleiten durfte, der weiß: "Der Erfolg steht und fällt mit der Qualität der zuvor gesetzten Weiterleitungen / Redirects". Das nachfolgende Script ist ein Python-Tool für Google Colab, welches Redirect-Mappings bei Site-Migrationen automatisiert, indem es URLs von einer alten Site zu einer neuen Site auf der Grundlage von Content-Ähnlichkeiten abgleicht. Benutzer können hiernach interaktiv die relevanten Spalten aus ihren CSV-Daten für den URL-Abgleich auswählen.

Analyse von Weiterleitungen basierend auf Facebook AI Similarity Search (FAISS)

Das Python Script besteht aus mehreren Bibliotheken und Frameworks die sich wie folgt zusammensetzen:

• faiss-cpu: Eine Bibliothek für effiziente Ähnlichkeitssuche und Clustering von dichten Vektoren.
• sentence-transformers: Ein Python-Framework für moderne Satz-, Text- und Bildeinbettungen.
• pandas: Eine Open-Source-Bibliothek zur Datenmanipulation und -analyse.
• ipywidgets: Eine interaktive Widget-Bibliothek für Jupyter-Notizbücher.

Anwendung des Colab-Scripts für die Redirect-Analyse

Zunächst werden zwei CSV Dateien benötigt:

• origin.csv -> Diese enthälten die Alt-URLs in der ersten Spalte, gefolgt von Titeln, Metabeschreibungen und Überschriften. Unerwünschte URLs und Duplikate bitte aussortieren
• destination.csv ->Die enthält gewünschten Ziel-URLs, Titel, Metabeschreibungen, etc.

• Am besten eignet sich das Tool "Screaming Frog" zur Erstellung der beiden csv. Crawle hierzu einfach jeweils Dein ALT-Projekt und Dein Neu-Projekt.
• Öffne das Redirect Matchmaker Script in Google Colab und Installiere die Bibliotheken, indem diese in Zelle 1 ausgeführt werden.
• Lade dann die Dateien "origin.csv" und "destination.csv" hoch, wenn du dazu von Zelle 2 dazu aufgefordert wirst.
• Wähle die Spalten für den Abgleich in Zelle 3 mithilfe des angezeigten Widgets aus.
• Klicke auf "Let's Go!", um den Abgleichsprozess zu starten.
• In Zelle 4 werden die Daten verarbeitet und die Datei output.csv mit den übereinstimmenden URLs und einer Ähnlichkeitsbewertung erstellt.
• Überprüfe danach die output.csv und korrigieren eventuelle Ungenauigkeiten manuell.
• Lade output.csv nach Abschluss des Skripts automatisch aus dem Download-Verzeichnis des Browsers herunter.

Hinweis: Stelle sicher, dass nur URLs mit Statuscode 200 und ohne UTM-Parameter usw. verwendet werden.

Richtig eingesetzt und mit etwas Übung lassen sich mit diesem Skript, je nach Projektgröße und Häufigkeit, Hunderte von Arbeitsstunden einsparen, die Genauigkeit von Weiterleitungen verbessern und das Migrationsrisiko mindern.

Mit diesem Skript können Sie Hunderte von Arbeitsstunden einsparen, die Genauigkeit des Mappings von Weiterleitungen verbessern und das Migrationsrisiko mindern.

Mark Williams-CookAutomated Redirect Matchmaker for Site Migrations