Vor ein paar Tagen habe ich einer Freundin geholfen, die im Operations-Bereich arbeitet, Daten zu verarbeiten. Sie hat mir ihr Leid geklagt, dass sie von Webseiten fast in den Wahnsinn getrieben wird. Die Sache war die: Sie wollte einige Produktbeschreibungen und Artikel von Konkurrenz-Webseiten herunterladen und in ihrer eigenen Wissensdatenbank organisieren. Eigentlich dachte sie, sie lässt einfach einen KI-Crawler darüberlaufen und das war's. Aber was dabei herauskam, war kaum anzuschauen – voll mit HTML-Tags, wirren Zeilenumbrüchen und einem Haufen seltsamer Symbole, die im Text durcheinandergewürfelt waren. Sie sagte, wenn sie sich das anschaut, fühlt es sich an, als hätte man eine Kiste Bücher in einen Mixer geschüttet.
Ich verstehe dieses Gefühl nur zu gut. Viele Leute denken, wenn der Crawler die Daten erst einmal geholt hat, ist alles erledigt. Dabei fängt der eigentliche Ärger erst an. Der Inhalt, den du von einer Webseite herunterlädst, ist im Grunde ein Haufen strukturierter Code. Der Browser kann ihn zu einer schönen Seite rendern, aber wenn du ihn direkt in ein Dokument oder eine Notiz-App wirfst, ist das eine Katastrophe. Div-Tags, Class-Attribute, Script-Blöcke und allerlei Inline-Styles sind alle im Text vermischt. Von Lesbarkeit ganz zu schweigen – selbst die eigentliche Textstelle zu finden, ist Glückssache.
Früher habe ich in solchen Fällen entweder manuell kopiert und eingefügt oder eine Menge regulärer Ausdrücke geschrieben, um den Kram zu bereinigen. Manuell ist zu langsam, und reguläre Ausdrücke richten leicht Schaden an. Später habe ich eine besonders bequeme Methode entdeckt – HTML-zu-Markdown-Tools. Im Grunde sind das Übersetzer, die die komplexe HTML-Struktur einer Webseite in Markdown umwandeln, eine leichtgewichtige Auszeichnungssprache. Nach der Konvertierung sind Überschriften Überschriften, Listen Listen, Links Links – sauber und ordentlich.
Wie geht man konkret vor? Eigentlich ganz einfach. Zuerst speicherst du den HTML-Inhalt, den der KI-Crawler geholt hat, als Datei oder fügst ihn direkt in das Konvertierungstool ein. Ein Klick auf Konvertieren, und es entfernt automatisch die überflüssigen Tags und behält die Kern-Textstruktur und Formatierung bei. Zum Beispiel wird ein Haufen verschachtelter Divs, die einen Textabschnitt umschließen, nach der Konvertierung zu einem sauberen Absatz. Eine Liste, die mit ul und li aufgebaut war, wird nach der Konvertierung zu einer Markdown-Aufzählung mit Bindestrichen. Fetter Text wird nach der Konvertierung von zwei Sternchen eingeschlossen.
Meine Freundin hat es ausprobiert und mir gesagt, es fühlt sich an, als hätte man den ganzen Zeichensalat gebadet. Inhalte, die vorher Kopfschmerzen bereitet haben, kann sie jetzt direkt in Notion oder Obsidian verwenden. Sie hat auch einen Vorteil entdeckt: Das Markdown-Format eignet sich besonders gut für die Weiterverarbeitung. Ob du Überschriftenebenen ändern, die Reihenfolge von Absätzen anpassen oder einen bestimmten Teil extrahieren willst – das ist alles viel einfacher als in HTML.
Allerdings gibt es einen Punkt zu beachten: Nicht alle HTML-zu-Markdown-Tools sind zuverlässig. Manche verlieren bei der Konvertierung Formatierungen, manche machen Tabellen zu einem Chaos, und manche haben schlechte Unterstützung für Chinesisch, sodass nach der Konvertierung Zeichensalat entsteht. Ich habe selbst mehrere ausprobiert und bin schließlich bei einem Open-Source-Tool hängengeblieben, das eine hohe Konvertierungsgenauigkeit hat und Batch-Verarbeitung unterstützt. Wenn du häufig Inhalte verarbeiten musst, die von Crawlern geholt wurden, empfehle ich, mehrere auszuprobieren und das passendste zu finden.
Ein weiterer kleiner Tipp: Vor der Konvertierung solltest du am besten die Script- und Style-Tags aus dem HTML entfernen. Diese Dinge können Konvertierungstools nicht verarbeiten, und wenn man sie behält, erhöhen sie nur den Aufwand und können manchmal sogar zu Konvertierungsfehlern führen. Viele Tools haben zwar eine eingebaute Filterfunktion, aber es ist sicherer, wenn du selbst noch einmal nachprüfst.
Letztendlich ist der KI-Crawler ein gutes Werkzeug. Er kann dir helfen, schnell eine große Menge an Inhalten zu beschaffen. Aber das Beschaffen ist nur der erste Schritt. Das Bereinigen und Organisieren ist der eigentliche Teil, der die Daten nützlich macht. Die Umwandlung von HTML in Markdown sieht wie ein kleiner Trick aus, spart dir aber tatsächlich eine Menge Zeit und Mühe. Wenn du das nächste Mal auf chaotische Inhalte stößt, die ein Crawler geholt hat, lösche nicht gleich drauflos, sondern probiere diese Methode aus. Du wirst feststellen, dass die Sache viel einfacher ist als gedacht.