Ich habe die meisten Tage einen Tab offen, der einfach nur Quellenzahlen anzeigt. Nichts Hübsches – keine Diagramme, keine Filter, nur eine Zahl neben jeder der 1.375 Websites, von denen wir Angebote beziehen, und ein Zeitstempel, wann sich jede zuletzt gemeldet hat. Die meisten Tage ist das langweilig, so wie Infrastruktur langweilig sein sollte. Diesen Sommer war es das nicht, und ich glaube, die Geschichte dessen, was schiefging, ist für dich als Autokäufer nützlicher als die meisten "Wie kaufe ich ein Gebrauchtfahrzeug"-Ratgeber, die wir stattdessen schreiben könnten. Es geht darum, was "Live-Daten" eigentlich bedeuten, wenn die Datenquelle 1.375 einzelne Websites sind, die dir gar nichts schulden.
Mitte Juli: die Zahl, auf die ich stolz war
Bis Mitte Juli hatten wir das Quellenregister auf 1.190 Quellen in 73 Regionen ausgebaut – das Ergebnis mehrerer Wochen, in denen wir doppelte Einträge und tote Links bereinigt hatten, die unsere eigene Zahl stillschweigend aufgebläht hatten. Ich erinnere mich, dass ich dachte, 1.190 echte, sich meldende Quellen seien etwas, worauf man stolz sein kann. Das sind eine Menge einzelner Händlerseiten, Kleinanzeigenportale und Auktions-Feeds, jede mit ihrer eigenen HTML-Struktur, ihren eigenen Rate-Limits, ihrer eigenen Meinung darüber, ob ein Scraper ein Kunde oder ein Angreifer ist.
Dann begann eine Rückstands-Kampagne, die wir schon eine Weile liefen – die Abarbeitung einer Warteliste von 683 Quellen, die monatelang zurückgestellt worden waren, manche blockiert, manche einfach nie gebaut –, Früchte zu tragen. In der zweiten Julihälfte wurden 274 davon gebaut und angebunden. Am Monatsende lag die funktionierende Zahl bei 1.464. Das ist die Art von Woche, die man sich als Screenshot sichert.
Anfang August: 241 Quellen, verschwunden
Dann kommt die Zahl, die einem die Woche ruiniert: Über Nacht fielen 241 Quellen in einen degradierten Zustand. Nicht wegen irgendetwas, das wir getan hatten – das Konto unseres Proxy-Anbieters war auf der Abrechnungsseite abgelaufen, und ein riesiger Teil unseres Traffics läuft über rotierende IPs, gerade damit wir nicht von Seiten blockiert werden, die Scraper drosseln. Keine Proxys, keine frischen Seiten, keine frischen Angebote. Quellen kündigen nicht an, dass sie kaputt sind; sie hören einfach still auf, neue Daten zu liefern, während ihre alten Angebote weiter dastehen und aktuell aussehen.
Das ist der Teil, der in keiner Angebotszahl auf irgendeiner Autoseite auftaucht, unsere eingeschlossen, wenn man nicht gezielt danach sucht: Ein "live" Marktplatz kann veraltete Zeilen direkt neben frischen haben und von außen identisch aussehen. Wir haben neue Crawl-Aufträge an eine echte Proxy-Gesundheitsprüfung gekoppelt, damit ein toter Pool die Qualität nicht weiter still verschlechtern konnte, und die Teile des Zeitplans pausiert, die es schlimmer gemacht hätten. Das ist keine glamouröse Arbeit. Es ist die Art von Arbeit, bei der man, wenn man nie davon hört, weiß, dass jemand seinen Job gemacht hat.
Ein Nebengedanke, weil er es wert ist, klar ausgesprochen zu werden: Jede Seite, die jeden einzelnen Tag eine feste, runde Angebotszahl behauptet, ist entweder gar nicht wirklich live oder erzählt dir nichts von Wochen wie dieser.
Der Stillstand
Die Proxy-Erneuerung behob das meiste davon. Was ich nicht erwartet hatte, war, dass der Crawler selbst ein paar Wochen später einfror – ein Deadlock beim Herunterfahren, achtzehn von neunzehn Worker-Threads hingen in futex_wait fest, null CPU-Last, 75 Stunden am Stück. Kein Absturz, kein Fehlerprotokoll, das irgendjemanden anschrie. Einfach nichts passierte, während das Dashboard weiter den letzten erfolgreichen Durchlauf zeigte, als wäre er aktuell. Wir hatten auf diesem speziellen Host noch keinen Watchdog installiert, was die Art von Satz ist, den man erst schreibt, nachdem einem genau das schon einmal passiert ist.
Wir haben den Watchdog gebaut. Wir haben den Zeitplan pausiert, bis die Proxy-Erneuerung bestätigt stabil war, statt zu riskieren, dass ein halb-degradierter Crawl gute Zeilen still durch schlechte ersetzt – eine gecrawlte Quelle bekommt ihre Angebote ersetzt, nicht zusammengeführt, sodass ein schlechter Durchlauf nicht nur keine Daten hinzufügt, sondern aktiv gute Zeilen löschen und schlechtere an ihre Stelle setzen kann. Diese Asymmetrie ist der Grund, warum wir lieber einen Tag lang veraltet laufen als degradiert.
Wo die Zahl gelandet ist
Hier ist der Stand heute und der Verlauf der sechs Wochen, die uns hierher gebracht haben:
Wir sind bei 1.375 Quellen in 73 Regionen gelandet, die 1.108.535 Live-Angebote speisen, von denen aktuell 12.823 als unter dem Preis ihrer regionalen Vergleichsgruppe markiert sind. Das sind etwa 90 Quellen weniger als der Höchststand im Juli – manche der 241 degradierten Quellen kamen nie vollständig zurück, eine Handvoll waren Seiten, die in der Zwischenzeit ihre Anti-Bot-Haltung geändert hatten und neu gebaut statt nur wieder angebunden werden mussten. An einigen davon arbeiten wir noch.
Was das für dich eigentlich wert ist
Nichts davon ändert, welches Auto du kaufen solltest. Aber es sollte ändern, wie du jede "Live-Bestand"-Zahl auf jeder Autoseite liest, nicht nur auf unserer. Frankreich steht derzeit mit 67.569 Angeboten an der Spitze unserer regionalen Zahlen, Japan folgt dicht dahinter mit 61.940, und diese Zahlen bewegen sich – nicht weil sich der Gebrauchtwagenmarkt selbst so schnell verändert, sondern weil sich die Infrastruktur bewegt, die ihn beobachtet. Ein Angebot, das drei Tage veraltet ist, weil eine Quelle degradiert war, sieht genau wie ein frisches aus, solange die Plattform nicht ehrlich über den Unterschied ist.
Wir erzählen dir lieber vom 75-stündigen Stillstand, als vorzugeben, dass unsere Zahl nie wackelt. Ein Datensatz, der nie eine schlechte Woche zugibt, ist ein Datensatz, dem du misstrauischer gegenüberstehen solltest, nicht weniger.
