Ho passato la maggior parte del mio tempo sulle auto usate — 1,1 milioni di annunci, 73 regioni, il solito via vai di ribassi di prezzo e ripubblicazioni. Quindi quando i dati immobiliari hanno iniziato ad arrivare sulle stesse dashboard che uso per le auto, non mi aspettavo che catturassero la mia attenzione. E invece è successo, per ragioni che non avevano nulla a che fare con il piano iniziale.
Ecco il diario, più o meno nell'ordine in cui ho effettivamente notato le cose.
Giorno uno: il numero che non si muove
La prima cosa che controllo in qualsiasi nuovo feed è il totale, perché i totali mentono meno di qualsiasi altra cosa in questo mestiere. Il settore immobiliare si attestava a 601.702 annunci. Bene. Poi l'ho suddiviso per regione e il numero ha smesso di sembrare un lancio globale per iniziare a sembrare un progetto a singolo paese con un errore di arrotondamento allegato: il solo Giappone rappresentava 588.644 di quegli annunci. Ovvero il 97,8% di tutto il feed.
Per fare un confronto, i nostri dati auto coprono 73 regioni senza che nessuna superi il 6% del totale (la Francia, la nostra più grande, ha 67.569 annunci su 1,1 milioni — circa il 6,1%). Il settore immobiliare viaggia a una concentrazione sedici volte superiore. Ho tentennato a lungo chiedendomi se fosse un bug nel tagger delle regioni, prima di ricordarmi cosa lo determina davvero: i portali immobiliari giapponesi elencano un volume enorme di akiya, le case rurali abbandonate o quasi che il governo cerca di smaltire da anni, spesso a prezzi che fanno sembrare una Corolla usata un acquisto di lusso. Quei portali sono meticolosi, leggibili da macchina ed enormi. Quelli di tutti gli altri, per ora, non lo sono.
Giorno due: alla ricerca dell'altro 2,2%
Volevo capire come fosse fatto "tutto il resto", così ho estratto le regioni diverse dal Giappone e le ho messe in fila.
L'Egitto supera di misura la Germania, cosa che mi ha sorpreso — mi sarei aspettato che un mercato ampio e ben documentato come quello tedesco dominasse un campione casuale prima del Cairo. Anche lo Sri Lanka si mantiene stabilmente a quattro cifre. Poi c'è un precipizio: i quattro paesi centroamericani — Guatemala, Nicaragua, Panama ed El Salvador — si fermano rispettivamente a 80, 80, 80 e 78.
Giorno tre: tre numeri identici non sono mai una coincidenza
È proprio quel precipizio che mi ha fatto fermare davvero. Tre paesi che arrivano esattamente allo stesso conteggio non è un segnale di mercato, è un'impronta digitale. Quando Guatemala, Nicaragua e Panama mostrano tutti e tre precisamente 80 annunci, non si tratta di tre economie che convergono per caso sulla stessa dimensione di inventario — è un'unica fonte a monte con un limite fisso di 80 pagine, che alimenta tutti e tre allo stesso modo. Il 78 di El Salvador è l'indizio che lo conferma: abbastanza vicino da essere la stessa fonte, abbastanza diverso da dimostrare che non è un errore di copia-incolla nella nostra stessa pipeline. Da qualche parte esiste un aggregatore immobiliare regionale che limita le pagine di risultati gratuiti a circa 80 annunci per paese, e finché non lo aggireremo — attingendo direttamente alla fonte invece che all'aggregatore, o paginando oltre qualunque muro imponga — quei quattro paesi risulteranno identicamente minuscoli, indipendentemente da come siano davvero i loro mercati.
Questa è la parte poco affascinante della costruzione onesta di un nuovo dataset: i primi numeri che ottieni non sono il mercato, sono la forma delle tue fonti attuali. Preferisco scoprirlo nella prima settimana piuttosto che pubblicare un post sui "mercati immobiliari più piccoli del Centro America" costruito sul limite di pagina di uno scraper.
Giorno quattro: quello che mi ha davvero sorpreso
Non la concentrazione sul Giappone — me l'aspettavo in parte già in partenza, considerando quanto del nostro stesso segnale immobiliare provenisse già da fonti giapponesi sul lato auto del business. Ciò che mi ha sorpreso è stato quanto fosse leggibile il problema di qualità dei dati senza alcuno strumento particolare. Non serve una formazione statistica per notare tre 80 di fila. Basta guardare i numeri in ordine, che è essenzialmente gran parte di questo lavoro.
Questo mi ha anche fatto rivedere un aspetto dei nostri dati auto a cui avevo smesso di fare caso perché ci sono abituato: 73 regioni con una diffusione autentica, nessuna regione sopra il 6,1%, 1.375 fonti indipendenti che le alimentano — quella distribuzione non è lo stato naturale di un dataset raccolto tramite scraping, sono otto anni passati deliberatamente ad aggirare esattamente il tipo di muro dell'aggregatore appena emerso il terzo giorno del feed immobiliare. Ognuna di quelle 73 regioni è partita somigliando al Guatemala.
Dove siamo adesso
Il settore immobiliare non è ancora un prodotto — è un segnale che stiamo monitorando mentre il lato auto continua a funzionare, una riga in una roadmap più ampia verso una copertura immobiliare più estesa. Ma una settimana passata a guardarlo riempirsi è stato un buon promemoria dell'ordine in cui le operazioni avvengono davvero: portare il feed online, insospettirsi dei numeri tondi, trovare il muro, poi costruire un modo per superarlo. Il Giappone smetterà di essere il 97,8% di questo feed nello stesso modo in cui la Francia, non gli Emirati Arabi Uniti né il Giappone, è finita in cima ai nostri conteggi auto — aggiungendo fonti finché nessuna, da sola, possa dominare il totale per caso.
