Έχω περάσει το μεγαλύτερο μέρος του χρόνου μου με μεταχειρισμένα αυτοκίνητα — 1,1 εκατομμύριο αγγελίες, 73 περιοχές, τη συνηθισμένη κίνηση από πτώσεις τιμών και επαναναρτήσεις. Οπότε όταν δεδομένα ακινήτων άρχισαν να προσγειώνονται στα ίδια dashboard που χρησιμοποιώ για αυτοκίνητα, δεν περίμενα να τραβήξουν την προσοχή μου. Το έκαναν, για λόγους που δεν είχαν καμία σχέση με το σχέδιο.
Ακολουθεί το ημερολόγιο, χονδρικά με τη σειρά που πρόσεξα πράγματι τα γεγονότα.
Ημέρα πρώτη: ο αριθμός που δεν κουνιέται
Το πρώτο πράγμα που ελέγχω σε οποιοδήποτε νέο feed είναι το σύνολο, γιατί τα σύνολα λένε λιγότερα ψέματα από οτιδήποτε άλλο σε αυτή τη δουλειά. Τα ακίνητα σταμάτησαν στις 601.702 αγγελίες. Εντάξει. Μετά το χώρισα ανά περιοχή και ο αριθμός σταμάτησε να μοιάζει με παγκόσμια κάλυψη και άρχισε να μοιάζει με έργο μίας μόνο χώρας με ένα σφάλμα στρογγυλοποίησης κολλημένο πάνω του: η Ιαπωνία μόνη της αντιστοιχούσε σε 588.644 από αυτές τις αγγελίες. Αυτό είναι το 97,8% του συνόλου του feed.
Για σύγκριση, τα δεδομένα αυτοκινήτων μας καλύπτουν 73 περιοχές χωρίς καμία να ξεπερνά το 6% του συνόλου (η Γαλλία, η μεγαλύτερή μας, έχει 67.569 από 1,1 εκατομμύριο — περίπου 6,1%). Τα ακίνητα τρέχουν με δεκαέξι φορές αυτή τη συγκέντρωση. Αμφιταλαντεύτηκα αν αυτό ήταν σφάλμα στον ταξινομητή περιοχών προτού θυμηθώ τι πραγματικά το προκαλεί: οι ίδιες οι ιαπωνικές πλατφόρμες ακινήτων καταχωρούν έναν τεράστιο όγκο akiya, τα εγκαταλελειμμένα ή σχεδόν εγκαταλελειμμένα αγροτικά σπίτια που η κυβέρνηση προσπαθεί να ξεφορτωθεί εδώ και χρόνια, συχνά σε τιμές που κάνουν ένα μεταχειρισμένο Corolla να μοιάζει με πολυτελή αγορά. Οι πλατφόρμες αυτές είναι εξαντλητικές, μηχανικά αναγνώσιμες και τεράστιες. Οι πλατφόρμες όλων των άλλων δεν είναι, τουλάχιστον όχι ακόμα.
Ημέρα δεύτερη: αναζητώντας το υπόλοιπο 2,2%
Ήθελα να δω πώς μοιάζουν «όλοι οι υπόλοιποι», οπότε τράβηξα τις περιοχές εκτός Ιαπωνίας και τις παρέταξα.
Η Αίγυπτος ξεπερνά ελαφρώς τη Γερμανία, κάτι που με εξέπληξε — θα περίμενα μια μεγάλη, καλά τεκμηριωμένη αγορά όπως αυτή της Γερμανίας να κυριαρχεί σε ένα τυχαίο δείγμα πριν το Κάιρο. Η Σρι Λάνκα κρατά κι αυτή σταθερά τετραψήφιο νούμερο. Μετά υπάρχει ένας γκρεμός: οι τέσσερις χώρες της Κεντρικής Αμερικής — Γουατεμάλα, Νικαράγουα, Παναμάς και Ελ Σαλβαδόρ — βρίσκονται στις 80, 80, 80 και 78.
Ημέρα τρίτη: τρεις ίδιοι αριθμοί δεν είναι ποτέ σύμπτωση
Αυτός ο γκρεμός είναι που πραγματικά με σταμάτησε. Τρεις χώρες να καταλήγουν στον ίδιο ακριβώς αριθμό δεν είναι σήμα αγοράς, είναι δακτυλικό αποτύπωμα. Όταν η Γουατεμάλα, η Νικαράγουα και ο Παναμάς εμφανίζουν όλες ακριβώς 80 αγγελίες, αυτό δεν είναι τρεις οικονομίες που συγκλίνουν τυχαία στο ίδιο μέγεθος αποθέματος — είναι μία πηγή ανάντη με σκληρό όριο σελίδας στις 80, που τροφοδοτεί και τις τρεις με τον ίδιο τρόπο. Το 78 του Ελ Σαλβαδόρ είναι η ένδειξη που το επιβεβαιώνει: αρκετά κοντά ώστε να είναι η ίδια πηγή, αρκετά διαφορετικό ώστε να αποδεικνύει ότι δεν πρόκειται για λάθος αντιγραφής στο δικό μας pipeline. Κάπου υπάρχει ένας περιφερειακός συγκεντρωτής ακινήτων που περιορίζει τις δωρεάν σελίδες αποτελεσμάτων σε περίπου 80 αγγελίες ανά χώρα, και μέχρι να τον παρακάμψουμε — απευθείας από την πηγή αντί για τον συγκεντρωτή, ή με σελιδοποίηση πέρα από όποιο τείχος βάζει — αυτές οι τέσσερις χώρες θα διαβάζονται ως πανομοιότυπα μικρές, ανεξάρτητα από το πώς φαίνονται πραγματικά οι αγορές τους.
Αυτό είναι το λιγότερο εντυπωσιακό κομμάτι της τίμιας κατασκευής οποιουδήποτε νέου dataset: οι πρώτοι αριθμοί που παίρνεις δεν είναι η αγορά, είναι το σχήμα των τρεχουσών πηγών σου. Προτιμώ να το ανακαλύψω αυτό την πρώτη εβδομάδα παρά να δημοσιεύσω ένα άρθρο «οι μικρότερες αγορές ακινήτων στην Κεντρική Αμερική» χτισμένο πάνω στο όριο σελίδων ενός scraper.
Ημέρα τέταρτη: αυτό που πραγματικά με εξέπληξε
Όχι η συγκέντρωση στην Ιαπωνία — αυτήν μισο-την περίμενα εξαρχής, δεδομένου πόσο μεγάλο μέρος του δικού μας σήματος ακινήτων προερχόταν ήδη από ιαπωνικές πηγές στην πλευρά των αυτοκινήτων της επιχείρησης. Αυτό που με εξέπληξε ήταν πόσο ευανάγνωστο ήταν το πρόβλημα ποιότητας δεδομένων χωρίς κανένα ειδικό εργαλείο. Δεν χρειάζεσαι υπόβαθρο στατιστικής για να εντοπίσεις τρία 80άρια στη σειρά. Απλώς πρέπει να κοιτάξεις τους αριθμούς με τη σειρά τους, που είναι στην ουσία το μεγαλύτερο μέρος αυτής της δουλειάς.
Επίσης επανατοποθέτησε κάτι σχετικά με τα δεδομένα αυτοκινήτων μας που είχα σταματήσει να προσέχω επειδή το έχω συνηθίσει: 73 περιοχές με γνήσια διασπορά, καμία περιοχή πάνω από 6,1%, 1.375 ανεξάρτητες πηγές να τα τροφοδοτούν — αυτή η κατανομή δεν είναι η φυσική κατάσταση ενός συλλεγμένου dataset, είναι οκτώ χρόνια σκόπιμης παράκαμψης ακριβώς του είδους του τείχους συγκεντρωτή που μόλις εμφανίστηκε την τρίτη ημέρα του feed ακινήτων. Καθεμία από αυτές τις 73 περιοχές ξεκίνησε μοιάζοντας με τη Γουατεμάλα.
Πού βρισκόμαστε τώρα
Τα ακίνητα δεν είναι ακόμα προϊόν — είναι ένα σήμα που παρακολουθούμε ενώ η πλευρά των αυτοκινήτων συνεχίζει να λειτουργεί, μία γραμμή σε έναν μακρύτερο οδικό χάρτη προς ευρύτερη κάλυψη ακινήτων. Όμως μια εβδομάδα παρακολούθησής του να γεμίζει ήταν μια καλή υπενθύμιση της σειράς με την οποία γίνονται πραγματικά οι εργασίες: φέρε το feed ζωντανό, γίνε καχύποπτος με τους στρογγυλούς αριθμούς, βρες το τείχος, και μετά χτίσε έναν τρόπο να το προσπεράσεις. Η Ιαπωνία θα σταματήσει να είναι το 97,8% αυτού του feed με τον ίδιο τρόπο που η Γαλλία, όχι τα Ηνωμένα Αραβικά Εμιράτα ή η Ιαπωνία, κατέληξε στην κορυφή της μέτρησης αυτοκινήτων μας — προσθέτοντας πηγές μέχρι καμία μεμονωμένη να μην μπορεί να κυριαρχήσει τυχαία στο σύνολο.
