Αυτή τη στιγμή παρακολουθούμε 1.108.535 ενεργές καταχωρίσεις αυτοκινήτων σε 73 περιοχές και 1.375 πηγές, καθώς και 601.702 καταχωρίσεις ακινήτων που έχουν προστεθεί πάνω σε αυτά ως η νεότερη κάθετη αγορά. Η Ιαπωνία από μόνη της αντιστοιχεί σε 588.644 από τις εγγραφές ακινήτων — ένας αριθμός τόσο κυρίαρχος που ουσιαστικά ορίζει την κλίμακα για όλα τα υπόλοιπα. Η Αίγυπτος έρχεται δεύτερη με 4.427. Η Γερμανία με 4.230. Η Σρι Λάνκα με 4.006. Στη συνέχεια η λίστα πέφτει απότομα, και τέσσερις χώρες βρίσκονται στον πάτο εμφανίζοντας ακριβώς το ίδιο νούμερο: 80.
Γουατεμάλα: 80. Νικαράγουα: 80. Παναμάς: 80. Ελ Σαλβαδόρ: 80.
| Περιοχή | Καταχωρίσεις ακινήτων |
|---|---|
| Ιαπωνία | 588.644 |
| Αίγυπτος | 4.427 |
| Γερμανία | 4.230 |
| Σρι Λάνκα | 4.006 |
| Γουατεμάλα | 80 |
| Νικαράγουα | 80 |
| Παναμάς | 80 |
| Ελ Σαλβαδόρ | 80 |
Το πρόσεξα ενώ έκανα scroll στην ανάλυση ανά περιοχή, όχι επειδή το έψαχνα. Τέσσερις χώρες που δεν έχουν τίποτα κοινό γεωγραφικά πέρα από το «Κεντρική Αμερική» — διαφορετικά νομίσματα, διαφορετικά μεγέθη πληθυσμού (η Γουατεμάλα έχει περίπου 18 εκατομμύρια κατοίκους, το Ελ Σαλβαδόρ περίπου 6 εκατομμύρια), εντελώς διαφορετικές αγορές στέγης — το να καταλήγουν στον ίδιο ακριβώς αριθμό δεν είναι σήμα αγοράς. Είναι ένα αποτύπωμα που αφήνει ο τρόπος με τον οποίο έφτασαν εκεί τα δεδομένα.
Τι πραγματικά συμβαίνει
Όταν εντάσσουμε μια νέα περιοχή, δεν συνδέουμε δώδεκα τοπικές πλατφόρμες ακινήτων από την πρώτη μέρα. Ξεκινάμε με όποια πηγή είναι προσβάσιμη και αξίζει τον χρόνο του crawler, και επεκτεινόμαστε από εκεί — το ίδιο μοτίβο που χρησιμοποιούμε για την ενεργοποίηση πηγών αυτοκινήτων αγορά προς αγορά (έχουμε γράψει για τη μηχανική αυτής της διαδικασίας σε ένα κείμενο για την ένταξη νέων χωρών). Για μεγάλο μέρος της Κεντρικής Αμερικής, η κάλυψη ακινήτων αυτή τη στιγμή περνάει μέσα από ένα ενιαίο περιφερειακό δίκτυο καταχωρίσεων που εξυπηρετεί και τις τέσσερις χώρες από μία κοινή πλατφόρμα. Αν αυτή η πλατφόρμα βάζει όριο στη δημόσια ροή καταχωρίσεών της — ένα δωρεάν πλάνο, ένα όριο σελιδοποίησης, ένα τείχος τύπου «δείτε περισσότερα» που ένα αυτοματοποιημένο crawl δεν προσπερνά ποτέ — κάθε χώρα πίσω από αυτήν κληρονομεί το ίδιο ταβάνι. Όχι επειδή κάθε αγορά διαθέτει πραγματικά 80 σπίτια προς πώληση. Επειδή η πόρτα από την οποία περνάμε αυτή τη στιγμή ανοίγει μόνο τόσο πλατιά ώστε να χωρούν 80 καταχωρίσεις.
Είναι μια πεζή εξήγηση, και θέλω να είμαι ειλικρινής ότι είναι η πιο πιθανή, όχι η επιβεβαιωμένη — δεν έχουμε ιχνηλατήσει κάθε αίτημα σε εκείνη τη διαδρομή crawl byte προς byte. Όμως οι εναλλακτικές θεωρίες δεν στέκουν. Το να παράγουν τέσσερις χώρες ανεξάρτητα τον ίδιο ακριβώς πραγματικό αριθμό, μέχρι και τον τελευταίο ακέραιο, δεν είναι κάτι που κάνουν οι αγορές ακινήτων. Τόσο καθαρές συμπτώσεις είναι βάσεις δεδομένων που «μιλάνε» μεταξύ τους, όχι οικονομίες.
Γιατί έχει σημασία αν βρίσκεστε πραγματικά σε μία από αυτές τις αγορές
Αν τιμολογείτε ένα ακίνητο στο Σαν Σαλβαδόρ ή στην Πόλη του Παναμά και ανοίγετε τα στοιχεία μας περιμένοντας το είδος κάλυψης που θα είχατε για ένα αυτοκίνητο στα ΗΑΕ (59.393 καταχωρίσεις) ή στη Γαλλία (67.569), θα απογοητευτείτε, και δικαίως. Ογδόντα καταχωρίσεις δεν μπορούν να στηρίξουν το ίδιο είδος μοντελοποίησης τιμών που μπορεί να στηρίξει ένα σύνολο δεδομένων εξαψήφιας τάξης σε μια περιοχή. Αντιμετωπίστε έναν τέτοιο αριθμό ως «έχουμε ένα πρώτο πάτημα εδώ», όχι ως «αυτή είναι η αγορά». Η ειλικρινής χρήση ενός νεαρού συνόλου δεδομένων είναι κατευθυντική — τείνει αυτή η γειτονιά να ανεβαίνει, είναι συνηθισμένος αυτός ο τύπος ακινήτου — όχι μια σίγουρη τιμή σε νούμερα.
Η ίδια επιφύλαξη ισχύει ευρύτερα, πέρα από αυτές τις τέσσερις χώρες. Όπου η δική μας μέτρηση ανά περιοχή φαίνεται ύποπτα στρογγυλή, ή ύποπτα ίδια με μια γειτονική χώρα, αξίζει να αναρωτηθείτε αν βλέπετε μια αγορά ή έναν περιορισμό πηγής. Προτιμούμε να το γνωρίζετε αυτό παρά να εμπιστευτείτε ένα γράφημα που στην πραγματικότητα απλώς περιγράφει τις ρυθμίσεις σελιδοποίησης ενός scraper.
Η λύση, και γιατί είναι αργή
Το να ξεπεράσουμε το 80 σε αυτές τις αγορές σημαίνει την ίδια, καθόλου εντυπωσιακή δουλειά όπως παντού αλλού στην επέκτασή μας: να βρούμε την επόμενη προσβάσιμη πηγή, να επαληθεύσουμε ότι δεν επικαλύπτεται με την πρώτη, να τη συνδέσουμε στον crawler, και να παρακολουθήσουμε τον αριθμό να αλλάζει για πραγματικούς λόγους αντί για όριο ροής δεδομένων. Το έχουμε κάνει αυτό δεκάδες φορές στην πλευρά των αυτοκινήτων, μία περιοχή τη φορά, και δεν υπάρχει συντόμευση που να μη ρισκάρει κακής ποιότητας δεδομένα. Ούτε οι 588.644 καταχωρίσεις ακινήτων της Ιαπωνίας έφτασαν εκεί τυχαία — έφτασαν επειδή συνεχίσαμε να προσθέτουμε πηγές πολύ καιρό αφότου η πρώτη είχε πάψει πια να μετράει.
Οπότε αν ξανακοιτάξετε τη Γουατεμάλα σε λίγους μήνες και ο αριθμός είναι ακόμη 80, αυτό δεν σημαίνει ότι το έχουμε ξεχάσει. Σημαίνει ότι η σειρά για εκείνη την αγορά δεν έχει έρθει ακόμα. Και αν πεταχτεί στο 800, θα ξέρετε ότι άλλαξε κάτι πραγματικό στην πηγή, όχι απλώς στον crawler μας.
