Większość czasu spędzam przy samochodach używanych — 1,1 miliona ogłoszeń, 73 regiony, typowa karuzela obniżek cen i ponownych wystawień. Kiedy więc dane o nieruchomościach zaczęły pojawiać się w tych samych panelach, których używam do samochodów, nie spodziewałem się, że przykują moją uwagę. A jednak tak się stało, z powodów, które nie miały nic wspólnego z pierwotnym planem.
Oto zapis wydarzeń, mniej więcej w kolejności, w jakiej faktycznie je zauważałem.
Dzień pierwszy: liczba, która się nie zmienia
Pierwszą rzeczą, którą sprawdzam w każdym nowym feedzie, jest suma całkowita, bo sumy kłamią najmniej ze wszystkiego w tym biznesie. Nieruchomości zatrzymały się na 601 702 ogłoszeniach. W porządku. Potem podzieliłem to według regionów i liczba przestała wyglądać jak globalne wdrożenie, a zaczęła przypominać projekt jednego kraju z doczepionym błędem zaokrąglenia: sama Japonia odpowiadała za 588 644 z tych ogłoszeń. To 97,8% całego feedu.
Dla porównania: nasze dane motoryzacyjne obejmują 73 regiony, z których żaden nie przekracza 6% całości (Francja, nasz największy region, to 67 569 z 1,1 miliona — około 6,1%). Nieruchomości mają koncentrację szesnaście razy wyższą. Wahałem się, czy to nie błąd w oznaczaniu regionów, zanim przypomniałem sobie, co faktycznie za tym stoi: japońskie portale z nieruchomościami wystawiają ogromną liczbę akiya — opuszczonych lub niemal opuszczonych wiejskich domów, których rząd od lat próbuje się pozbyć, często w cenach sprawiających, że używana Corolla wygląda przy nich jak dobro luksusowe. Te portale są dokładne, w pełni maszynowo czytelne i ogromne. Portale w innych krajach — jeszcze nie.
Dzień drugi: w poszukiwaniu pozostałych 2,2%
Chciałem wiedzieć, jak wygląda ta „reszta świata", więc wyciągnąłem regiony spoza Japonii i zestawiłem je obok siebie.
Egipt nieznacznie wyprzedza Niemcy, co mnie zaskoczyło — spodziewałbym się, że w losowej próbie duży, dobrze udokumentowany rynek taki jak niemiecki zdominuje statystyki szybciej niż Kair. Sri Lanka również utrzymuje stabilny czterocyfrowy wynik. Potem następuje urwisko: cztery kraje Ameryki Środkowej — Gwatemala, Nikaragua, Panama i Salwador — mają odpowiednio 80, 80, 80 i 78 ogłoszeń.
Dzień trzeci: trzy identyczne liczby nigdy nie są przypadkiem
To właśnie to urwisko naprawdę mnie zatrzymało. Trzy kraje z dokładnie taką samą liczbą to nie sygnał rynkowy, to odcisk palca. Kiedy Gwatemala, Nikaragua i Panama pokazują dokładnie po 80 ogłoszeń, nie oznacza to, że trzy gospodarki zbiegły się przypadkiem na tej samej wielkości oferty — oznacza to, że istnieje jedno źródło nadrzędne z twardym limitem 80 na stronę, które zasila wszystkie trzy w ten sam sposób. Liczba 78 dla Salwadoru to szczegół, który to potwierdza: na tyle bliska, by pochodzić z tego samego źródła, na tyle inna, by dowieść, że to nie błąd kopiuj-wklej w naszym własnym pipeline. Gdzieś istnieje regionalny agregator nieruchomości, który ogranicza darmowe strony wyników do mniej więcej 80 ogłoszeń na kraj, i dopóki go nie obejdziemy — pobierając dane bezpośrednio ze źródła zamiast z agregatora, albo paginując poza jakikolwiek mur, jaki on stawia — te cztery kraje będą wyglądać na identycznie małe, niezależnie od tego, jak wyglądają ich prawdziwe rynki.
To ta mało efektowna część uczciwego budowania każdego nowego zbioru danych: pierwsze liczby, jakie dostajesz, nie są rynkiem — są kształtem twoich obecnych źródeł. Wolę odkryć to w pierwszym tygodniu, niż opublikować wpis „najmniejsze rynki nieruchomości w Ameryce Środkowej" oparty w rzeczywistości na limicie stron scrapera.
Dzień czwarty: co naprawdę mnie zaskoczyło
Nie koncentracja na Japonii — po części się jej spodziewałem, biorąc pod uwagę, jak duża część naszego sygnału dotyczącego nieruchomości pochodziła już z japońskich źródeł po stronie motoryzacyjnej biznesu. Zaskoczyło mnie natomiast to, jak czytelny okazał się problem jakości danych, bez żadnych specjalnych narzędzi. Nie trzeba wykształcenia statystycznego, żeby zauważyć trzy osiemdziesiątki z rzędu. Wystarczy popatrzeć na liczby po kolei — a to w gruncie rzeczy większość tej pracy.
Pomogło mi to też inaczej spojrzeć na coś w naszych danych motoryzacyjnych, czego przestałem zauważać, bo się do tego przyzwyczaiłem: 73 regiony z rzeczywistym rozproszeniem, żaden region powyżej 6,1%, 1375 niezależnych źródeł je zasilających — taki rozkład nie jest naturalnym stanem zescrapowanego zbioru danych, to efekt ośmiu lat celowego omijania dokładnie takiego muru agregatora, jaki właśnie ujawnił się trzeciego dnia pracy z feedem nieruchomości. Każdy z tych 73 regionów zaczynał tak, jak dziś wygląda Gwatemala.
Gdzie to teraz stoi
Nieruchomości nie są jeszcze produktem — to sygnał, który obserwujemy, podczas gdy strona motoryzacyjna działa dalej, jedna linijka w dłuższej mapie drogowej ku szerszemu pokryciu rynku nieruchomości. Ale tydzień obserwowania, jak ten zbiór się zapełnia, był niezłym przypomnieniem, w jakiej kolejności naprawdę przebiegają te działania: uruchom feed, nabierz podejrzliwości wobec okrągłych liczb, znajdź mur, a potem zbuduj sposób, by go obejść. Japonia przestanie być 97,8% tego feedu w taki sam sposób, w jaki to Francja, a nie ZEA czy Japonia, znalazła się na szczycie naszych liczb dotyczących samochodów — poprzez dodawanie źródeł, aż żadne pojedyncze nie będzie mogło przypadkowo zdominować całości.
