W tej chwili śledzimy 1 108 535 aktywnych ogłoszeń samochodowych w 73 regionach z 1375 źródeł, a na to nakłada się 601 702 ogłoszeń nieruchomości — nasz nowszy pion danych. Samo Japonia odpowiada za 588 644 wierszy dotyczących nieruchomości — liczba na tyle dominująca, że praktycznie wyznacza skalę dla wszystkiego innego. Zaraz za nią plasuje się Egipt z wynikiem 4427. Niemcy — 4230. Sri Lanka — 4006. Potem lista gwałtownie się urywa, a na samym dole cztery kraje wykazują dokładnie tę samą liczbę: 80.
Gwatemala: 80. Nikaragua: 80. Panama: 80. Salwador: 80.
| Region | Liczba ogłoszeń nieruchomości |
|---|---|
| Japonia | 588 644 |
| Egipt | 4427 |
| Niemcy | 4230 |
| Sri Lanka | 4006 |
| Gwatemala | 80 |
| Nikaragua | 80 |
| Panama | 80 |
| Salwador | 80 |
Zauważyłem to, przeglądając surowe zestawienie regionów, a nie szukając tego celowo. Cztery kraje, które poza określeniem „Ameryka Środkowa" nie mają ze sobą nic wspólnego geograficznie — różne waluty, różna liczba mieszkańców (Gwatemala liczy około 18 milionów ludzi, Salwador około 6 milionów), zupełnie różne rynki mieszkaniowe — a mimo to lądujące na identycznej liczbie, to nie sygnał rynkowy. To odcisk palca pozostawiony przez sposób, w jaki te dane w ogóle się u nas znalazły.
Co się właściwie dzieje
Kiedy wdrażamy nowy region, nie podłączamy od razu tuzina lokalnych portali z nieruchomościami. Zaczynamy od tego źródła, które jest dostępne i warte czasu crawlera, a potem rozbudowujemy stamtąd dalej — dokładnie ten sam schemat, którego używamy przy uruchamianiu źródeł samochodowych rynek po rynku (opisaliśmy mechanikę tego procesu w tekście o wdrażaniu nowych krajów). W przypadku sporej części Ameryki Środkowej pokrycie nieruchomości opiera się obecnie na jednej regionalnej sieci ogłoszeniowej, która obsługuje wszystkie cztery kraje z poziomu jednej wspólnej platformy. Jeśli ta platforma ogranicza swój publiczny kanał ogłoszeń — darmowy plan, limit paginacji, ściana „pokaż więcej", przez którą zautomatyzowany crawler nigdy nie przechodzi dalej — to każdy kraj obsługiwany za jej pośrednictwem dziedziczy ten sam sufit. Nie dlatego, że każdy z tych rynków rzeczywiście ma na sprzedaż zaledwie 80 domów. Tylko dlatego, że drzwi, przez które obecnie wchodzimy, otwierają się na szerokość dokładnie 80 ogłoszeń.
To przyziemne wyjaśnienie i chcę uczciwie zaznaczyć, że jest ono najbardziej prawdopodobne, a nie potwierdzone — nie prześledziliśmy każdego żądania w tej ścieżce crawlera bajt po bajcie. Ale alternatywne teorie się nie bronią. Cztery kraje niezależnie produkujące identyczną prawdziwą liczbę, co do jedności, to nie jest coś, co robią realne rynki nieruchomości. Tak czyste zbiegi okoliczności to głos baz danych, nie gospodarek.
Dlaczego to ma znaczenie, jeśli faktycznie działasz na jednym z tych rynków
Jeśli wyceniasz nieruchomość w San Salvadorze albo w Panamie i sprawdzasz nasze liczby, oczekując takiego pokrycia, jakie dostałbyś dla samochodu w ZEA (59 393 ogłoszeń) czy we Francji (67 569), spotka cię rozczarowanie — i słusznie. Osiemdziesiąt ogłoszeń nie jest w stanie wesprzeć takiego samego modelowania cen, jak zbiór danych regionalnych liczący sześć cyfr. Traktuj taką liczbę jako sygnał „mamy tu przyczółek", a nie „oto rynek". Uczciwe wykorzystanie młodego zbioru danych ma charakter kierunkowy — czy ta okolica idzie w górę, czy ten typ nieruchomości jest tu popularny — a nie precyzyjnej kwoty w dolarach.
Ta sama ostrożność dotyczy szerszego kontekstu niż tylko te cztery kraje. Wszędzie tam, gdzie nasza liczba dla danego regionu wygląda podejrzanie okrągło albo podejrzanie identycznie jak u sąsiada, warto zapytać, czy patrzysz na rynek, czy na ograniczenie źródła. Wolimy, żebyś o tym wiedział, niż żebyś zaufał wykresowi, który w rzeczywistości opisuje jedynie ustawienia paginacji scrapera.
Naprawa i dlaczego idzie powoli
Przebicie się ponad 80 na tych rynkach wymaga tej samej niezbyt efektownej pracy, co wszędzie indziej w naszej ekspansji: znalezienia kolejnego dostępnego źródła, sprawdzenia, że nie dubluje pierwszego, podłączenia go do crawlera i obserwowania, jak liczba rośnie z realnych powodów, a nie przez limit kanału. Robiliśmy to już dziesiątki razy po stronie samochodowej, region po regionie, i nie ma tu żadnego skrótu, który nie ryzykowałby wprowadzenia bezwartościowych danych. 588 644 ogłoszeń nieruchomości z Japonii też nie wzięło się znikąd — powstało dlatego, że dokładaliśmy kolejne źródła długo po tym, jak pierwsze przestało mieć znaczenie.
Więc jeśli za kilka miesięcy sprawdzisz Gwatemalę i liczba wciąż będzie wynosić 80, to nie znaczy, że o niej zapomnieliśmy. Oznacza to, że kolejka do tego rynku jeszcze nie nadeszła. A jeśli skoczy do 800, będziesz wiedzieć, że zmieniło się coś realnego na wcześniejszym etapie, a nie tylko w naszym crawlerze.
