Az időm nagy részét használt autókkal töltöm — 1,1 millió hirdetés, 73 régió, a szokásos áringadozás és újrahirdetés. Úgyhogy amikor az ingatlanadatok megjelentek ugyanazokon a műszerfalakon, amiket az autókhoz használok, nem számítottam rá, hogy lekötik a figyelmemet. Mégis megtették, olyan okokból, amiknek semmi közük nem volt a tervhez.
Íme a napló, nagyjából abban a sorrendben, ahogy valójában észrevettem a dolgokat.
Első nap: a szám, ami nem mozdul
Bármilyen új adatfolyamnál az első dolog, amit ellenőrzök, az összesített szám, mert az összesítések hazudnak a legkevésbé ebben a szakmában. Az ingatlanoknál 601 702 hirdetésnél állt a számláló. Rendben. Aztán régiónként lebontottam, és a szám hirtelen nem úgy nézett ki, mint egy globális bevezetés, hanem mint egy egyetlen országra szabott projekt egy kerekítési hibával a nyakában: egyedül Japán adta a 588 644 hirdetést ebből. Ez a teljes adatfolyam 97,8%-a.
Összehasonlításképp: az autóadataink 73 régiót fednek le úgy, hogy egyik sem éri el az összesített szám 6%-át (a legnagyobb, Franciaország, 67 569 hirdetéssel az 1,1 millióból — nagyjából 6,1%). Az ingatlanpiaci adat tizenhatszor ekkora koncentrációt mutat. Sokáig azon töprengtem, hogy ez hiba-e a régiócímkézőben, mire eszembe jutott, mi áll ténylegesen a háttérben: Japán saját ingatlanportáljai hatalmas mennyiségű akiyát listáznak, azokat az elhagyott vagy majdnem elhagyott vidéki házakat, amelyeket a kormány évek óta próbál értékesíteni, gyakran olyan áron, ami mellett egy használt Corolla luxuscikknek tűnik. Ezek a portálok alaposak, géppel olvashatók és óriásiak. A többieké egyelőre nem az.
Második nap: a maradék 2,2% keresése
Kíváncsi voltam, hogy néz ki "mindenki más", ezért kiemeltem a Japánon kívüli régiókat, és sorba raktam őket.
Egyiptom épp csak megelőzi Németországot, ami meglepett — azt vártam volna, hogy egy nagy, jól dokumentált piac, mint a német, megelőzi Kairót egy véletlenszerű mintában. Srí Lanka is stabilan négyjegyű tartományban van. Aztán jön a szakadék: a négy közép-amerikai ország — Guatemala, Nicaragua, Panama és Salvador — 80, 80, 80 és 78 hirdetésnél áll.
Harmadik nap: három azonos szám sosem véletlen
Ez a szakadék volt az, ami valójában megállított. Három ország, amely pontosan ugyanarra a számra fut ki, nem piaci jelzés, hanem ujjlenyomat. Amikor Guatemala, Nicaragua és Panama mindegyike pontosan 80 hirdetést mutat, az nem azt jelenti, hogy három gazdaság véletlenül ugyanakkora készletben egyezik meg — az azt jelenti, hogy van egy közös forrás feljebb a láncban, egy kemény, 80-as oldalkorláttal, amely mindhármat ugyanúgy táplálja. Salvador 78-as száma az a jel, ami ezt megerősíti: elég közel van ahhoz, hogy ugyanaz a forrás legyen, és elég eltérő ahhoz, hogy bizonyítsa, ez nem a mi saját csővezetékünk másolási hibája. Valahol létezik egy regionális ingatlan-aggregátor, amely országonként nagyjából 80 hirdetésnél zárja le az ingyenes eredményoldalakat, és amíg meg nem kerüljük — közvetlen forrásból dolgozva az aggregátor helyett, vagy továbblapozva bármilyen fal mögé, amit felállít —, addig ez a négy ország egyformán aprónak fog tűnni, függetlenül attól, milyen a valódi piacuk.
Ez minden új adatállomány őszinte felépítésének a kevésbé látványos része: az első számok, amiket kapsz, nem a piacot mutatják, hanem a jelenlegi forrásaid alakját. Inkább az első héten derüljön ki ez, mint hogy közzétegyek egy "Közép-Amerika legkisebb ingatlanpiacai" című posztot, ami egy scraper oldalkorlátjára épül.
Negyedik nap: ami valójában meglepett
Nem a Japán körüli koncentráció — erre félig-meddig számítottam is, tekintve, hogy a saját ingatlanjelzéseink egy jó része már eddig is japán forrásokból származott az üzletág autós oldalán. Ami meglepett, az az volt, hogy mennyire jól olvasható volt az adatminőségi probléma bármilyen különleges eszköz nélkül. Nem kell statisztikai háttér ahhoz, hogy észrevegyél három egymás utáni 80-as számot. Csak sorban meg kell nézned a számokat, ami valójában a munka nagy részét teszi ki.
Ez arra is rávilágított valamire az autóadatainkkal kapcsolatban, amit már meg sem szoktam figyelni, mert hozzászoktam: 73 régió valódi szórással, egyik régió sem éri el a 6,1%-ot, 1375 független forrás táplálja — ez az eloszlás nem egy scrapelt adatállomány természetes állapota, hanem nyolc év tudatos munkája, amellyel pontosan azt az aggregátor-falat kerültük meg, amely most a harmadik napon felbukkant az ingatlanadatoknál. Mind a 73 régió úgy indult, mint most Guatemala.
Hol tartunk most
Az ingatlan még nem termék — egy jelzés, amit figyelünk, miközben az autós oldal tovább fut, egyetlen sor egy hosszabb ütemtervben a szélesebb körű ingatlan-lefedettség felé. De egy hét, amit azzal töltöttem, hogy figyeltem, ahogy feltöltődik, jó emlékeztető volt arra, milyen sorrendben zajlanak valójában a dolgok: élesítsd az adatfolyamot, legyél gyanakvó a kerek számokkal szemben, találd meg a falat, aztán építs egy utat mögé. Japán ugyanúgy megszűnik majd 97,8%-a lenni ennek az adatfolyamnak, ahogyan Franciaország — nem az Egyesült Arab Emírségek vagy Japán — került az élre az autós számainkban: azzal, hogy annyi forrást adunk hozzá, amíg egyik sem tudja véletlenül uralni az összesítést.
