Більшу частину часу я приділяв вживаним авто — 1,1 мільйона оголошень, 73 регіони, звична плинність зі зниженнями цін і повторними лістингами. Тож коли дані про нерухомість почали з'являтися в тих самих дашбордах, якими я користуюся для авто, я не очікував, що вони прикують мою увагу. Але так і сталося — з причин, які не мали жодного стосунку до плану.
Ось хронологія, приблизно в тому порядку, в якому я справді помічав речі.
День перший: число, яке не зрушується з місця
Перше, що я перевіряю в будь-якому новому фіді, — це загальну суму, бо суми брешуть менше за все інше в цьому бізнесі. Нерухомість зупинилася на позначці 601 702 оголошення. Добре. Потім я розбив це за регіонами, і число перестало виглядати як глобальне розгортання, а стало схожим на проєкт для однієї країни з прикріпленою похибкою округлення: на саму лише Японію припадало 588 644 із цих оголошень. Це 97,8% усього фіду.
Для порівняння, наші дані про авто охоплюють 73 регіони, і жоден із них не перевищує 6% від загальної суми (Франція, наш найбільший регіон, — 67 569 із 1,1 мільйона, приблизно 6,1%). Нерухомість демонструє концентрацію у шістнадцять разів вищу. Я довго вагався, чи це не баг у теггері регіонів, поки не згадав, що насправді за цим стоїть: японські портали нерухомості самі виставляють величезну кількість akiya — покинутих або майже покинутих сільських будинків, які уряд роками намагається позбути, часто за цінами, через які вживана Corolla виглядає розкішною покупкою. Ці портали ретельні, машиночитані й величезні. У решти світу такого поки що немає.
День другий: у пошуках решти 2,2%
Мені хотілося дізнатися, як виглядає "решта світу", тож я витягнув регіони, крім Японії, і вишикував їх у ряд.
Єгипет ледь випереджає Німеччину, що мене здивувало — я б припустив, що великий, добре задокументований ринок на кшталт німецького домінуватиме у випадковій вибірці ще до Каїра. Шрі-Ланка теж стабільно тримає чотиризначне число. А потім — обрив: чотири центральноамериканські країни — Гватемала, Нікарагуа, Панама і Сальвадор — застигли на позначках 80, 80, 80 і 78.
День третій: три однакові числа — ніколи не збіг
Саме цей обрив мене справді зупинив. Коли три країни виходять на абсолютно однакову цифру — це не ринковий сигнал, це відбиток пальця. Коли Гватемала, Нікарагуа й Панама одночасно показують рівно 80 оголошень, це не три економіки, що випадково зійшлися на однаковому обсязі товару, — це одне джерело вище за потоком із жорстким обмеженням у 80 сторінок, яке однаково живить усі три. Число 78 у Сальвадору — це якраз та деталь, яка це підтверджує: достатньо близько, щоб бути тим самим джерелом, і достатньо відмінне, щоб довести, що це не помилка копіювання в нашому власному пайплайні. Десь є регіональний агрегатор нерухомості, який обмежує безкоштовні сторінки результатів приблизно 80 оголошеннями на країну, і поки ми не обійдемо це — звернувшись напряму до джерела замість агрегатора, або пройшовши пагінацію за межу, яку він встановлює, — ці чотири країни виглядатимуть однаково крихітними, хоч би якими насправді були їхні ринки.
Це непривабна частина чесного створення будь-якого нового датасету: перші цифри, які ти отримуєш, — це не ринок, це форма твоїх поточних джерел. Я краще з'ясую це на першому тижні, ніж опублікую пост "найменші ринки нерухомості Центральної Америки", побудований на обмеженні сторінок якогось скрапера.
День четвертий: що мене справді здивувало
Не концентрація в Японії — я наполовину очікував цього ще на старті, з огляду на те, скільки нашого власного сигналу про нерухомість уже надходило з японських джерел на автомобільному боці бізнесу. Мене здивувало те, наскільки читабельною виявилася проблема якості даних без жодних спеціальних інструментів. Не потрібна освіта в статистиці, щоб помітити три вісімдесятки поспіль. Потрібно лише подивитися на цифри по порядку, а це, по суті, і є більша частина цієї роботи.
Це також переосмислило дещо в наших даних про авто, чого я вже перестав помічати, бо звик до цього: 73 регіони зі справжнім розподілом, жоден регіон не перевищує 6,1%, 1375 незалежних джерел, що їх живлять, — такий розподіл не є природним станом зібраного скрапінгом датасету, це вісім років свідомого обходу саме такої стіни агрегатора, яка щойно проявилася на третій день роботи з фідом нерухомості. Кожен із цих 73 регіонів колись виглядав так само, як Гватемала.
Де це зараз
Нерухомість поки що не є продуктом — це сигнал, за яким ми спостерігаємо, поки автомобільний напрямок продовжує працювати, один рядок у довшій дорожній карті на шляху до ширшого охоплення нерухомості. Але тиждень спостереження за тим, як він наповнюється, став непоганим нагадуванням про те, в якому порядку насправді відбуваються операції: запустити фід, запідозрити круглі числа, знайти стіну, а потім побудувати спосіб її обійти. Японія перестане бути 97,8% цього фіду так само, як Франція — а не ОАЕ чи Японія — врешті-решт опинилася на вершині наших підрахунків авто: додаючи джерела, доки жодне з них не зможе випадково домінувати над загальною сумою.
