Большую часть времени я посвящаю подержанным автомобилям — 1,1 миллиона объявлений, 73 региона, обычная текучка из снижений цен и повторных публикаций. Поэтому когда данные о недвижимости стали появляться в тех же дашбордах, что я использую для машин, я не ожидал, что это меня зацепит. Зацепило — по причинам, не имевшим ничего общего с изначальным планом.
Вот журнал наблюдений, примерно в том порядке, в котором я действительно всё замечал.
День первый: число, которое не двигается
Первое, что я проверяю в любом новом фиде, — это общий итог, потому что итоговые цифры врут меньше всего остального в этом деле. По недвижимости набралось 601 702 объявления. Хорошо. Затем я разбил это по регионам, и число перестало выглядеть как глобальный запуск, а стало похоже на проект по одной-единственной стране с приложенной к нему погрешностью округления: на одну только Японию пришлось 588 644 из этих объявлений. Это 97,8% от всего фида.
Для сравнения: наши автомобильные данные охватывают 73 региона, и ни один из них не превышает 6% от общего объёма (наш крупнейший, Франция, — 67 569 из 1,1 миллиона, то есть около 6,1%). Недвижимость же демонстрирует концентрацию в шестнадцать раз выше. Я какое-то время сомневался, не баг ли это в теггере регионов, пока не вспомнил, что на самом деле стоит за этой цифрой: японские порталы недвижимости сами по себе выкладывают огромные объёмы акия — заброшенных или почти заброшенных сельских домов, которые правительство годами пытается сбыть с рук, часто по ценам, на фоне которых подержанная Corolla выглядит предметом роскоши. Эти порталы дотошные, машиночитаемые и огромные. У всех остальных пока не так.
День второй: в поисках оставшихся 2,2%
Мне захотелось понять, как выглядят «все остальные», поэтому я выделил регионы без Японии и выстроил их в ряд.
Египет немного обгоняет Германию, что меня удивило — я бы предположил, что крупный, хорошо задокументированный рынок вроде немецкого доминирует в случайной выборке раньше, чем Каир. Шри-Ланка тоже держит стабильную четырёхзначную цифру. А дальше — обрыв: четыре центральноамериканские страны — Гватемала, Никарагуа, Панама и Сальвадор — застряли на 80, 80, 80 и 78.
День третий: три одинаковых числа никогда не бывают совпадением
Именно этот обрыв заставил меня остановиться по-настоящему. Три страны с абсолютно одинаковым счётом — это не рыночный сигнал, это отпечаток пальца. Когда у Гватемалы, Никарагуа и Панамы одновременно ровно по 80 объявлений, это не три экономики, случайно сошедшиеся на одном размере инвентаря, — это один вышестоящий источник с жёстким лимитом в 80 страниц, который одинаково кормит все три страны. 78 у Сальвадора — та самая деталь, что всё подтверждает: достаточно близко, чтобы быть тем же источником, и достаточно отлично, чтобы доказать, что это не ошибка копипаста в нашем собственном пайплайне. Где-то там есть региональный агрегатор недвижимости, который ограничивает бесплатные страницы результатов примерно 80 объявлениями на страну, и пока мы не обойдём это — напрямую через источник вместо агрегатора, либо пролистав дальше того предела, который он выставляет, — эти четыре страны так и будут выглядеть одинаково крошечными, независимо от того, как обстоят дела на их реальных рынках.
Это самая непритязательная часть честного построения любого нового датасета: первые цифры, которые вы получаете, — это не рынок, а форма ваших текущих источников. Лучше выяснить это на первой неделе, чем опубликовать пост «самые маленькие рынки недвижимости Центральной Америки», построенный на лимите страниц какого-то скрапера.
День четвёртый: что меня действительно удивило
Не концентрация на Японии — этого я в какой-то мере ожидал заранее, учитывая, какая доля наших собственных сигналов по недвижимости уже поступала из японских источников на автомобильной стороне бизнеса. Удивило меня то, насколько считываемой оказалась проблема качества данных без какого-либо специального инструментария. Не нужно образование в статистике, чтобы заметить три восьмидесятки подряд. Нужно просто смотреть на цифры по порядку — а это, по сути, и есть большая часть этой работы.
Это также заставило меня иначе взглянуть на наши собственные автомобильные данные, к которым я настолько привык, что перестал их замечать: 73 региона с реальным разбросом, ни один регион не превышает 6,1%, 1375 независимых источников, питающих всё это, — такое распределение не является естественным состоянием собранного скрапингом датасета, это восемь лет намеренного обхода именно той стены агрегатора, что только что проявилась на третий день работы с фидом недвижимости. Каждый из этих 73 регионов когда-то начинал выглядеть точь-в-точь как Гватемала.
Где всё это находится сейчас
Недвижимость пока не продукт — это сигнал, за которым мы наблюдаем, пока автомобильная сторона продолжает работать в штатном режиме, одна строчка в более длинной дорожной карте на пути к расширенному покрытию рынка недвижимости. Но неделя наблюдения за тем, как он наполняется, стала неплохим напоминанием о том, в каком порядке на самом деле происходят операции: запустить фид, начать подозревать круглые числа, найти стену, а затем построить способ её обойти. Япония перестанет быть 97,8% этого фида точно так же, как Франция — а не ОАЭ и не Япония — в итоге оказалась на первом месте по количеству наших автомобильных объявлений: путём добавления источников до тех пор, пока ни один из них не сможет случайно доминировать над общим итогом.
