Сейчас мы отслеживаем 1 108 535 активных объявлений о продаже автомобилей по 73 регионам и 1 375 источникам, а поверх этого — 601 702 объявления о недвижимости, наше новое, более молодое направление. Одна только Япония даёт 588 644 объявления о недвижимости — цифра настолько доминирующая, что она фактически задаёт масштаб для всех остальных. Дальше идёт Египет с 4 427, Германия с 4 230, Шри-Ланка с 4 006. А затем список резко обрывается, и в самом низу четыре страны показывают ровно одну и ту же цифру: 80.
Гватемала: 80. Никарагуа: 80. Панама: 80. Сальвадор: 80.
| Регион | Объявления о недвижимости |
|---|---|
| Япония | 588 644 |
| Египет | 4 427 |
| Германия | 4 230 |
| Шри-Ланка | 4 006 |
| Гватемала | 80 |
| Никарагуа | 80 |
| Панама | 80 |
| Сальвадор | 80 |
Я заметил это, просматривая сырую разбивку по регионам, а не целенаправленно что-то выискивая. Четыре страны, у которых из общего разве что «Центральная Америка» — разная валюта, разная численность населения (в Гватемале примерно 18 миллионов человек, в Сальвадоре около 6 миллионов), совершенно разные рынки жилья, — и все они выходят на одинаковое число. Это не рыночный сигнал. Это отпечаток того, как данные вообще туда попали.
Что на самом деле происходит
Когда мы подключаем новый регион, мы не подключаем десяток локальных порталов недвижимости в первый же день. Мы начинаем с того источника, который доступен и оправдывает время краулера, а дальше расширяемся — по той же схеме, что мы используем при подключении автомобильных источников рынок за рынком (мы писали о механике этого процесса в материале о подключении новых стран). Для большей части Центральной Америки покрытие по недвижимости сейчас идёт через одну региональную сеть объявлений, которая обслуживает все четыре страны на единой платформе. Если эта платформа ограничивает публичную ленту объявлений — бесплатным тарифом, лимитом пагинации, стеной «показать ещё», за которую автоматический краулер просто не проходит, — каждая страна за этой платформой наследует один и тот же потолок. Не потому что на каждом из этих рынков реально продаётся ровно 80 домов. А потому что дверь, через которую мы сейчас заходим, открывается ровно на 80 объявлений.
Объяснение довольно приземлённое, и я хочу сразу оговориться: это наиболее вероятная версия, а не подтверждённая — мы не проследили каждый запрос в этой цепочке краулинга байт за байтом. Но альтернативные версии не выдерживают критики. Четыре страны, независимо друг от друга выдающие идентичное истинное количество, вплоть до целого числа, — это не то, что происходит с реальными рынками недвижимости. Настолько чистые совпадения — это разговор баз данных между собой, а не экономика.
Почему это важно, если вы работаете на одном из этих рынков
Если вы оцениваете недвижимость в Сан-Сальвадоре или Панама-Сити и открываете наши цифры, ожидая такого же покрытия, как по автомобилям в ОАЭ (59 393 объявления) или во Франции (67 569), вы будете разочарованы — и правильно сделаете. Восемьдесят объявлений не могут поддержать такое же ценовое моделирование, как набор данных из шести цифр по региону. Относитесь к такой цифре как к «у нас здесь есть первая зацепка», а не как к «вот вам рынок». Честное использование молодого набора данных — это направление: растёт ли этот район, распространён ли этот тип недвижимости, — а не уверенная цифра в долларах.
Та же осторожность применима не только к этим четырём странам. Везде, где наше региональное число выглядит подозрительно круглым или подозрительно совпадает с соседним, стоит спросить себя: вы смотрите на рынок или на ограничение источника? Мы предпочитаем, чтобы вы это знали, а не доверяли графику, который на самом деле просто описывает настройки пагинации скрапера.
Как это исправить и почему это медленно
Чтобы преодолеть 80 на этих рынках, нужна та же самая непритязательная работа, что и везде в нашем расширении: найти следующий доступный источник, убедиться, что он не дублирует первый, подключить его к краулеру и увидеть, как число меняется по реальным причинам, а не из-за лимита ленты. Мы проделывали это десятки раз на автомобильной стороне, регион за регионом, и здесь нет обходного пути, который не рисковал бы мусорными данными. 588 644 объявления о недвижимости в Японии тоже появились не случайно — они появились потому, что мы продолжали добавлять источники ещё долго после того, как первый перестал что-либо значить.
Так что если вы проверите Гватемалу через несколько месяцев и число всё ещё будет 80 — это не значит, что мы про неё забыли. Это значит, что очередь до этого рынка ещё не дошла. А если число подскочит до 800, вы будете знать, что изменилось что-то реальное выше по цепочке, а не только в нашем краулере.
