Наразі ми відстежуємо 1,108,535 активних оголошень про продаж автомобілів у 73 регіонах і 1,375 джерелах, а поверх цього — 601,702 оголошення про нерухомість, наш новіший напрямок. Тільки на Японію припадає 588,644 оголошень про нерухомість — цифра настільки домінантна, що вона фактично задає масштаб для всього іншого. Далі йде Єгипет із 4,427. Німеччина — 4,230. Шрі-Ланка — 4,006. А потім список різко обривається, і чотири країни опиняються в самому низу з абсолютно однаковим показником: 80.
Гватемала: 80. Нікарагуа: 80. Панама: 80. Сальвадор: 80.
| Регіон | Оголошення про нерухомість |
|---|---|
| Японія | 588,644 |
| Єгипет | 4,427 |
| Німеччина | 4,230 |
| Шрі-Ланка | 4,006 |
| Гватемала | 80 |
| Нікарагуа | 80 |
| Панама | 80 |
| Сальвадор | 80 |
Я помітив це, гортаючи сирий розподіл по регіонах, а не цілеспрямовано шукаючи. Чотири країни, у яких немає нічого спільного географічно, крім того, що всі вони належать до Центральної Америки — різні валюти, різна чисельність населення (у Гватемалі приблизно 18 мільйонів людей, у Сальвадорі — близько 6 мільйонів), зовсім різні ринки житла — і всі виходять на однакову цифру. Це не ринковий сигнал. Це відбиток того, як саме дані туди потрапили.
Що насправді відбувається
Коли ми підключаємо новий регіон, ми не інтегруємо десяток локальних порталів нерухомості в перший же день. Ми починаємо з того джерела, яке доступне і виправдовує витрачений на нього час краулера, а далі розширюємося — за тією ж схемою, яку ми використовуємо, підключаючи автомобільні джерела ринок за ринком (ми писали про механіку цього процесу в матеріалі про підключення нових країн). Для значної частини Центральної Америки покриття нерухомості наразі забезпечує одна-єдина регіональна мережа оголошень, яка обслуговує всі чотири країни на спільній платформі. Якщо ця платформа обмежує свою публічну стрічку оголошень — безкоштовний тариф, ліміт пагінації, кнопка "показати більше", яку автоматичний краулер жодного разу не натиснув до кінця — кожна країна, що стоїть за нею, успадковує ту саму стелю. Не тому, що на кожному ринку насправді продається рівно 80 будинків. А тому, що двері, через які ми зараз заходимо, відчиняються лише на 80 оголошень.
Це буденне пояснення, і я хочу чесно сказати: воно найправдоподібніше, а не підтверджене на сто відсотків — ми не простежили кожен запит у цьому ланцюжку краулінгу побайтово. Але альтернативні теорії не витримують критики. Чотири країни, які незалежно одна від одної видають ідентичну реальну кількість, аж до цілого числа, — це не те, що роблять реальні ринки нерухомості. Настільки чисті збіги — це розмова баз даних між собою, а не економіка.
Чому це важливо, якщо ви дійсно працюєте на одному з цих ринків
Якщо ви оцінюєте нерухомість у Сан-Сальвадорі чи Панама-Сіті й відкриваєте наші дані, очікуючи такого ж покриття, як для автомобілів в ОАЕ (59,393 оголошення) чи Франції (67,569), ви розчаруєтесь — і матимете на це право. Вісімдесят оголошень не можуть підтримувати таке саме цінове моделювання, як шестизначний регіональний набір даних. Сприймайте таку цифру як "у нас тут є перша зачіпка", а не як "ось вам весь ринок". Чесне використання молодого набору даних — це напрямок: чи зростає популярність цього району, чи поширений цей тип нерухомості, — а не впевнена цифра в доларах.
Ця обережність стосується не лише цих чотирьох країн. Скрізь, де наш регіональний показник виглядає підозріло круглим або підозріло однаковим із сусідньою країною, варто запитати себе: ви дивитеся на ринок чи на обмеження джерела? Ми хочемо, щоб ви це знали, а не довіряли графіку, який насправді просто описує налаштування пагінації скрапера.
Як це виправити і чому це повільно
Щоб подолати позначку 80 на цих ринках, потрібна та сама непоказна робота, що й у будь-якій іншій точці нашого розширення: знайти наступне доступне джерело, переконатися, що воно не дублює перше, підключити його до краулера і спостерігати, як цифра змінюється з реальних причин, а не через ліміт стрічки. Ми робили це десятки разів на автомобільному напрямку, регіон за регіоном, і тут немає жодного шляху навпростець, який би не ризикував привнести сміттєві дані. 588,644 оголошень про нерухомість у Японії теж з'явилися не випадково — вони набралися тому, що ми продовжували додавати джерела ще довго після того, як перше з них перестало щось вирішувати.
Тож якщо через кілька місяців ви перевірите Гватемалу і цифра все ще буде 80 — це не тому, що ми про неї забули. Це означає, що черга до цього ринку ще не підійшла. А якщо вона підскочить до 800, ви точно знатимете, що змінилося щось реальне вище за течією, а не просто в нашому краулері.
