Sa ngayon, sinusubaybayan namin ang 1,108,535 aktibong listahan ng sasakyan sa 73 rehiyon at 1,375 pinagkukunan, kasama ang 601,702 listahan ng ari-arian na inilapat sa ibabaw nito bilang mas bagong vertical. Ang Japan lamang ay may 588,644 sa mga row ng ari-arian — isang numerong napakalaki na halos ito na ang nagtatakda ng sukat para sa lahat ng iba pa. Sumusunod ang Egypt na may 4,427. Ang Germany ay 4,230. Ang Sri Lanka ay 4,006. Pagkatapos ay biglang bumabagsak ang listahan, at apat na bansa ang nasa ilalim na nagpapakita ng eksaktong parehong bilang: 80.
Guatemala: 80. Nicaragua: 80. Panama: 80. El Salvador: 80.
| Rehiyon | Mga listahan ng ari-arian |
|---|---|
| Japan | 588,644 |
| Egypt | 4,427 |
| Germany | 4,230 |
| Sri Lanka | 4,006 |
| Guatemala | 80 |
| Nicaragua | 80 |
| Panama | 80 |
| El Salvador | 80 |
Napansin ko ito habang nag-i-scroll sa raw na paghahati-hati ng rehiyon, hindi dahil hinahanap ko ito. Apat na bansa na walang pagkakatulad sa heograpiya maliban sa "Central America" — magkaibang currency, magkaibang laki ng populasyon (may humigit-kumulang 18 milyong tao ang Guatemala, mga 6 milyon naman ang El Salvador), ganap na magkaibang merkado ng pabahay — ang pagdating sa iisang eksaktong bilang ay hindi isang senyales ng merkado. Ito ay isang bakas na naiwan ng kung paano nakarating ang datos doon.
Ano talaga ang nangyayari
Kapag nagsisimula kami sa isang bagong rehiyon, hindi namin agad ikinakabit ang isang dosenang lokal na property portal sa unang araw. Nagsisimula kami sa anumang pinagkukunan na abot-kaya at sulit sa oras ng crawler, at doon unti-unting lumalawak — ang parehong pattern na ginagamit namin sa pagpapasok ng mga pinagkukunan ng datos ng sasakyan, merkado kada merkado (isinulat namin ang mekanismo nito sa isang piyesa tungkol sa pag-onboard ng mga bagong bansa). Para sa karamihan ng Central America, ang saklaw ng ari-arian sa ngayon ay dumadaan sa iisang regional listings network na naglilingkod sa lahat ng apat na bansa gamit ang iisang shared platform. Kung nilimitahan ng platform na ito ang kanyang pampublikong listing feed — isang libreng tier, isang limitasyon sa pagination, isang "show more" wall na hindi na napipindot pa ng isang automated crawl — mamanahin ng bawat bansa sa likod nito ang parehong hangganan. Hindi dahil talagang may 80 lamang na bahay na ibinebenta sa bawat merkado. Kundi dahil ang pintuang kasalukuyan naming dinadaanan ay bumubukas lamang hanggang sa 80 listahan.
Isa itong karaniwang paliwanag, at gusto kong linawin na ito ang pinaka-makatwirang teorya kaysa sa isang nakumpirmang katotohanan — hindi pa namin natrace ang bawat request sa daanan ng crawl na iyon nang byte por byte. Ngunit hindi kumbinsi ang mga alternatibong teorya. Ang apat na bansang magkakahiwalay na nakakabuo ng eksaktong parehong tunay na bilang, hanggang sa bawat digit, ay hindi isang bagay na ginagawa ng mga tunay na merkado ng real estate. Ang mga pagkakataong ganoon kalinis ay mga database na nag-uusap, hindi ekonomiya.
Bakit mahalaga ito kung ikaw ay talagang nasa isa sa mga merkadong iyon
Kung nagpapresyo ka ng isang ari-arian sa San Salvador o Panama City at tinitingnan mo ang aming mga numero na umaasang makakakuha ka ng saklaw na katulad ng makukuha mo para sa isang sasakyan sa UAE (59,393 listahan) o France (67,569), madidismaya ka, at dapat ka ngang madismaya. Ang walumpung listahan ay hindi kayang suportahan ang parehong uri ng pagmomodelo ng presyo na kaya ng isang anim na digit na regional dataset. Ituring ang isang numerong tulad niyan bilang "may munting tuntungan kami rito," hindi "narito ang merkado." Ang tapat na paggamit ng isang batang dataset ay direksyonal — papatas ba ang neighborhood na ito, karaniwan ba ang uri ng ari-ariang ito — hindi isang matiwasay na halaga sa dolyar.
Ang parehong pag-iingat ay may mas malawak na aplikasyon kaysa sa apat na bansang ito. Kahit saan mukhang kaduda-duda kabilog o kaduda-duda kaparehas sa isang kapitbahay ang aming bilang sa rehiyon, sulit itanong kung tumitingin ka ba sa isang merkado o sa isang limitasyon ng pinagkukunan. Mas gugustuhin naming malaman mo iyon kaysa magtiwala sa isang chart na sa totoo lang ay naglalarawan lamang ng mga setting ng pagination ng isang scraper.
Ang solusyon, at kung bakit mabagal ito
Ang paglampas sa 80 sa mga merkadong ito ay nangangahulugan ng parehong hindi-kaakit-akit na trabaho tulad ng saanmang lugar sa aming pagpapalawak: paghahanap ng susunod na maabot na pinagkukunan, pagpapatunay na hindi ito duplikado ng una, pagkakabit nito sa crawler, at pagmamasid habang gumagalaw ang bilang dahil sa mga tunay na dahilan sa halip na isang limitasyon ng feed. Ginawa na namin ito nang paulit-ulit sa panig ng sasakyan, isang rehiyon sa isang pagkakataon, at walang shortcut na hindi nagsasapanganib sa basurang datos. Ang 588,644 na listahan ng ari-arian ng Japan ay hindi rin naabot nang aksidente — naabot ito dahil patuloy kaming nagdaragdag ng mga pinagkukunan matagal na pagkatapos huminto sa pagiging makabuluhan ang una.
Kaya kung babalikan mo ang Guatemala sa ilang buwan at 80 pa rin ang numero, hindi ibig sabihin nito na nakalimutan na namin ito. Ibig sabihin ay hindi pa dumadating ang turno para sa merkadong iyon sa pila. At kung tumalon ito sa 800, malalaman mong may tunay na nagbago sa itaas ng agos, hindi lamang sa aming crawler.
