현재 우리는 73개 지역, 1,375개 소스에 걸쳐 1,108,535건의 실시간 자동차 매물을 추적하고 있으며, 그 위에 더 새로운 버티컬로 601,702건의 부동산 매물을 쌓아 올리고 있습니다. 일본 한 곳만 해도 부동산 항목 588,644건을 차지하는데, 이는 나머지 전체의 규모를 사실상 결정지을 만큼 압도적인 숫자입니다. 그다음은 이집트로 4,427건, 독일이 4,230건, 스리랑카가 4,006건입니다. 그 이후로는 숫자가 뚝 떨어지는데, 하위권에 있는 네 나라가 정확히 똑같은 수치를 보여줍니다: 80건.
과테말라: 80건. 니카라과: 80건. 파나마: 80건. 엘살바도르: 80건.
| 지역 | 부동산 매물 수 |
|---|---|
| 일본 | 588,644 |
| 이집트 | 4,427 |
| 독일 | 4,230 |
| 스리랑카 | 4,006 |
| 과테말라 | 80 |
| 니카라과 | 80 |
| 파나마 | 80 |
| 엘살바도르 | 80 |
이건 일부러 찾아본 게 아니라 원시 지역별 데이터를 훑어보다가 우연히 발견한 것입니다. 지리적으로 "중앙아메리카"라는 것 말고는 공통점이 없는 네 나라가 — 통화도 다르고, 인구 규모도 다르고(과테말라는 약 1,800만 명, 엘살바도르는 약 600만 명), 주택 시장 자체도 완전히 다른데 — 똑같은 수치에 도달한다는 건 시장의 신호가 아닙니다. 그건 데이터가 어떻게 수집되었는지를 보여주는 지문입니다.
실제로 무슨 일이 벌어지고 있는가
새로운 지역을 온보딩할 때, 우리는 첫날부터 현지 부동산 포털 열두 곳을 한꺼번에 연결하지 않습니다. 일단 접근 가능하고 크롤러가 시간을 들일 만한 소스부터 시작한 뒤 거기서부터 확장해 나갑니다 — 이는 자동차 소스를 시장별로 하나씩 온라인화할 때 써온 것과 같은 패턴입니다(그 작동 방식에 관해서는 새로운 국가 온보딩을 다룬 글에서 소개한 바 있습니다). 지금 중앙아메리카 대부분 지역에서 부동산 커버리지는 네 나라 모두를 하나의 공유 플랫폼으로 서비스하는 단일 지역 매물 네트워크를 통해 이루어지고 있습니다. 만약 이 플랫폼이 공개 매물 피드에 상한을 두고 있다면 — 무료 등급이라든지, 페이지네이션 제한이라든지, 자동화된 크롤링이 절대 넘어가지 못하는 "더 보기" 장벽이라든지 — 그 뒤에 있는 모든 나라가 동일한 천장을 물려받게 됩니다. 각 시장에 실제로 매물이 80건밖에 없어서가 아니라, 우리가 지금 지나가고 있는 문이 딱 80건 너비로밖에 열리지 않기 때문입니다.
이건 평범한 설명이고, 이것이 확정된 결론이라기보다는 가장 그럴듯한 설명이라는 점을 미리 밝혀두고 싶습니다 — 해당 크롤링 경로의 모든 요청을 바이트 단위로 추적해본 것은 아니니까요. 하지만 다른 대안 이론들은 설득력이 없습니다. 네 나라가 각자 독립적으로, 정수 단위까지 동일한 실제 수치를 만들어낸다는 건 부동산 시장이 할 수 있는 일이 아닙니다. 이렇게 깔끔한 우연의 일치는 경제가 아니라 데이터베이스가 말을 하고 있는 것입니다.
실제로 그 시장에 있는 사람이라면 왜 이게 중요한가
산살바도르나 파나마시티에서 부동산 가격을 매기려는데 우리 데이터를 열어보고 UAE의 자동차 매물(59,393건)이나 프랑스(67,569건) 수준의 커버리지를 기대한다면, 실망하실 겁니다. 그리고 그게 맞는 반응입니다. 80건의 매물로는 6자리 숫자 규모의 지역 데이터셋이 뒷받침할 수 있는 것과 같은 수준의 가격 모델링을 지탱할 수 없습니다. 이런 숫자는 "여기에 발판을 마련했다" 정도로 받아들이지 "이게 시장의 모습이다"로 받아들이면 안 됩니다. 아직 무르익지 않은 데이터셋을 정직하게 활용하는 방법은 방향성을 보는 것입니다 — 이 동네가 상승세인지, 이 매물 유형이 흔한지 — 자신 있는 가격 수치를 내놓는 게 아니라요.
이 주의사항은 이 네 나라에만 국한되지 않습니다. 우리의 지역별 수치가 의심스러울 정도로 딱 떨어지는 숫자이거나, 이웃 나라와 의심스러울 정도로 똑같아 보이는 곳이라면 어디든, 지금 보고 있는 게 시장인지 아니면 소스의 한계인지 물어볼 가치가 있습니다. 저희는 여러분이 그런 상황을 모른 채 스크래퍼의 페이지네이션 설정을 그저 설명하고 있을 뿐인 차트를 믿기보다는, 그 사실을 알고 계시기를 바랍니다.
해결 방법, 그리고 그게 더딘 이유
이런 시장들에서 80을 넘어서려면 우리 확장 작업의 다른 모든 곳과 똑같이 화려할 것 없는 작업이 필요합니다. 다음으로 접근 가능한 소스를 찾고, 그게 첫 번째 소스와 중복되지 않는지 검증하고, 크롤러에 연결한 뒤, 피드 상한 때문이 아니라 진짜 이유로 숫자가 움직이는 걸 지켜보는 일입니다. 자동차 쪽에서는 이 작업을 수십 번 해왔습니다, 한 번에 한 지역씩. 그리고 부실한 데이터를 만들 위험을 감수하지 않고는 이걸 지름길로 갈 방법이 없습니다. 일본의 부동산 매물 588,644건도 우연히 만들어진 게 아닙니다 — 첫 번째 소스가 더 이상 의미가 없어진 뒤에도 계속해서 소스를 추가해왔기 때문에 그 숫자에 도달한 것입니다.
그러니 몇 달 뒤에 과테말라를 다시 확인했을 때도 여전히 80이라면, 그건 저희가 잊어버려서가 아닙니다. 그 시장 차례가 아직 대기열에서 돌아오지 않았다는 뜻입니다. 그리고 만약 800으로 뛰어오른다면, 그건 단순히 저희 크롤러 안에서가 아니라 상류에서 뭔가 진짜로 바뀌었다는 뜻일 겁니다.
