저는 대부분의 시간을 중고차에 써왔습니다 — 110만 건의 매물, 73개 지역, 가격 인하와 재등록이 끊임없이 반복되는 그 익숙한 흐름 말이죠. 그래서 제가 자동차용으로 쓰던 것과 같은 대시보드에 부동산 데이터가 들어오기 시작했을 때, 별로 신경 쓰지 않을 줄 알았습니다. 그런데 계획과는 전혀 상관없는 이유로, 결국 눈을 떼지 못했습니다.
제가 실제로 알아차린 순서대로, 대략 이렇게 기록해봤습니다.
첫째 날: 꿈쩍도 하지 않는 숫자
새로운 피드가 들어오면 제가 가장 먼저 확인하는 건 총합입니다. 이 업계에서 총합만큼 거짓말을 덜 하는 지표도 없거든요. 부동산은 601,702건의 매물로 자리 잡고 있었습니다. 괜찮았죠. 그런데 지역별로 쪼개보니, 이 숫자는 더 이상 글로벌 롤아웃처럼 보이지 않고, 반올림 오차가 하나 붙은 단일 국가 프로젝트처럼 보이기 시작했습니다. 일본 한 곳이 588,644건, 즉 전체의 97.8%를 차지하고 있었던 겁니다.
참고로, 저희 자동차 데이터는 73개 지역에 걸쳐 있고 어느 한 곳도 전체의 6%를 넘지 않습니다(가장 큰 프랑스도 110만 건 중 67,569건, 약 6.1%입니다). 부동산은 그보다 열여섯 배나 더 집중되어 있는 셈이죠. 저는 이게 지역 태거의 버그인지 한참을 고민하다가, 실제 원인을 떠올렸습니다. 일본 자체의 부동산 포털들은 정부가 수년째 처분하려 애써온, 버려지거나 거의 버려진 시골집인 '아키야(空き家)' 매물을 엄청난 규모로 등록해두고 있습니다. 종종 중고 코롤라 한 대가 사치품처럼 보일 정도의 가격으로요. 이 포털들은 정보가 촘촘하고, 기계로 읽기 쉽고, 규모도 방대합니다. 다른 나라들은 아직 그렇지 않고요.
둘째 날: 나머지 2.2%를 찾아서
저는 "다른 나라들"이 어떤 모습인지 알고 싶어서, 일본을 뺀 지역들을 뽑아 나란히 정리해봤습니다.
이집트가 독일을 근소하게 앞서는데, 이건 좀 뜻밖이었습니다 — 독일처럼 규모가 크고 자료가 잘 정리된 시장이라면 무작위 표본에서도 카이로보다 앞설 거라 짐작했거든요. 스리랑카도 꾸준히 네 자릿수를 유지하고 있습니다. 그러다 절벽이 나타납니다. 중앙아메리카 네 나라 — 과테말라, 니카라과, 파나마, 엘살바도르 — 는 각각 80, 80, 80, 78건에 머물러 있습니다.
셋째 날: 똑같은 숫자 셋은 결코 우연이 아니다
저를 진짜로 멈춰 세운 건 바로 그 절벽이었습니다. 세 나라가 정확히 같은 수치로 떨어지는 건 시장 신호가 아니라 지문(fingerprint)입니다. 과테말라, 니카라과, 파나마가 모두 정확히 80건을 보인다면, 그건 세 경제가 우연히 같은 재고 규모로 수렴했다는 뜻이 아닙니다 — 상류 어딘가에 페이지당 80건이라는 하드캡을 건 단일 소스가 있고, 그게 세 나라 모두에 똑같이 흘러들어오고 있다는 뜻이죠. 엘살바도르의 78이 바로 그 결정적 증거입니다. 같은 소스라고 볼 만큼 충분히 가깝지만, 저희 파이프라인 내부의 복사-붙여넣기 오류가 아니라는 걸 입증할 만큼은 다르니까요. 어딘가에 국가당 무료 결과 페이지를 대략 80건으로 제한하는 지역 부동산 애그리게이터가 있는 겁니다. 그리고 그걸 우회하기 전까지 — 애그리게이터 대신 원 소스로 직접 가거나, 그 벽 너머까지 페이지를 넘기거나 — 이 네 나라는 실제 시장 규모와 상관없이 계속 똑같이 작아 보일 겁니다.
이건 어떤 새로운 데이터셋이든 정직하게 구축할 때 마주하는, 그리 화려하지 않은 부분입니다. 처음 얻는 숫자는 시장이 아니라, 현재 갖고 있는 소스들의 형태일 뿐이죠. 저는 이걸 발행 후에 알아채느니 첫 주에 미리 알고 싶습니다. 스크레이퍼의 페이지 제한 위에 세워진 "중앙아메리카에서 가장 작은 부동산 시장" 포스트를 내놓느니 말이죠.
넷째 날: 실제로 놀랐던 부분
일본의 쏠림 현상은 아니었습니다 — 저희 사업의 자동차 쪽에서도 이미 부동산 관련 신호의 상당 부분이 일본 소스에서 왔다는 걸 알고 있었기에, 어느 정도는 예상했던 일이니까요. 정말 놀라웠던 건 특별한 도구 없이도 이 데이터 품질 문제가 이렇게나 명확하게 보인다는 점이었습니다. 연속된 세 개의 80을 알아차리는 데 통계 배경 지식 같은 건 필요 없습니다. 그저 숫자를 순서대로 들여다보기만 하면 되죠. 사실 이 일의 대부분이 바로 그겁니다.
이번 일은 또한 제가 너무 익숙해져서 더는 눈치채지 못했던 저희 자동차 데이터의 어떤 부분을 새롭게 조명해주기도 했습니다. 진짜로 고르게 퍼진 73개 지역, 어느 한 곳도 6.1%를 넘지 않는 분포, 그걸 채우는 1,375개의 독립된 소스 — 그 분포는 스크레이핑된 데이터셋의 자연스러운 상태가 아닙니다. 8년에 걸쳐, 방금 부동산 피드 셋째 날에 나타난 바로 그런 종류의 애그리게이터 벽을 의도적으로 우회해온 결과물이죠. 그 73개 지역 모두 처음에는 과테말라처럼 보였습니다.
지금 이 데이터가 놓인 자리
부동산은 아직 제품이 아닙니다 — 자동차 쪽이 계속 돌아가는 동안 저희가 지켜보고 있는 신호일 뿐이고, 더 넓은 부동산 커버리지를 향한 장기 로드맵의 한 줄일 뿐입니다. 하지만 이 데이터가 채워지는 걸 일주일간 지켜본 건, 실제 작업이 어떤 순서로 일어나는지를 다시 일깨워주는 괜찮은 계기였습니다. 피드를 살려두고, 딱 떨어지는 숫자를 의심하고, 벽을 찾아내고, 그다음 그걸 넘어설 방법을 만드는 것. 일본이 이 피드의 97.8%에서 벗어나는 방식도, UAE나 일본이 아니라 프랑스가 저희 자동차 매물 수에서 1위에 오르게 된 방식과 똑같을 겁니다 — 어느 한 소스도 우연히 전체를 지배할 수 없을 때까지 소스를 계속 늘려가는 것.
