Hiện tại chúng tôi đang theo dõi 1,108,535 tin đăng bán xe đang hoạt động trên 73 khu vực và 1,375 nguồn, cùng với 601,702 tin đăng bất động sản được bổ sung thêm như một mảng dữ liệu mới hơn. Riêng Nhật Bản đã chiếm 588,644 trong số các dòng dữ liệu bất động sản — một con số áp đảo đến mức gần như thiết lập luôn thang đo cho mọi thứ còn lại. Tiếp theo là Ai Cập với 4,427. Đức với 4,230. Sri Lanka với 4,006. Sau đó danh sách tụt dốc không phanh, và bốn quốc gia nằm ở đáy bảng lại cho ra đúng một con số giống hệt nhau: 80.
Guatemala: 80. Nicaragua: 80. Panama: 80. El Salvador: 80.
| Khu vực | Số tin đăng bất động sản |
|---|---|
| Nhật Bản | 588,644 |
| Ai Cập | 4,427 |
| Đức | 4,230 |
| Sri Lanka | 4,006 |
| Guatemala | 80 |
| Nicaragua | 80 |
| Panama | 80 |
| El Salvador | 80 |
Tôi nhận ra điều này khi đang lướt qua bảng phân tích thô theo khu vực, chứ không phải cố tình đi tìm nó. Bốn quốc gia chẳng có điểm chung nào về mặt địa lý ngoài việc cùng thuộc "Trung Mỹ" — tiền tệ khác nhau, quy mô dân số khác nhau (Guatemala có khoảng 18 triệu dân, El Salvador khoảng 6 triệu), thị trường nhà đất hoàn toàn khác nhau — vậy mà lại cho ra cùng một con số y hệt, thì đó không phải là tín hiệu thị trường. Đó là dấu vân tay để lại từ cách dữ liệu được thu thập.
Chuyện gì đang thực sự xảy ra
Khi chúng tôi đưa một khu vực mới vào hệ thống, chúng tôi không kết nối cả chục cổng bất động sản địa phương ngay trong ngày đầu tiên. Chúng tôi bắt đầu với bất kỳ nguồn nào có thể truy cập được và đáng để crawler bỏ công, rồi mở rộng dần từ đó — cùng một khuôn mẫu mà chúng tôi đã áp dụng khi đưa các nguồn dữ liệu xe vào hoạt động theo từng thị trường một (chúng tôi đã viết về cơ chế này trong một bài viết về việc tích hợp các quốc gia mới). Với phần lớn Trung Mỹ hiện nay, độ phủ dữ liệu bất động sản chủ yếu đi qua một mạng lưới tin đăng khu vực duy nhất, phục vụ cả bốn quốc gia trên cùng một nền tảng chung. Nếu nền tảng đó giới hạn nguồn cấp tin đăng công khai — một gói miễn phí, một giới hạn phân trang, một bức tường "xem thêm" mà crawler tự động chưa bao giờ vượt qua được — thì mọi quốc gia đứng sau nền tảng đó đều thừa hưởng chung một trần giới hạn. Không phải vì mỗi thị trường thực sự chỉ có 80 căn nhà rao bán. Mà vì cánh cửa chúng tôi đang đi qua hiện tại chỉ mở rộng đúng 80 tin đăng.
Đây là một lời giải thích khá tầm thường, và tôi muốn nói thẳng rằng đó là giả thuyết hợp lý nhất chứ chưa phải đã được xác nhận — chúng tôi chưa lần theo từng request trong luồng crawl đó đến từng byte một. Nhưng các giả thuyết khác thì không đứng vững. Bốn quốc gia độc lập cho ra cùng một con số thực tế, khớp đến từng đơn vị, không phải là điều các thị trường bất động sản thường làm. Những sự trùng hợp sạch sẽ đến vậy là do cơ sở dữ liệu đang "nói chuyện" với nhau, chứ không phải nền kinh tế.
Vì sao điều này quan trọng nếu bạn thực sự đang ở một trong các thị trường đó
Nếu bạn đang định giá một bất động sản ở San Salvador hay Thành phố Panama và tra cứu số liệu của chúng tôi, kỳ vọng có được độ phủ như với một chiếc xe ở UAE (59,393 tin đăng) hay Pháp (67,569), bạn sẽ thất vọng, và điều đó là hợp lý. Tám mươi tin đăng không thể hỗ trợ kiểu mô hình định giá như một bộ dữ liệu khu vực có đến sáu chữ số. Hãy xem một con số như vậy là "chúng tôi mới chỉ có một chỗ đứng ở đây," chứ không phải "đây là bức tranh thị trường." Cách dùng trung thực của một bộ dữ liệu còn non trẻ là mang tính định hướng — khu vực này có đang tăng giá không, loại hình bất động sản này có phổ biến không — chứ không phải một con số đô la chắc chắn.
Sự thận trọng này không chỉ áp dụng cho bốn quốc gia nói trên. Bất cứ khi nào con số khu vực của chúng tôi trông tròn trịa đáng ngờ, hoặc giống hệt một cách đáng ngờ so với nước láng giềng, thì đáng để đặt câu hỏi liệu bạn đang nhìn vào một thị trường thực sự hay chỉ là giới hạn của nguồn dữ liệu. Chúng tôi thà để bạn biết điều đó còn hơn để bạn tin vào một biểu đồ thực chất chỉ đang mô tả cài đặt phân trang của một trình thu thập dữ liệu.
Cách khắc phục, và vì sao nó chậm
Để vượt qua con số 80 ở các thị trường này đòi hỏi đúng công việc không mấy hào nhoáng như ở mọi nơi khác trong quá trình mở rộng của chúng tôi: tìm nguồn tiếp theo có thể truy cập được, xác minh nó không trùng lặp với nguồn đầu tiên, kết nối nó vào crawler, và theo dõi con số thay đổi vì lý do thực chất chứ không phải vì giới hạn của nguồn cấp dữ liệu. Chúng tôi đã làm việc này hàng chục lần ở mảng xe, từng khu vực một, và không có đường tắt nào mà không có nguy cơ tạo ra dữ liệu rác. Con số 588,644 tin đăng bất động sản của Nhật Bản cũng không phải tự nhiên mà có — nó đạt được vì chúng tôi tiếp tục bổ sung nguồn dữ liệu rất lâu sau khi nguồn đầu tiên đã không còn đáng kể nữa.
Vì vậy, nếu vài tháng nữa bạn kiểm tra lại Guatemala và con số vẫn là 80, thì đó không phải vì chúng tôi đã quên mất nó. Điều đó có nghĩa là hàng đợi cho thị trường đó vẫn chưa đến lượt. Và nếu nó nhảy lên 800, bạn sẽ biết có điều gì đó thực sự đã thay đổi ở phía thượng nguồn, chứ không chỉ trong crawler của chúng tôi.
