ตัวเลข 80 โผล่มา 4 ครั้งในข้อมูลอสังหาริมทรัพย์ของเรา

ตอนนี้เรากำลังติดตามประกาศขายรถยนต์ที่ยังใช้งานอยู่ 1,108,535 รายการ ครอบคลุม 73 ภูมิภาคและ 1,375 แหล่งข้อมูล และมีประกาศอสังหาริมทรัพย์อีก 601,702 รายการที่ต่อยอดขึ้นมาเป็นกลุ่มธุรกิจใหม่ล่าสุด เฉพาะญี่ปุ่นประเทศเดียวก็มีสัดส่วนถึง 588,644 รายการในหมวดอสังหาริมทรัพย์ — ตัวเลขที่ทิ้งห่างจนแทบจะกำหนดสเกลของทุกอย่างที่เหลือ อันดับถัดมาคืออียิปต์ที่ 4,427 เยอรมนีที่ 4,230 และศรีลังกาที่ 4,006 จากนั้นตัวเลขก็ร่วงลงหน้าผา และมีสี่ประเทศที่อยู่ล่างสุดซึ่งแสดงตัวเลขเดียวกันเป๊ะ: 80

กัวเตมาลา: 80 นิการากัว: 80 ปานามา: 80 เอลซัลวาดอร์: 80

ผมสังเกตเห็นเรื่องนี้ระหว่างเลื่อนดูข้อมูลดิบแยกตามภูมิภาค ไม่ได้ตั้งใจไปหามันเลย สี่ประเทศที่ไม่มีอะไรเหมือนกันเลยทางภูมิศาสตร์นอกจากคำว่า "อเมริกากลาง" — สกุลเงินต่างกัน ขนาดประชากรต่างกัน (กัวเตมาลามีประชากรราว 18 ล้านคน ส่วนเอลซัลวาดอร์ราว 6 ล้านคน) ตลาดที่อยู่อาศัยก็แตกต่างกันโดยสิ้นเชิง แต่กลับมาลงเอยที่จำนวนเท่ากันเป๊ะ นั่นไม่ใช่สัญญาณของตลาด แต่มันคือรอยนิ้วมือที่บอกว่าข้อมูลเข้ามาถึงเราได้อย่างไร

สิ่งที่เกิดขึ้นจริงๆ

เวลาที่เราเริ่มเปิดภูมิภาคใหม่ เราไม่ได้เชื่อมต่อพอร์ทัลอสังหาริมทรัพย์ท้องถิ่นสิบกว่าแห่งตั้งแต่วันแรก เราเริ่มจากแหล่งข้อมูลที่เข้าถึงได้และคุ้มค่ากับเวลาของ crawler ก่อน แล้วค่อยๆ ขยายจากตรงนั้น — รูปแบบเดียวกับที่เราใช้ในการนำแหล่งข้อมูลรถยนต์เข้ามาทีละตลาด (เราเคยเขียนถึงกลไกนี้ไว้ในบทความเรื่องการเริ่มต้นประเทศใหม่) สำหรับพื้นที่ส่วนใหญ่ของอเมริกากลางตอนนี้ ข้อมูลอสังหาริมทรัพย์วิ่งผ่านเครือข่ายประกาศระดับภูมิภาคเพียงแห่งเดียวที่ให้บริการทั้งสี่ประเทศบนแพลตฟอร์มร่วมกัน ถ้าแพลตฟอร์มนั้นจำกัดฟีดประกาศสาธารณะไว้ — จะเป็นแพ็กเกจฟรี ขีดจำกัดการแบ่งหน้า หรือกำแพง "ดูเพิ่มเติม" ที่ crawler อัตโนมัติไม่เคยกดผ่านไปได้ — ทุกประเทศที่อยู่หลังแพลตฟอร์มนั้นก็จะรับเพดานเดียวกันไปด้วย ไม่ใช่เพราะแต่ละตลาดมีบ้านขายจริงแค่ 80 หลัง แต่เพราะประตูที่เรากำลังเดินผ่านอยู่ตอนนี้เปิดกว้างได้แค่ 80 ประกาศเท่านั้น

นี่เป็นคำอธิบายที่ธรรมดามาก และผมอยากพูดตรงๆ ว่ามันเป็นคำอธิบายที่มีความเป็นไปได้มากที่สุด ไม่ใช่ข้อสรุปที่ยืนยันแล้ว — เรายังไม่ได้ไล่ตรวจทุกคำขอในเส้นทางการ crawl นั้นทีละไบต์ แต่ทฤษฎีทางเลือกอื่นๆ ก็ไม่สมเหตุสมผล การที่สี่ประเทศต่างสร้างจำนวนที่แท้จริงเท่ากันเป๊ะ แม้กระทั่งหลักหน่วย ไม่ใช่สิ่งที่ตลาดอสังหาริมทรัพย์จริงทำกัน ความบังเอิญที่สะอาดขนาดนี้คือฐานข้อมูลกำลังคุยกันเอง ไม่ใช่เศรษฐกิจ

ทำไมเรื่องนี้ถึงสำคัญถ้าคุณอยู่ในตลาดเหล่านั้นจริงๆ

ถ้าคุณกำลังประเมินราคาอสังหาริมทรัพย์ในซานซัลวาดอร์หรือปานามาซิตี้ แล้วเปิดดูตัวเลขของเราโดยคาดหวังความครอบคลุมแบบที่คุณจะได้จากรถยนต์ในสหรัฐอาหรับเอมิเรตส์ (59,393 ประกาศ) หรือฝรั่งเศส (67,569 ประกาศ) คุณจะผิดหวัง และคุณควรจะผิดหวังจริงๆ ด้วย ประกาศเพียงแปดสิบรายการไม่สามารถรองรับการสร้างแบบจำลองราคาแบบเดียวกับชุดข้อมูลระดับภูมิภาคที่มีจำนวนหลักแสนได้ จงมองตัวเลขแบบนั้นว่าเป็น "เรามีจุดยืนเล็กๆ ที่นี่แล้ว" ไม่ใช่ "นี่คือภาพรวมของตลาด" การใช้ชุดข้อมูลที่ยังใหม่อย่างซื่อตรงคือการใช้เพื่อดูทิศทาง — ย่านนี้กำลังมาแรงไหม ประเภทอสังหาริมทรัพย์แบบนี้พบทั่วไปหรือเปล่า — ไม่ใช่เพื่อฟันธงตัวเลขเป็นดอลลาร์อย่างมั่นใจ

ความระมัดระวังนี้ใช้ได้กว้างกว่าแค่สี่ประเทศนี้ ที่ไหนก็ตามที่ตัวเลขระดับภูมิภาคของเราดูกลมเกินจริง หรือดูเหมือนกันเป๊ะกับประเทศเพื่อนบ้านอย่างน่าสงสัย ก็ควรตั้งคำถามว่าคุณกำลังดูตลาดจริง หรือดูข้อจำกัดของแหล่งข้อมูลกันแน่ เราอยากให้คุณรู้เรื่องนี้ มากกว่าจะให้คุณเชื่อกราฟที่จริงๆ แล้วเป็นแค่การสะท้อนการตั้งค่าการแบ่งหน้าของ scraper

วิธีแก้ไข และเหตุผลที่มันช้า

การจะก้าวข้ามตัวเลข 80 ในตลาดเหล่านี้ ต้องอาศัยงานที่ไม่หวือหวาแบบเดียวกับทุกที่ในการขยายตัวของเรา นั่นคือ หาแหล่งข้อมูลถัดไปที่เข้าถึงได้ ตรวจสอบว่าไม่ซ้ำกับแหล่งแรก เชื่อมต่อเข้ากับ crawler แล้วเฝ้าดูตัวเลขขยับด้วยเหตุผลที่แท้จริง ไม่ใช่เพราะข้อจำกัดของฟีด เราทำแบบนี้มาแล้วนับสิบครั้งในฝั่งรถยนต์ ทีละภูมิภาค และไม่มีทางลัดใดที่ไม่เสี่ยงต่อการได้ข้อมูลขยะ ตัวเลข 588,644 ประกาศอสังหาริมทรัพย์ของญี่ปุ่นก็ไม่ได้มาถึงจุดนั้นโดยบังเอิญเช่นกัน — มันมาถึงจุดนั้นเพราะเรายังคงเพิ่มแหล่งข้อมูลต่อไปเรื่อยๆ นานหลังจากที่แหล่งแรกหมดความสำคัญไปแล้ว

ดังนั้นถ้าคุณกลับมาเช็กกัวเตมาลาอีกครั้งในอีกไม่กี่เดือนข้างหน้าแล้วตัวเลขยังคงเป็น 80 อยู่ นั่นไม่ได้แปลว่าเราลืมเรื่องนี้ไป มันแปลว่าคิวสำหรับตลาดนั้นยังไม่ถึงรอบ และถ้ามันกระโดดขึ้นไปเป็น 800 คุณจะรู้ได้เลยว่ามีบางอย่างเปลี่ยนแปลงจริงๆ ต้นทาง ไม่ใช่แค่ใน crawler ของเรา