วันที่ผู้อ่านยืนกรานว่าเราลง Nissan Patrol คันเดียวกันซ้ำสองรอบ

ตั๋วแจ้งปัญหาเข้ามาตอน 9:14 น. หัวเรื่องว่า "bug??" ไม่มีคำทักทายใด ๆ ทั้งสิ้น ผู้อ่านคนหนึ่งชื่อ Faisal บันทึกรถ Nissan Patrol Platinum ปี 2020 สีขาวตัดครีมไว้ในรายการโปรด แล้วสองวันต่อมาก็มาเจอสิ่งที่ดูเหมือนรถคันเดียวกันเป๊ะ แต่อยู่ภายใต้รหัสประกาศคนละอัน ชื่อผู้ขายคนละคน และราคาถูกกว่าเดิม 8,000 เดอร์แฮม เขาอยากรู้ว่าแพลตฟอร์มของเรามีข้อมูลซ้ำซ้อนหรือเปล่า เพราะถ้าใช่ เขาจะเชื่อถือเรื่องราคาที่แสดงได้อย่างไร

คำถามที่สมเหตุสมผล ตอนนี้เรามีประกาศขายที่ยังใช้งานอยู่ 1,108,535 รายการ ครอบคลุม 73 ภูมิภาค จาก 1,375 แหล่งข้อมูลในสัปดาห์นี้ เฉพาะสหรัฐอาหรับเอมิเรตส์ประเทศเดียวมีอยู่ 59,393 รายการ ป้อนเข้ามาจากตัวสแครปเปอร์อย่าง dubizzle.py และ opensooq_uae_scraping_task.py ที่ทำงานแยกอิสระจากกัน ดึงข้อมูลจากเว็บไซต์คนละแห่งที่มีโครงสร้างประกาศต่างกันโดยสิ้นเชิง ส่วน Nissan ทั่วโลกมีอยู่ในระบบ 42,342 แถว และในกองข้อมูลมหาศาลนั้นก็มี Patrol สองคันที่ในสายตาของ Faisal ดูเหมือนรถคันเดียวที่สวมป้ายราคาสองใบ

ผมดึงข้อมูลทั้งสองแถวออกมาดูก่อนกาแฟจะเสร็จด้วยซ้ำ รุ่นปีเดียวกัน ระดับแต่งเดียวกัน สีภายนอกเดียวกัน เลขไมล์ต่างกันแค่สิบเอ็ดกิโลเมตร ใกล้กันพอที่จะมองเป็นการปัดเศษ แต่ก็ยังไม่ใกล้พอที่จะฟันธงอะไรได้ เบอร์โทรต่างกัน แม้ว่าเบอร์จากฝั่ง OpenSooq จะกลายเป็นบัญชี WhatsApp Business ล้วน ๆ ซึ่งนั่นก็เป็นเบาะแสในตัวมันเองอยู่แล้ว วันที่ลงประกาศต่างกันสี่วัน และยังมีรายละเอียดที่ Faisal ไม่ได้พูดถึง นั่นคือภาพภายในรถของประกาศที่ราคาถูกกว่ายังมีสติกเกอร์ทะเบียน UAE Pass ติดอยู่บนกระจกหน้า ซึ่งเป็นแบบที่ดีลเลอร์มักปล่อยทิ้งไว้ในช่วงเปลี่ยนมือเจ้าของ

รูปแบบนี้ — เบอร์ WhatsApp Business ราคาที่สูงกว่าเล็กน้อย และภาพถ่ายที่เห็นชัดว่าถ่ายในลานดีลเลอร์มากกว่าหน้าบ้านใครสักคน — คือลายเซ็นของการฝากขายต่อ (consignment flip) การตีความของผม และผมกล้าพนัน คือ เจ้าของรถคนหนึ่งขายหรือฝากขายรถให้นายหน้าตั้งแต่ต้นสัปดาห์ นายหน้าเอาไปลงประกาศใหม่สี่วันต่อมาบนอีกแพลตฟอร์มหนึ่งในราคาที่บวกกำไรเพิ่ม ขณะที่ยังปล่อยให้ประกาศเดิมค้างอยู่จนหมดอายุของมันเอง และในช่วงวันที่ทับซ้อนกันนั้น Patrol คันเดียวกันก็เลยไปโผล่อยู่สองที่สองราคาพร้อมกัน เรื่องแบบนี้เกิดขึ้นตลอดเวลาในตลาดนี้ ดีลเลอร์รายย่อยที่นี่มักปล่อยสต็อกผ่านสามสี่พอร์ทัลพร้อมกัน และไม่ได้ถอนประกาศเก่าทันทีที่รถเปลี่ยนมือเสมอไป

ส่วนที่สำคัญจริง ๆ สำหรับตั๋วนี้คือ เราไม่รวมประกาศเหล่านี้เข้าด้วยกัน และจะไม่ทำด้วย ตรรกะการลบข้อมูลซ้ำของเราจะยุบเฉพาะรายการซ้ำภายในแหล่งข้อมูลเดียวกัน เช่น รหัสประกาศเดิมที่โผล่มาอีกครั้งตอนแครปรอบใหม่ แต่จะไม่มีวันรวมข้ามแหล่งข้อมูลด้วยเลขตัวถัง (VIN) โดยเจตนา แม้ว่าเราจะค่อนข้างมั่นใจว่าเป็นรถคันเดียวกันก็ตาม ผมตรวจสอบเรื่องนี้กับกฎของเราเองก่อนตอบกลับ Faisal เพราะมันชวนให้คิดไปเองว่า "ก็ต้องรวมสิ มันคันเดียวกันชัด ๆ" แต่ผู้ขายสองรายที่มี VIN เดียวกันนั้น ในทางปฏิบัติแล้วคือผู้เล่นสองรายในตลาดที่เสนอราคาสองราคาที่เป็นอิสระต่อกัน การมองว่าเป็นข้อมูลซ้ำซ้อนก็เท่ากับลบสัญญาณราคาของผู้ขายรายหนึ่งออกจากชุดข้อมูลไปเงียบ ๆ ซึ่งเป็นสิ่งที่จะค่อย ๆ บั่นทอนความแม่นยำของโมเดลตรวจจับราคาต่ำกว่าตลาดไปโดยไม่รู้ตัว เราตั้งค่าสถานะประกาศที่ราคาต่ำกว่าตลาดราวๆ 12,823 รายการต่อวันเมื่อเทียบกับกลุ่มเปรียบเทียบในภูมิภาคนั้น ๆ และตัวเลขนี้จะมีความหมายก็ต่อเมื่อทุกราคาที่เสนอขายอยู่จริงยังคงอยู่ในกลุ่มข้อมูล ไม่ว่าจะดูซ้ำซ้อนแค่ไหนก็ตาม

ผมจึงบอกความจริงกับ Faisal ไปว่า ไม่ใช่บั๊ก น่าจะเป็นการฝากขายต่อ และช่องว่างราคา 8,000 เดอร์แฮมที่เขาจ้องอยู่นั้นไม่ใช่สัญญาณรบกวน แต่คือสัญญาณราคาต่ำกว่าตลาดที่ชัดเจนที่สุดในผลการค้นหาของเขาในสัปดาห์นั้น อยู่ตรงหน้าเขามาโดยตลอด ประกาศจาก OpenSooq นั้นแท้จริงแล้วเป็นหนึ่งในดีลที่ถูกตั้งค่าสถานะในวันนั้นเอง ราคาต่ำกว่ารถ Patrol รุ่น Platinum ที่เทียบเคียงกันได้อีกหกคันในดูไบและชาร์จาห์ที่กำลังเปิดขายอยู่ เขาได้เจอบทเรียนสองด้านโดยไม่ได้ตั้งใจ นั่นคือประกาศที่ดูเหมือนซ้ำกันมักเป็นเรื่องแปลกของการกระจายข้อมูล ไม่ใช่ความผิดพลาดของข้อมูล และประกาศที่ "ดูแปลก" ในคู่นั้นมักเป็นคันที่ควรโทรไปถามก่อนเป็นอันดับแรก

ดีลเลอร์คนหนึ่งที่ผมเคยคุยด้วยเมื่อหลายปีก่อนในชาร์จาห์พูดตรงกว่าที่ผมจะกล้าเขียนเสียอีกว่า "รถมันไม่สนใจหรอกว่าจะถูกลงในกี่เว็บไซต์ ราคาต่างหากที่เป็นคนพูดแทน" เขาพูดไม่ผิด และนั่นก็แทบจะเป็นเหตุผลทั้งหมดที่เราไม่ควรรวมผู้ขายสองรายเข้าเป็นแถวเดียว

พอถึงช่วงบ่าย ผมก็เพิ่มข้อความเข้าไปใน FAQ ของเราเกี่ยวกับประกาศที่ดูเหมือนซ้ำกัน ส่วนใหญ่ก็เพื่อให้ Faisal คนต่อไปได้คำตอบทันที แทนที่จะต้องมานั่งไล่สืบกันทั้งวัน สิ่งที่ผมไม่ได้เปลี่ยนคือกฎการลบข้อมูลซ้ำเอง ยังคงเป็นแหล่งข้อมูลเดียวกัน รหัสเดียวกัน ไม่มีเงื่อนไขอื่นเพิ่ม ผู้ขายสองราย VIN เดียวกัน ก็ยังคงเป็นสองประกาศเหมือนเดิม หากคุณเคยเจอสิ่งที่ดูเหมือนรถในฝันของคุณปรากฏซ้ำสองครั้ง อย่าเพิ่งคิดว่าเว็บไซต์พัง ให้ดูว่าใครเสนอราคาต่ำกว่ากัน แล้วถามหาเหตุผลก่อนเป็นอันดับแรก