वह हफ़्ता जब रियल एस्टेट हमारे यूज़्ड-कार डेटासेट में घुस आया

मैंने अपना ज़्यादातर समय यूज़्ड कारों पर लगाया है — 11 लाख लिस्टिंग, 73 रीजन, प्राइस ड्रॉप्स और री-लिस्टिंग की वही रोज़मर्रा की हलचल। तो जब प्रॉपर्टी डेटा उन्हीं डैशबोर्ड्स में आना शुरू हुआ जिनका इस्तेमाल मैं कारों के लिए करता हूं, मुझे नहीं लगा था कि यह मेरा ध्यान खींचेगा। पर खींचा, और वजहें प्लान से बिल्कुल अलग थीं।

यह रहा वह लॉग, तक़रीबन उसी क्रम में जिसमें मुझे चीज़ें असल में नज़र आईं।

पहला दिन: वह आंकड़ा जो हिलता नहीं

किसी भी नई फ़ीड में मैं सबसे पहले टोटल चेक करता हूं, क्योंकि इस काम में टोटल से कम झूठ कोई और चीज़ नहीं बोलती। प्रॉपर्टी की कुल संख्या थी 601,702 लिस्टिंग। ठीक है। फिर मैंने इसे रीजन के हिसाब से बांटा, और यह आंकड़ा एक ग्लोबल रोलआउट जैसा दिखना बंद होकर एक सिंगल-कंट्री प्रोजेक्ट जैसा दिखने लगा, जिसमें बस थोड़ी-सी राउंडिंग एरर चिपकी हो: अकेले जापान का हिस्सा था 588,644 लिस्टिंग। यानी पूरी फ़ीड का 97.8%।

तुलना के लिए, हमारा कार डेटा 73 रीजन में फैला है और कोई भी एक रीजन कुल का 6% पार नहीं करता (फ़्रांस, हमारा सबसे बड़ा रीजन, 11 लाख में से 67,569 है — यानी करीब 6.1%)। प्रॉपर्टी में यह सांद्रता उससे सोलह गुना ज़्यादा है। मैं कुछ देर इस उलझन में रहा कि कहीं यह रीजन टैगर की कोई गड़बड़ी तो नहीं, फिर मुझे याद आया कि इसकी असली वजह क्या है: जापान के अपने रियल एस्टेट पोर्टल्स पर बड़ी तादाद में "अकिया" (akiya) लिस्ट होते हैं — वे परित्यक्त या लगभग-परित्यक्त ग्रामीण घर जिन्हें सरकार सालों से बेचने की कोशिश कर रही है, अक्सर इतनी कम कीमत पर कि एक पुरानी कोरोला भी लग्ज़री खरीद लगने लगे। ये पोर्टल्स बेहद व्यवस्थित, मशीन-रीडेबल और विशाल हैं। बाकी दुनिया के पोर्टल्स अभी वैसे नहीं हैं।

दूसरा दिन: बचे हुए 2.2% की तलाश

मुझे जानना था कि "बाकी दुनिया" कैसी दिखती है, तो मैंने जापान को अलग करके बाकी रीजन निकाले और उन्हें कतार में लगाया।

मिस्र, जर्मनी से थोड़ा आगे निकला, जिसने मुझे चौंकाया — मैंने सोचा था कि जर्मनी जैसा बड़ा और अच्छी तरह दस्तावेज़ीकृत बाज़ार काहिरा से पहले किसी रैंडम सैंपल में हावी होगा। श्रीलंका भी लगातार चार अंकों में बना हुआ है। इसके बाद एक खाई है: चार मध्य अमेरिकी देश — ग्वाटेमाला, निकारागुआ, पनामा और अल साल्वाडोर — क्रमशः 80, 80, 80 और 78 पर टिके हैं।

तीसरा दिन: तीन एक-जैसे आंकड़े कभी संयोग नहीं होते

यही खाई थी जिसने मुझे असल में रोक दिया। तीन देशों का एक ही सटीक गिनती पर आ जाना कोई बाज़ार का संकेत नहीं होता, यह एक फिंगरप्रिंट होता है। जब ग्वाटेमाला, निकारागुआ और पनामा — तीनों में ठीक 80 लिस्टिंग दिखती हैं, तो यह तीन अर्थव्यवस्थाओं का एक जैसे इन्वेंटरी साइज़ पर पहुंचना नहीं है — यह एक ही अपस्ट्रीम सोर्स है, जिसकी पेज-कैप हार्डकोडेड 80 पर है, और वह तीनों को उसी तरह फ़ीड कर रहा है। अल साल्वाडोर का 78 वाला आंकड़ा इस बात की पुष्टि करता है: इतना करीब कि वही सोर्स लगे, फिर भी इतना अलग कि साबित हो जाए कि यह हमारी अपनी पाइपलाइन की कॉपी-पेस्ट गलती नहीं है। कहीं न कहीं कोई रीजनल रियल-एस्टेट एग्रीगेटर है जो हर देश के लिए फ्री रिज़ल्ट पेजों को लगभग 80 लिस्टिंग पर सीमित कर देता है, और जब तक हम इसके इर्द-गिर्द रास्ता नहीं निकालते — एग्रीगेटर की बजाय सीधे सोर्स से जुड़कर, या उस दीवार को पार करके जो भी वह लगाता हो — ये चारों देश हमेशा एक जैसे बौने दिखेंगे, चाहे उनके असली बाज़ार कैसे भी हों।

किसी भी नए डेटासेट को ईमानदारी से बनाने का यही अनाकर्षक हिस्सा है: जो पहले आंकड़े आपको मिलते हैं, वे बाज़ार नहीं होते, वे आपके मौजूदा सोर्सेज़ की शक्ल होते हैं। मुझे यह पहले ही हफ़्ते में पता चल जाना पसंद है, बजाय इसके कि मैं "मध्य अमेरिका के सबसे छोटे रियल एस्टेट बाज़ार" वाली कोई पोस्ट छाप दूं जो असल में एक स्क्रेपर की पेज-लिमिट पर टिकी हो।

चौथा दिन: असल में मुझे किसने चौंकाया

जापान की सांद्रता ने नहीं — मुझे पहले से आधा अंदाज़ा था, क्योंकि बिज़नेस के कार-साइड पर भी हमारा काफ़ी प्रॉपर्टी सिग्नल पहले से ही जापानी सोर्सेज़ से आ रहा था। मुझे जिस बात ने चौंकाया, वह यह थी कि बिना किसी खास टूलिंग के भी डेटा-क्वालिटी की समस्या कितनी साफ़ नज़र आ रही थी। लगातार तीन बार 80 का आंकड़ा पकड़ने के लिए आपको सांख्यिकी की डिग्री नहीं चाहिए। बस आपको आंकड़ों को क्रम में देखना होता है, और यह काम असल में इसी का ज़्यादातर हिस्सा है।

इसने हमारे अपने कार डेटा के बारे में भी एक चीज़ को नए सिरे से देखने पर मजबूर किया, जिस पर मैंने ध्यान देना बंद कर दिया था क्योंकि मैं उसका आदी हो चुका हूं: 73 रीजन जिनमें सचमुच का फैलाव है, कोई भी रीजन 6.1% से ऊपर नहीं, और उसे फ़ीड करने वाले 1,375 स्वतंत्र सोर्सेज़ — यह वितरण किसी स्क्रेप किए गए डेटासेट की स्वाभाविक अवस्था नहीं है, यह आठ साल की उस मेहनत का नतीजा है जिसमें हमने ठीक उसी तरह की एग्रीगेटर-दीवार के इर्द-गिर्द जानबूझकर रास्ता निकाला, जो अभी प्रॉपर्टी फ़ीड में तीसरे दिन सामने आई। उन 73 में से हर एक रीजन शुरुआत में ग्वाटेमाला जैसा ही दिखता था।

अभी यह कहां खड़ा है

प्रॉपर्टी अभी कोई प्रोडक्ट नहीं है — यह एक ऐसा सिग्नल है जिस पर हम नज़र रख रहे हैं जबकि कार-साइड चलता रहता है, यह व्यापक रियल एस्टेट कवरेज की ओर एक लंबे रोडमैप की बस एक लाइन है। लेकिन इसे भरते हुए देखने का यह एक हफ़्ता, इस बात की एक अच्छी याद दिला गया कि काम असल में किस क्रम में होता है: फ़ीड को लाइव करो, गोल-मटोल आंकड़ों पर शक करो, दीवार ढूंढो, फिर उसे पार करने का रास्ता बनाओ। जापान का इस फ़ीड में 97.8% होना भी उसी तरह ख़त्म होगा जैसे फ़्रांस — यूएई या जापान नहीं — आख़िरकार हमारी कार गिनती में सबसे ऊपर पहुंचा — यानी इतने सोर्सेज़ जोड़कर कि कोई एक अकेला संयोगवश पूरे टोटल पर हावी न हो सके।