وہ گرمیوں کا موسم جب ہمارا لسٹنگ کاؤنٹ ٹوٹ گیا: کرالر کے اندر سے ایک ڈائری

میں اکثر دنوں ایک ٹیب کھلا رکھتا ہوں جس میں صرف سورس کاؤنٹس دکھائے جاتے ہیں۔ کوئی خوبصورت چیز نہیں — نہ چارٹس، نہ فلٹرز، بس ان 1,375 سائٹس میں سے ہر ایک کے آگے ایک نمبر جہاں سے ہم لسٹنگز لیتے ہیں، اور یہ ٹائم اسٹیمپ کہ ہر ایک نے آخری بار کب رپورٹ کیا۔ زیادہ تر دنوں میں یہ اسی طرح بورنگ ہوتا ہے جیسے انفراسٹرکچر کو ہونا چاہیے۔ اس گرمی میں ایسا نہیں تھا، اور میرے خیال میں جو کچھ غلط ہوا اس کی کہانی آپ کے لیے، بطور ایک شخص جو گاڑی خریدنے کی تلاش میں ہے، ان زیادہ تر "پرانی گاڑی کیسے خریدیں" کی نصیحتوں سے زیادہ کارآمد ہے جو ہم اس کی جگہ لکھ سکتے تھے۔ یہ اس بارے میں ہے کہ "لائیو ڈیٹا" کا اصل مطلب کیا ہوتا ہے جب اسے فیڈ کرنے والی چیز 1,375 الگ الگ ویب سائٹس ہوں جن پر آپ کا کوئی حق نہیں۔

وسط جولائی: وہ نمبر جس پر مجھے فخر تھا

جولائی کے وسط تک ہم نے سورس رجسٹری کو 73 خطوں میں 1,190 ذرائع تک پہنچا دیا تھا — یہ چند ہفتوں کی محنت کا نتیجہ تھا جس میں ہم نے ڈپلیکیٹ اندراجات اور مردہ لنکس کو ٹھیک کیا جو خاموشی سے ہمارے اپنے کاؤنٹ کو بڑھا رہے تھے۔ مجھے یاد ہے میں نے سوچا تھا کہ 1,190 حقیقی، رپورٹ کرنے والے ذرائع کسی چیز پر فخر کرنے کے قابل ہیں۔ یہ بہت سی انفرادی ڈیلر سائٹس، کلاسیفائیڈز بورڈز، اور نیلامی فیڈز ہیں، جن میں سے ہر ایک کا اپنا HTML ڈھانچہ، اپنی ریٹ لمٹس، اور اس بارے میں اپنی رائے ہے کہ آیا ایک اسکریپر گاہک ہے یا حملہ آور۔

پھر ایک بیک لاگ مہم جو ہم چلا رہے تھے — 683 ذرائع کی ایک ویٹنگ لسٹ پر کام کرتے ہوئے جو مہینوں سے التوا میں پڑی تھی، کچھ بلاک شدہ، کچھ کبھی بنائی ہی نہیں گئیں — نتیجہ دینا شروع ہوئی۔ جولائی کے دوسرے نصف حصے میں ان میں سے 274 بنا کر جوڑ دیے گئے۔ مہینے کے آخر تک کارآمد تعداد 1,464 تک پہنچ گئی۔ یہ اس قسم کا ہفتہ ہے جس کا آپ اسکرین شاٹ لیتے ہیں۔

اگست کا آغاز: 241 ذرائع، غائب

پھر وہ نمبر آیا جو آپ کا پورا ہفتہ برباد کر دیتا ہے: راتوں رات، 241 ذرائع خراب حالت میں چلے گئے۔ یہ ہماری کسی غلطی کی وجہ سے نہیں ہوا — ہمارے پراکسی فراہم کنندہ کے اکاؤنٹ کی بلنگ کی میعاد ختم ہو گئی تھی، اور ہمارے ٹریفک کا ایک بہت بڑا حصہ خاص طور پر گھومنے والے IPs کے ذریعے روٹ ہوتا ہے تاکہ ہمیں ان سائٹس کی جانب سے بلاک نہ کیا جائے جو اسکریپرز کو ریٹ لمٹ کرتی ہیں۔ کوئی پراکسی نہیں، کوئی تازہ صفحات نہیں، کوئی تازہ لسٹنگز نہیں۔ ذرائع یہ اعلان نہیں کرتے کہ وہ خراب ہو گئے ہیں؛ وہ بس خاموشی سے نیا ڈیٹا واپس کرنا بند کر دیتے ہیں جبکہ ان کی پرانی لسٹنگز وہیں پڑی موجودہ نظر آتی رہتی ہیں۔

یہی وہ حصہ ہے جو کسی بھی کار سائٹ کی لسٹنگز کاؤنٹ میں نظر نہیں آتا، ہماری اپنی سمیت، جب تک آپ خاص طور پر تلاش نہ کریں: ایک "لائیو" مارکیٹ پلیس میں پرانی قطاریں تازہ قطاروں کے ساتھ پڑی ہو سکتی ہیں اور باہر سے بالکل ایک جیسی نظر آ سکتی ہیں۔ ہم نے نئے کرال ڈسپیچز کو ایک حقیقی پراکسی ہیلتھ پروب سے مشروط کر دیا تاکہ ایک مردہ پول خاموشی سے معیار کو مزید خراب نہ کر سکے، اور شیڈول کے اس حصے کو روک دیا جو معاملہ مزید بگاڑ دیتا۔ یہ کوئی شاندار کام نہیں ہے۔ یہ اس قسم کی چیز ہے کہ اگر آپ اس کے بارے میں کبھی نہ سنیں، تو اس کا مطلب ہے کسی نے اپنا کام کر دیا۔

ایک ضمنی بات، کیونکہ اسے واضح طور پر کہنا ضروری ہے: کوئی بھی سائٹ جو ہر روز ایک مقررہ، گول نمبر کی لسٹنگز کا دعویٰ کرتی ہے، وہ یا تو اصل میں لائیو نہیں ہے، یا آپ کو اس جیسے ہفتوں کے بارے میں نہیں بتا رہی۔

وہ منجمد ہونا

پراکسی کی تجدید نے زیادہ تر مسئلہ حل کر دیا۔ جس چیز کی مجھے توقع نہیں تھی وہ چند ہفتوں بعد خود کرالر کا بند ہو جانا تھا — ایک ٹیئرڈاؤن ڈیڈلاک، انیس میں سے اٹھارہ ورکر تھریڈز futex_wait میں بیٹھے ہوئے، صفر CPU خرچ ہو رہا تھا، مسلسل 75 گھنٹے تک۔ نہ کوئی کریش، نہ کوئی ایرر لاگ کسی کو خبردار کر رہا تھا۔ بس... کچھ بھی نہیں ہو رہا تھا، جبکہ ڈیش بورڈ آخری کامیاب پاس کو ایسے دکھاتا رہا جیسے وہ ابھی موجودہ ہو۔ ہم نے اس مخصوص ہوسٹ پر ابھی تک واچ ڈاگ نصب نہیں کیا تھا، جو کہ اس قسم کا جملہ ہے جو آپ صرف اس کے بعد لکھتے ہیں جب وہ چیز آپ کے ساتھ ایک بار پہلے ہی ہو چکی ہو۔

ہم نے واچ ڈاگ بنایا۔ ہم نے شیڈول کو اس وقت تک روکے رکھا جب تک پراکسی کی تجدید مستحکم ثابت نہ ہو گئی، بجائے اس خطرے کے کہ آدھا خراب کرال خاموشی سے اچھی قطاروں کی جگہ خراب قطاریں لے آئے — ایک کرال شدہ سورس کی لسٹنگز تبدیل ہوتی ہیں، ضم نہیں ہوتیں، اس لیے ایک خراب پاس صرف ڈیٹا شامل کرنے میں ناکام نہیں ہوتا، بلکہ یہ فعال طور پر اچھی قطاریں مٹا کر ان کی جگہ بدتر قطاریں رکھ سکتا ہے۔ یہی عدم توازن ہے جس کی وجہ سے ہم ایک دن کے لیے پرانا ڈیٹا چلانا ترجیح دیں گے بجائے اس کے کہ خراب حالت میں چلائیں۔

نمبر کہاں جا کر ٹھہرا

یہ ہے آج کی گنتی، اور ان چھ ہفتوں کی شکل جو ہمیں یہاں تک لائی:

ہم 73 خطوں میں 1,375 ذرائع پر آ کر ٹھہرے، جو 1,108,535 لائیو لسٹنگز کو فیڈ کر رہے ہیں، جن میں سے 12,823 فی الوقت اپنے علاقائی گروپ سے کم قیمت پر نشان زد ہیں۔ یہ جولائی کے عروج سے تقریباً 90 کم ذرائع ہیں — 241 خراب ہونے والوں میں سے کچھ کبھی مکمل طور پر واپس نہیں آئے، چند ایسی سائٹس تھیں جنہوں نے اس دوران اپنا اینٹی بوٹ رویہ بدل لیا تھا اور دوبارہ جوڑنے کے بجائے دوبارہ بنانے کی ضرورت تھی۔ ہم اب بھی ان میں سے چند پر کام کر رہے ہیں۔

آپ کے لیے اس کی اصل اہمیت کیا ہے

اس میں سے کوئی بھی چیز یہ نہیں بدلتی کہ آپ کون سی گاڑی خریدیں۔ لیکن اسے یہ ضرور بدلنا چاہیے کہ آپ کسی بھی کار سائٹ پر، نہ صرف ہماری، "لائیو انوینٹری" کے نمبر کو کیسے پڑھتے ہیں۔ فرانس اس وقت 67,569 لسٹنگز کے ساتھ ہمارے علاقائی کاؤنٹ میں سرفہرست ہے، اس کے قریب جاپان 61,940 کے ساتھ ہے، اور یہ نمبر ہلتے رہتے ہیں — اس لیے نہیں کہ پرانی گاڑیوں کی مارکیٹ خود اتنی تیزی سے بدلتی ہے، بلکہ اس لیے کہ اسے دیکھنے والا انفراسٹرکچر بدلتا ہے۔ ایک لسٹنگ جو تین دن پرانی ہو کیونکہ ایک سورس خراب تھا، بالکل ایک تازہ لسٹنگ جیسی نظر آتی ہے جب تک پلیٹ فارم اس فرق کے بارے میں دیانتدار نہ ہو۔

ہم آپ کو 75 گھنٹے کے منجمد ہونے کے بارے میں بتانا پسند کریں گے بجائے اس بہانے کے کہ ہمارا نمبر کبھی نہیں ڈگمگاتا۔ ایک ایسا ڈیٹا سیٹ جو کبھی کسی خراب ہفتے کو تسلیم نہیں کرتا، وہ ڈیٹا سیٹ ہے جس پر آپ کو کم نہیں بلکہ زیادہ شک کرنا چاہیے۔