أُبقي في معظم الأيام تبويبًا مفتوحًا يعرض فقط أعداد المصادر. لا شيء أنيق فيه — لا رسوم بيانية، لا مرشّحات، فقط رقم بجانب كل موقع من المواقع الـ1,375 التي نسحب منها الإعلانات، وطابع زمني يوضح آخر مرة سجّل فيها كل موقع حضوره. في معظم الأيام يكون الأمر مملًا بالطريقة التي يُفترض أن تكون بها البنية التحتية مملة. هذا الصيف لم يكن كذلك، وأعتقد أن قصة ما حدث خطأً أكثر فائدة لك، بصفتك شخصًا يبحث عن سيارة، من معظم نصائح "كيف تشتري سيارة مستعملة" التي كان بإمكاننا كتابتها بدلًا من ذلك. إنها قصة عمّا تعنيه "البيانات الحيّة" فعليًا حين يكون مصدرها 1,375 موقعًا إلكترونيًا منفصلًا لا يدين لك بشيء.
منتصف يوليو: الرقم الذي كنت فخورًا به
بحلول منتصف يوليو كنا قد رفعنا سجل المصادر إلى 1,190 مصدرًا عبر 73 منطقة — نتيجة أسابيع من تسوية الإدخالات المكررة والروابط الميتة التي كانت تُضخّم عددنا الحقيقي بصمت. أتذكر أنني اعتبرت أن 1,190 مصدرًا حقيقيًا ومسجَّل الحضور أمرٌ يستحق الفخر. هذا عدد كبير من مواقع الوكلاء الفردية ولوحات الإعلانات المبوّبة وقنوات المزادات، لكل منها بنية HTML خاصة بها، وحدود معدّل خاصة بها، ورأيها الخاص حول ما إذا كان الزاحف (scraper) عميلًا أم هجومًا.
ثم بدأت حملة تراكمية كنا قد أطلقناها — تعمل على قائمة انتظار من 683 مصدرًا كانت مؤجّلة منذ أشهر، بعضها محظور وبعضها لم يُبنَ قط — تؤتي ثمارها. خلال النصف الثاني من يوليو، تم بناء 274 من تلك المصادر وربطها. وبنهاية الشهر ارتفع العدد الفعلي إلى 1,464. هذا هو نوع الأسبوع الذي تلتقط له لقطة شاشة.
أوائل أغسطس: 241 مصدرًا، اختفت
ثم جاء الرقم الذي يُفسد أسبوعك: بين ليلة وضحاها، انتقل 241 مصدرًا إلى حالة متدهورة. لم يكن ذلك بسبب أي شيء فعلناه — بل لأن حساب مزوّد البروكسي الخاص بنا كان قد انتهت صلاحيته من ناحية الفوترة، وجزء كبير من حركة مرورنا يمر عبر عناوين IP دوّارة تحديدًا كي لا نُحظر من المواقع التي تفرض حدودًا على معدّل الزحف. بلا بروكسي، لا صفحات جديدة، ولا إعلانات جديدة. المصادر لا تُعلن عن تعطّلها؛ إنها فقط تتوقف بهدوء عن إرجاع بيانات جديدة بينما تبقى إعلاناتها القديمة ظاهرة وكأنها حديثة.
هذا هو الجزء الذي لا يظهر في عدد الإعلانات على أي موقع سيارات، بما في ذلك موقعنا، ما لم تبحث عنه تحديدًا: يمكن لسوق "حي" أن تحتوي على صفوف قديمة بالية بجانب أخرى طازجة وتبدو متطابقة من الخارج. قمنا بربط عمليات الزحف الجديدة بفحص فعلي لصحة البروكسي حتى لا يؤدي مجمع بروكسي معطّل إلى تدهور الجودة أكثر بصمت، وأوقفنا مؤقتًا أجزاء من الجدول الزمني كانت ستزيد الطين بلة. هذا ليس عملًا برّاقًا. إنه من النوع الذي، إذا لم تسمع عنه أبدًا، يعني أن أحدهم كان يقوم بعمله كما ينبغي.
ملاحظة جانبية، لأنها تستحق أن تُقال بوضوح: أي موقع يدّعي رقم إعلانات ثابتًا ومستديرًا كل يوم بلا استثناء إما أنه ليس حيًّا فعليًا، أو لا يخبرك بأسابيع مثل هذا الأسبوع.
التجمّد
تجديد اشتراك البروكسي أصلح معظم المشكلة. ما لم أتوقعه هو أن يتجمّد الزاحف نفسه بعد أسابيع قليلة — بسبب جمود (deadlock) أثناء عملية إيقاف التشغيل، حيث بقيت ثمانية عشر من أصل تسعة عشر خيط عمل (worker threads) عالقة في futex_wait، بلا أي استهلاك للمعالج، لمدة 75 ساعة متواصلة. لا انهيار، لا سجل أخطاء يصرخ في وجه أحد. لا شيء يحدث فقط، بينما ظلت لوحة التحكم تعرض آخر عملية زحف ناجحة وكأنها لا تزال حالية. لم نكن قد ركّبنا بعد نظام مراقبة (watchdog) على ذلك الخادم تحديدًا، وهو نوع الجملة التي لا تكتبها إلا بعد أن يكون ما تصفه قد حدث لك بالفعل مرة واحدة.
قمنا ببناء نظام المراقبة. وأوقفنا الجدول الزمني مؤقتًا حتى تأكدنا من استقرار تجديد البروكسي، بدلًا من المخاطرة بعملية زحف نصف متدهورة تستبدل صفوفًا جيدة بأخرى سيئة بصمت — فالمصدر الذي يُزحف إليه تُستبدل إعلاناته، لا تُدمج، لذا فإن عملية زحف سيئة لا تفشل فقط في إضافة بيانات، بل يمكن أن تحذف فعليًا صفوفًا جيدة وتضع مكانها صفوفًا أسوأ. هذا التفاوت هو سبب تفضيلنا تشغيل بيانات قديمة ليوم واحد على تشغيل بيانات متدهورة.
أين استقر الرقم
إليك العدد اليوم، وشكل الأسابيع الستة التي أوصلتنا إلى هنا:
استقررنا عند 1,375 مصدرًا عبر 73 منطقة، تغذّي 1,108,535 إعلانًا حيًّا، منها 12,823 إعلانًا مصنّفًا حاليًا على أنه مُسعّر أقل من متوسط مجموعته الإقليمية. هذا أقل بنحو 90 مصدرًا من ذروة يوليو — فبعض المصادر الـ241 المتدهورة لم يعد بالكامل أبدًا، وعدد قليل منها كانت مواقع غيّرت في هذه الأثناء موقفها من مكافحة الزحف الآلي واحتاجت لإعادة بناء بدلًا من مجرد إعادة الاتصال. ما زلنا نعمل على إصلاح بعضها.
ما تستحقه هذه القصة فعليًا بالنسبة لك
لا شيء من هذا يغيّر السيارة التي يجب أن تشتريها. لكنه ينبغي أن يغيّر طريقة قراءتك لأي رقم "مخزون حي" على أي موقع سيارات، وليس موقعنا فقط. تتصدر فرنسا حاليًا عدد إعلاناتنا الإقليمي بـ67,569 إعلانًا، تليها اليابان عن قرب بـ61,940، وهذه الأرقام تتحرك — ليس لأن سوق السيارات المستعملة نفسه يتقلب بهذه السرعة، بل لأن البنية التحتية التي تراقبه تفعل. الإعلان الذي أصبح قديمًا منذ ثلاثة أيام بسبب تدهور أحد المصادر يبدو تمامًا كإعلان طازج، ما لم تكن المنصة صادقة بشأن هذا الفرق.
نفضّل أن نخبرك عن التجمّد الذي دام 75 ساعة على أن نتظاهر بأن رقمنا لا يتذبذب أبدًا. مجموعة بيانات لا تعترف أبدًا بأسبوع سيئ هي مجموعة بيانات ينبغي أن تشك فيها أكثر، لا أقل.
