ברוב הימים יש לי טאב פתוח שמציג רק ספירת מקורות. שום דבר מיוחד — בלי גרפים, בלי מסננים, רק מספר ליד כל אחד מ-1,375 האתרים שמהם אנחנו שואבים מודעות, וחותמת זמן שמראה מתי כל אחד מהם התעדכן לאחרונה. ברוב הימים זה משעמם, בדיוק כמו שתשתית אמורה להיות משעממת. הקיץ הזה זה לא היה כזה, ואני חושב שהסיפור של מה שהשתבש שימושי לכם, כמי שמחפשים רכב, יותר מרוב עצות ה"איך לקנות רכב יד שנייה" שיכולנו לכתוב במקום. הוא עוסק במה ש"נתונים חיים" באמת אומרים כשהדבר שמזין אותם הוא 1,375 אתרים נפרדים שלא חייבים לכם כלום.
אמצע יולי: המספר שהתגאיתי בו
עד אמצע יולי דחפנו את מרשם המקורות ל-1,190 מקורות ב-73 אזורים — תוצאה של כמה שבועות של איחוד כפילויות וניקוי קישורים מתים שניפחו בשקט את הספירה שלנו. אני זוכר שחשבתי ש-1,190 מקורות אמיתיים ומעודכנים הם משהו להתגאות בו. מדובר בהמון אתרי סוחרים בודדים, לוחות מודעות מסווגות ופיד מכירות פומביות, וכל אחד מהם עם מבנה HTML משלו, הגבלות קצב משלו, ודעה משלו על השאלה אם זחלן הוא לקוח או התקפה.
ואז קמפיין שהרצנו לטיפול בפיגורים — עבודה על רשימת המתנה של 683 מקורות שהמתינו בדחייה במשך חודשים, חלקם חסומים וחלקם פשוט לא נבנו מעולם — התחיל להניב תוצאות. במחצית השנייה של יולי נבנו וחוברו 274 מהם. עד סוף החודש מספר המקורות הפעילים עלה ל-1,464. זה השבוע שמצלמים לו מסך.
תחילת אוגוסט: 241 מקורות, נעלמו
ואז המספר שהורס לכם את השבוע: בן לילה, 241 מקורות צנחו למצב פגום. לא בגלל שום דבר שעשינו — החשבון של ספק הפרוקסי שלנו פג מבחינת החיוב, וחלק עצום מהתעבורה שלנו עובר דרך כתובות IP מתחלפות בדיוק כדי שלא ניחסם על ידי אתרים שמגבילים זחלנים. בלי פרוקסי, בלי דפים טריים, בלי מודעות טריות. מקורות לא מכריזים שהם שבורים; הם פשוט מפסיקים בשקט להחזיר נתונים חדשים בזמן שהמודעות הישנות שלהם נשארות שם ונראות עדכניות.
זה החלק שלא בא לידי ביטוי בספירת מודעות באף אתר רכב, כולל שלנו, אלא אם כן מחפשים אותו במיוחד: שוק "חי" יכול להכיל שורות ישנות לצד שורות טריות ולהיראות זהה מבחוץ. חסמנו הפעלות זחילה חדשות בבדיקת תקינות פרוקסי בפועל, כדי שמאגר מת לא יפגע עוד יותר באיכות בשקט, והשהינו את חלקי הלוח שהיו מחמירים את המצב. זו לא עבודה מרשימה. זה סוג הדבר שאם לעולם לא שומעים עליו, זה סימן שמישהו עשה את העבודה שלו.
הערת אגב, כי שווה לומר את זה בפירוש: כל אתר שמצהיר על מספר מודעות קבוע ועגול בכל יום ויום, הוא או שלא באמת חי, או שהוא פשוט לא מספר לכם על שבועות כמו זה.
הקיפאון
חידוש הפרוקסי תיקן את רוב הבעיה. מה שלא ציפיתי לו היה שהזחלן עצמו יינעל כמה שבועות אחר כך — מבוי סתום (deadlock) בשלב הפירוק, כאשר שמונה-עשר מתוך תשעה-עשר תהליכי עבודה ישבו ב-futex_wait, אפס ניצול מעבד, במשך 75 שעות רצופות. בלי קריסה, בלי יומן שגיאות שצועק על מישהו. פשוט... שום דבר לא קורה, בזמן שלוח הבקרה המשיך להציג את המעבר המוצלח האחרון כאילו הוא עדכני. עדיין לא התקנו שומר-סף (watchdog) על השרת הספציפי הזה, וזה בדיוק סוג המשפט שכותבים רק אחרי שהדבר שהוא מתאר כבר קרה לכם פעם אחת.
בנינו את שומר הסף. השהינו את הלוח עד שווידאנו שחידוש הפרוקסי יציב, במקום לקחת סיכון שזחילה חצי-פגומה תחליף בשקט שורות טובות בשורות רעות — מקור שנסרק מקבל את המודעות שלו מוחלפות, לא ממוזגות, כך שמעבר גרוע לא רק נכשל בהוספת נתונים, הוא יכול למחוק באופן פעיל שורות טובות ולהחליף אותן בגרועות יותר. חוסר הסימטריה הזה הוא הסיבה שנעדיף להריץ נתונים מיושנים ליום אחד על פני להריץ נתונים פגומים.
איפה המספר נחת
הנה הספירה של היום, וצורתם של ששת השבועות שהביאו אותנו לכאן:
נחתנו על 1,375 מקורות ב-73 אזורים, שמזינים 1,108,535 מודעות חיות, כאשר 12,823 מהן מסומנות כרגע כמתומחרות מתחת לקבוצת הייחוס האזורית שלהן. זה בערך 90 מקורות פחות משיא יולי — חלק מ-241 המקורות הפגומים לא התאוששו במלואם לעולם, וקומץ מהם היו אתרים ששינו בינתיים את היחס שלהם כלפי חסימת בוטים, ודרשו בנייה מחדש במקום חיבור מחדש. אנחנו עדיין עובדים על כמה מהם.
מה כל זה שווה עבורכם בפועל
שום דבר מכל זה לא משנה איזה רכב כדאי לכם לקנות. אבל זה כן אמור לשנות את האופן שבו אתם קוראים כל מספר "מלאי חי" באתר רכב כלשהו, לא רק שלנו. צרפת נמצאת כרגע בראש ספירת האזורים שלנו עם 67,569 מודעות, יפן קרובה מאחור עם 61,940, והמספרים האלה זזים — לא כי שוק הרכבים המשומשים עצמו משתנה כל כך מהר, אלא כי התשתית שעוקבת אחריו משתנה. מודעה שמיושנת בשלושה ימים בגלל שמקור היה פגום, נראית בדיוק כמו מודעה טרייה, אלא אם הפלטפורמה כנה לגבי ההבדל.
אנחנו מעדיפים לספר לכם על הקיפאון של 75 השעות מאשר להעמיד פנים שהמספר שלנו לעולם לא מתנדנד. מאגר נתונים שלעולם לא מודה בשבוע גרוע הוא מאגר שכדאי לכם לחשוד בו יותר, לא פחות.
