Hampir setiap hari saya membuka satu tab yang cuma menampilkan jumlah sumber data. Bukan yang tampilan bagus — tanpa grafik, tanpa filter, hanya angka di samping masing-masing dari 1.375 situs tempat kami menarik listing, lengkap dengan timestamp kapan terakhir masing-masing situs melapor. Kebanyakan hari, tampilannya membosankan — sebagaimana infrastruktur memang seharusnya membosankan. Musim panas ini tidak begitu, dan menurut saya cerita tentang apa yang salah ini lebih berguna buat Anda, sebagai orang yang sedang mencari mobil, dibanding kebanyakan artikel "cara membeli mobil bekas" yang bisa saja kami tulis. Ini tentang apa arti sebenarnya "data live" ketika yang memasoknya adalah 1.375 situs web terpisah yang sama sekali tidak berkewajiban apa pun kepada Anda.
Pertengahan Juli: angka yang membuat saya bangga
Pada pertengahan Juli, kami berhasil mendorong registry sumber data hingga 1.190 sumber di 73 region — hasil dari beberapa minggu merapikan entri duplikat dan tautan mati yang selama ini diam-diam menggelembungkan angka kami sendiri. Saya ingat berpikir bahwa 1.190 sumber nyata yang benar-benar melapor itu sesuatu yang patut dibanggakan. Itu jumlah yang besar untuk situs dealer perorangan, papan iklan baris, dan feed lelang, masing-masing dengan struktur HTML sendiri, rate limit sendiri, dan pendapat sendiri soal apakah scraper itu pelanggan atau serangan.
Lalu kampanye backlog yang sudah kami jalankan — mengerjakan daftar tunggu 683 sumber yang selama berbulan-bulan tertunda, sebagian diblokir, sebagian lagi memang belum pernah dibangun — mulai membuahkan hasil. Sepanjang paruh kedua Juli, 274 di antaranya berhasil dibangun dan dihubungkan. Menjelang akhir bulan, jumlah yang aktif bekerja naik menjadi 1.464. Itu jenis minggu yang layak di-screenshot.
Awal Agustus: 241 sumber, lenyap
Lalu datanglah angka yang merusak minggu Anda: semalaman, 241 sumber jatuh ke kondisi terdegradasi. Bukan karena ulah kami — akun penyedia proxy kami sudah lewat masa berlaku dari sisi tagihan, dan sebagian besar traffic kami memang dirutekan lewat IP berputar justru supaya kami tidak diblokir oleh situs yang membatasi laju scraper. Tanpa proxy, tidak ada halaman baru, tidak ada listing baru. Sumber data tidak pernah mengumumkan dirinya rusak; mereka hanya diam-diam berhenti mengirim data baru sementara listing lamanya tetap terpampang seolah masih up to date.
Inilah bagian yang tidak akan tampak dalam jumlah listing di situs mobil mana pun, termasuk milik kami, kecuali Anda memang mencarinya: sebuah marketplace yang "live" bisa saja punya baris data basi duduk berdampingan dengan yang segar, dan dari luar terlihat identik. Kami menahan setiap crawl baru agar bergantung pada hasil probe kesehatan proxy yang sesungguhnya, supaya pool yang mati tidak diam-diam makin menurunkan kualitas data, dan kami menjeda bagian jadwal yang justru akan memperparah keadaan. Ini bukan pekerjaan yang glamor. Ini jenis pekerjaan yang, kalau Anda tidak pernah mendengarnya, berarti seseorang sudah menjalankan tugasnya dengan baik.
Sebagai catatan tambahan, karena ini layak dikatakan terus terang: situs mana pun yang mengklaim jumlah listing tetap dan bulat setiap hari, itu berarti datanya sebenarnya tidak live, atau mereka tidak memberi tahu Anda soal minggu-minggu seperti ini.
Kebekuan
Perpanjangan proxy memperbaiki sebagian besar masalah. Yang tidak saya duga adalah crawler-nya sendiri malah macet total beberapa minggu kemudian — sebuah deadlock saat teardown, delapan belas dari sembilan belas worker thread terjebak di futex_wait, nol pemakaian CPU, selama 75 jam berturut-turut. Tidak ada crash, tidak ada log error yang berteriak ke siapa pun. Cuma... tidak terjadi apa-apa, sementara dashboard terus menampilkan pass terakhir yang berhasil seolah itu masih data terkini. Kami belum sempat memasang watchdog di host tertentu itu — kalimat yang hanya Anda tulis setelah hal yang dijelaskannya sudah lebih dulu terjadi pada Anda.
Kami pun membangun watchdog itu. Kami menjeda jadwal sampai perpanjangan proxy terkonfirmasi stabil, alih-alih mengambil risiko crawl separuh terdegradasi yang diam-diam menggantikan baris data bagus dengan yang buruk — sumber yang di-crawl akan mengalami listing-nya digantikan, bukan digabungkan, jadi pass yang buruk bukan cuma gagal menambah data, tapi bisa aktif menghapus baris bagus dan menggantinya dengan yang lebih buruk. Asimetri itulah alasan kami lebih memilih menjalankan data basi selama sehari daripada menjalankan yang terdegradasi.
Ke mana angka itu berujung
Berikut jumlahnya hari ini, dan bentuk enam minggu yang membawa kami sampai ke titik ini:
Kami berakhir di 1.375 sumber di 73 region, memasok 1.108.535 listing live, dengan 12.823 di antaranya saat ini ditandai berharga di bawah kelompok regionalnya. Itu kira-kira 90 sumber lebih sedikit dibanding puncak Juli — sebagian dari 241 sumber yang terdegradasi tidak pernah pulih sepenuhnya, segelintir lainnya adalah situs yang sementara itu mengubah sikap anti-bot mereka sehingga perlu dibangun ulang, bukan sekadar disambungkan kembali. Kami masih mengerjakan beberapa di antaranya.
Apa arti sebenarnya semua ini bagi Anda
Tidak satu pun dari ini mengubah mobil mana yang seharusnya Anda beli. Tapi ini seharusnya mengubah cara Anda membaca angka "inventaris live" di situs mobil mana pun, bukan cuma milik kami. Prancis saat ini menempati posisi teratas dalam jumlah regional kami dengan 67.569 listing, disusul dekat oleh Jepang dengan 61.940, dan angka-angka itu bergerak — bukan karena pasar mobil bekas itu sendiri berubah secepat itu, melainkan karena infrastruktur yang mengawasinya yang berubah. Listing yang sudah basi tiga hari karena sumbernya terdegradasi akan terlihat persis seperti yang segar, kecuali platformnya jujur soal perbedaan itu.
Kami lebih memilih memberi tahu Anda soal kebekuan 75 jam itu daripada berpura-pura angka kami tidak pernah goyah. Sebuah dataset yang tidak pernah mengakui minggu yang buruk justru dataset yang seharusnya lebih Anda curigai, bukan sebaliknya.
