Halos araw-araw akong may bukas na tab na nagpapakita lamang ng source counts. Hindi 'yung magandang tingnan — walang charts, walang filters, isang numero lang sa tabi ng bawat isa sa 1,375 na site kung saan kami kumukuha ng listing, kasama ang timestamp kung kailan huling nag-check-in ang bawat isa. Karamihan ng araw, nakakainip ito sa paraang dapat talagang nakakainip ang infrastructure. Ngunit hindi ganito ang tag-init na ito, at sa palagay ko mas may silbi sa iyo, bilang isang taong naghahanap ng kotse, ang kuwento kung ano ang nasira kaysa sa karamihan ng "paano bumili ng gamit na kotse" na payo na maaari sana naming isulat. Ito ay tungkol sa kung ano talaga ang ibig sabihin ng "live data" kapag ang pinagmumulan nito ay 1,375 hiwalay na website na wala talagang obligasyon sa iyo.
Kalagitnaan ng Hulyo: ang bilang na ipinagmalaki ko
Bandang kalagitnaan ng Hulyo, naitaas namin ang source registry sa 1,190 sources sa 73 rehiyon — resulta ng ilang linggong pag-aayos ng mga duplicate entries at patay na link na tahimik na nagpapalaki ng sarili naming bilang. Naaalala ko pang naisip ko na dapat ipagmalaki ang 1,190 na tunay, naka-check-in na sources. Marami 'yan — indibiduwal na dealer site, classifieds board, at auction feed, bawat isa may sariling HTML structure, sariling rate limit, at sariling opinyon kung ang isang scraper ay isang customer o isang atake.
Pagkatapos, may backlog campaign kaming pinapatakbo — pagproseso ng waitlist na may 683 sources na matagal nang naka-pending, ang iba blocked, ang iba naman hindi pa talaga nagawa — na nagsimulang matapos. Sa ikalawang kalahati ng Hulyo, 274 sa mga iyon ang naitayo at nakonekta. Pagsapit ng katapusan ng buwan, umakyat ang working count sa 1,464. Ganoong klase ng linggo ang kino-screenshot mo.
Unang bahagi ng Agosto: 241 sources, naglaho
Pagkatapos, dumating ang numerong sumisira sa buong linggo mo: magdamag, bumagsak ang 241 sources sa degraded state. Hindi dahil sa ginawa namin — nag-lapse ang billing ng aming proxy provider, at malaking bahagi ng aming traffic ay dumadaan sa rotating IPs mismo para hindi kami ma-block ng mga site na naglalagay ng rate limit sa mga scraper. Walang proxies, walang bagong pages, walang bagong listings. Ang mga sources ay hindi nag-aanunsyo na sira sila; tahimik lang silang huminto sa pagbalik ng bagong data habang ang lumang listings nila ay nananatili roon na parang bago pa rin.
Ito ang bahaging hindi lumalabas sa listings count ng anumang car site, kasama na ang amin, maliban kung hahanapin mo talaga: ang isang "live" na marketplace ay maaaring may lumang rows na katabi ng bagong mga rows at magmukhang magkatulad mula sa labas. Ginawa naming kondisyon ang bagong crawl dispatches sa isang aktwal na proxy health probe para hindi tahimik na lumala pa ang kalidad dahil sa patay na pool, at itinigil namin ang mga bahagi ng schedule na sana lalo pa itong pasasamain. Hindi ito kaakit-akit na gawain. Ito ang uri ng bagay na kung hindi mo naririnig, ibig sabihin ay ginawa ng isang tao ang trabaho niya.
Isang paglihis, dahil sulit itong sabihing tuwiran: ang anumang site na nag-aangkin ng fixed, round na bilang ng listings araw-araw ay maaaring hindi talaga live, o hindi sinasabi sa iyo ang tungkol sa mga linggong tulad nito.
Ang pag-freeze
Naayos ng proxy renewal ang karamihan nito. Ang hindi ko inaasahan ay ang crawler mismo ang mag-lo-lock up ilang linggo pa ang lumipas — isang teardown deadlock, labingwalo sa labinsiyam na worker threads ay nakaupo sa futex_wait, zero CPU ang nagagamit, sa loob ng magkakasunod na 75 oras. Walang crash, walang error log na sumisigaw kaninuman. Wala lang talagang nangyayari, habang patuloy na ipinapakita ng dashboard ang huling matagumpay na pass na parang kasalukuyan pa rin ito. Hindi pa namin nailagay ang watchdog sa partikular na host na iyon, na uri ng pangungusap na maisusulat mo lamang kapag ito na mismong nangyari sa iyo nang minsan.
Ginawa namin ang watchdog. Itinigil namin ang schedule hanggang makumpirma na matatag na ang proxy renewal sa halip na ipagsapalaran ang kalahating-degraded na crawl na tahimik na papalitan ang magagandang rows ng masasama — kapag na-crawl ang isang source, ang mga listing nito ay pinapalitan, hindi pinagsasama, kaya ang isang masamang pass ay hindi lang nabibigong magdagdag ng data — aktibo pa nga nitong maburang ang magagandang rows at ilagay ang mas masasama sa lugar nila. Ang asymmetry na 'yan ang dahilan kung bakit mas gugustuhin naming tumakbo nang lipas na sa loob ng isang araw kaysa tumakbo nang degraded.
Kung saan napunta ang bilang
Narito ang bilang ngayon, at ang hugis ng anim na linggong dinaanan namin para makarating dito:
Napunta kami sa 1,375 sources sa 73 rehiyon, nagpapakain ng 1,108,535 live listings, na may 12,823 kasalukuyang naka-flag bilang mas mababa ang presyo kumpara sa kanilang regional cohort. Iyon ay humigit-kumulang 90 sources na kulang kumpara sa peak noong Hulyo — ang ilan sa 241 na na-degrade ay hindi na lubusang bumalik, ang ilan naman ay mga site na nagbago ng kanilang anti-bot na posisyon sa nakalipas na panahon at kailangang muling itayo sa halip na ikonekta lang ulit. Patuloy pa rin kaming nagtatrabaho sa ilan sa mga ito.
Ano talaga ang halaga nito para sa iyo
Wala sa mga ito ang nagbabago kung anong kotse ang dapat mong bilhin. Ngunit dapat baguhin nito kung paano mo babasahin ang anumang "live inventory" na numero sa anumang car site, hindi lang sa amin. Nasa itaas ngayon ang France sa aming regional count na may 67,569 listings, kasunod nang malapit ang Japan na may 61,940, at gumagalaw ang mga numerong ito — hindi dahil kumikilos nang ganoon kabilis ang gamit na kotse market mismo, kundi dahil kumikilos ang infrastructure na nagmamasid dito. Ang isang listing na tatlong araw nang lumang dahil sa isang degraded source ay magmumukhang eksaktong tulad ng bago maliban kung tapat ang platform tungkol sa pagkakaiba.
Mas gugustuhin naming sabihin sa iyo ang tungkol sa 75-oras na pag-freeze kaysa magkunwaring hindi kailanman umaalog ang aming numero. Ang isang dataset na hindi kailanman umaamin sa isang masamang linggo ay isang dataset na dapat mong pagdudahan nang higit pa, hindi mas kaunti.
