Kunin natin ang isang sasakyang na-flag ngayong linggo: isang mid-size na Japanese sedan, limang taon na gulang, katamtaman ang mileage, na-lista ng humigit-kumulang 12% mas mababa sa pinapahintulot na presyo ng eksaktong parehong sasakyan sa sarili nitong lungsod. Wala namang kakaiba sa listing na sasabihing bargain ito. Kung pagsunud-sunurin ayon sa presyo, hindi pa ito kasama sa unang pahina, dahil marami namang mas matanda at mas gasgas na sasakyan ang mas mura sa tingin. Lumitaw ito dahil sa kung paano ito binabasa ng pipeline — kaya't tignan natin ang pipeline na iyon nang paunti-unti, yugto por yugto, gamit ang sasakyang ito bilang halimbawa.
Unang Yugto: Dumarating ang Listing
Binabantayan ng aming mga crawler ang 1,375 na pinagmumulan (sources) sa 73 na market — mga marketplace, dealer site, auction house — na sa kasalukuyan ay umaabot sa 1,108,535 live na listing. Dumating ang sedan mula sa isang classifieds site bilang free text: isang title na may make at model na baybay sa isa sa ilang paraan na ginagamit ng mga seller, isang presyo sa lokal na currency, mileage sa kung anumang unit ang ginagamit sa market na iyon, at isang description.
Unang gawain: gawing maihahambing ang row. Ang mga make at model na nasa free text ay ini-map sa mga canonical family (alam ng aming normalization layer na isang dosenang baybay sa iba't ibang script at wika ay iisa lang na sasakyan), nino-normalize ang mga currency at unit, at bumabagsak ang mga halatang duplicate sa loob ng parehong source. Kung wala ang yugtong ito, wala sa mga susunod na proseso ang gagana — hindi mo maikukumpara ang isang sasakyan sa cohort nito kung hindi mo matiyak kung saang cohort ito nabibilang.
Ikalawang Yugto: Bumubuo ang Cohort
Ang cohort ng sedan ay bawat live na listing na may parehong market, parehong canonical model, at parehong year band, na may mileage na nasa maihahambing na bracket. Hindi "mga sedan na katulad nito." Hindi rin isang national average. Ito ang aktwal na set ng mga alternatibo na maaaring ikumpara ng isang tunay na mamimili sa lungsod na iyon ngayong linggo.
Ito ang bahaging kadalasang nilalaktawan ng karamihan ng price guide. Ang book value ay isang national abstraction; ang cohort naman ay ang lokal, kasalukuyan, at likidong katotohanan. Kapag malalim ang cohort — at sa malalaking market, karaniwan namang malalim ito — ang median asking price ng mga sasakyang iyon ang pinaka-matapat na kahulugan ng "market price" na maaaring makuha kahit saan, dahil ito ay itinakda ng mga seller na nagkukumpitensya para sa parehong mga mamimili sa parehong sandali.
Ikatlong Yugto: Madalas na Sumasagot ng Hindi ang mga Filter
Ang presyo ng sedan ay 12% mas mababa sa median ng cohort nito. Hindi sapat iyon para makakuha ng badge, dahil ang pinakamalalim na diskwento sa anumang market ay karaniwang dominado ng mga bagay na hindi mo gusto:
- Mga error. Isang nawawalang zero, isang presyo sa maling currency, isang placeholder ng dealer. Ang isang sasakyang 70% mas mababa sa market ay itinuturing na typo hanggang mapatunayan ang kabaligtaran, kaya't tuwirang tinatanggihan ang mga imposibleng diskwento.
- Mga naipaliwanag na diskwento. Ang mataas na mileage ay nagpapaliwanag ng mababang presyo; nahuhuli ito ng cohort bracketing sa karamihan ng pagkakataon, at kung ano man ang nakakalusot ay tinitignan pa rin laban sa mileage nang tuwiran. Ang mura-dahil-gasgas ay hindi isang deal.
- Ingay na hindi para sa benta. Mga row ng auction ledger, mga sasakyang parts, mga phrase na "for parts," mga de-fleet na rental na kakaiba ang pagkalista — nakikilala at kino-quarantine ang mga ito bago pa nila mababa ang median ng isang cohort o magkunwaring sila mismo ay bargain.
- Manipis na cohort. Kung iilan lang na maihahambing na sasakyan ang mayroon, ang median ay isang tsismis lamang, at mas gugustuhin naming manahimik kaysa mag-flag laban sa isang tsismis.
Pagkatapos ng lahat ng pag-aalis na iyon, mula sa 1.1 milyong live na listing, humigit-kumulang 12,800 ang kasalukuyang nagsusuot ng badge — bahagyang lampas sa 1%. Mas maraming listing ang tinatanggihan ng mga filter kaysa sa pinapayagan nila, at ang rejection rate na iyon mismo ang produkto. Kahit sino ay kayang mag-sort ayon sa presyo; ang trabaho ay nasa kung ano ang itinatapon.
Ikaapat na Yugto: Ang Badge, at Kung Ano ang Hindi Nito Sinasabi
Nakapasa ang sedan: kapani-paniwalang diskwento, malalim na cohort, karaniwang mileage, malinis na source. Ipinapakita ito sa deals page kasama ang diskwentong nakasaad laban sa sarili nitong cohort.
Mahalagang maging tiyak kung ano ang ibig sabihin ng badge na iyon. Ibig sabihin nito: na-presyuhan nang mas mababa kaysa sa mga maihahambing na live na listing sa sarili nitong market, na walang makikitang paliwanag sa datos. Hindi ito nangangahulugang na-inspeksyon na ang sasakyan, o masaya ang gearbox nito, o santo ang seller. Nahahanap ng badge ang karayom; kailangan pa ring suriin ng mamimili ang karayom na iyon. Ang history report at pisikal na inspeksyon ay nananatiling bahagi ng deal na dapat mong gawin.
At ang specimen sedan? Na-flag noong Martes, wala na noong Biyernes. Iyan ang pattern sa mga tunay na deal — na siya mismong kapaki-pakinabang na senyales. Ang mga na-flag na sasakyan na tumatagal ng ilang linggo ay karaniwang may dahilan na hindi makikita ng datos, at ang mga nawawala sa loob lang ng ilang araw ay ang market na sumasang-ayon sa matematika.
Tumatakbo ang buong sistema pagkatapos ng bawat crawl, sa bawat market, mula sa parehong normalized na dataset. Isang loop, 73 market, at isang badge na kailangang makaligtas sa apat na yugto ng "hindi" bago mo pa ito makita.
