Passei a maior parte do meu tempo com carros usados — 1,1 milhão de anúncios, 73 regiões, a rotina de sempre de quedas de preço e reanúncios. Então, quando os dados imobiliários começaram a aparecer nos mesmos painéis que uso para carros, eu não esperava que prendessem minha atenção. Mas prenderam, por motivos que nada tinham a ver com o plano original.
Eis o registro, mais ou menos na ordem em que realmente percebi as coisas.
Dia um: o número que não se mexe
A primeira coisa que verifico em qualquer feed novo é o total, porque totais mentem menos do que qualquer outra coisa neste negócio. O setor imobiliário estava em 601.702 anúncios. Tudo bem. Depois eu dividi por região e o número deixou de parecer um lançamento global e passou a parecer um projeto de um único país com um erro de arredondamento anexado: só o Japão respondia por 588.644 desses anúncios. Isso é 97,8% de tudo no feed.
Para efeito de comparação, nossos dados de carros abrangem 73 regiões sem que nenhuma ultrapasse 6% do total (a França, nossa maior, tem 67.569 de 1,1 milhão — cerca de 6,1%). O setor imobiliário está operando com dezesseis vezes essa concentração. Fiquei em dúvida se isso era um bug no marcador de região até lembrar o que realmente impulsiona isso: os próprios portais imobiliários do Japão listam um volume enorme de akiya, as casas rurais abandonadas ou quase abandonadas que o governo vem tentando repassar há anos, muitas vezes a preços que fazem um Corolla usado parecer uma compra de luxo. Os portais são minuciosos, legíveis por máquina e enormes. Os de todos os outros países ainda não são.
Dia dois: procurando os outros 2,2%
Eu queria saber como era "todo o resto", então separei as regiões fora do Japão e as coloquei lado a lado.
O Egito supera a Alemanha, o que me surpreendeu — eu teria apostado que um mercado grande e bem documentado como o alemão dominaria uma amostra aleatória antes do Cairo. O Sri Lanka também se mantém firme na casa dos quatro dígitos. Depois há um precipício: os quatro países da América Central — Guatemala, Nicarágua, Panamá e El Salvador — ficam em 80, 80, 80 e 78.
Dia três: três números idênticos nunca são coincidência
Esse precipício foi o que realmente me fez parar. Três países caindo exatamente na mesma contagem não é um sinal de mercado, é uma impressão digital. Quando Guatemala, Nicarágua e Panamá mostram precisamente 80 anúncios cada, isso não é três economias convergindo para o mesmo tamanho de estoque — é uma única fonte a montante com um limite rígido de 80 páginas, alimentando as três da mesma forma. O 78 de El Salvador é o indício que confirma isso: próximo o suficiente para ser a mesma fonte, diferente o suficiente para provar que não é um erro de copiar e colar no nosso próprio pipeline. Em algum lugar existe um agregador imobiliário regional que limita as páginas de resultados gratuitas a cerca de 80 anúncios por país, e até que a gente o contorne — buscando direto na fonte em vez do agregador, ou paginando além do muro que ele impõe — esses quatro países vão parecer igualmente minúsculos, não importa como sejam seus mercados reais.
Essa é a parte nada glamorosa de construir qualquer novo conjunto de dados com honestidade: os primeiros números que você obtém não são o mercado, são o formato das suas fontes atuais. Prefiro descobrir isso na primeira semana a publicar um post de "os menores mercados imobiliários da América Central" construído sobre o limite de páginas de um scraper.
Dia quatro: o que realmente me surpreendeu
Não foi a concentração no Japão — eu já meio que esperava isso, dado o quanto do nosso próprio sinal imobiliário já vinha de fontes japonesas no lado automotivo do negócio. O que me surpreendeu foi o quão legível o problema de qualidade de dados era, sem nenhuma ferramenta especial. Você não precisa de formação em estatística para identificar três 80 seguidos. Só precisa olhar os números em ordem, que é basicamente do que se trata este trabalho.
Isso também recolocou em perspectiva algo sobre nossos dados de carros que eu tinha parado de notar por estar acostumado: 73 regiões com dispersão genuína, nenhuma região acima de 6,1%, 1.375 fontes independentes alimentando tudo isso — essa distribuição não é o estado natural de um conjunto de dados raspado, são oito anos contornando deliberadamente exatamente o tipo de muro de agregador que acabou de aparecer no dia três do feed imobiliário. Cada uma dessas 73 regiões começou parecendo a Guatemala.
Onde as coisas estão agora
O setor imobiliário ainda não é um produto — é um sinal que estamos observando enquanto o lado automotivo continua rodando, uma linha em um roteiro mais longo rumo a uma cobertura imobiliária mais ampla. Mas uma semana observando-o se preencher foi um bom lembrete da ordem em que as operações realmente acontecem: colocar o feed no ar, desconfiar de números redondos, encontrar o muro e então construir uma forma de superá-lo. O Japão vai deixar de ser 97,8% deste feed da mesma forma que a França, e não os Emirados Árabes Unidos nem o Japão, acabou no topo das nossas contagens de carros — adicionando fontes até que nenhuma consiga dominar o total por acidente.
