É com satisfação que o DefCon-Lab anuncia o mapeamento global de todos os dispositivos ativos na Internet, considerando o espaço amostral do IPv4.
Histórico
Internet Census 2012:
Esse mapeamento foi inspirado no projeto Internet Census, realizado em 2012 pela Carna Botnet. Foram mapeados 460 milhões de endereços IPv4 que responderam à requisições ICMP ping requests entre junho e outubro de 2012. Até hoje os dados brutos estão disponíveis para download, além de analises e algumas estatísticas.
No aspecto técnico, esse foi um trabalho formidável, sobretudo se colocarmos em perspectiva que ele foi realizado há 6 anos.
Por outro lado, uma aspecto da metodologia do mapeamento realizado merece uma observação. A execução do mapeamento se estendeu por um período de 5 meses, o que permitiu que vários dispositivos com implementação de alocação dinâmica de endereços IP, como DHCP, por exemplo, tenha sido contabilizado mais de uma vez em diferentes endereços.
Shodan 2014 e 2016:
Em 2014 e em 2016 o fundador do Shodan, John Matherly, também inspirou-se no Internet Census e mapeou a Internet via ICMP. Contudo, ele apenas gerou o mapa, não explicou a metodologia e também não disponibilizou demais dados e estatísticas, tornando-se de pouco valor do ponto de vista acadêmico e de pesquisa.
Em 2016 John Matherly atualizou o mapeamento
Metodologia
O nosso mapeamento foi realizado por meio de envio de mensagens Echo request do protocolo ICMP. Foram considerados ativos os endereços que responderam com ICMP echo reply. Em síntese, foi executado o famoso comando ping em larga escala.
Para todos os endereços foram realizadas pelo menos duas tentativas de comunicação ICMP. O espaço amostral do IPv4 tem em torno de 4 bilhões de endereços, desconsiderando os endereços privados e não alocados (Bogons). O mapeamento foi realizado ao longo de 1 semana, a fim de reduzir a contagem duplicada de dispositivos com alocação dinâmica de endereços via DHCP, por exemplo. A geolocalização, o processamento e a compilação dos dados ocorreu em momento posterior ao mapeamento.
A geolocalização foi realizada a partir das bases profissionais GeoIP2 ISP Database e da GeoIP2 City Database, ambas da MaxMind.
IPv4 versus CGNAT
A exaustão dos endereços IPv4 na IANA e nos RIRs ocorreu respectivamente entre 2011 e 2014, o que forçou a adoção em larga escala de tecnologias de transição e de compatibilização com o uso simultâneo de IPv4 e IPv6. As operadoras de telecom e os provedores de serviço tem lançado mão do CGNAT (Carrier-grade NAT) como forma de mitigar a demanda de IPv4 acima da oferta de endereços. Essa solução é mais recorrente em alocação de endereços IPv4 para dispositivos móveis e para clientes residenciais de banda larga.
O grande problema para um mapeamento global é que isso gera uma relação de 1 endereço para dezenas ou mesmo centenas de dispositivos. Isso quebra o princípio de transporte fim-a-fim na comunicação entre cliente e servidor, pois os dispositivos estarão em uma rede privada atrás de um perímetro criado pelo CGNAT, impedindo a comunicação IPv4 com esses dispositivos a partir de uma requisição originada na Internet. Consequência da adoção do CGNAT é a diminuiução da quantidade de dispositivos acessíveis a partir de requisições originadas na Internet, ainda que o total de dispositivos conectados tenha aumentado desde os mapeamentos anteriores.
Apesar de diversas implementações paliativas das soluções de CGNAT, muitos protocolos e aplicações não funcionam sem a comunicação fim-a-fim, o que gera transtornos para os usuários que não possuem o dual stack IPv4 e IPv6 em pleno funcionamento em todos os casos. É sobretudo por causa dessas limitações que a implementação do CGNAT tem sido restrita a redes de dispositivos móveis e de banda larga doméstica, pois em ambiente de servidores é requisito que possa aceitar requisições originadas na Internet pelos clientes.
Resultados
Do espaço amostral do IPv4, obtivemos resposta ICMP echo reply de 376.768.929 dispositivos, cerca de 9,5% do total dos endereços disponíveis. O Internet Census mapeou 460 milhões de endereços, porém, devido ao longo períodos de coleta, muitos dispositivos podem ter sido contabilizados mais de uma vez em diferentes endereços IPs alocados dinamicamente.
Outro ponto que percebemos é que muitos dispositivos filtram (bloqueiam) mensagens do protocolo ICMP, mas estão on-line pois respondem em portas TCP/UDP. Percebemos isso ao comparar esse mapeamento com outros realizados anteriormente, como o Mapeamento Global do HTTPS. Filtrar ICMP, do nosso ponto de vista, pode trazer mais problemas do que soluções, mas o aprofundamento desse assunto será discutido em artigo futuro aqui no Lab.
A imagem a seguir apresenta o mapa de calor (heatmap) dos dados geolocalizados, onde foram considerados apenas pontos com mais de 5.000 endereços IP.
A imagem a seguir apresenta os mesmos dados, porém com a centração mínima de 500 registros por ponto.
A imagem a seguir apresenta o mapa de calor com centração mínima de 100 registros por ponto.
O Brasil aparece na 4ª posição mundial em termos de total de dispositivos ativos na Internet. São mais de 16,5 milhões de computadores, o que representa cerca de 4,4% do total.
Seul, na Coréia do Sul, é a cidade mais conectada do mundo, com aproximadamente 8,5 milhões de computadores ativos na Internet. A cidade de São Paulo aparece como a 6ª cidade mais conectada do mundo, seguida de Rio de Janeiro (34ª) e Belo Horizonte (88ª).
Os dois maiores ISPs do mundo, em termos de dispositivos ativos, são chineses: Chinanet e China Unicom, com cerca de 25 milhões de dispositivos cada ISP. No Brasil, a lista é liderada por Telefônica, Tim e Claro.
Em termos de unidade da federação, os três primeiros são: São Paulo, Minas Gerais e Rio de Janeiro. A surpresa é Roraima, que apresentou apenas 297 computadores ativos.
O infográfico abaixo apresenta o número de hosts ativos em diferentes perspectivas. Cada análise está em sua própria planilha e deve ser selecionada na parte inferior do gráfico. Os dados foram agregados por:
- Países;
- Top 200 cidades no mundo;
- Top 200 ISP no mundo;
- Top 300 ISP do Brasil
- Unidades da Federação do Brasil;
- Top 100 cidades brasileiras;
Clique aqui para visualizar os dados em tela cheia e com os filtros habilitados.
Numa visualização gráfica é possível observar a predominância dos quinze primeiros colocados entre os países, os quais somados correspondem à mais de 80% dos endereços respondentes do mapeamento global.
Visualizar mapa em tela cheia.
Conclusão
Os resultados observados em termos quantitativos são consistentes com o observado no Mapeamento Global do HTTPS, tanto na parte 1 quanto na parte 2.
As diferenças no total de dispositivos online encontrados em relação ao mapeamento do Internet Census são coerentes com as diferentes metodologias empregadas, sobretudo no aspecto temporal.
Além disso, o uso massivo de CGNAT como estratégia de compatibilização entre IPv4 e IPv6 tem afetado a comunicação fim-a-fim em IPv4.
Em muitos casos, ficou evidente que mensagens ICMP são filtradas, ainda que esse protocolo seja importante para manter a interoperabilidade da rede. Em comparação com outros mapeamentos realizados no Lab, observamos que alguns computadores não respondem por ICMP, mas se comunicam em portas UDP/TCP.
Mais uma vez demonstramos que é plenamente possível realizar esse tipo de mapeamento, desde que sejam integradas as tecnologias corretas e que haja conhecimento técnico profundo aplicado, um pouco de infraestrutura computacional, muita vontade de trabalhar e muito café.
Galeria de heatmaps:
Expect us 😈
We’ll come back Mr. Anderson!