Akamai respondeu a congestionamentos de tráfego na internet com um algoritmo em vez de servidores maiores

Em 1995, Tim Berners-Lee desafiou pesquisadores do MIT a resolver um problema que o próprio sucesso da web estava criando: sempre que um site se tornava popular rapidamente — notícias de última hora, lançamento de um produto, um link viral — o único servidor ou conjunto de servidores que o hospedava sucumbia sob a onda de acessos, um efeito que o setor chamava de flash crowd. A solução padrão era continuar comprando infraestrutura maior e mais centralizada, mas isso apenas elevava o teto; não mudava o fato de que toda requisição para uma determinada página ainda passava pelo mesmo local físico; e não fazia nada quanto ao congestionamento da rede no caminho até lá.

Tom Leighton, professor de matemática aplicada do MIT que trabalhava com algoritmos paralelos e teoria de redes, assumiu o problema com o estudante de pós-graduação Danny Lewin. A pergunta deles não era como tornar o servidor de origem maior, mas se a requisição precisava chegar ao servidor de origem — se o conteúdo poderia, em vez disso, ser encontrado perto de quem o estava pedindo, escolhido dinamicamente por uma fórmula em vez de por um local fixo e previamente atribuído.

Replicou conteúdo em milhares de servidores e encaminhou cada requisição para a cópia mais próxima e menos congestionada em tempo real, transformando um ponto de estrangulamento em um problema de roteamento.

Replicar conteúdo em milhares de servidores elimina o único ponto de estrangulamento que as multidões repentinas sobrecarregam.

O hashing consistente permite que o sistema reatribua requisições em torno de servidores com falha ou sobrecarregados em tempo real.

Encaminhar cada requisição para a cópia rápida mais próxima reduz o congestionamento da rede e a latência.

O custo escala com a capacidade agregada da rede, não com o pico no pior caso em um único local.

Quando um único ponto está sobrecarregado, não o amplie — pergunte se a requisição precisa chegar até ele e distribua o trabalho para muitos locais menores próximos da demanda, usando uma fórmula de roteamento para escolher o mais rápido.

A rede absorveu bilhões de requisições diárias redirecionando em torno do congestionamento; o IPO da Akamai em 1999 abriu a US$ 26, fechando perto de US$ 145 naquele dia. O modelo de cache de borda e roteamento distribuído da Akamai estabeleceu o padrão que toda grande CDN desde então — Cloudflare, Fastly, Amazon CloudFront — seguiu, e está na base da suposição, hoje tida como certa, de que um site pode atender um público global sem um único ponto de falha em seu núcleo.