Akamai beantwortete Staus im Internetverkehr mit einem Algorithmus statt mit größeren Servern

1995 forderte Tim Berners-Lee MIT-Forscher heraus, ein Problem zu lösen, das der Erfolg des Webs selbst erzeugte: Wann immer eine Website schnell populär wurde – Eilmeldungen, eine Produkteinführung, ein viraler Link –, brach der einzelne Server oder Serververbund, der sie hostete, unter dem Ansturm zusammen, ein Effekt, den die Branche Flash Crowd nannte. Die übliche Lösung bestand darin, immer größere, zentralere Infrastruktur zu kaufen, doch das hob nur die Obergrenze an; es änderte nichts an der Tatsache, dass jede Anfrage für eine bestimmte Seite weiterhin durch denselben physischen Standort floss; und es tat nichts gegen die Netzüberlastung auf dem Weg dorthin.

Tom Leighton, ein Professor für Angewandte Mathematik am MIT, der an parallelen Algorithmen und Netzwerktheorie arbeitete, nahm sich des Problems mit dem Doktoranden Danny Lewin an. Ihre Frage war nicht, wie man den Ursprungsserver größer machen könnte, sondern ob die Anfrage den Ursprungsserver überhaupt erreichen musste – ob der Inhalt stattdessen in der Nähe desjenigen gefunden werden konnte, der ihn anfragte, dynamisch ausgewählt durch eine Formel statt durch einen festen, vorab zugewiesenen Standort.

Inhalte wurden über Tausende von Servern repliziert und jede Anfrage in Echtzeit an die nächstgelegene, am wenigsten überlastete Kopie geleitet, wodurch ein Engpass zu einem Routingproblem wurde.

Die Replikation von Inhalten über Tausende von Servern beseitigt den einzelnen Engpass, den Flash Crowds überwältigen.

Konsistentes Hashing ermöglicht es dem System, Anfragen in Echtzeit um ausgefallene oder überlastete Server herum neu zuzuweisen.

Die Weiterleitung jeder Anfrage an die nächstgelegene schnelle Kopie verringert Netzüberlastung und Latenz.

Die Kosten skalieren mit der aggregierten Netzkapazität, nicht mit der Spitzenlast im schlimmsten Fall an einem Standort.

Wenn ein einzelner Punkt überlastet ist, vergrößere ihn nicht – frage, ob die Anfrage ihn überhaupt erreichen muss, und verteile die Arbeit auf viele kleinere Standorte in der Nähe der Nachfrage, wobei eine Routingformel den schnellsten auswählt.

Das Netzwerk absorbierte Milliarden täglicher Anfragen, indem es den Verkehr um Überlastungen herum umleitete; Akamais Börsengang 1999 eröffnete bei 26 US-Dollar und schloss an diesem Tag nahe 145 US-Dollar. Akamais Modell des Edge-Cachings und des verteilten Routings setzte das Muster, dem jeder große CDN seitdem gefolgt ist – Cloudflare, Fastly, Amazon CloudFront –, und es liegt der inzwischen als selbstverständlich geltenden Annahme zugrunde, dass eine Website ein globales Publikum ohne einen einzigen Ausfallpunkt in ihrem Kern bedienen kann.