SafeTensors machte KI-Modellgewichte zu Daten, nicht zu ausführbarem Code

Das offene Teilen von Modellen machte PyTorch-Pickle-Checkpoints zu einem Vertriebskanal für Vertrauen. Pickle war praktisch, doch die Sicherheitsdokumentation von Hugging Face erklärt, dass das Deserialisieren von Pickle Code ausführen kann, einschließlich gefährlicher Built-ins wie eval oder exec.

SafeTensors antwortete darauf, indem es das Format verengte. Es speichert Tensoren sicher, hält das Laden durch Zero-Copy-Zugriff schnell und ermöglicht partielles Laden, sodass große Modell-Shards nicht alle auf einmal deserialisiert werden müssen. Das Clevere daran ist die Subtraktion: Modellgewichte werden zu reinen Daten.

Nach einem Audit von Trail of Bits im Jahr 2023 gingen Hugging Face, EleutherAI und Stability AI dazu über, SafeTensors zum Standardformat für gespeicherte Modelle zu machen. Die Dokumentation nennt breite Projektunterstützung, und die Serialisierungs-APIs von Hugging Face empfehlen aus Sicherheitsgründen inzwischen sichere Serialisierung.

Gewichte sollten niemals ausgeführt werden

Es beseitigte die Ausführung beliebigen Codes, statt zu versuchen, bösartige Pickle-Importe auf eine schwarze Liste zu setzen.

Zero-Copy und Lazy Loading machten Sicherheit schneller, nicht langsamer.

Eine winzige Formatoberfläche machte externe Audits praktikabel.

Hub-Konvertierungs-Workflows ermöglichten bestehenden Modellen die Migration, ohne dass jeder Autor erst ein neues Werkzeug erlernen musste.

Wenn eine Datei im Internet-Maßstab geteilt wird, ist es besser, eine ganze Angriffsklasse zu beseitigen, als zu versuchen, jede gefährliche Datei zu prüfen.

SafeTensors verbreitete sich mit dem Wachstum offener Modelle im gesamten KI-Tooling-Stack. Die Hugging-Face-Dokumentation nennt die Übernahme durch Transformers, Diffusers, llama.cpp, ComfyUI und andere Projekte, während der Audit-Beitrag von 2023 erklärte, Transformers werde dazu übergehen, Modelle standardmäßig in SafeTensors zu speichern.