SafeTensors transformou pesos de modelos de IA em dados, não em código executável

O compartilhamento aberto de modelos transformou os checkpoints em pickle do PyTorch em um canal de distribuição de confiança. O pickle era conveniente, mas a documentação de segurança do Hugging Face explica que a desserialização de pickle pode executar código, incluindo funções internas perigosas como eval ou exec.

O SafeTensors respondeu estreitando o formato. Ele armazena tensores com segurança, mantém o carregamento rápido por meio de acesso de cópia zero e permite o carregamento parcial, de modo que grandes fragmentos de modelo não precisam ser desserializados de uma só vez. A esperteza está na subtração: os pesos do modelo tornam-se apenas dados.

Após uma auditoria da Trail of Bits em 2023, Hugging Face, EleutherAI e Stability AI avançaram no sentido de tornar o SafeTensors o formato padrão de modelo salvo. A documentação lista amplo suporte de projetos, e as APIs de serialização do Hugging Face agora recomendam a serialização segura por razões de segurança.

Pesos nunca deveriam ser executados

Eliminou a execução arbitrária de código em vez de tentar colocar em lista de bloqueio importações maliciosas de pickle.

A cópia zero e o carregamento preguiçoso tornaram a segurança mais rápida, não mais lenta.

Uma superfície de formato minúscula tornou a auditoria externa viável.

Fluxos de conversão no hub permitiram que modelos existentes migrassem sem esperar que cada autor aprendesse uma nova ferramenta.

Quando um arquivo é compartilhado em escala de internet, remover toda uma classe de ataque supera tentar inspecionar cada arquivo perigoso.

O SafeTensors se espalhou pela pilha de ferramentas de IA à medida que os modelos abertos cresceram. A documentação do Hugging Face lista a adoção por Transformers, Diffusers, llama.cpp, ComfyUI e outros projetos, enquanto o post da auditoria de 2023 dizia que o Transformers passaria a salvar modelos em SafeTensors por padrão.