Facebook构建Haystack在内存中存储数十亿照片及元数据

到2010年，Facebook已上传超过650亿张照片——考虑到所有尺寸，总计2600亿张图像——并且每周新增10亿张。在旧有的网络附加存储上，每次读取都需要多次磁盘操作来将文件名转换为inode并加载元数据，因此元数据访问成为吞吐量瓶颈。

Haystack的设计颠覆了这一点：照片按顺序追加到大文件中（即“稻草堆”），每张照片是“一根针”，只带几个字节的元数据——足以定位它。所有元数据都加载到主内存中，因此一次读取最多访问磁盘一次。由于照片写一次、读多次、从不修改且很少删除，追加式布局完美匹配这一工作负载。

Haystack还在存储机器之间复制照片以实现容错，并减少对昂贵CDN读取的依赖。OSDI 2010的论文报告称，它是Facebook的生产级照片存储，在廉价的商用硬件上处理超过20PB的数据。