网络归档的难度正在增加:Wayback Machine 和维基媒体正面临硬盘空间不足的问题

网络归档的难度正在增加:Wayback Machine 和维基媒体正面临硬盘空间不足的问题

18 hardware

数据存储危机:存储价格上涨如何拖累大型档案项目

存储设备变得越来越昂贵且稀缺,这使得每天从互联网上保存海量信息的组织面临更大挑战。

1. 价格为何上涨
* 硬盘(HDD)现在比以前贵三倍。
* 大型企业和云服务商对存储需求激增,迫使生产商削减供应,导致短缺。

2. 对 Internet Archive 的影响
| 指标 | 数值 | 说明 |
|---|---|---|
| 存储容量 | ~210 PB | |
| 日均数据流量(Wayback Machine) | ~100 TB | |

* 人工智能加重负担:模型在巨大的数据集上训练,往往来自档案。
* 理想存储——28–30 TB HDD——几乎找不到出售或价格被抬高。
* 组织只能寻找赞助者,并仅获得社区的建议。

3. Wikimedia 的问题
* 平台拥有超过6500万篇文章,需要大量计算资源和精细预算。
* 难点包括:
* 内存与硬盘采购;
* 服务器交付;
* 未来订单规划。

4. 档案化难度加剧
* 大型语言模型使用庞大的数据集,有时非法获取。
* 网站所有者封锁资源,无法区分“攻击者”与“善意服务”,后者收集教育用途的数据。
* 结果:
* 小规模爱好者被迫缩减或暂停工作;
* 等待存储价格稳定。

结论
HDD 成本上升和短缺为非营利档案机构构成严重障碍。若无新的资金来源与更实惠的技术,保存互联网历史几乎不可能实现。

评论 (0)

分享你的想法——请保持礼貌并围绕主题。

暂无评论。留下评论,分享你的观点!

要发表评论,请先登录。

登录后发表评论