网络归档的难度正在增加:Wayback Machine 和维基媒体正面临硬盘空间不足的问题
18
hardware
数据存储危机:存储价格上涨如何拖累大型档案项目
存储设备变得越来越昂贵且稀缺,这使得每天从互联网上保存海量信息的组织面临更大挑战。
1. 价格为何上涨
* 硬盘(HDD)现在比以前贵三倍。
* 大型企业和云服务商对存储需求激增,迫使生产商削减供应,导致短缺。
2. 对 Internet Archive 的影响
| 指标 | 数值 | 说明 |
|---|---|---|
| 存储容量 | ~210 PB | |
| 日均数据流量(Wayback Machine) | ~100 TB | |
* 人工智能加重负担:模型在巨大的数据集上训练,往往来自档案。
* 理想存储——28–30 TB HDD——几乎找不到出售或价格被抬高。
* 组织只能寻找赞助者,并仅获得社区的建议。
3. Wikimedia 的问题
* 平台拥有超过6500万篇文章,需要大量计算资源和精细预算。
* 难点包括:
* 内存与硬盘采购;
* 服务器交付;
* 未来订单规划。
4. 档案化难度加剧
* 大型语言模型使用庞大的数据集,有时非法获取。
* 网站所有者封锁资源,无法区分“攻击者”与“善意服务”,后者收集教育用途的数据。
* 结果:
* 小规模爱好者被迫缩减或暂停工作;
* 等待存储价格稳定。
结论
HDD 成本上升和短缺为非营利档案机构构成严重障碍。若无新的资金来源与更实惠的技术,保存互联网历史几乎不可能实现。
评论 (0)
分享你的想法——请保持礼貌并围绕主题。
登录后发表评论