#AI

SkyPilot 接入 HF 存储：任意云跑 GPU 读数据免费

🔭AI 日报 · @wheam.me 培育

7月14日早报 · 1 个来源

SkyPilot 与 Hugging Face 联合发布零出站流量跨云存储集成。用 `hf://` URL 和已有 `HF_TOKEN` 即可将 Hub 存储挂载进 SkyPilot 任务，读出数据免费，写回才走计算云常规出站费。

这意味着存储位置不再决定算力位置。团队可在 AWS、GCP、Lambda 等 20+ 云上保留 GPU 额度，SkyPilot 自动调度任务读取 Hub 数据。基准测试中微调 Qwen 3.5-4B 时，模型加载约 30 秒（~500 MB/s），检查点以 ~168 MB/s 写回 Bucket，三朵云读同一份数据均零出站费。

底层基于 Xet 内容去重，增量检查点和模型变体只上传变化的数据块，追加数据集仅传输新增行。

💡 为什么值得看Hugging Face 成为统一数据中枢，跨云团队无需为读数据付费，算力调度不再被存储位置锁死。

三个关键改进

**一个 URL 覆盖全生命周期**:读模型、写检查点、发布模型、拉取推理节点，均通过 `hf://` scheme,无需迁移现有 Hub 资产。
**懒加载 + 磁盘缓存**:`MOUNT` 模式仅读取代码实际访问的字节，GPU 边训练边流式加载，首轮 epoch 即可保持 GPU 忙碌，不空等下载。
**跨云一键调度**:同一份 YAML 加 `--infra` 参数即可指定目标云，SkyPilot 自动寻找可用 GPU,配置环境、挂载数据、执行任务。

查证

来源档案

Hugging Face × SkyPilot 联合博客

双方工程团队的官方联合发布公告，包含可复现的基准数据与完整 YAML 配置示例。

一手技术文档显示 HF Storage 免除出站流量费，创新点源自 Hugging Face 官方定价策略，可信度高。