NightShelf 控制后台 · 爬虫监控与资产管理

🕷️ 自动化爬虫调度引擎 (Live Crawler Engine)

● 自动轮检中 (25秒/次) 源站: XVideos · Pornhub · 91Porn 目标类目: 【大胸/巨乳】 🟢 零前置审核 · 抓取即在架

🎯

今日采集总目标: 100,000 条

高并发多源抓取流水线持续入库，可按日灵活指定采集规模与预算配额

并发 Workers 调节

采集吞吐速度 120 条/秒

今日目标达成率 1.0%

💰 基础设施成本精算与优化方案 (按日目标: 100,000 条/天 · 极低成本 R2 推荐)

月增量存储: 15 TB (微切片) / 450 TB (完整转码)

🏆 Cloudflare R2 (最便宜方案 · 默认生效)

$225.00 / 月 (比 S3 便宜 40%)

单价仅 $0.015/GB · 零出站流量费 ($0.00/GB)

📦 AWS S3 标准版 (对比)

$375.00 / 月 (单价 $0.025/GB)

智能分层可降至 $153.60/月，但出站流量昂贵

🚀 C端推流带宽 (Cloudflare CDN vs CloudFront)

Cloudflare R2: 0元流量账单

CloudFront 收 $0.085/GB；R2 免出站流量费，推流彻底免费

🎛️ 爬虫多源混搭爬取占比控制 (三源联动平衡 · 历史保护 · 影响未来任务)

🛡️ 非回溯增量调度机制：已入库的 12 部正片 100% 固化保护 (不追溯倒扣)；配比变动 100% 三源联动平衡，精确驱动未来剩余 99,988 部任务分布。

动态配比总和: 100%

🇨🇳 91Porn (国产自拍) 40%

已采集: 3 部 (固化) | 未来新增配额: +39,997 部

1:1 真实 viewkey，过滤片头贴片广告

🌍 XVideos (欧美综合) 35%

已采集: 7 部 (固化) | 未来新增配额: +34,998 部

CDN77 官方正片高清流，拒收5s预览

⭐ Pornhub (精选原画) 25%

已采集: 2 部 (固化) | 未来新增配额: +24,993 部

熔断隔离保护，原画长视频白名单

拖动滑块时三源实时联动保持100%，保存后立即精确调整后续采集中各源并发抓取线程与任务配额

🛡️ 入库前置三要素: MP4采集已完成 · 海报采集已完成 · 海报与视频强相关校验

🚫 错配/残缺拦截: 错配/残缺拦截 699 部

⏱️ 时长门禁 (>5min): 拦截广告/短片 1,299 条

🔑 SHA-256 查重: Hash去重 0 条

🧹 一键物理清洗错配与残缺脏数据

crawler_daemon.log — Live Output Stream

● 实时推流已连接

所有内容已全自动入库上架播放；100% 真实原图封面已固化。如需下架，点击视频卡片上的「🚫 直接下架」即可实时生效。

正在拉取全量真实抓取资产...

第 1 / 1 页 (共 0 条)