自动化与数据采集

爬虫为什么需要隔离环境

采集被封，多数时候不是 IP 单一问题，而是指纹 + 行为 + IP 的组合信号。给每个采集会话一个指纹独立、代理独立的环境，等于把「一个真实设备」作为采集单元：

采集痛点	传统方案	Virtual Browser 方案
指纹被识别为无头浏览器	伪装 UA，补丁打得零碎	真实 Chromium 内核 + 完整指纹
同 IP 高频被封	代理池轮换	代理池 × 环境指纹池，双重分散
登录态丢失	每次重新登录触发风控	环境保留 Cookie，会话可复用
调度复杂	自建浏览器集群	REST API / CLI 直接调度环境

三种接入方式

1. 本地 REST API（专业版）

环境即资源，CRUD 式调度：

# 创建并启动一个绑定了代理的环境
curl -X POST http://127.0.0.1:PORT/api/env/create \
  -H 'Content-Type: application/json' \
  -d '{"proxy": "socks5://user:pass@host:port"}'

# 启动后返回 CDP 端点，交给 Playwright / Puppeteer

2. Playwright CDP 连接

const { chromium } = require('playwright')

// cdpUrl 由环境启动后获得
const browser = await chromium.connectOverCDP(cdpUrl)
const page = await browser.contexts()[0].pages()[0]

await page.goto('https://example.com', { waitUntil: 'domcontentloaded' })
const data = await page.$$eval('.item', els =>
  els.map(el => el.textContent.trim())
)
// 用完关闭环境，指纹与 Cookie 随环境保留，下次可续用

3. MCP：让 AI Agent 直接调度

Virtual Browser 提供 MCP 服务，Cursor 等 AI 工具可以直接调用「创建环境 / 启动 / 打开页面」等能力，把采集或操作流程写成自然语言任务。

用户：抓取这 20 个商品页的价格，每个页面用不同环境
AI：已为 20 个 URL 各启动一个隔离环境（指纹独立 + 代理轮换），抓取完成，结果见 CSV。

采集节律建议

目标站点强度	建议配置
宽松（文档、公开数据）	少量环境 + 低频轮换
中等（电商列表、搜索）	环境池 + 住宅代理 + 随机停留
严格（社媒、登录态内容）	环境与账号长期绑定，模拟真人节奏

会话复用是被忽视的利器

环境保留 Cookie 与本地存储，意味着登录一次后可以长期低频访问，比「每次全新环境 + 重新登录」更像真人，也便宜得多。

常见问题

Q：API 在免费版可用吗？ 隔离环境的图形化管理永久免费；REST API、窗口同步器、MCP 与云同步属于专业版能力。先用免费版把流程跑通，再决定升级。

Q：和直接用 Playwright + 代理有什么区别？ Playwright 自身的浏览器指纹是公开且一致的；Virtual Browser 每个环境是一套完整、稳定、可复用的指纹身份，且带 GUI 便于人工介入排查。

Q：采集数据能直接对接我的管道吗？ 可以。环境只是浏览器层，数据抓取与落库逻辑仍在你的 Playwright / Puppeteer 代码里，完全可控。

下一步：看自动化 API 文档与API 参考，或下载客户端开始。