BeeCollect - Product Data Scraper

# 蜂采 · 商品数据采集器 — 功能介绍与使用说明 # Fengcai · Product Data Scraper — Feature Guide & User Manual --- ## 目录 / Table of Contents - [简介 / Introduction](#简介--introduction) - [界面概览 / UI Overview](#界面概览--ui-overview) - [步骤一：商品列表 / Step 1: Product List](#步骤一商品列表--step-1-product-list) - [步骤二：详情页规则 / Step 2: Detail Page Rules](#步骤二详情页规则--step-2-detail-page-rules) - [步骤三：执行采集 / Step 3: Run Scraping](#步骤三执行采集--step-3-run-scraping) - [截图功能 / Screenshot Feature](#截图功能--screenshot-feature) - [导出结果 / Export Results](#导出结果--export-results) - [规则管理 / Rule Management](#规则管理--rule-management) - [注意事项 / Notes](#注意事项--notes) --- ## 简介 / Introduction **蜂采**是一款 Chrome 侧边栏扩展，专为电商选品、商品数据整理场景设计。无需编程基础，通过点选配置即可批量抓取商品详情页数据，并自动下载图片、截图，导出 Excel。 **Fengcai** is a Chrome side-panel extension for e-commerce product research and data collection. No coding required — configure rules by clicking, then batch-scrape product pages, auto-download images and screenshots, and export to Excel. --- ## 界面概览 / UI Overview **中文** 插件以侧边栏形式运行，顶部为三步流程导航： | 步骤 | 标签 | 说明 | | ---- | ---------- | ------------------------------------ | | 1 | 商品列表 | 管理待采集的商品 SKU 和链接 | | 2 | 详情页规则 | 配置各站点的字段提取规则与截图设置 | | 3 | 执行采集 | 配置采集参数、启动采集、查看实时日志 | **English** The extension runs as a side panel with a 3-step navigation: | Step | Tab | Description | | ---- | ----------------- | ----------------------------------------------------------------- | | 1 | Product List | Manage SKUs and URLs to scrape | | 2 | Detail Page Rules | Configure field extraction rules and screenshot settings per site | | 3 | Run Scraping | Set scraping parameters, start scraping, view real-time logs | --- ## 步骤一：商品列表 / Step 1: Product List ### 两种模式 / Two Modes **中文** **① 手动输入模式（默认）** - 导入 CSV 或 Excel 文件（需包含 `SKU`、`URL` 两列） - 或逐行手动输入，格式：`SKU 空格 URL` - 列表中 SKU 和 URL 均可点击，在新标签页中打开对应链接 - 支持全选/单选后批量删除 **② 列表页模式** - 适合从分类页、搜索结果页批量采集 - 配置项： - **列表入口 URL**：采集起始页面 - **列表项选择器**：定位每个商品卡片的 CSS 选择器 - **列表字段**：在列表页直接提取的字段（标题、价格、主图等） - **翻页策略**：下一页按钮 / 无限滚动，支持配置终止条件 - **进入详情页补充抓取**：勾选后可配置详情链接选择器，抓取详情页数据 > 若列表入口 URL 与当前浏览器活动标签页一致，插件会直接复用该页面，不会新开标签页。 **English** **① Manual Mode (Default)** - Import a CSV or Excel file (must include `SKU` and `URL` columns) - Or enter products manually, one per line: `SKU SPACE URL` - Both SKU and URL in the list are clickable links (open in new tab) - Supports select-all / single-select for bulk deletion **② List Page Mode** - Ideal for bulk collection from category or search results pages - Configuration: - **Entry URL**: Starting page for scraping - **Item Selector**: CSS selector to locate each product card - **List Fields**: Fields extracted directly from the list page (title, price, image, etc.) - **Pagination**: Next-page button or infinite scroll, with configurable stop conditions - **Enter Detail Page**: When checked, configures detail link selector to also scrape detail pages > If the entry URL matches the currently active browser tab, the extension reuses that tab instead of opening a new one. --- ## 步骤二：详情页规则 / Step 2: Detail Page Rules ### 规则集 / Rule Sets **中文** 每个**规则集**对应一个或多个站点，包含： - **名称**：标识该规则集 - **URL 匹配**：正则表达式，可用逗号分隔多个，用于自动匹配商品 URL - **字段规则列表**：定义要提取的字段 - **高级设置**：页面加载判定、自动滚动、前置脚本 - **截图设置**：见下方截图功能章节 采集时根据商品 URL 自动匹配规则集；无匹配则跳过该商品。 **English** Each **rule set** corresponds to one or more sites and contains: - **Name**: Identifier for the rule set - **URL Pattern**: Regex patterns (comma-separated) to auto-match product URLs - **Field Rules**: Define which fields to extract - **Advanced Settings**: Page load conditions, auto-scroll, pre-execution script - **Screenshot Settings**: See the Screenshot section below During scraping, the matching rule set is automatically selected based on product URL; unmatched products are skipped. --- ### 字段规则配置 / Field Rule Configuration **中文** 每个字段规则包含： | 配置项 | 说明 | | ------------ | ----------------------------------------------- | | 字段名称 | 导出 Excel 的列标题 | | CSS 选择器 | 支持多行（按顺序匹配第一个命中的） | | 字段类型 | 文本 / 数字 / 图片 / 图片列表 / HTML / 元素属性 | | 是否为列表 | 提取多个值（图片列表自动勾选） | | 图片存储方式 | 无 / 主图 / 详情图 | | 后处理函数 | JavaScript 函数，对提取结果进行二次处理 | | 字段宽度 | 控制 Excel 导出时该列的宽度 | 支持： - **元素拾取器**：点击按钮后在页面上点选元素，自动生成选择器 - **测试匹配**：实时在当前页面验证选择器命中情况 - **拖拽排序**：左侧手柄拖动调整字段顺序 **English** Each field rule includes: | Setting | Description | | --------------------- | ----------------------------------------------------- | | Field Name | Column header in the exported Excel | | CSS Selector | Multi-line supported (first match wins) | | Field Type | Text / Number / Image / Image List / HTML / Attribute | | Is List | Extract multiple values (auto-checked for Image List) | | Image Storage | None / Main Image / Description Image | | Post-process Function | JavaScript to transform the extracted value | | Column Width | Controls Excel column width on export | Features: - **Element Picker**: Click to pick an element on the page; selector is auto-generated - **Test Match**: Instantly verify the selector against the current page - **Drag to Reorder**: Drag the left handle to rearrange fields --- ### 高级设置 / Advanced Settings **中文** | 配置项 | 说明 | | ------------ | --------------------------------------------- | | 页面加载判定 | 元素出现 / 元素消失，配合选择器和超时时间使用 | | 自动滚动 | 采集前自动滚动页面，触发懒加载内容 | | 前置脚本 | 在提取数据前执行自定义 JS（支持 async/await） | **English** | Setting | Description …