ScrapeGraphAI：Python 网页抓取库

ScrapeGraphAI 是一个网页抓取 Python 库，使用 LLM 和直接图逻辑为网站和本地文档创建抓取管道。

核验日期

核心信息

以下信息由程序从官方接口读取，不经模型改写。

许可证
MIT
语言
Python
维护方
ScrapeGraphAI
核验日期

它是什么

ScrapeGraphAI 是一个网页抓取 Python 库，使用 LLM 和直接图逻辑为网站和本地文档（XML、HTML、JSON、Markdown 等）创建抓取管道。ScrapeGraphAI 采用 MIT 许可证。ScrapeGraphAI 仅用于数据探索和研究目的。

主要能力

  1. 该库提供多种标准抓取管道，可用于从网站（或本地文件）中提取信息。

  2. SmartScraperGraph 根据用户提示和源 URL 从单个页面提取信息，它是单页抓取器，只需要用户提示和输入源。

  3. 还有其他管道可用于从多个页面提取信息、生成 Python 脚本，甚至生成音频文件。

  4. SpeechGraph 是单页抓取器，从网站提取信息并生成音频文件；ScriptCreatorGraph 是单页抓取器，从网站提取信息并生成 Python 脚本。

  5. SearchGraph 是多页抓取器，从搜索引擎的前 n 个搜索结果中提取信息；SmartScraperMultiGraph 根据单个提示和来源列表从多个页面提取信息；ScriptCreatorMultiGraph 生成用于从多个页面和来源提取信息的 Python 脚本。

  6. 这些图管道都有对应的 multi 版本，允许并行调用 LLM。

怎么上手

  1. 建议将 ScrapeGraphAI 库安装在虚拟环境中，以避免与其他库冲突。

  2. 可以通过 OpenAI、Groq、Azure、Gemini、MiniMax 等 API 使用不同的 LLM，也可以使用 Ollama 运行本地模型。

  3. 若要使用本地模型，需要已安装 Ollama，并使用 ollama pull 命令下载模型。

摘自 README · bash
pip install scrapegraphai

# IMPORTANT (for fetching websites content)
playwright install
摘自 README · python
from scrapegraphai.graphs import SmartScraperGraph

# Define the configuration for the scraping pipeline
graph_config = {
    "llm": {
        "model": "ollama/llama3.2",
        "model_tokens": 8192,
        "format": "json",
    },
    "verbose": True,
    "headless": False,
}

# Create the SmartScraperGraph instance
smart_scraper_graph = SmartScraperGraph(
    prompt="Extract useful information from the webpage, including a description of what the company does, founders and social media links",
    source="https://scrapegraphai.com/",
    config=graph_config
)

# Run the pipeline
result = smart_scraper_graph.run()

import json
print(json.dumps(result, indent=4))

适合谁

在开源库与托管 API 的对比中，开源库是用户自己运行的 Python 库，托管 API 是通过 SDK 调用的托管云服务。开源库运行在用户自己的基础设施上（自托管），托管 API 运行在 ScrapeGraphAI 云上。在 LLM 方面，开源库由用户自带（OpenAI、Groq、Gemini、Azure，或通过 Ollama 使用本地模型），托管 API 的 LLM 由服务托管。

在浏览器和 JS 渲染方面，开源库由用户自行配置（Playwright）。代理和反机器人处理在开源库中由用户自己负责，托管 API 中已包含。开源库的功能是图管道，托管 API 的功能是 Scrape、Extract、Search、Crawl、Monitor 和 History。

开源库的成本模式是 LLM 令牌加用户自己的基础设施，托管 API 的成本模式是按用量付费的积分。扩展和维护在开源库中由用户自己负责，在托管 API 中则完全托管。开源库的许可证是 MIT；托管 API 的 SDK 是 MIT，API 服务是付费的。

项目方称，若需要完全控制、本地部署或自托管数据、本地 LLM（Ollama）或精细的成本调优，并且愿意自己管理浏览器、代理和扩展，应选择开源库。项目方收集匿名使用指标，以提升软件包的质量和用户体验。

来源

本页内容整理自以下官方来源，点击可核对原文。

核验日期 ·

本页由 AI 依据上述官方来源整理，并经自动核对，未经本站实测。 发现错误？告诉我们。