网页抓取 API

Endpoint

GET https://sharpapi.com/api/v1/utilities/scrape_url?url=YOUR_URL

Parameters

AI-Powered Processing

提取的数据可以无缝集成到 SharpAPI 的 AI 驱动端点 中，以便进行进一步分析和自动化。例如：

• 文本摘要和改写以有效地压缩内容。
• 关键词提取和 SEO 优化以增强营销效果。
• 情感分析用于理解用户生成的内容或评论。
• 翻译和语言处理用于多语言内容工作流。

在 SharpAPI AI Catalog 探索完整的 AI 驱动功能。

Example Request

curl -X GET "https://sharpapi.com/api/v1/utilities/scrape_url?url=https://sharpapi.com/" \
     -H "Authorization: Bearer YOUR_API_KEY" \
     -H "Accept: application/json"

Example Response

{
    "url": "https://sharpapi.com/",
    "timestamp": "2025-01-15T08:56:04.946195Z",
    "scraped_data": {
        "title": "AI 驱动的工作流自动化 API",
        "detected_language": "en",
        "headers": {
            "charset": "utf-8",
            "contentType": null,
            "viewport": [
                "width=device-width",
                "initial-scale=1"
            ],
            "canonical": "https://sharpapi.com/",
            "csrfToken": "xxx"
        },
        "meta_tags": {
            "author": null,
            "image": null,
            "keywords": [
                "SharpAPI",
                "AI",
                "automation"
            ],
            "description": "利用 AI API 在电子商务、营销、内容管理、人力资源技术、旅游等领域简化工作流。"
        },
        "open_graph": {
            "og:title": "AI 驱动的工作流自动化 API",
            "og:type": "website",
            "og:URL": "https://sharpapi.com",
            "og:image": "https://sharpapi.com/build/assets/sharpapi-website-preview-ARuIroBi.png",
            "og:description": "利用 AI API 在电子商务、营销、内容管理、人力资源技术、旅游等领域简化工作流。",
            "og:url": "https://sharpapi.com"
        },
        "twitter_card": {
            "twitter:card": "summary",
            "twitter:site": "@sharpapi",
            "twitter:creator": "@a2zwebltd"
        },
        "content_structured": [
            {
                "tag": "h1",
                "content": "使用 AI 驱动的 API 自动化工作流"
            },
            {
                "tag": "h2",
                "content": "利用 AI API 在电子商务、营销、\n 内容管理、人力资源技术、旅游等领域进行自动化。 [...]"
            },
           
        ],
        "content_lists": [
            {
                "type": "ul",
                "items": [
                    "电子商务：",
                    "快速生成引人入胜的 [...]"
                ]
            },
            {
                "type": "ul",
                "items": [
                    "人力资源技术：",
                    "生成",
                    "复杂的职位描述 [...]"
                ]
            }
        ],
        "content_html": "<h1>使用 AI 驱动的 API 自动化工作流</h1>\n<h2>利用 AI API 在电子商务、营销、<br />\n 内容管理、人力资源技术、旅游等领域进行自动化。</h2> [...]",
        "content_markdown": "# 使用 AI 驱动的 API 自动化工作流\n\n## 利用 AI API 在电子商务、营销、  \n 内容管理、人力资源技术、旅游等领域进行自动化。 [...]",
        "content_keywords_index": [
            "简化工作流",
            "电子商务",
            "营销",
            "内容管理",
            "人力资源技术",
            "旅游 [...]"
        ],
        "links": {
            "internal": [
                "https://sharpapi.com/register",
                "https://sharpapi.com/en/blog/category/workflow-optimization",
                "https://sharpapi.com/documentation",
                "https://sharpapi.com/en/ai-automation-cheatsheet",
                "https://sharpapi.com/policy",
                "https://sharpapi.com/terms"
            ],
            "external": [
                "https://github.com/sharpapi/",
                "https://github.com/sharpapi/sharpapi-laravel-client",
                "https://www.nuget.org/packages/SharpApi.Service",
                "https://twitter.com/SharpAPI",
                "https://www.youtube.com/@SharpAPI"
            ]
        }
    }
}