Apify代理集成

Apify是什么？

Apify 是强大的网页抓取、数据提取和网页RPA平台，可以自动化并批量执行那些需要用户在Web浏览器中手动执行的操作。Apify Store有数百个现成的抓取工具，只需更改设置即可使用。

代理通常是网页抓取的重要组成部分。用户需要在网页抓取时始终保持隐匿并应对目标网站部署的反抓取措施和其他限制。

亮数据能解决这些问题💪

Bright Data的代理可以帮助您成功完成抓取和自动化任务。Bright Data的代理可以与Apify无缝集成，因此您数据抓取任务不会被屏蔽。

为Apify获取代理

如何使用Bright Data代理设置Apify：

前往Bright Data

登录亮数据帐户并进入仪表板。
点击“代理和基础设施”，并创建一个通道。
您可以在机房代理、ISP、动态住宅代理和移动IP间进行选择。
根据项目要求配置和创建通道。
点击通道名称旁边的设置图标。
访问用户名和密码。

前往Apify:

- 前往apify.com并登录。
- 进入Apify控制台后，点击左侧菜单中的“Actors”。

- 在“商店”选项卡下，找到谷歌地图爬虫Web scraper。我们将以此作为示例。点击它。

- 导航到“输入”选项卡。
- 输入lumtest作为开始URL进行抓取：https://lumtest.com/myip.json

在页面函数中粘贴此代码：

      async function pageFunction(context) {

    // jQuery is handy for finding DOM elements and extracting data from them.

    // To use it, make sure to enable the "Inject jQuery" option.

    const $ = context.jQuery;



    // Select the element using the 'body > pre' CSS selector and extract its text content.

    const data = $('body > pre').text();



    // Return an object with the extracted data. It will be stored in the resulting dataset.

    return {

        data: data

    };

}