解析网站可能非常耗时,尤其是在使用通用工具时。但其中许多可以针对特定任务进行定制,以使流程更加高效。让我们以流行的 SEO 解析器为例来看看如何做到这一点。
设置解析器的第一步是选择数据存储位置。为此,请转到“文件”菜单并选择“设置”。从下拉列表中选择“数据存储类型”。此部分有两个选项可用:
然后返回“设置”并选择“内存分配”以指定系统可以使用的 RAM 量。如果您的计算机上并行运行其他任务,这非常有用。
接下来您需要配置用户代理。转到“配置”菜单并选择“用户代理”。您可以在此处配置解析站点时将使用的用户代理。
例如,您可以选择标准代理,用于移动设备,以便解析器将自己伪装成机器人并接收完整的信息,而不会被站点阻止。
现在我们设置解析速度。转到“配置”菜单并选择“速度”。您可以在此处指定下载数据时将使用的线程数。对于较弱的计算机,最好选择 3 到 5 个线程。
如果您只需要审核站点的某些部分,请通过“包含”项在“配置”部分中配置它们。在这里您可以输入所需分区的路径来检查它是否会包含在解析过程中。
如果某个部分未包含在选择中,则会出现有关此情况的通知。要从解析中排除部分,请使用“排除”项。
进入“配置”,选择“Spider”并配置数据扫描类型。在这里,您可以准确选择要扫描的数据,禁用不必要的信息类型。
如果网站不太大,您可以保留默认设置并抓取所有可用数据。
要搜索有问题的页面,请连接您的 Google 帐户。转到“配置”,然后“API 访问”并选择 Google Search Console。这将使您能够快速找到未链接的页面并解决问题。
接下来,选择解析器如何处理 robots.txt 文件。在“配置”中选择以下选项之一:
如果您经常使用相同的设置,建议将它们保存为默认值。为此,请在“配置”菜单中选择“将当前配置保存为默认值”。您还可以为不同的任务创建多个配置文件并在它们之间快速切换。
如果您有任何疑问或需要帮助设置 SEO 工具,请通过电子邮件写信给 SEO 工作室“SEO COMPUTER” 信息@seo.computer。
编号 4473