PHP应用程序设计

Question

我必须做一个将废弃大约 100 个 URL 的 Scraper，该 Scraper 必须在由 CronJob 调用的 PHP CLI 中运行。我完全不知道如何管理这个...对于每个 URL，我正在考虑创建一个新文件，以便在必须更新特定 URL 的代码时让事情变得清晰。

这可能是一个不错的选择？那么，可以从单个 CronJob 调用所有这些文件吗？

Answer 1

您希望通过将这 100 个 URL 存储在数据库或文本文件中来轻松管理它们。
然后只需加载所有网址，循环遍历它们并调用您的抓取函数即可。

Answer 2

您可以做的是，

维护所有 100 个网址的列表以及别名（可以是任何名称，例如 http://google.com）。

使用以下命名约定“别名.php”为每个 URL 创建文件，编写代码来解析该文件中的 URL。

现在，您可以调用一个 Cronjob，它将从数据库中检索您的所有 URL。您可以循环遍历每个 URL，并使用相应的别名执行文件。

例如。
如果您的网址是：http://google.com，别名是Google。为此，您需要创建名为 Google.php 的文件，编写 Scrapping 代码。在 cron 作业中，您将拥有类似

$urls = getAllURLs();    
foreach($urls as $url){

include_once($url['alias'].".php");

}

希望这会有所帮助的代码。

谢谢！

侯赛因