关于转换从屏幕抓取工具收集的数据的建议

Question

大家好，

我有我的屏幕抓取工具 (scrapy) 收集多个房地产网站上的房地产列表数据。它们都有几个常见的字段，例如价格、建筑面积等。但是，与所有抓取的数据一样，这些字段的值目前相当不理想。例如，在 price 中，我有诸如 $1,000,000,000 之类的明显值，但我也有诸如 $1,000,000,000 Price on Ask 和 Price on询问。因此，目前，我将所有抓取的字段以字符形式存储在数据库中。

我想将数据库中的这些字符串字段从字符转换为适当的类型，例如字符串到 int，以便我可以相应地对它们进行索引。有人可以给我一些建议，开始转换数据的合理程序和方法是什么？

Answer 1

您想扔掉“询问价格”字符串吗？或者说这是有价值的信息吗？

如果数据中有很多噪音，并且完全没有兴趣，我会运行一个过滤器来删除所有非数字。

但是，如果时间允许，我更喜欢使用模式匹配显式处理数据（示例代码是 PHP）：

//$price is raw string
$price=str_replace(',','',$price);    //Get rid of commas
$price=str_replace('
然后我就有了为某些字符串设置标志的结构。另外，当数据中出现新字符串时，我的脚本会变得嘈杂，我可以决定它是否重要。
 （注意：将 $price 设置为 null 意味着在数据库中放入 NULL，而不是零。）
,'',$price);    //Get rid of dollar signs

if($price=='Price On Ask')$price=null;
elseif(preg_match('/^\d+$/',$price))$price=(int)$price;  //Simple number
elseif(preg_match('/^(\d+) Price On Ask$/i',$price,$parts)){
   $price=(int)$parts[1];
   }
else{
   echo "Unexpected price string: $price\n";
   $price=null;
   }

然后我就有了为某些字符串设置标志的结构。另外，当数据中出现新字符串时，我的脚本会变得嘈杂，我可以决定它是否重要。

（注意：将 $price 设置为 null 意味着在数据库中放入 NULL，而不是零。）