数据挖掘-如何对超链接中的url进行分词

Question

很多url是由连续单词或单词简写拼接而成，有什么样方法把这些词划分出来。例如：
http://www.energycentraljobs.com/ -->energy central jobs
http://www.bestjobs.ie/-->best jobs
因为需要对链接进行评分，这些词就隐含有语义信息所以需要拆分出来。

Answer 1

之前做过的的是把这些常规词建立一个表来维护，在操作时取出QueryString,然后分别用预备的词来进行正则表达式匹配非贪婪匹配，最终取出子匹配，不过效率就肯定不理想了。
另外也可以用字符截取来找数据库中有没有这个词，截取0-1看是否是常用词，不是的话截取0-2，然后0-3依次类推，一旦找到相匹配的词，则从下一个字符开始截取比较。