mysql 数据库上的数据挖掘

Question

我从文本挖掘开始。 我有两个包含数千条数据的数据库表。

一个“技能”表和一个“技能类别”表，

• 每个“技能”都属于一个技能类别。
• “技能”在物理上是数据库中的一个 varchar(200) 字段，其中有一些描述该技能的文本。

以下是从技能表中提取的一些技能：

“PHP（良好水平）、Java（中级）、C++” “PHP5” 《项目管理与质量管理》 “开始 JavaScript” 《水利工程》 “dfsdf 泽泽尔泽” “cibling customer”

我想做的是从这些领域中提取知识，我的意思是只提取真正的技能，而忽略其余无用的文本。 对于上面的例子，我只想得到一个数组：

“PHP” “爪哇” “C++” “PHP5” “项目管理” 《质量管理》 “Javascript” 《水利工程》 “cibling客户”

我该怎么做才能从大量数据中提取技能？ 你知道执行此操作的具体算法吗？例如：k-means ...？

提前致谢。

Answer 1

我将利用正则表达式来解析每一行数据，首先用逗号（，）分割，然后删除括号内的任何文本以及通向这些括号的空格。至于删除垃圾短语，也许可以与接受的单词列表进行比较？

我还注意到关键字“AND”表示两种不同的技能，根据您想要的输出而定。由于数据不一定采用相同的格式，因此使用这种处理方法的结果可能有点粗略。

Answer 2

从头开始是非常困难的，

我会从某个地方解析一些技能集数据并将它们加载到表中并使用该表作为参考表，尝试匹配该表中的数据。否则你无法确定这些单词或短语是否有意义。

对于每个短语，我都会使用以下算法

假设你有一个由 5 个单词组成的短语，

 "one two three four five"

我首先会检查这个短语是否存在于我的表中，如果存在，则保留它并转到下一个，如果不存在，请检查

 "one two three four" and "two three four five"

它们是否存在也不匹配，检查

  "one two three", "two three four", "three four five"

等等...

我知道这有点混乱而且很长，但这是我想到的第一件事。

希望有帮助

Answer 3

<?php
$white_list = array(); // Add acceptable words and/or characters
$black_list = array(); // Add unacceptable words and/or characters

$s = '"PHP (good level), Java (intermediaite), C++" "PHP5" "project management and quality management" "begining Javascript" "water engineering" "dfsdf zerze rzer" "cibling customers"';

$words = explode(" ",$s);

$primary = array();
$secondary = array();
foreach($words as $word) {
    $new_word = trim(str_replace($black_list, "", $word));
    if (in_array($new_word,$white_list) == true) {
        $primary[] = $new_word;
    } else {
        $secondary[] = $new_word;
    }
}

$collected = '"' . implode('" "',$primary) . '"';

您可以使用类似的方法来构建白名单和黑名单表。从长远来看，你将能够更好地控制什么是积极的，什么是消极的。