大型数据库上的文本挖掘（数据挖掘）

Question

我有一个大型简历 (CV) 数据库，以及一个对所有用户技能进行分组的特定表技能。

该表内有一个字段skill_text，它以全文描述技能。

我正在寻找一种算法/软件/方法来从该表中提取重要的术语/短语，以便构建一个具有标准化技能的新表。

以下是从数据库中提取的一些示例技能：

• 部门和竞争分析
• 业务开发（包括. 在国际环境中）
• 具体结构和道路设计软件 - Microstation、Macau、AutoCAD（基础知识）
• 创意工作（Photoshop、In-Design、Illustrator）
• 检查和报告活动进度
• 组织和参加活动和展览
• 开发：Aptana Studio， PHP、HTML、CSS、JavaScript、SQL、AJAX
• 学科：一对一营销、电子营销（SEO 和 SEA、展示、电子邮件、联属计划）混合营销、病毒式营销、社交网络营销。

输出应类似于：

• 部门和竞争分析
• 业务开发
• 特定结构和道路设计软件 -
• 澳门
• AutoCAD
• Photoshop
• In-Design
• Illustrator
• 组织活动
• 开发
• Aptana Studio
• PHP
• HTML
• CSS
• JavaScript
• SQL
• AJAX
• 混合营销
• 病毒式营销
• 社交网络营销
• 电子邮件
• SEO
• 一对一营销

如您所见，只有技能，没有其他表示文本。

我知道使用文本挖掘技术可以做到这一点，但如何做到呢？ 数据库真的很大......这是一件好事，因为我们可以计算文本频率并确定它是真正的技能还是只是无意义的文本...... 最大的问题是..如何确定“blablabla”是一项技能？

编辑 ： 请不要告诉我使用标准的东西，如文本tokinzer或正则表达式..因为用户以非常任意的方式输入技能！

谢谢

Answer 1

如果我以编程方式执行此操作，我会：

将所有标点符号分隔的数据（或者可能只是括号和逗号）提取到一个新表中（没有主键，只有技能），这样创造性工作（Photoshop、In-Design、Illustrator） 变为

 Skill            
 -------------
 Creative work    
 Photoshop        
 In-Design        
 Illustrator      

然后，在处理完所有 CV 后，查询最常见的技能（这是 MySQL）

SELECT skill, COUNT(1) cnt FROM newTable GROUP BY skill ORDER BY cnt DESC;

这可能看起来像这个人为的示例

 Skill            Cnt
 ---------------------
 Photoshop        3293
 Illustrator      2134
 Creative work     932
 In-Design         123

然后您决定从前 X 个技能中，您想要捕获哪些技能必须映射到其他技能（例如，Indesign 和 In-design 应映射到相同的技能）以及要丢弃的技能，然后使用数据映射编写流程脚本。

使用数据映射写入新的词频表（本次skill_id，skill，频率），第二次解析数据时也写入查找表（cv_id，skill_id）。然后，您的数据将处于以下状态：每个 CV 映射到多个技能，每个技能映射到多个 CV。您可以查询最热门的技能、符合特定条件的简历等。

Answer 2

许多数据库将通过其全文搜索功能为您完成此操作。我知道 PostgreSQL 的全文搜索可以在自定义字典的帮助下轻松完成此操作。

或者，您可以使用 PHP 的 strtok 或等效项来索引您的文本。建立索引后，您可以与字典进行比较，或者简单地使用出现的情况为自己创建一个工作表。词云也是以类似的方式制作的。

Answer 3

做好这件事需要知识；否则，如何才能说“组织活动”是一种“技能”，而“创造性工作”则不是？但是一个愚蠢的程序可以通过分析搭配的统计数据来首先解决这个问题：请参阅 如何从一系列文本条目中提取常见/重要短语 和 从文本中检测短语和关键字的算法。