我该如何处理刚刚从 dbpedia 下载的这个 csv 数据集?
我刚刚从 dbpedia 下载了维基百科信息框的 csv。 但是我不知道如何使用它:-SI 想要将所有这些数据导入数据库,但不太确定如何从这里获取它。 从 http://wiki.dbpedia.org/Downloads32#infoboxes 下载它
我 使用 Php
仅供记录 - 此 csv 文件约为 1.8 GB。 实际上,我正在经历所有这些麻烦,只是为了从维基百科的一组选定的文章中获取一组选定的信息框。 我会手动执行此操作,除非我需要包含超过 10,000 个条目(其中包括国家和城市)的信息框。 我只是在寻找一种简单的方法来做到这一点,坦率地说,我一直在使用我所有的选择:(
I just downloaded this csv of infoboxes of wikipedia from dbpedia. However I have no idea how to use it :-S I want to import all this data into a database but am not so sure how to take it from here. I downloaded it from http://wiki.dbpedia.org/Downloads32#infoboxes
I'm working in Php
Just for the record - this csv file is around 1.8 GB. I'm actually going through all this trouble for well just to get a select set of infoboxes from a select set of articles form wikipedia. I would do it manually except I need the infoboxes for over 10 000 entries which includes countries and cities. I'm just looking for an easy way to do this and frankly have been using all my options :(
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(2)
要将 CSV 数据导入 MySQL,您可以使用 LOAD DATA INFILE< /a> 语句,例如
有时这样的数据可能需要一些处理,用 Perl 编写脚本或类似的脚本来逐行解析文件并吐出 SQL 语句并不困难。
To import CSV data into MySQL you can use a LOAD DATA INFILE statement, e.g.
Sometimes such data might need a little massaging, it's not tricky to write a script in Perl or similar to parse a file line by line and spit out SQL statements.
如果您想在导入数据之前对数据进行处理,可以查看我的 CSV 流编辑器 CSVfix - 这是自由和开源软件。 如果由于某种原因您的数据库批量加载 CSV 数据不适合您,它还可以为您的数据库生成 SQL INSERT 语句。
If you want to massage the data before importing it, you could take a look at my CSV stream editor, CSVfix - it's FOSS. It can also generate SQL INSERT statements for your database if for some reason your database's bulk loading of CSV data doesn't suit you.