如何导入没有列名的txt数据文件

发布于 2022-09-12 04:33:34 字数 1352 浏览 18 评论 0

我的DolphinDB建库建表定义如下:

db1 = database("", VALUE, 2020.01.01..2020.12.31)
db2 = database("", HASH,[SYMBOL,20])
db = database(database,COMPO, [db1,db2])
colNames=`TradeDate`Type`Seq`ExchID`SecID`ExTime`LocalTime`TradeTime`TradePrice`Volumn`Turnover`TradeBuyNo`TradeSellNo`TradeFlag
colTypes=[DATE,INT,INT,SYMBOL,SYMBOL,TIME,TIME,TIME,LONG,LONG,DOUBLE,INT,INT,SYMBOL]
t=table(1:0,colNames,colTypes)
transpt=db.createPartitionedTable(t,`transpt,`TradeDate`SecID)

我的txt文件数据样本如下:
image.png

txt文件头中没有列名,但其每列的定义如下图:
image.png

我导入数据的脚本如下:

database="dfs://dataImportTxt"
fileName="/home/mdp/marketdata/20200708.txt"

def d2m(mutable t){
    return t.replaceColumn!(`TradeDate,datetimeParse(string(t.TradeDate),"yyyyMMdd")).replaceColumn!(`LocalTime,datetimeParse(string(t.LocalTime),"HmmssSSS")).replaceColumn!(`TradeTime,datetimeParse(string(t.TradeTime),"HmmssSSS")).replaceColumn!(`ExTime,datetimeParse(string(t.ExTime),"HmmssSSS"))
}
schema=extractTextSchema(fileName)
table=loadTextEx(db,`transpt,`TradeDate`SecID,fileName,',',schema,,d2m)
transpt=loadTable("dfs://dataImportTrans","table")

执行上述脚本会报如下错误:
image.png
请问是什么原因?

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(2

当梦初醒 2022-09-19 04:33:34

还有一个办法,获得了schema之后,修改一下schema中的列名。

schema=extractTextSchema(fileName)
schema[`name] = `TradeDate`Type`Seq ... `TradeFlag
鸵鸟症 2022-09-19 04:33:34

加载时要先看一下txt文件的shema,可通过执行extractTextSchema("20200708.txt")获取,结果如下:

name    type
col0    DATE
col1    INT
col2    INT
col3    SYMBOL
col4    SYMBOL
col5    INT
col6    INT
col7    INT
col8    INT
col9    INT
col10    DOUBLE
col11    INT
col12    INT
col13    CHAR

所以导入代码如下:

def d2m(mutable t){
   return  t.replaceColumn!(`col5, t.col5.format("000000000").datetimeParse("HHmmssSSS")).replaceColumn!(`col6, t.col6.format("000000000").datetimeParse("HHmmssSSS")).replaceColumn!(`col7, t.col7.format("000000000").datetimeParse("HHmmssSSS")).replaceColumn!(`col13,string(t.col13))
}
db=database("dfs://dataImportTxt")
loadTextEx(dbHandle=db, tableName=`transpt, partitionColumns=`col0`col4, filename="20200708.txt", delimiter=',',transform=d2m)
~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文