量化学习:聚宽jqdatasdk对接vnpy的数据服务如何看待国内越来越多用投资来招摇撞骗忽悠?

—— 本篇文章 by 丁智

数据服务:使用聚宽jqdatasdk获取分钟数据按vnpy的Bar格式导入至mongodb中

提供downloadAllMinuteBar(),可以通过定时使命的情势,按vnpy的数据格式,逐日获取分钟数据写入到mongodb当中

提供downloadMinuteBarByDate,可以输入开始日期与结束日期,将时间段内的分钟数据写入到mongodb当中

在config文件中设置jqdatasdk的用户名密码

逐日增量数据获取(作为数据服务,逐日主动运行,将当日的增量数据插入到数据库中):

#---------------------------------------------------------------------- # 当日数据下载,定时使命使用 def downloadAllMinuteBar(): jqdatasdk.auth(JQDATA_USER, JQDATA_PASSWORD) """下载全部设置中的合约的分钟线数据""" print('-' * 50) print(u'开始下载合约分钟线数据') print('-' * 50) today = datetime.today().date() trade_date_list = jqdatasdk.get_trade_days(end_date=today, count=2) symbols_df = jqdatasdk.get_all_securities(types=['futures'], date=today) for index, row in symbols_df.iterrows(): downMinuteBarBySymbol(index, row, str(today), str(trade_date_list[-2])) print('-' * 50) print(u'合约分钟线数据下载完成') print('-' * 50) return

某段时间内的全量数据(为了补全某一段时间的全量数据进行使用):

#---------------------------------------------------------------------- # 按日期一次性补全数据 def downloadMinuteBarByDate(start_date, end_date=datetime.today().date()): jqdatasdk.auth(JQDATA_USER, JQDATA_PASSWORD) """下载全部设置中的合约的分钟线数据""" print('-' * 50) print(u'开始下载合约分钟线数据') print('-' * 50) trade_date_list = jqdatasdk.get_trade_days(start_date=start_date, end_date=end_date) i = 0 for trade_date in trade_date_list: if i == 0: i = 1 continue symbols_df = jqdatasdk.get_all_securities(types=['futures'], date=trade_date) for index, row in symbols_df.iterrows(): downMinuteBarBySymbol(index, row, str(trade_date_list[i]), str(trade_date_list[i-1])) i += 1 print('-' * 50) print(u'合约分钟线数据下载完成') print('-' * 50) return

详细合约当日的数据下载函数与vnpy的Bar种类数据的天生插入数据库的過逞:

#---------------------------------------------------------------------- def generateVtBar(symbol, time, d): """天生K线""" bar = VtBarData() bar.vtSymbol = symbol bar.symbol = symbol bar.open = float(d['open']) bar.high = float(d['high']) bar.low = float(d['low']) bar.close = float(d['close']) bar.date = datetime.strptime(time[0:10], '%Y-%m-%d').strftime('%Y%m%d') bar.time = time[11:] bar.datetime = datetime.strptime(bar.date + ' ' + bar.time, '%Y%m%d %H:%M:%S') bar.volume = d['volume'] return bar #---------------------------------------------------------------------- def downMinuteBarBySymbol(symbol, info, today, pre_trade_day): start = time() symbol_name = info['name'] cl = db[symbol_name] cl.ensure_index([('datetime', ASCENDING)], unique=True) # 添加索引 # 在此时间段内可以获取期货夜盘数据 minute_df = jqdatasdk.get_price(symbol, start_date=pre_trade_day + " 20:30:00",end_date=today + " 20:30:00", frequency='minute') # 将数据传入到数据队列当中 for index, row in minute_df.iterrows(): bar = generateVtBar(symbol_name, str(index), row) d = bar.__dict__ flt = {'datetime': bar.datetime} cl.replace_one(flt, d, True) e = time() cost = (e - start) * 1000 print(u'合约%s数据下载完成%s - %s,耗时%s毫秒' % (symbol_name, pre_trade_day, today, cost))

vnpy中提供了好几个数据服务的实现,功能也比较简单,但是能有不错的作用,聚宽的jqdatasdk也提供了很好的数据服务,非常有利于创建当地的体系。

Github:

聚宽与vnpy哪个好

去年看到这个量化林撕逼的时间纯粹当看热闹,今日又在知乎时间线看到,也算有缘,就事论事从纯技能的角度来聊聊。


本人工作重要负责生意业务系统架构,公司是一家TOP10的量化自营,基本国内各家系统平台都用过要么打仗过,算是有点发言权。


现在国内的诸多量化系统,大分类看不外乎三个方向:券商柜台、策略信号、及时生意业务。


券商柜台

兴业的CTP证券、华宝LTS、恒生UFT,算是第一代低延时生意业务柜台,超过了传统证券会合生意业务系统的硬盘数据库模式,几十倍的速率提高,历史地位不可低估,但是到了2018年廉颇老矣尚能饭否。

中泰的XTP,宽睿360,则是现在的第二代主力(不清除有我不知道的小众),延时更低、并发更稳定、API计划也越发人性化。

本年最值得等待的是华鑫的鑫生意业务系统,从传承上看应该是上期技能之前难产了的CTP2,做了进一步的革新提高。

以上这些系统都必须是券商要么技能公司开发,跟开源可以说毫无关系(好比XTP连底层库都自己从0开始实现)。


看多过有些菜鸟问Quicklib是不是可以替换CTP,还是洗洗睡吧.......这种智商做量化也是韭菜。


策略信号

从比较早的三大矿(优、米、聚),到去年冒出来的一堆打着“人工智能”名号的策略平台,本质上都还是在延用Quantopian计划出来的Zipline框架思绪,换汤不换药。

这类平台重要针对质券选股和因子类的策略,确实是通过尺度化的框架,大幅降低了量化研究员的入门门槛、进步了工作服从。各家券商也是主动求互助,一创证券的聚宽都已经上线实盘。


量化林那句 “多家私募用遍了种种矿最后还是返回找他的Quicklib” ,我就好奇他真知道什么是因子么,以为基于价格算算技能指标这么低级的工具就是量化了???


及时生意业务

国外更多叫做OMS要么EMS,重要用处是一套系统对接各家经纪商和生意业务所的通道,汇总管理全部的委托持仓信息。这块的系统相对比较少,国内的PB系统可以算一种,但由于监管缘故大多关掉了对外通讯的功能,有点像宦官。

这块现在最有前程的项目无疑就是大V董可人开发的“Kungfu”了,基于共享内存的超低延时数据库,优化到极致的接口层数据布局,这些才是真正拿得脱手的“工夫”,也难怪中泰XTP赶快求互助。


Quicklib之前不停宣传自己是异步IO怎么怎么高效,连量化生意业务本质是盘算密集型程序(跟!IO压根就没多大关系)都搞不清晰,确定不是在“搞笑”么?




最后总结:要知道一个量化系统的优劣,看看有几多金融机构(持牌的)正式签约上线是最简单粗暴的方法。

找了两家小期货当居间就号称跟人家战略!互助的(还是加1分的条款),这么不要脸的除了Quicklib也没谁了......

EliteQuant

量化投资生意业务资源汇总

除了列在这里和 海外资源列表 之外,另有许多有价值的在线资源。我们不大概全举出全部资源。假如您以为有什么是值得建议的,请随时与我们联系。一样平常来说开源项目参加前至少在码云上收到10颗星。


量化生意业务平台

生意业务系统

量化模型

生意业务API

数据源

官方

网站论坛博客

论文书本

本文网址: https://www.4008140202.com/pp/2020711201653_8710_1597078457/home

推荐阅读

tags

最新发布