【迅投qmt系列】2、历史数据获取

发布于:2024-04-25 ⋅ 阅读:(21) ⋅ 点赞:(0)

1、基本思想

在 xtquant 中,历史数据要先下载(download_history_data)到本地的缓存文件中,之后才能获取(get_market_data)使用。
如果确认之前已经下载过,且数据完整,那么后续使用前可以不用再次下载。

2、常用函数

xtdata.download_history_data()		# 下载单个资产的历史数据
xtdata.download_history_data2()		# 下载多个资产(资产代码装在[]中)的历史数据

xtdata.get_market_data()			# 从已下载的本地数据中取数据方法1
xtdata.get_market_data_ex()			# 从已下载的本地数据中取数据方法2
xtdata.get_local_data()				# 从本地取已下载的数据

为方便,其中 get_market_data 和 get_market_data_ex 合称 gmd 函数。
以下分别简介各个函数的用法。

2.1、下载资产历史数据到本地缓存文件中

下载资产的历史数据,需要用到 download_history_data 和 download_history_data2,他们的使用方法几乎一样。
download_history_data 的使用方法是:

# download_history_data
xtdata.download_history_data(
	stock_code='xxxxxx.SH', 
	period='1x', 
	start_time='20230101', 
	end_time='20231115',
	incrementally=True)		# 是否只下载增量数据
)


# download_history_data2
def on_callback(data):
	print("data call back!")
	print(data)

xtdata.download_history_data2(
	stock_list=['xxxxxx.SH', 'xxxxxx.SZ'], 
	period='1x', 
	start_time='20230101', 
	end_time='20231115',
	callback=on_callback,
	incrementally=True)		# 是否只下载增量数据
)

其中:
1、period 的取值是 :1m、5m、15m、30m、1h、1d、tick。。。 时,能取到指定资产指定周期的行情数据
2、period 的取值是:transactioncount1d、orderflow1m 时,能取到指定资产的资金流向数据、订单流数据等数据(需要权限)
3、period 的取值是:northfinancechange1m,同时资产代价是 ’FFFFFF.SGT’ 或者 [‘FFFFFF.SGT’],能取到北向资金数据(需要权限)。其他可下载数据见官方知识库。
4、start_time、end_time 的格式是 ‘yyyymmddHHMMSS’,当只取日线数据时,可以简化为 ‘yyyymmdd’
5、当 start_time=“”,就是从该资产的历史最早时间开始取,当 end_time=“”,就是取到该资产最新的历史数据(如果取的是日内数据,就按周期取到当时最近的日内数据),两者可以都为 “”…
6、download_history_data2 相对 download_history_data 的改进,除了能批量下载资产的历史数据,还支持回调函数
7、incrementally=True 时,用download_history_data2下载多个资产的历史数据,如果不同资产的最新数据日期不同,download_history_data2能根据各个资产的最新日期补齐数据至end_time
8、使用 token 的模式下,支持下载到指定目录,具体实现后续再展开(坑1)

2.2、从本地获取历史数据

get_market_data、get_market_data_ex、get_local_data 都是从本地数据缓存中获取已经下载的数据,三个函数的使用参数也差不多:

history_data = xtdata.get_market_data(
    field_list=[],
    stock_list=etf_list,
    period=period,
    start_time=start_date,
    end_time=end_date,
    count=-1,
    dividend_type='none',
    fill_data=True
)

xtdata.get_market_data_ex(
    field_list=[],# 字段
    stock_list=[],# 合约代码列表
    period='1d',# 数据周期——1m、5m、1d、tick
    start_time='',# 数据起始时间%Y%m%d或%Y%m%d%H%M%S
    end_time='',# 数据结束时间%Y%m%d或%Y%m%d%H%M%S
    count=-1, # 数据个数。1为只取最新的行情数据,-1为取全部数据
    dividend_type='none', # 除权方式
    fill_data=True, # 是否填充数据
)

xtdata.get_local_data(
    field_list=[],# 字段
    stock_list=[],# 合约代码列表
    period='1d',# 数据周期——1m、5m、1d、tick
    start_time='',# 数据起始时间%Y%m%d或%Y%m%d%H%M%S
    end_time='',# 数据结束时间%Y%m%d或%Y%m%d%H%M%S
    count=-1, # 数据个数。1为只取最新的行情数据,-1为取全部数据
    dividend_type='none', # 除权方式
    fill_data=True, # 是否填充数据
)

三者的共同点是,返回的都是 {keys: DataFrames} 格式的数据
三者的区别是:
get_market_data 返回的是两层 dict,第一层 key 是资产代码,第二层 key 是 field_list 中的每个字段,第二层 value 是对应字段的 DataFrame 类型的数据,内容除了本地数据,在订阅之后,也包含有最新的行情数据。
get_market_data_ex 返回的是一层dict,key是 资产代码,value 是包含 field_list 中的所有字段的 DataFrame,内容除了本地数据,在订阅之后,也包含有最新的行情数据。
get_local_data 返回的结果格式与 get_market_data_ex 一样,但是内容只有之前用 download_history_data 下载到本地的数据。

如何同时获取到拼接完整的历史数据和实时行情数据,后续再展开(坑2)。

(内容随时迭代更新中,欢迎常回来看看)