黄金矿工

stock_site_v3_02定投模块说明

Sat, 10 May 2025 00:00:00 GMT

01,定投收益率矩阵#

表示张三，某年某月随机决定定投此标的，并且于某年某月随机退出的收益分布情况。
表格各个取值含义为：从xx日到yy日的定投收益率
举例：
比如第3行(2022-07)，第6列(2022-09),对应的-15.14%
意思是：从2022年07月开始定投到2022年10月结束定投，收益率负15.14%

换一个更大的视角，可见，绿色部分（深度亏损），红色部分（深度盈利），都是列聚合的（同列取值更接近）。而列是退出时间，说明对定投而言，退出时间非常重要，这个也符合直观理解，毕竟，由于定投是持续加仓，退出时的仓位是最大的（即将退出时的行情表现，对总资产盈亏影响力很大）。

02,收益率分布情况#

这个表示了上面那个张三，在当前标的上，一次“随意开启-终止”定投，动作。亏损-收益的概率分布，比如当前就是亏损概率45%，盈利概率55%，具体分位表现如下图。

03,月度定投记录-先读懂这个table#

上面计算均源于此表，各个数据列关系，以在图中标识，基本比较明晰了。不做过度解释。

上面的计算可能看起来对不齐，实际由于四舍五入引起的，原始table表格如下

04,detail页面,查看定投详情#

标的价格走势，只取得了每月第一工作日价格，所以价格点稀疏。
下面的定投资金，起点并非1000，主要原因是，避免计算复杂，数值是从上面的03部分的月度定投记录，截取的一部分。所以并不十分精准。数值上不准确，但是整体并不影响最终收益率结论。
20250510：最新系统已做升级，从0开始计算。

详细数据计算链

vectorbt学习_60DC之一基础策略

Tue, 10 Dec 2024 00:00:00 GMT

基于vectorbt的基础唐奇安通道

09dc_01basic：基础方法
09dc_01basicV2：和基础方法等价，不过是基于vectorbt的指标机制的集成的dch指标。

01,基础配置信息#

1
#conda envs:vectorbt_env
2
import warnings
3
import vectorbt as vbt
4
import numpy as np
5
import pandas as pd
6
from datetime import datetime, timedelta
7
import pytz
8
from dateutil.parser import parse
9
import ipywidgets as widgets
10
from copy import deepcopy
11
from tqdm import tqdm
12
import imageio
13
from IPython import display
14
import plotly.graph_objects as go
15
import itertools
16
import dateparser
17
import gc
18
import math
19
from tools import dbtools
20

21
warnings.filterwarnings("ignore")
22

23
pd.set_option('display.max_rows',500)
24
pd.set_option('display.max_columns',500)
25
pd.set_option('display.width',1000)

展开收起

02,行情获取和可视化#

a,时间交易参数配置#

1
# Enter your parameters here
2
seed = 42
3
symbol = '600089.XSHG' #601318
4
metric = 'total_return'
5

6
start_date = datetime(2021, 1, 1, tzinfo=pytz.utc)  # time period for analysis, must be timezone-aware
7
end_date = datetime(2023,1,1, tzinfo=pytz.utc)
8
time_buffer = timedelta(days=100)  # buffer before to pre-calculate SMA/EMA, best to set to max window
9
freq = '1D'
10

11
vbt.settings.portfolio['init_cash'] = 100000.  # 100$
12
vbt.settings.portfolio['fees'] = 0.0025  # 0.25%
13
vbt.settings.portfolio['slippage'] = 0.0025  # 0.25%

b,获取行情和行情mask#

1
# Download data with time buffer
2
cols = ['Open', 'High', 'Low', 'Close', 'Volume']
3
# ohlcv_wbuf = vbt.YFData.download(symbol, start=start_date-time_buffer, end=end_date).get(cols)
4

5
ohlcv_wbuf=dbtools.MySQLData.download(symbol).get() # 自带工具类查询
6
assert(~ohlcv_wbuf.empty)
7
ohlcv_wbuf = ohlcv_wbuf.astype(np.float64)
8

9
print("origin ohlcv_wbuf size:",ohlcv_wbuf.shape)
10
print(ohlcv_wbuf.columns)
11

12

13
# Create a copy of data without time buffer
14
wobuf_mask = (ohlcv_wbuf.index >= start_date) & (ohlcv_wbuf.index <= end_date) # mask without buffer
15

16
ohlcv = ohlcv_wbuf.loc[wobuf_mask, :]
17

18
print("wobuf_mask ohlcv size:",ohlcv.shape)
19

20
# Plot the OHLC data
21
ohlcv.vbt.ohlcv.plot().show_svg() # 绘制蜡烛图
22
# remove show_svg() to display interactive chart!

展开收起

1
origin ohlcv_wbuf size: (1409, 5)
2
Index(['Open', 'High', 'Low', 'Close', 'Volume'], dtype='object')
3
wobuf_mask ohlcv size: (485, 5)

svg

03,指标计算和可视化#

1
# fig.show_svg()
2
upper_window = 20 # 上边界滚动计算周期
3
lower_window = 10 # 下边界滚动计算周期
4
upper_window_comp_skip = 5  # 突破比较时需要和前n日的比较
5
lower_window_comp_skip = 3  # 突破比较时需要和前n日的比较
6
# Pre-calculate running windows on data with time buffer
7
upper_band = vbt.talib('MAX').run(ohlcv_wbuf['High'], timeperiod=upper_window)
8
# print(upper_band.real.head(30))
9
lower_band = vbt.talib('MIN').run(ohlcv_wbuf['Low'], timeperiod=lower_window)
10

11
print(upper_band.real.shape)
12
print(lower_band.real.shape)
13

14

15
# Remove time buffer
16
upper_band = upper_band[wobuf_mask]
17
lower_band = lower_band[wobuf_mask]
18

19
# there should be no nans after removing time buffer
20
assert(~upper_band.real.isnull().any())
21
assert(~lower_band.real.isnull().any())
22

23
print(upper_band.real.shape)
24
print(lower_band.real.shape)
25

26

27
fig = ohlcv['Close'].vbt.plot(trace_kwargs=dict(name='Price'))
28
fig = upper_band.real.vbt.plot(trace_kwargs=dict(name='Upper Band'), fig=fig)
29
fig = lower_band.real.vbt.plot(trace_kwargs=dict(name='Lower Band'), fig=fig)
30
fig.show_svg()

展开收起

1
(1409,)
2
(1409,)
3
(485,)
4
(485,)

svg

04,信号计算和可视化#

1
# def crossed_above(series1, series2):
2
#     """Returns a boolean Series indicating where series1 crosses above series2."""
3
#     return (series1 > series2) & (series1.shift(1) <= series2.shift(1))
4

5
# def crossed_below(series1, series2):
6
#     """Returns a boolean Series indicating where series1 crosses below series2."""
7
#     return (series1 < series2) & (series1.shift(1) >= series2.shift(1))
8

9
# dc_entries = crossed_above(ohlcv['Close'],upper_band.real.shift(5).fillna(method='ffill'))# 后移5/3天，当天视角看就是close比对3天前的upper/lower
10
# dc_exits =  crossed_below(ohlcv['Close'],lower_band.real.shift(3).fillna(method='ffill'))
11

12

13
# 信号计算
14
upper_band_nd_ago = upper_band.real.shift(upper_window_comp_skip) #n日前max价格
15
lower_band_nd_ago = lower_band.real.shift(lower_window_comp_skip) #
16
# Long when MACD is above zero AND signal
17
# 优化：ohlcv_wbuf["Close"]->ohlcv_wbuf["High"]
18
# 原理：最高价不断走高的是好行情，最高价包含情绪因素，比收盘价更具代表性
19
dc_entries = ohlcv["Close"][upper_band_nd_ago.index].vbt.crossed_above(upper_band_nd_ago)
20
dc_exits= ohlcv["Close"][lower_band_nd_ago.index].vbt.crossed_below(lower_band_nd_ago)
21

22
# 行情-指标-信号可视化
23
fig = ohlcv['Close'].vbt.plot(trace_kwargs=dict(name='Price'))
24
fig = upper_band.real.vbt.plot(trace_kwargs=dict(name='Fast MA'), fig=fig)
25
fig = lower_band.real.vbt.plot(trace_kwargs=dict(name='Slow MA'), fig=fig)
26
fig = dc_entries.vbt.signals.plot_as_entry_markers(ohlcv['Close'], fig=fig)
27
fig = dc_exits.vbt.signals.plot_as_exit_markers(ohlcv['Close'], fig=fig)
28
fig.show_svg()
29

30
# (单独)信号可视化
31
fig = dc_entries.vbt.signals.plot(trace_kwargs=dict(name='Entries'))
32
dc_exits.vbt.signals.plot(trace_kwargs=dict(name='Exits'), fig=fig).show_svg()
33

34
# 信号的统计信息
35
dc_entries.vbt.signals.stats(settings=dict(other=dc_exits))

展开收起

svg

1
Start                       2021-01-04 00:00:00+00:00
2
End                         2022-12-30 00:00:00+00:00
3
Period                                            485
4
Total                                              19
5
Rate [%]                                     3.917526
6
Total Overlapping                                   0
7
Overlapping Rate [%]                              0.0
8
First Index                 2021-01-18 00:00:00+00:00
9
Last Index                  2022-08-29 00:00:00+00:00
10
Norm Avg Index [-1, 1]                       -0.19552
11
Distance -> Other: Min                            3.0
12
Distance -> Other: Max                           67.0
13
Distance -> Other: Mean                     25.315789
14
Distance -> Other: Std                       17.34952
15
Total Partitions                                   19
16
Partition Rate [%]                              100.0
17
Partition Length: Min                             1.0
18
Partition Length: Max                             1.0
19
Partition Length: Mean                            1.0
20
Partition Length: Std                             0.0
21
Partition Distance: Min                           2.0
22
Partition Distance: Max                          61.0
23
Partition Distance: Mean                    21.722222
24
Partition Distance: Std                     18.549792
25
dtype: object

展开收起

05,交易统计#

a,基准比对#

1
dmac_pf = vbt.Portfolio.from_signals(ohlcv['Close'], dc_entries, dc_exits)
2
# Print stats
3
print(dmac_pf.stats())
4

5
# Now build portfolio for a "Hold" strategy
6
# Here we buy once at the beginning and sell at the end
7
hold_entries = pd.Series.vbt.signals.empty_like(dc_entries)
8
hold_entries.iloc[0] = True
9
hold_exits = pd.Series.vbt.signals.empty_like(hold_entries)
10
hold_exits.iloc[-1] = True
11
hold_pf = vbt.Portfolio.from_signals(ohlcv['Close'], hold_entries, hold_exits)
12

13
# Equity
14
fig = dmac_pf.value().vbt.plot(trace_kwargs=dict(name='Value (DMAC)'))
15
hold_pf.value().vbt.plot(trace_kwargs=dict(name='Value (Hold)'), fig=fig).show_svg()

展开收起

1
Start                         2021-01-04 00:00:00+00:00
2
End                           2022-12-30 00:00:00+00:00
3
Period                                              485
4
Start Value                                    100000.0
5
End Value                                 135478.738311
6
Total Return [%]                              35.478738
7
Benchmark Return [%]                         104.325952
8
Max Gross Exposure [%]                            100.0
9
Total Fees Paid                             6084.898884
10
Max Drawdown [%]                               52.33349
11
Max Drawdown Duration                             318.0
12
Total Trades                                          9
13
Total Closed Trades                                   9
14
Total Open Trades                                     0
15
Open Trade PnL                                      0.0
16
Win Rate [%]                                  33.333333
17
Best Trade [%]                                97.749209
18
Worst Trade [%]                              -19.171936
19
Avg Winning Trade [%]                         42.098525
20
Avg Losing Trade [%]                          -9.811332
21
Avg Winning Trade Duration                         47.0
22
Avg Losing Trade Duration                          11.0
23
Profit Factor                                  1.374907
24
Expectancy                                  3942.082035
25
dtype: object

展开收起

svg

b,交易详情和可视化#

1
# Plot trades
2
print(dmac_pf.trades.records.head(5))
3
dmac_pf.trades.plot().show_svg()

1
   id  col        size  entry_idx  entry_price  entry_fees  exit_idx   exit_price   exit_fees           pnl    return  direction  status  parent_id
2
0   0    0  183.350720         10   544.042715  249.376559        38   550.239953  252.217228    634.674170  0.006363          0       1          0
3
1   1    0  175.831773         73   570.907710  250.959287        91   565.963545  248.785934  -1369.086519 -0.013639          0       1          1
4
2   2    0  164.485565        113   601.986212  247.545106       180  1194.915225  491.365766  96789.353009  0.977492          0       1          2
5
3   3    0  141.336528        197  1383.690600  488.915064       208  1124.681250  397.396358 -37493.793739 -0.191719          0       1          3
6
4   4    0  129.545854        230  1220.924700  395.414331       235  1108.431975  358.981916 -15327.362345 -0.096907          0       1          4

svg

vectorbt学习_53DMA之十三参数优选和自适应周期验证

Sun, 11 Aug 2024 00:00:00 GMT

之前有部分想当然的结论，重新做下验证

结论：
01,4个参数优选方法中，
猜测的是in_test_best_index_basic最优，
实际是in_test_best_index_nb_coord稍稍胜出

02,自适应周期计算中，
猜测的是自适应周期最优（此处是通过傅里叶变换计算的），
实际是fixed60最优，本质是自适应周期只要不是最优，就基本说明这个思路是无效的了。

01，基础数据格式#

csv中的数据格式

1
Start,End,Period,Start Value,End Value,Total Return [%],Benchmark Return [%],Max Gross Exposure [%],Total Fees Paid,Max Drawdown [%],Max Drawdown Duration,Total Trades,Total Closed Trades,Total Open Trades,Open Trade PnL,Win Rate [%],Best Trade [%],Worst Trade [%],Avg Winning Trade [%],Avg Losing Trade [%],Avg Winning Trade Duration,Avg Losing Trade Duration,Profit Factor,Expectancy,Sharpe Ratio,Calmar Ratio,Omega Ratio,Sortino Ratio,choose_method,file_name,symbol
2
0,79,80 days,10000.00,10134.98,1.35,6.77,100.00,91.46,12.38,54 days 14:24:00,1.80,1.80,0.00,0.00,30.00,1.87,-2.59,7.81,-4.94,11 days 06:00:00,16 days 15:00:00,inf,-12.60,-0.67,0.65,0.85,-0.55,in_test_best_index_basic,92reportConfig/01_05dma_06rollingFilterGridParamExitFuncV2/002230XSHE_20200101_20240801_bar80_filter1.md,002230.XSHE
3
0,79,80 days,10000.00,10482.11,4.82,-0.01,100.00,51.21,10.04,52 days 04:48:00,1.00,1.00,0.00,0.00,40.00,4.83,4.83,18.41,-4.22,20 days 00:00:00,32 days 08:00:00,inf,482.11,0.22,5.98,1.20,1.28,in_test_best_index_nb_coord,92reportConfig/01_05dma_06rollingFilterGridParamExitFuncV2/002230XSHE_20200101_20240801_bar80_filter1.md,002230.XSHE
4
0,79,80 days,10000.00,10358.56,3.59,4.13,100.00,69.45,10.67,54 days 08:00:00,1.33,1.33,0.00,0.00,41.67,2.68,-0.44,7.57,-4.30,20 days 20:00:00,17 days 18:00:00,inf,125.02,-0.12,1.29,0.96,0.14,in_test_best_index_nb_mean,92reportConfig/01_05dma_06rollingFilterGridParamExitFuncV2/002230XSHE_20200101_20240801_bar80_filter1.md,002230.XSHE
5
0,79,80 days,10000.00,10160.66,1.61,4.13,100.00,76.51,12.49,54 days 08:00:00,1.50,1.50,0.00,0.00,38.89,2.48,-1.77,7.13,-5.17,19 days 20:00:00,16 days 12:00:00,inf,52.32,-0.40,0.97,0.89,-0.16,in_test_best_index_nb_median,92reportConfig/01_05dma_06rollingFilterGridParamExitFuncV2/002230XSHE_20200101_20240801_bar80_filter1.md,002230.XSHE
6
0,99,100 days,10000.00,10258.43,2.58,2.67,100.00,54.29,13.10,69 days 06:00:00,1.50,0.75,0.75,699.01,0.00,-5.89,-5.89,,-5.89,,19 days 08:00:00,0.00,-587.44,0.07,1.86,0.99,0.42,in_test_best_index_basic,92reportConfig/01_05dma_06rollingFilterGridParamExitFuncV2/002180XSHE_20200101_20240801_bar100_filter1.md,002180.XSHE
7
0,99,100 days,10000.00,10335.80,3.36,4.75,100.00,95.13,12.27,65 days 19:12:00,2.20,1.60,0.60,574.26,13.33,-2.35,-4.66,6.93,-4.63,11 days 12:00:00,15 days 19:12:00,0.95,-333.04,0.27,2.01,1.07,0.69,in_test_best_index_nb_coord,92reportConfig/01_05dma_06rollingFilterGridParamExitFuncV2/002180XSHE_20200101_20240801_bar100_filter1.md,002180.XSHE
8
0,99,100 days,10000.00,10329.60,3.30,2.67,100.00,54.63,12.47,69 days 06:00:00,1.50,0.75,0.75,702.18,0.00,-4.98,-4.98,,-4.98,,20 days 00:00:00,0.00,-496.76,0.16,1.93,1.01,0.53,in_test_best_index_nb_mean,92reportConfig/01_05dma_06rollingFilterGridParamExitFuncV2/002180XSHE_20200101_20240801_bar100_filter1.md,002180.XSHE
9
0,99,100 days,10000.00,10302.37,3.02,2.67,100.00,54.50,12.71,69 days 06:00:00,1.50,0.75,0.75,700.97,0.00,-5.33,-5.33,,-5.33,,20 days 08:00:00,0.00,-531.47,0.13,1.90,1.00,0.49,in_test_best_index_nb_median,92reportConfig/01_05dma_06rollingFilterGridParamExitFuncV2/002180XSHE_20200101_20240801_bar100_filter1.md,002180.XSHE

02，4种参数优选方法的比较#

交叉表统计，各优选方法的rank计数
主要用来验证常见的4种参数优选方法的优劣。

1
import pandas as pd
2
pd.set_option('display.max_rows',500)
3
pd.set_option('display.max_columns',500)
4
pd.set_option('display.width',1000)
5

6
# 步骤1: 读取数据
7
data_path = '/home/john/git/repo_quant/myvectorbt/92reportConfig/01_05dma_06rollingFilterGridParamExitFuncV2_rst.csv'
8
df = pd.read_csv(data_path)
9

10
# 步骤2: 数据清洗
11
df = df.dropna(subset=['Start Value'])
12

13
# 步骤3: 排序和分组
14
df['End Value'] = pd.to_numeric(df['End Value'], errors='coerce')
15
df_sorted = df.sort_values(by=['symbol', 'End Value'], ascending=[True, False])
16

17
# 计算排名
18
df_sorted['rank'] = df_sorted.groupby('symbol')['End Value'].rank("dense", ascending=False)
19

20
# 步骤4: 创建交叉表
21
result_table = pd.crosstab(index=df_sorted['rank'], columns=df_sorted['choose_method'])
22

23
# 打印结果表格
24
print(result_table)

展开收起

1
choose_method  in_test_best_index_basic  in_test_best_index_nb_coord  in_test_best_index_nb_mean  in_test_best_index_nb_median
2
rank
3
1.0                                  19                           26                          20                            21
4
2.0                                  21                           12                          30                            22
5
3.0                                  20                           21                          18                            22
6
4.0                                  20                           21                          12                            15

数据含义：列名表示优选方法，
第一列第一行表示in_test_best_index_basic优选方法，在同一个标的的4中优选方法，是最优的情况出现19次。
第一列第二行表示in_test_best_index_basic优选方法，在同一个标的的4中优选方法，是次优的情况出现21次。
注意下：由于采用的rank(“dense”)方式，所以可能存在并列第一（并列第二，第三都有可能）的情况。所有理论上的每一行的sum应该相等，且等于总标的*4并不成立，而且部分标的部分择优方法可能存在缺失值，都会导致rank1的总数量大于rank4（的总数）

从结果上看，in_test_best_index_nb_coord均值方法最佳，但也说不上显著。

03，自适应周期和固定周期的比较#

在做滚动性的周期回测时，需要设定训练-预测周期，比例和基础周期，
比如 80天，2：1
就是训练集80*2=160天，
预测集80*1=80天.（可以认为多久重置一次参数的周期）。
太长了，可能学习到真实的参数，但是对市场反应过于迟钝了，学习到的正确参数可能已经不再适用当下，
太短了，可能并未学习到真实参数，只是过拟合出一个不错的结果，而且切分出的验证集次数过多，累乘时，容易偏向于过拟合。

认为自适应计算出的标的的训练-预测周期，优于固定的周期。所以，理想的自适应周期的回测结果应该优于任何一组固定周期。

1
import pandas as pd
2

3
# 读取和合并数据
4
files = {
5
    'adaptive': '../92reportConfig/01_05dma_06rollingFilterGridParamExitFuncV2_rst.csv',
6
    'fixed_40': '../92reportConfig/01_05dma_06rollingFilterGridParamExitFuncV2_cycle40_rst.csv',
7
    'fixed_60': '../92reportConfig/01_05dma_06rollingFilterGridParamExitFuncV2_cycle60_rst.csv',
8
    'fixed_80': '../92reportConfig/01_05dma_06rollingFilterGridParamExitFuncV2_cycle80_rst.csv'
9
}
10

11
dfs = []
12
for key, file in files.items():
13
    df = pd.read_csv(file)
14
    df = df[df['choose_method'] == 'in_test_best_index_basic']
15
    df['source'] = key
16
    dfs.append(df)
17

18
combined_df = pd.concat(dfs)
19
# print(combined_df.head(3))
20
# 计算排名
21
combined_df['rank'] = combined_df.groupby(['symbol'])['End Value'].rank(method='dense', ascending=False)
22
# print(combined_df.head(3))
23
# 创建交叉表
24
crosstab_result = pd.crosstab(index=combined_df['rank'] , columns=combined_df['source'])
25

26
# 打印结果
27
print(crosstab_result)

展开收起

1
source  adaptive  fixed_40  fixed_60  fixed_80
2
rank
3
1.0           21        23        28        21
4
2.0           25        23        22        21
5
3.0           21        28        22        17
6
4.0           13         6         9        20

本以为自适应周期的应该是最优的，实际好像也未必
上面看fixed_60的表现是最佳的，并不符合最初猜测。

当然此时，并不能说明猜测一定是错误的。
原因如下：
01，自己的最佳周期计算函数有问题（傅里叶变换），计算出的最佳周期未必真正的最佳周期。
02，最佳周期计算采用202001-202301数据得来的，实际测试周期2020-202408，所以并非完全卡着周期的，这也会引入偏差。只是这部分误差可能难以消除，毕竟，不可能提前预知未来一段时间的最佳周期参数。

vectorbt学习_51DMA之十一滑窗网格参数优选

Sat, 27 Jul 2024 00:00:00 GMT

本文在上一篇文章(31DMA之九滑窗网格参数优选)基础上。
之前文章:
01,增加了止盈，止损，跟踪止损等参数，但实际效果看训练集上效果尚可，验证集上效果更差，怀疑过拟合导致。
02.增加几种避免过拟合的参数优选方法。
新增3种参数优选方法，一定程度上降低参数过拟合的可能。

1
  v1:直接(简单最大值)优选法
2
  v2:邻近域优选法
3
  v3:邻居权重优选法-均值
4
  v4:邻居权重优选法-中位数

03,止损参数，止盈参数也是类似的，不止2个维度了，邻居采用立方体思路.对角点相接的也算作邻居，
之前2维时是同边才算邻居，比如(1,3)，邻居是(2,3),(1,2),(1,4),新的规则会新增(2，2),(2，4)

本文增加：增加行情过滤器，过滤掉低波动行情，开仓时如果行情波动性不足，不开仓。
原始买卖状态信号：
1111111100000000000001111100
=》+ 过滤器
0011100000000000000111100000
=》期望效果
0011111100000000000001111100

可见过滤器影响原始买卖状态信号的头，不影响原始买卖状态的尾巴。

01,基础配置信息#

1
#conda envs:vectorbt_env
2
import warnings
3
import vectorbt as vbt
4
import numpy as np
5
import pandas as pd
6
from datetime import datetime, timedelta
7
import pytz
8
from dateutil.parser import parse
9
import ipywidgets as widgets
10
from copy import deepcopy
11
from tqdm import tqdm
12
import imageio
13
from IPython import display
14
import plotly.graph_objects as go
15
import itertools
16
import dateparser
17
import gc
18
import math
19
from tools import dbtools
20

21
warnings.filterwarnings("ignore")
22

23
pd.set_option('display.max_rows',500)
24
pd.set_option('display.max_columns',500)
25
pd.set_option('display.width',1000)

展开收起

02,行情获取和可视化#

a,时间交易参数配置#

1
# Enter your parameters here
2
seed = 42
3
symbol = '002594.XSHE'
4
metric = 'total_return'
5

6
start_date = datetime(2020, 1, 1, tzinfo=pytz.utc)  # time period for analysis, must be timezone-aware
7
end_date = datetime(2023,1,1, tzinfo=pytz.utc)
8
time_buffer = timedelta(days=100)  # buffer before to pre-calculate SMA/EMA, best to set to max window
9
freq = '1D'
10

11
vbt.settings.portfolio['init_cash'] = 10000.  # 100$
12
vbt.settings.portfolio['fees'] = 0.0025  # 0.25%
13
vbt.settings.portfolio['slippage'] = 0.0025  # 0.25%

b,获取行情和行情mask#

1
# Download data with time buffer
2
cols = ['Open', 'High', 'Low', 'Close', 'Volume']
3
# ohlcv_wbuf = vbt.YFData.download(symbol, start=start_date-time_buffer, end=end_date).get(cols)
4

5
ohlcv_wbuf=dbtools.MySQLData.download(symbol).get() # 自带工具类查询
6
assert(~ohlcv_wbuf.empty)
7
ohlcv_wbuf = ohlcv_wbuf.astype(np.float64)
8

9
print("ohlcv_wbuf.shape:",ohlcv_wbuf.shape)
10
print("ohlcv_wbuf.columns:",ohlcv_wbuf.columns)
11

12

13
# Create a copy of data without time buffer
14
wobuf_mask = (ohlcv_wbuf.index >= start_date) & (ohlcv_wbuf.index <= end_date) # mask without buffer
15

16
ohlcv = ohlcv_wbuf.loc[wobuf_mask, :]
17

18
print("ohlcv.shape:",ohlcv.shape)
19

20
# Plot the OHLC data
21
ohlcv.vbt.ohlcv.plot().show_svg() # 绘制蜡烛图
22
# remove show_svg() to display interactive chart!

展开收起

1
ohlcv_wbuf.shape: (978, 5)
2
ohlcv_wbuf.columns: Index(['Open', 'High', 'Low', 'Close', 'Volume'], dtype='object')
3
ohlcv.shape: (728, 5)

svg

20,网格参数-指标计算和可视化#

仅可视化第一列

1
fast_windows = np.arange(10, 50,5)
2
slow_multis = np.arange(1.5, 5.5, 0.5)
3
print("fast_windows:",fast_windows)
4
print("slow_multis:",slow_multis)
5

6
price_wbuf=ohlcv_wbuf['Close']
7
dualma_wbuf = vbt.DualMA.run(price_wbuf, fast_window=fast_windows,slow_multi=slow_multis,param_product=True)
8
dualma = dualma_wbuf[wobuf_mask]
9
# there should be no nans after removing time buffer
10
assert(~dualma.fast_ma.isnull().any().any())
11
assert(~dualma.slow_ma.isnull().any().any())
12

13
# 计算收盘价的标准差
14
std_close_wbuf = ohlcv_wbuf['Close'].rolling(window=20).std()
15
std_close_ma_wbuf = std_close_wbuf.rolling(window=20).mean()
16
std_close=std_close_wbuf[wobuf_mask]
17
std_close_ma=std_close_ma_wbuf[wobuf_mask]
18
std_indicator = (std_close > std_close_ma )
19

20
# 计算收盘价diff
21
diff_close_wbuf = ohlcv_wbuf['Close'] - ohlcv_wbuf['Close'].rolling(window=int(20/5)).mean().shift(20)
22
diff_close_ma_wbuf = diff_close_wbuf.rolling(window=20).mean()
23
diff_close=diff_close_wbuf[wobuf_mask]
24
diff_close_ma=diff_close_ma_wbuf[wobuf_mask]
25
diff_indicator = ((diff_close > diff_close_ma )&(diff_close_ma>200*0.0025*20))
26

27
print()
28
print('dualma.fast_ma.head(3)')
29
print(dualma.fast_ma.head(3))
30
print('dualma.slow_ma.head(3)')
31
print(dualma.slow_ma.head(3))
32

33
print()
34
fig = ohlcv['Close'].vbt.plot(trace_kwargs=dict(name='Price'))
35
fig = dualma.fast_ma.iloc[:,0].vbt.plot(trace_kwargs=dict(name="Fast MA col %s"%str(dualma.fast_ma.iloc[:,0].name)), fig=fig)
36
fig = dualma.slow_ma.iloc[:,0].vbt.plot(trace_kwargs=dict(name="Slow MA col %s"%str(dualma.slow_ma.iloc[:,0].name)), fig=fig)
37
fig.show_svg()

展开收起

1
fast_windows: [10 15 20 25 30 35 40 45]
2
slow_multis: [1.5 2.  2.5 3.  3.5 4.  4.5 5. ]
3

4
dualma.fast_ma.head(3)
5
dualma_fast_window             10                                                                 15                                                                                    20                                                                      25                                                                        30                                                                                      35                                                                                    40                                                                        45
6
dualma_slow_multi             1.5     2.0     2.5     3.0     3.5     4.0     4.5     5.0        1.5        2.0        2.5        3.0        3.5        4.0        4.5        5.0      1.5      2.0      2.5      3.0      3.5      4.0      4.5      5.0      1.5      2.0      2.5      3.0      3.5      4.0      4.5      5.0        1.5        2.0        2.5        3.0        3.5        4.0        4.5        5.0        1.5        2.0        2.5        3.0        3.5        4.0        4.5        5.0      1.5      2.0      2.5      3.0      3.5      4.0      4.5      5.0        1.5        2.0        2.5        3.0        3.5        4.0        4.5        5.0
7
date
8
2020-01-02 00:00:00+00:00  46.665  46.665  46.665  46.665  46.665  46.665  46.665  46.665  45.824667  45.824667  45.824667  45.824667  45.824667  45.824667  45.824667  45.824667  45.3025  45.3025  45.3025  45.3025  45.3025  45.3025  45.3025  45.3025  44.9476  44.9476  44.9476  44.9476  44.9476  44.9476  44.9476  44.9476  44.816667  44.816667  44.816667  44.816667  44.816667  44.816667  44.816667  44.816667  44.594571  44.594571  44.594571  44.594571  44.594571  44.594571  44.594571  44.594571  44.5425  44.5425  44.5425  44.5425  44.5425  44.5425  44.5425  44.5425  44.440222  44.440222  44.440222  44.440222  44.440222  44.440222  44.440222  44.440222
9
2020-01-03 00:00:00+00:00  46.972  46.972  46.972  46.972  46.972  46.972  46.972  46.972  46.128667  46.128667  46.128667  46.128667  46.128667  46.128667  46.128667  46.128667  45.5025  45.5025  45.5025  45.5025  45.5025  45.5025  45.5025  45.5025  45.1420  45.1420  45.1420  45.1420  45.1420  45.1420  45.1420  45.1420  44.964000  44.964000  44.964000  44.964000  44.964000  44.964000  44.964000  44.964000  44.723714  44.723714  44.723714  44.723714  44.723714  44.723714  44.723714  44.723714  44.6265  44.6265  44.6265  44.6265  44.6265  44.6265  44.6265  44.6265  44.555556  44.555556  44.555556  44.555556  44.555556  44.555556  44.555556  44.555556
10
2020-01-06 00:00:00+00:00  47.138  47.138  47.138  47.138  47.138  47.138  47.138  47.138  46.456000  46.456000  46.456000  46.456000  46.456000  46.456000  46.456000  46.456000  45.7310  45.7310  45.7310  45.7310  45.7310  45.7310  45.7310  45.7310  45.3376  45.3376  45.3376  45.3376  45.3376  45.3376  45.3376  45.3376  45.112667  45.112667  45.112667  45.112667  45.112667  45.112667  45.112667  45.112667  44.871143  44.871143  44.871143  44.871143  44.871143  44.871143  44.871143  44.871143  44.7115  44.7115  44.7115  44.7115  44.7115  44.7115  44.7115  44.7115  44.660222  44.660222  44.660222  44.660222  44.660222  44.660222  44.660222  44.660222
11
dualma.slow_ma.head(3)
12
dualma_fast_window                10                                                                              15                                                                                      20                                                                                25                                                                                 30                                                                                    35                                                                                      40                                                                                   45
13
dualma_slow_multi                1.5      2.0      2.5        3.0        3.5      4.0        4.5      5.0        1.5        2.0        2.5        3.0        3.5        4.0        4.5        5.0        1.5      2.0      2.5        3.0        3.5        4.0        4.5      5.0        1.5      2.0        2.5        3.0        3.5      4.0        4.5       5.0        1.5        2.0        2.5        3.0        3.5        4.0        4.5      5.0        1.5        2.0        2.5        3.0        3.5        4.0        4.5        5.0        1.5        2.0      2.5        3.0        3.5        4.0        4.5       5.0        1.5        2.0        2.5        3.0        3.5        4.0        4.5        5.0
14
date
15
2020-01-02 00:00:00+00:00  45.824667  45.3025  44.9476  44.816667  44.594571  44.5425  44.440222  44.6384  45.180455  44.816667  44.545676  44.440222  44.717692  45.135167  45.513134  46.025200  44.816667  44.5425  44.6384  45.135167  45.697429  46.307750  46.683111  47.0983  44.545676  44.6384  45.235806  46.025200  46.560460  47.0983  47.997679  48.61136  44.440222  45.135167  46.025200  46.683111  47.425238  48.410917  48.769630  48.8484  44.717692  45.697429  46.560460  47.425238  48.496066  48.803714  48.852357  49.430914  45.135167  46.307750  47.0983  48.410917  48.803714  48.892313  49.622778  50.14240  45.513134  46.683111  47.997679  48.769630  48.852357  49.622778  50.162574  50.375822
16
2020-01-03 00:00:00+00:00  46.128667  45.5025  45.1420  44.964000  44.723714  44.6265  44.555556  44.6660  45.373636  44.964000  44.652162  44.555556  44.741538  45.119167  45.485821  45.984267  44.964000  44.6265  44.6660  45.119167  45.666714  46.291125  46.643333  47.0707  44.652162  44.6660  45.229677  45.984267  46.549080  47.0707  47.936429  48.56848  44.555556  45.119167  45.984267  46.643333  47.349905  48.362083  48.758074  48.8320  44.741538  45.666714  46.549080  47.349905  48.460984  48.784357  48.838471  49.366457  45.119167  46.291125  47.0707  48.362083  48.784357  48.878875  49.584500  50.12260  45.485821  46.643333  47.936429  48.758074  48.838471  49.584500  50.141139  50.379778
17
2020-01-06 00:00:00+00:00  46.456000  45.7310  45.3376  45.112667  44.871143  44.7115  44.660222  44.6908  45.562273  45.112667  44.787297  44.660222  44.773846  45.116667  45.474478  45.950800  45.112667  44.7115  44.6908  45.116667  45.641143  46.267875  46.621889  47.0449  44.787297  44.6908  45.232742  45.950800  46.534598  47.0449  47.864554  48.52880  44.660222  45.116667  45.950800  46.621889  47.278952  48.320667  48.743185  48.8232  44.773846  45.641143  46.534598  47.278952  48.406803  48.770500  48.833885  49.298743  45.116667  46.267875  47.0449  48.320667  48.770500  48.860063  49.552222  50.09115  45.474478  46.621889  47.864554  48.743185  48.833885  49.552222  50.122772  50.388044

展开收起

svg

21,网格参数-信号计算和可视化#

仅可视化第一列

1
dmac_size.shape: (728, 64)
2
dmac_size.iloc[:3,:3]:
3
dualma_fast_window           10
4
dualma_slow_multi           1.5   2.0   2.5
5
date
6
2020-01-02 00:00:00+00:00  True  True  True
7
2020-01-03 00:00:00+00:00  True  True  True
8
2020-01-06 00:00:00+00:00  True  True  True

svg

1
Start                       2020-01-02 00:00:00+00:00
2
End                         2022-12-30 00:00:00+00:00
3
Period                                            728
4
Total                                             295
5
Rate [%]                                    40.521978
6
First Index                 2020-01-02 00:00:00+00:00
7
Last Index                  2022-12-21 00:00:00+00:00
8
Norm Avg Index [-1, 1]                      -0.160021
9
Distance: Min                                     1.0
10
Distance: Max                                    89.0
11
Distance: Mean                                2.44898
12
Distance: Std                                8.855444
13
Total Partitions                                   13
14
Partition Rate [%]                            4.40678
15
Partition Length: Min                             1.0
16
Partition Length: Max                            52.0
17
Partition Length: Mean                      22.692308
18
Partition Length: Std                       16.428556
19
Partition Distance: Min                           7.0
20
Partition Distance: Max                          89.0
21
Partition Distance: Mean                         36.5
22
Partition Distance: Std                     27.750512
23
Name: (10, 1.5), dtype: object

展开收起

22,行情,信号的滑窗处理#

a,参数设置和效果预览#

1
# 滚动周期参数设置和大致效果可视化
2
start_end_days=ohlcv.shape[0]
3
bar_days= 80         # 训练，验证集时间长度，以此为单位
4
test_bar_num=2      # 训练集时间长度
5
verify_bar_num=1    # 验证集时间长度
6
verify_overlap=0 # 验证集重叠时间长度
7
pre_test_days=0    # 由于测试集一部分时间用于计算指标，导致实际训练时间不足，这个是一定程度补充的days周期
8
# n取值需要满足:确保验证集合收尾相接
9
# => (n-1)*(verify_bar_num-verify_overlap)+(verify_bar_num+test_bar_num)=start_end_days/bar_days
10
# => n=(start_end_days/bar_days-test_bar_num-verify_overlap)/(verify_bar_num-verify_overlap)
11
calc_n=(start_end_days/bar_days-test_bar_num-verify_overlap)/(verify_bar_num-verify_overlap)
12

13

14
split_kwargs = dict(
15
    n=int(calc_n),
16
    window_len=int(bar_days*(test_bar_num+verify_bar_num)+pre_test_days),
17
    set_lens=(int(bar_days*verify_bar_num),),
18
    left_to_right=False
19
)  # 10 windows, each 2 years long, reserve 180 days for test
20
# 合理设置n，最好确保验证集，连续且无重复
21
pf_kwargs = dict(
22
    direction='longonly',  # long and short
23
    freq='d'
24
)
25
print('split_kwargs:',split_kwargs)
26

27
def roll_in_and_out_samples(price, **kwargs):
28
    return price.vbt.rolling_split(**kwargs)
29

30
price=ohlcv['Close']
31
# 验证：单列数据验证，橘黄色验证集连续且无重复
32
roll_in_and_out_samples(price, **split_kwargs, plot=True, trace_names=['in-sample', 'out-sample']).show_svg()

展开收起

1
split_kwargs: {'n': 7, 'window_len': 240, 'set_lens': (80,), 'left_to_right': False}

svg

b,根据滑窗参数切分行情数据和信号#

1
in_price.shape: (160, 7)
2
out_price.shape: (80, 7)
3

4
in_price.index: RangeIndex(start=0, stop=160, step=1)
5
in_price.columns: Int64Index([0, 1, 2, 3, 4, 5, 6], dtype='int64', name='split_idx')
6

7
in_price[0:3]:
8
split_idx      0      1      2       3       4       5       6
9
0          48.17  59.78  92.59  219.90  146.56  254.11  250.02
10
1          48.04  58.88  90.00  216.30  153.73  277.60  246.50
11
2          48.28  59.13  94.74  225.04  148.99  275.95  246.30
12

13
###############################
14
in_dmac_size.shape: (160, 448)
15
out_dmac_size.shape: (80, 448)
16

17
in_dmac_size.iloc[:5,:5]:
18
split_idx              0
19
dualma_fast_window    10
20
dualma_slow_multi    1.5   2.0   2.5   3.0   3.5
21
0                   True  True  True  True  True
22
1                   True  True  True  True  True
23
2                   True  True  True  True  True
24
3                   True  True  True  True  True
25
4                   True  True  True  True  True

展开收起

23,滑窗的收益数据计算#

a,持有参数收益#

在此区间，基础标的物表现

1
def simulate_holding(price, **kwargs):
2
    pf = vbt.Portfolio.from_holding(price, **kwargs)
3
    return pf.sharpe_ratio()
4

5
in_hold_sharpe = simulate_holding(in_price, **pf_kwargs)
6
print(in_hold_sharpe.head(5))
7

8
out_hold_sharpe = simulate_holding(out_price, **pf_kwargs)
9
print(out_hold_sharpe.head(5))

1
split_idx
2
0    2.315678
3
1    3.890261
4
2    1.812302
5
3    1.122310
6
4    2.388496
7
Name: sharpe_ratio, dtype: float64
8
split_idx
9
0    4.885519
10
1   -0.547754
11
2    4.538256
12
3   -0.039085
13
4   -0.527252
14
Name: sharpe_ratio, dtype: float64

b,网格参数收益(训练集和验证集)#

1
in_sharpe.shape: (1792,)
2
split_idx  dualma_fast_window  dualma_slow_multi  sl_stop
3
0          10                  1.5                0.05       1.850726
4
                                                  0.10       1.473377
5
                                                  0.15       1.272865
6
                                                  0.20       1.397542
7
                               2.0                0.05       2.399222
8
                                                               ...
9
6          45                  4.5                0.20      -1.054460
10
                               5.0                0.05      -0.331869
11
                                                  0.10      -1.664299
12
                                                  0.15      -1.487590
13
                                                  0.20      -1.513999
14
Name: sharpe_ratio, Length: 1792, dtype: float64
15

16
split_idx               0                                                                                                                                                                                                                                                                                                                                                                                                                                                               1                                                                                                                                                                                                                                                                                                                                                                                                                                                               2                                                                        \
17
dualma_fast_window     10                                                      15                                                      20                                                      25                                                      30                                                      35                                                      40                                                      45                                                      10                                                      15                                                      20                                                      25                                                      30                                                      35                                                      40                                                      45                                                      10                                                      15
18
dualma_slow_multi     1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5
19
0                   False  False  False  False  False  False  False  False  False  False  False  False   True   True   True   True  False  False   True   True   True   True   True   True  False   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True  False  False  False  False  False  False  False  False  False  False  False
20
1                    True  False  False  False  False  False  False   True  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False
21
2                   False   True   True   True   True  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False
22

23
split_idx                                                                                                                                                                                                                                                                                                                                                                                                  3                                                                                                                                                                                                                                                                                                                                                                                                                                                               4                                                                                                                                                     \
24
dualma_fast_window                                        20                                                      25                                                      30                                                      35                                                      40                                                      45                                                      10                                                      15                                                      20                                                      25                                                      30                                                      35                                                      40                                                      45                                                      10                                                      15                                                      20
25
dualma_slow_multi     3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0
26
0                   False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False   True   True  False  False  False  False  False   True   True   True  False  False   True   True   True   True   True   True  False   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False
27
1                   False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False
28
2                   False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False
29

30
split_idx                                                                                                                                                                                                                                                                                                                     5                                                                                                                                                                                                                                                                                                                                                                                                                                                               6                                                                                                                                                                                                                                  \
31
dualma_fast_window                   25                                                      30                                                      35                                                      40                                                      45                                                      10                                                      15                                                      20                                                      25                                                      30                                                      35                                                      40                                                      45                                                      10                                                      15                                                      20                                                      25                                                      30
32
dualma_slow_multi     4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5
33
0                   False  False  False  False  False   True   True   True   True   True  False  False   True   True   True   True   True   True  False   True   True   True   True   True   True   True  False   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True  False  False  False   True  False   True   True   True  False   True   True   True   True   True   True  False   True   True   True   True  False  False  False  False   True   True   True  False  False  False  False  False   True   True  False  False  False  False  False  False   True  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False   True   True  False  False  False  False   True   True   True   True  False
34
1                   False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False   True   True   True  False   True  False  False  False   True  False  False  False  False  False  False  False  False  False  False  False   True  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False   True  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False
35
2                   False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False   True  False  False  False  False  False   True  False  False  False  False  False   True  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False
36

37
split_idx
38
dualma_fast_window                                                      35                                                      40                                                      45
39
dualma_slow_multi     2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0
40
0                   False  False   True   True   True   True   True  False  False   True   True   True   True   True   True  False  False   True   True   True   True   True   True  False   True   True   True   True   True   True   True
41
1                   False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False
42
2                   False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False
43
out_sharpe.shape: (1792,)

展开收起

c,训练集上的最佳参数用于验证集#

大致思路：
01,获取各split_idx的最佳收益(sharp_radio)的参数组合idxmax,也就是fast_window,slow_window,split_idx，三维索引元组
02,按照split_idx进行聚类，取得各split_idx对应的最佳参数。实际含义就是各滑动窗口的最佳参数

v1:简单最大值优选法
选取，测试集合的最优参数作为验证集参数，如果sharp_ratio就最大，回撤就最小类似这样的简单优选策略。

1
def get_best_index(performance, higher_better=True):
2
    if higher_better:
3
        return performance[performance.groupby('split_idx').idxmax()].index
4
    return performance[performance.groupby('split_idx').idxmin()].index
5
in_test_best_index_basic = get_best_index(in_sharpe)
6

7
merged_df = pd.concat([in_sharpe, in_return,out_sharpe,out_return], axis=1, keys=['in_sharpe', 'in_return','out_sharpe', 'out_return'])
8
print('merged_df[in_test_best_index_basic]')
9
print(merged_df.loc[in_test_best_index_basic])
10

11
# 绘图：参数走势图
12
df_plot_tmp = in_test_best_index_basic.to_frame(index=False)
13
# 将split_idx设置为行索引，并按照split_idx从小到大排序
14
df_plot_tmp.set_index('split_idx', inplace=True)
15
df_plot_tmp.sort_index(inplace=True)
16
df_plot_tmp['dualma_slow_window'] = df_plot_tmp['dualma_fast_window']*df_plot_tmp['dualma_slow_multi']
17
df_plot_tmp[['dualma_fast_window','dualma_slow_window']].vbt.plot().show_svg()

展开收起

1
merged_df[in_test_best_index_basic]
2
                                                        in_sharpe  in_return  out_sharpe  out_return
3
split_idx dualma_fast_window dualma_slow_multi sl_stop
4
0         40                 1.5               0.05      2.713139   0.576378    0.204789    0.004091
5
1         20                 2.0               0.10      4.260810   1.625152    2.600636    0.278124
6
2         20                 1.5               0.10      3.841407   1.434804    2.621509    0.381941
7
3         10                 3.5               0.10      2.015480   0.526104    0.451947    0.023056
8
4         40                 5.0               0.05      2.835772   0.428931   -1.923102   -0.062478
9
5         10                 3.5               0.05      1.667313   0.159633    3.346740    0.295341
10
6         10                 2.0               0.10      2.966911   0.445291   -3.783652   -0.141299

svg

v2:邻近域优选法
有些情况下，测试集得到参数会突然发生较大变化，这可能偶发事件导致的，
比如：之前的双均线最佳参数一直是，（20，40），本期突然变成（80，160），显然不大合理，为了避免这种突变，让参数的变化也具有一定连贯性（当然，增加连贯性也一定程度降低过拟合风险）

1
in_test_best_index_nb_coord[:5]
2
MultiIndex([(0, 40, 1.5, 0.05),
3
            (1, 30, 1.5,  0.1),
4
            (2, 20, 1.5,  0.1),
5
            (3, 15, 2.5,  0.1),
6
            (4, 10, 3.5, 0.05)],
7
           names=['split_idx', 'dualma_fast_window', 'dualma_slow_multi', 'sl_stop'])

svg

v3:邻居权重优选法-均值
在评估一组参数是否最佳时，并不单纯观察此参数本身是否最优，而是综合考虑参数本以及参数的邻居表现。
比如： 0.5 0.7 0.5 0.2 0.2
0.8 0.7 0.6 0.9 0.2
0.5 0.7 0.5 0.2 0.2
按照基础的最大值法，则选择0.9，但是0.9的邻居表现均不佳。
定义：新取值=原值 + (邻居的平均值)
则可以综合考虑参数本身和参数邻居点的表现。

1
in_test_best_index_nb_mean[:5]
2
MultiIndex([(0, 25, 1.5, 0.05),
3
            (1, 20, 2.0, 0.15),
4
            (2, 20, 1.5, 0.15),
5
            (3, 10, 3.5, 0.05),
6
            (4, 45, 5.0, 0.05)],
7
           names=['split_idx', 'dualma_fast_window', 'dualma_slow_multi', 'sl_stop'])

svg

v4:邻居权重优选法-中位数
由于均值受极值影响较大，可以考虑用 median( 多个邻居)，代替上面”邻居的平均值”。

1
in_test_best_index_nb_median[:5]
2
MultiIndex([(0, 30, 2.0, 0.05),
3
            (1, 20, 2.0,  0.1),
4
            (2, 20, 1.5,  0.1),
5
            (3, 10, 3.5, 0.05),
6
            (4, 45, 5.0, 0.05)],
7
           names=['split_idx', 'dualma_fast_window', 'dualma_slow_multi', 'sl_stop'])

svg

将滚动获取的最佳参数用于验证集，统计收益信息

24,sharp ratio的汇总可视化#

basic为例的基础分析视图

1
cv_results_df = pd.DataFrame({
2
    'in_sample_hold': in_hold_sharpe.values,
3
    'in_sample_median': in_sharpe.groupby('split_idx').median().values,
4
    'in_sample_best': in_test_best_sharpe_basic.values,
5
    'out_sample_hold': out_hold_sharpe.values,
6
    'out_sample_median': out_sharpe.groupby('split_idx').median().values,
7
    'out_sample_test': out_test_sharpe_basic.values
8
})
9

10
color_schema = vbt.settings['plotting']['color_schema']
11

12
cv_results_df.vbt.plot(
13
    trace_kwargs=[
14
        dict(line_color=color_schema['blue']),
15
        dict(line_color=color_schema['blue'], line_dash='dash'),
16
        dict(line_color=color_schema['blue'], line_dash='dot'),
17
        dict(line_color=color_schema['orange']),
18
        dict(line_color=color_schema['orange'], line_dash='dash'),
19
        dict(line_color=color_schema['orange'], line_dash='dot')
20
    ]
21
).show_svg()

展开收起

svg

关注点：

蓝色部分正常排序是(从上到下)：点线，实现，线段，

橘色部分

实线对实线
说明测试集和验证集的周期收益情况，二者同时出现0轴同侧较好（同时上涨，同时下跌，保持行情的稳定性or延续性）

线段对线段
二者一方面随着各自颜色的实线趋势变化（受各自实线影响较大），其他应该无必然联系

点线对点线
蓝色点高于橘色点线，蓝色是训练集内最佳，橘色则是训练集得到最优参数用于验证集结果收益，大概率低于验证集。

测试，验证集时间长度差异，引入偏差
由于测试集一般是验证集的2-3倍（或更多），对于单边行情(假如上涨)，则(测试集的)实线收益。蓝色线大概率位于橘色线上方。
如果下跌，则相反。蓝色由于时间长，大概率位于橘色下方。

注意： 01，202406，对于当前case，y周取值为sharp ratio夏普比，而非收益率。所以数据点高低并不反映收益率。所以，以上结论需要稍斟酌，并不完全准确。

4种优选方法的训练集夏普sharp ratio

1
cv_results_df = pd.DataFrame({
2
    'in_sample_hold': in_hold_sharpe.values,
3
    'in_sample_best_basic': in_sharpe[in_test_best_index_basic].values,
4
    'in_sample_best_coord': in_sharpe[in_test_best_index_nb_coord].values,
5
    'in_sample_best_mean': in_sharpe[in_test_best_index_nb_mean].values,
6
    'in_sample_best_median': in_sharpe[in_test_best_index_nb_median].values,
7
})
8

9

10
color_schema = vbt.settings['plotting']['color_schema']
11

12
cv_results_df.vbt.plot(
13
    trace_kwargs=[
14
        dict(line_color=color_schema['blue']),
15
        dict(line_color=color_schema['green']),
16
        dict(line_color=color_schema['red']),
17
        dict(line_color=color_schema['cyan']),
18
        dict(line_color=color_schema['orange'])
19
    ]
20
).show_svg()

展开收起

svg

4种优选方法的验证集夏普sharp ratio

1
cv_results_df = pd.DataFrame({
2
    'out_sample_hold': out_hold_sharpe.values,
3
    'out_sample_test_basic': out_test_sharpe_basic.values,
4
    'out_sample_test_coord': out_test_sharpe_coord.values,
5
    'out_sample_test_mean': out_test_sharpe_mean.values,
6
    'out_sample_test_median': out_test_sharpe_median.values
7
})
8

9
color_schema = vbt.settings['plotting']['color_schema']
10

11
cv_results_df.vbt.plot(
12
    trace_kwargs=[
13
         dict(line_color=color_schema['blue']),
14
        dict(line_color=color_schema['green']),
15
        dict(line_color=color_schema['red']),
16
        dict(line_color=color_schema['cyan']),
17
        dict(line_color=color_schema['orange'])
18
    ]
19
).show_svg()

展开收起

svg

25,滚动回测收益可视化#

1
# 测试集：原始价格变动
2
in_price_org=in_price.iloc[-1, :]/in_price.iloc[0, :]
3
print('in_price_org shape:',in_price_org.shape)
4
print('in_price_org.head(5)')
5
print(in_price_org.head(5))
6

7

8
cv_results_df = pd.DataFrame({
9
    'out_price_org':  in_price_org.cumprod(),
10
    'in_test_best_return_basic': (in_test_best_return_basic.values+1).cumprod(),
11
    'in_test_best_return_coord': (in_test_best_return_nb_coord.values+1).cumprod(),
12
    'in_test_best_return_mean': (in_test_best_return_nb_mean.values+1).cumprod(),
13
    'in_test_best_return_median': (in_test_best_return_nb_median.values+1).cumprod(),
14

15
})
16

17
color_dmac_pfschema = vbt.settings['plotting']['color_schema']
18

19

20
cv_results_df.vbt.plot(
21
    trace_kwargs=[
22
         dict(line_color=color_schema['blue']),
23
        dict(line_color=color_schema['green']),
24
        dict(line_color=color_schema['red']),
25
        dict(line_color=color_schema['cyan']),
26
        dict(line_color=color_schema['orange'])
27
    ]
28
).show_svg()
29

30

31

32
# 验证集：原始价格变动
33
out_price_org=out_price.iloc[-1, :]/out_price.iloc[0, :]
34
print('out_price_org shape:',out_price_org.shape)
35
print('out_price_org.head(5)')
36
print(out_price_org.head(5))
37

38
print()
39
print('out_test_return_basic shape:',out_test_return_basic.shape)
40
print('out_test_return_basic.head(5) + 1')
41
print(out_test_return_basic.head(5)+1)
42

43
cv_results_df = pd.DataFrame({
44
    'out_price_org':  out_price_org.cumprod(),
45
    'out_test_return_basic': (out_test_return_basic.values+1).cumprod(),
46
    'out_test_return_coord': (out_test_return_coord.values+1).cumprod(),
47
    'out_test_return_mean': (out_test_return_mean.values+1).cumprod(),
48
    'out_test_return_median': (out_test_return_median.values+1).cumprod(),
49
})
50

51
color_dmac_pfschema = vbt.settings['plotting']['color_schema']
52

53

54
cv_results_df.vbt.plot(
55
    trace_kwargs=[
56
        dict(line_color=color_schema['blue']),
57
        dict(line_color=color_schema['green']),
58
        dict(line_color=color_schema['red']),
59
        dict(line_color=color_schema['cyan']),
60
        dict(line_color=color_schema['orange'])
61
    ]
62
).show_svg()

展开收起

1
in_price_org shape: (7,)
2
in_price_org.head(5)
3
split_idx
4
0    1.772680
5
1    2.987621
6
2    1.620045
7
3    1.282265
8
4    1.822666
9
dtype: float64

svg

1
out_price_org shape: (7,)
2
out_price_org.head(5)
3
split_idx
4
0    2.210941
5
1    0.876075
6
2    2.001737
7
3    0.971119
8
4    0.902879
9
dtype: float64
10

11
out_test_return_basic shape: (7,)
12
out_test_return_basic.head(5) + 1
13
split_idx  dualma_fast_window  dualma_slow_multi  sl_stop
14
0          40                  1.5                0.05       1.004091
15
1          20                  2.0                0.10       1.278124
16
2          20                  1.5                0.10       1.381941
17
3          10                  3.5                0.10       1.023056
18
4          40                  5.0                0.05       0.937522
19
Name: total_return, dtype: float64

展开收起

svg

上图可见，以上参数优选方法表现基本接近（也符合之前的sharp ratio接近的特征）

26,计算正确性验证(略)#

27,回测结果汇总#

std_indicator#

过滤器规则：

1
std_close_wbuf = ohlcv_wbuf['Close'].rolling(window=20).std()
2
std_close_ma_wbuf = std_close_wbuf.rolling(window=20).mean()
3
std_close=std_close_wbuf[wobuf_mask]
4
std_close_ma=std_close_ma_wbuf[wobuf_mask]
5
std_indicator = (std_close > std_close_ma )

4种优选方法的训练集夏普sharp ratio

svg

4种优选方法的验证集夏普sharp ratio

svg

样本内滚动收益

svg

样本外滚动收益

svg

diff_indicator#

过滤器规则：

1
diff_close_wbuf = ohlcv_wbuf['Close'] - ohlcv_wbuf['Close'].rolling(window=int(20/5)).mean().shift(20)
2
diff_close_ma_wbuf = diff_close_wbuf.rolling(window=20).mean()
3
diff_close=diff_close_wbuf[wobuf_mask]
4
diff_close_ma=diff_close_ma_wbuf[wobuf_mask]
5
diff_indicator = ((diff_close > diff_close_ma )&(diff_close_ma>200*0.0025*20))

4种优选方法的训练集夏普sharp ratio
4种优选方法的验证集夏普sharp ratio

样本内滚动收益

样本外滚动收益

vectorbt学习_52DMA之十二回顾小节

Sat, 27 Jul 2024 00:00:00 GMT

接上一篇文章《29DMA之七回顾小节》

DMA之八滑窗网格参数优选(止损,止盈)#

回测结果汇总

原始双均线#

参数

1
fast_windows = np.arange(10, 50,5)
2
slow_multis = np.arange(1.5, 5.5, 0.5)

最佳参数

1
in_best_index[:5]
2
MultiIndex([( 0, 35, 2.0),
3
            ( 1, 10, 4.5),
4
            ( 2, 10, 2.0),
5
            ( 3, 25, 3.5),
6
            ( 4, 40, 5.0),
7
            ( 5, 35, 5.0),
8
            ( 6, 10, 1.5),
9
            ( 7, 45, 3.0),
10
            ( 8, 40, 1.5),
11
            ( 9, 20, 1.5),
12
            (10, 25, 1.5)],
13
           names=['split_idx', 'dualma_fast_window', 'dualma_slow_multi'])

最佳参数样本内网sharp

最佳参数测试集回测表现

最佳参数验证集回测表现

简单说明：对于训练集合，其整体时间为2T，2倍于预测时间。所以 01，训练集和验证集数据图上，即使同一种颜色也无太大比较意义。
02，训练集绿色线高于蓝色线，说明参数优选效果（拟合效果，训练效果）较好。这也是合理，毕竟用训练的最优最结果又用来回测自身，效果当然也应当好嘛。 03，验证集绿色高于蓝色越多越好，说明相对简单持有具有超额收益。当然实际上有难度，尤其是行情好时。由于策略需要控制风险（追求高sharpe），所以时间维度难以持续满仓，所以牛市可能不如稳定持有，但是遇到大跌时，规避风险的优势就很明显了。

跟踪止损#

参数

1
sl_stops = [0.05,0.1,0.15,0.20]
2
sl_trail=True

最佳参数

1
MultiIndex([( 0, 35, 2.0,  0.1),
2
            ( 1, 15, 4.0, 0.05),
3
            ( 2, 10, 2.0, 0.05),
4
            ( 3, 10, 1.5,  0.1),
5
            ( 4, 40, 5.0,  0.2),
6
            ( 5, 35, 5.0,  0.2),
7
            ( 6, 10, 4.0,  0.1),
8
            ( 7, 45, 2.5,  0.2),
9
            ( 8, 40, 1.5,  0.2),
10
            ( 9, 20, 1.5,  0.1),
11
            (10, 30, 1.5, 0.05)],
12
           names=['split_idx', 'dualma_fast_window', 'dualma_slow_multi', 'sl_stop'])

最佳参数样本内网sharp

最佳参数测试集回测表现

最佳参数验证集回测表现

跟踪止损+np.inf#

参数

1
sl_stops = [np.inf,0.05,0.1,0.15,0.20]
2
sl_trail=True

最佳参数

1
merged_df[in_test_best_index_basic]
2
                                                        in_sharpe  in_return  out_sharpe  out_return
3
split_idx dualma_fast_window dualma_slow_multi sl_stop
4
0         35                 2.0               0.10      1.979770   0.319978   -2.876613   -0.124038
5
1         15                 4.0               0.05      0.324361   0.016997    2.231171    0.195700
6
2         10                 2.0               0.05      1.844657   0.303627    2.693463    0.161817
7
3         25                 3.5               inf       3.374967   1.233830    3.996941    0.571024
8
4         40                 5.0               inf       4.501923   2.451051    0.688785    0.053886
9
5         35                 5.0               0.20      2.959891   1.144421   -2.467499   -0.193663
10
6         10                 4.0               0.10      3.029320   0.727907   -1.060044   -0.073690
11
7         45                 3.0               inf       2.296182   0.749108         inf    0.000000
12
8         40                 1.5               inf       2.489317   0.692895    3.678357    0.449287
13
9         20                 1.5               inf       2.926436   0.575073    2.364898    0.128734
14
10        30                 1.5               0.05      2.402594   0.302466   -4.323912   -0.074724

最佳参数样本内网sharp

最佳参数测试集回测表现

最佳参数验证集回测表现

止损止盈#

1
sl_stops = [0.05,0.1,0.15,0.20]
2
sl_trails = [False, True]
3
tp_stops = [0.1, 0.2]

最佳参数

1
MultiIndex([( 0, 45, 2.0, 0.05, False, 0.1),
2
            ( 1, 15, 4.0, 0.05, False, 0.1),
3
            ( 2, 10, 2.0, 0.05,  True, 0.2),
4
            ( 3, 10, 2.0, 0.05,  True, 0.2),
5
            ( 4, 15, 1.5, 0.05, False, 0.2),
6
            ( 5, 40, 3.5,  0.2, False, 0.2),
7
            ( 6, 20, 4.0, 0.05, False, 0.2),
8
            ( 7, 25, 2.0, 0.05, False, 0.2),
9
            ( 8, 40, 1.5,  0.1, False, 0.2),
10
            ( 9, 30, 5.0,  0.1, False, 0.2),
11
            (10, 30, 3.0, 0.05, False, 0.2)],
12
           names=['split_idx', 'dualma_fast_window', 'dualma_slow_multi', 'sl_stop', 'sl_trail', 'tp_stop'])

最佳参数样本内网sharp

最佳参数训练集回测表现

最佳参数验证集回测表现

止损止盈+np.inf#

参数

1
sl_stops = [np.inf,0.05,0.1,0.15,0.20]
2
sl_trails = [False, True]
3
tp_stops = [np.inf,0.1, 0.2]

最佳参数

1
merged_df[in_test_best_index_basic]
2
                                                                         in_sharpe  in_return  out_sharpe  out_return
3
split_idx dualma_fast_window dualma_slow_multi sl_stop sl_trail tp_stop
4
0         45                 2.0               inf     False    0.1       3.158667   0.237753   -0.929956   -0.064111
5
1         15                 4.0               inf     False    0.1       0.664945   0.034948    2.563318    0.145963
6
2         10                 3.0               0.05    False    inf       1.978273   0.408342    1.451395    0.064199
7
3         25                 3.5               inf     False    inf       3.374967   1.233830    3.996941    0.571024
8
4         15                 1.5               inf     False    0.2       5.245280   1.127771    2.858175    0.239233
9
5         35                 5.0               0.20    True     inf       2.959891   1.144421   -2.467499   -0.193663
10
6         20                 4.0               inf     False    0.2       4.039079   0.462475    1.890751    0.207220
11
7         45                 3.0               inf     False    inf       2.296182   0.749108         inf    0.000000
12
8         40                 1.5               inf     False    0.2       2.665200   0.492175    2.449875    0.239941
13
9         30                 5.0               inf     False    0.2       3.738112   0.507262   -0.434888   -0.063484
14
10        30                 3.0               inf     False    0.2       2.943695   0.258812   -3.877240   -0.075374

最佳参数样本内网sharp

最佳参数测试集回测表现

最佳参数验证集回测表现

DMA之九滑窗网格参数优选(4种参数优选)#

回测结果汇总

参数
4种优选方法训练集夏普sharp ratio
4种优选方法验证集夏普sharp ratio 4种优选方法最佳参数测试集回测表现 4种优选方法最佳参数验证集回测表现

跟踪止损#

参数

1
fast_windows = np.arange(10, 50,5)
2
slow_multis = np.arange(1.5, 5.5, 0.5)
3
sl_stops = [0.05,0.1,0.15,0.20]
4
sl_trails = True
5
无止盈

4种优选方法训练集夏普sharp ratio

svg

4种优选方法验证集夏普sharp ratio

svg

4种优选方法最佳参数测试集回测表现

svg

4种优选方法最佳参数验证集回测表现

svg

非跟踪止损#

参数

1
fast_windows = np.arange(10, 50,5)
2
slow_multis = np.arange(1.5, 5.5, 0.5)
3
sl_stops = [0.05,0.1,0.15,0.20]
4
sl_trails = False
5
无止盈

4种优选方法训练集夏普sharp ratio

4种优选方法验证集夏普sharp ratio

4种优选方法最佳参数测试集回测表现
4种优选方法最佳参数验证集回测表现

跟踪止损+止盈#

参数

1
fast_windows = np.arange(10, 50,5)
2
slow_multis = np.arange(1.5, 5.5, 0.5)
3
sl_stops = [0.05,0.1,0.15,0.20]
4
sl_trails = True
5
tp_stops = [0.1, 0.2]

参数
4种优选方法训练集夏普sharp ratio

4种优选方法验证集夏普sharp ratio
4种优选方法最佳参数测试集回测表现
4种优选方法最佳参数验证集回测表现

非跟踪止损+止盈#

参数

1
fast_windows = np.arange(10, 50,5)
2
slow_multis = np.arange(1.5, 5.5, 0.5)
3
sl_stops = [0.05,0.1,0.15,0.20]
4
sl_trails = False
5
tp_stops = [0.1, 0.2]

4种优选方法训练集夏普sharp ratio

4种优选方法验证集夏普sharp ratio
4种优选方法最佳参数测试集回测表现
4种优选方法最佳参数验证集回测表现

DMA之十滑窗网格参数优选(过滤器)#

std_indicator#

过滤器规则：

1
std_close_wbuf = ohlcv_wbuf['Close'].rolling(window=20).std()
2
std_close_ma_wbuf = std_close_wbuf.rolling(window=20).mean()
3
std_close=std_close_wbuf[wobuf_mask]
4
std_close_ma=std_close_ma_wbuf[wobuf_mask]
5
std_indicator = (std_close > std_close_ma )

4种优选方法的训练集夏普sharp ratio

svg

4种优选方法的验证集夏普sharp ratio

svg

样本内滚动收益

svg

样本外滚动收益

svg

diff_indicator#

过滤器规则：

1
diff_close_wbuf = ohlcv_wbuf['Close'] - ohlcv_wbuf['Close'].rolling(window=int(20/5)).mean().shift(20)
2
diff_close_ma_wbuf = diff_close_wbuf.rolling(window=20).mean()
3
diff_close=diff_close_wbuf[wobuf_mask]
4
diff_close_ma=diff_close_ma_wbuf[wobuf_mask]
5
diff_indicator = ((diff_close > diff_close_ma )&(diff_close_ma>200*0.0025*20))

4种优选方法的训练集夏普sharp ratio
4种优选方法的验证集夏普sharp ratio

样本内滚动收益

样本外滚动收益

小节#

过滤器优化后，相比原始的：DMA之九滑窗网格参数优选(4种参数优选)
其sharpe和收益曲线均未见明显改善，但过滤后可视化角度看，的确过滤掉部分低波动行情。

vectorbt学习_50DMA之十过滤器

Thu, 25 Jul 2024 00:00:00 GMT

策略研发过程中，除了纯粹的买卖技术指标之外，还有一类信号用于判断当前行情是否应该入场。
比如：大盘或个股持续处于波动性中，没有明显方向性，拉锯状态，此时大多数趋势类策略都会反复开仓，止损，开仓，止损，导致稳定的小额亏损。

01,基础配置信息#

1
#conda envs:vectorbt_env
2
import warnings
3
import vectorbt as vbt
4
import numpy as np
5
import pandas as pd
6
from datetime import datetime, timedelta
7
import pytz
8
from dateutil.parser import parse
9
import ipywidgets as widgets
10
from copy import deepcopy
11
from tqdm import tqdm
12
import imageio
13
from IPython import display
14
import plotly.graph_objects as go
15
import itertools
16
import dateparser
17
import gc
18
import math
19
from tools import dbtools
20

21
warnings.filterwarnings("ignore")
22

23
pd.set_option('display.max_rows',500)
24
pd.set_option('display.max_columns',500)
25
pd.set_option('display.width',1000)

展开收起

02,行情获取和可视化#

a,时间交易参数配置#

1
# Enter your parameters here
2
seed = 42
3
symbol = '002594.XSHE'
4
metric = 'total_return'
5

6
start_date = datetime(2020, 1, 1, tzinfo=pytz.utc)  # time period for analysis, must be timezone-aware
7
end_date = datetime(2023,1,1, tzinfo=pytz.utc)
8
time_buffer = timedelta(days=100)  # buffer before to pre-calculate SMA/EMA, best to set to max window
9
freq = '1D'
10

11
vbt.settings.portfolio['init_cash'] = 10000.  # 100$
12
vbt.settings.portfolio['fees'] = 0.0025  # 0.25%
13
vbt.settings.portfolio['slippage'] = 0.0025  # 0.25%

b,获取行情和行情mask#

1
# Download data with time buffer
2
cols = ['Open', 'High', 'Low', 'Close', 'Volume']
3
# ohlcv_wbuf = vbt.YFData.download(symbol, start=start_date-time_buffer, end=end_date).get(cols)
4

5
ohlcv_wbuf=dbtools.MySQLData.download(symbol).get() # 自带工具类查询
6
assert(~ohlcv_wbuf.empty)
7
ohlcv_wbuf = ohlcv_wbuf.astype(np.float64)
8

9
print("ohlcv_wbuf.shape:",ohlcv_wbuf.shape)
10
print("ohlcv_wbuf.columns:",ohlcv_wbuf.columns)
11

12

13
# Create a copy of data without time buffer
14
wobuf_mask = (ohlcv_wbuf.index >= start_date) & (ohlcv_wbuf.index <= end_date) # mask without buffer
15

16
ohlcv = ohlcv_wbuf.loc[wobuf_mask, :]
17

18
print("ohlcv.shape:",ohlcv.shape)
19

20
# Plot the OHLC data
21
ohlcv.vbt.ohlcv.plot().show_svg() # 绘制蜡烛图
22
# remove show_svg() to display interactive chart!

展开收起

1
ohlcv_wbuf.shape: (978, 5)
2
ohlcv_wbuf.columns: Index(['Open', 'High', 'Low', 'Close', 'Volume'], dtype='object')
3
ohlcv.shape: (728, 5)

svg

03,朴素std,stdma#

最简单的过滤方法是计算std，然后再计算标准差的ma，当std>ma(std)，说明波动增大，反之波动减小。趋势策略当std>ma(std)时才开仓
大致效果如下

1
import plotly.graph_objects as go
2
from plotly.subplots import make_subplots
3

4
# 计算收盘价的标准差
5
std_close_wbuf = ohlcv_wbuf['Close'].rolling(window=20).std()
6
# 计算标准差的移动平均
7
std_close_ma_wbuf = std_close_wbuf.rolling(window=20).mean()
8

9
std_close=std_close_wbuf[wobuf_mask]
10
std_close_ma=std_close_ma_wbuf[wobuf_mask]
11

12

13
# 创建一个子图布局：2行1列
14
fig = make_subplots(rows=4, cols=1, shared_xaxes=True, vertical_spacing=0.02)
15

16
# 第一行添加蜡烛图
17
ohlcv_fig = ohlcv[['Open', 'High', 'Low', 'Close', 'Volume']].vbt.ohlcv.plot()
18
fig.add_trace(ohlcv_fig.data[0], row=1, col=1)  # 添加蜡烛图数据
19
fig.add_trace(ohlcv_fig.data[1], row=2, col=1)  # 添加交易量柱状图
20

21
# 第二行添加两个移动平均线
22
fig.add_trace(go.Scatter(x=ohlcv.index, y=std_close, mode='lines', name='SMA 20'), row=3, col=1)
23
fig.add_trace(go.Scatter(x=ohlcv.index, y=std_close_ma, mode='lines', name='SMA 50'), row=3, col=1)
24

25
# 创建条件指标
26
std_indicator = (std_close > std_close_ma ).astype(int)
27
# 添加条件指标图
28
fig.add_trace(go.Scatter(x=std_indicator.index, y=std_indicator, mode='lines', name='STD Condition', fill='tozeroy'), row=4, col=1)
29

30
# 更新图表的布局设置
31
fig.update_layout(height=600, width=800, title_text="蜡烛图与移动平均线")
32
fig.show()

展开收起

最左侧的过滤效果并不佳，最左侧虽然满足过滤条件，但是图示上看，价格波动其实很小。

04,自适应的std,stdma(波动率的top30%过滤)，#

在基础std，stdma基础上，增加动态过滤功能，通过设置一个合适的gateway_ma

定义：std_close > std_close_ma 且 std_close_ma > gateway_ma 为有效（意思是通过过滤条件）那么有效数据在整个数据比例，称为”有效” 率。
如果不考虑，std_close_ma_wbuf > gateway_ma
显然 “有效”率是一个固定的数字。比如40%。
而实际我们希望有效率降低到目标有效率，target_ratio,比如30%，意味着要降低10%的有效率。
此时就要通过提高gateway_ma，来让有效的不在有效。从而丢弃部分std_close_ma较小的时间区间，保留波动性相对较大的部分。

05,价格变动的一致性(动量)#

除了考虑波动性，还需要考虑价格的变动是否有一致的方向。单纯的波动性增加，但价格突上突下无法形成显著方向，依然不行，所以期望过滤掉价格无方向的时间区间。
可以考虑如下的思路

20diff：比如,t->T-20,t-1->T-21，等小柱子，计算小柱子，均值方差等状态。

结论：效果尚可。

1
# 计算收盘价的标准差
2
diff_close_wbuf = ohlcv_wbuf['Close'].diff(periods=20)
3
# 计算标准差的移动平均
4
diff_close_ma_wbuf = diff_close_wbuf.rolling(window=20).mean()
5

6
diff_close=diff_close_wbuf[wobuf_mask]
7
diff_close_ma=diff_close_ma_wbuf[wobuf_mask]
8

9

10

11
# 创建一个子图布局：2行1列
12
fig = make_subplots(rows=4, cols=1, shared_xaxes=True, vertical_spacing=0.02)
13

14
# 第一行添加蜡烛图
15
ohlcv_fig = ohlcv[['Open', 'High', 'Low', 'Close', 'Volume']].vbt.ohlcv.plot()
16
fig.add_trace(ohlcv_fig.data[0], row=1, col=1)  # 添加蜡烛图数据
17
fig.add_trace(ohlcv_fig.data[1], row=2, col=1)  # 添加交易量柱状图
18

19
# 第二行添加两个移动平均线
20
fig.add_trace(go.Scatter(x=ohlcv.index, y=diff_close, mode='lines', name='SMA 20'), row=3, col=1)
21
fig.add_trace(go.Scatter(x=ohlcv.index, y=diff_close_ma, mode='lines', name='SMA 50'), row=3, col=1)
22

23
# 创建条件指标
24
diff_indicator = ((diff_close > diff_close_ma )&(diff_close_ma>200*0.05)).astype(int) #20日达到5% 认为趋势性才足够大
25
# 添加条件指标图
26
fig.add_trace(go.Scatter(x=diff_indicator.index, y=diff_indicator, mode='lines', name='STD Condition', fill='tozeroy'), row=4, col=1)
27

28
# 更新图表的布局设置
29
fig.update_layout(height=600, width=800, title_text="蜡烛图与移动平均线")
30
fig.show()

展开收起

06,价格变动的一致性，优化，过去值平滑处理，T-20用ma(T,20/4=5)代替#

缺点t->T-20，取值也取决于T-20，所以t->T-20,的过去价格T-20，用ma后的价格替代，等于做了平滑。

结论：噪点变少，

另一种变体，重新定义均线为 T-ma(T)[T-20]

07，结合上面2指标，对比同列#

std波动性，diff20趋势性

1
import plotly.graph_objects as go
2
from plotly.subplots import make_subplots
3

4
# 计算收盘价的标准差
5
std_close_wbuf = ohlcv_wbuf['Close'].rolling(window=20).std()
6
# 计算标准差的移动平均
7
std_close_ma_wbuf = std_close_wbuf.rolling(window=20).mean()
8

9
std_close=std_close_wbuf[wobuf_mask]
10
std_close_ma=std_close_ma_wbuf[wobuf_mask]
11

12

13
# 计算收盘价diff
14
diff_close_wbuf = ohlcv_wbuf['Close'] - ohlcv_wbuf['Close'].rolling(window=int(20/5)).mean().shift(20)
15
# 计算收盘价diff的移动平均
16
diff_close_ma_wbuf = diff_close_wbuf.rolling(window=20).mean()
17

18
diff_close=diff_close_wbuf[wobuf_mask]
19
diff_close_ma=diff_close_ma_wbuf[wobuf_mask]
20

21

22
# 创建一个子图布局：2行1列
23
fig = make_subplots(rows=4, cols=1, shared_xaxes=True, vertical_spacing=0.02)
24

25
# 第一行添加蜡烛图
26
ohlcv_fig = ohlcv[['Open', 'High', 'Low', 'Close', 'Volume']].vbt.ohlcv.plot()
27
fig.add_trace(ohlcv_fig.data[0], row=1, col=1)  # 添加蜡烛图数据
28
fig.add_trace(ohlcv_fig.data[1], row=2, col=1)  # 添加交易量柱状图
29

30
# 第二行添加两个移动平均线
31
fig.add_trace(go.Scatter(x=ohlcv.index, y=std_close, mode='lines', name='SMA 20'), row=3, col=1)
32
fig.add_trace(go.Scatter(x=ohlcv.index, y=std_close_ma, mode='lines', name='SMA 50'), row=3, col=1)
33

34
fig.add_trace(go.Scatter(x=ohlcv.index, y=diff_close, mode='lines', name='diff 20'), row=4, col=1)
35
fig.add_trace(go.Scatter(x=ohlcv.index, y=diff_close_ma, mode='lines', name='diff 50'), row=4, col=1)
36

37
# # 创建条件指标
38
# std_indicator = (std_close > std_close_ma ).astype(int)
39
# # 添加条件指标图
40
# fig.add_trace(go.Scatter(x=std_indicator.index, y=std_indicator, mode='lines', name='STD Condition', fill='tozeroy'), row=4, col=1)
41

42
# 更新图表的布局设置
43
fig.update_layout(height=600, width=800, title_text="蜡烛图与移动平均线")
44
fig.show()

展开收起

vectorbt学习_48DMA之八滑窗网格参数优选

Sat, 06 Jul 2024 00:00:00 GMT

本文在上一篇文章(DMA之六滑窗网格参数优选)基础上。
增加退出模块，虽然双均线本身可以生成退出信号，但是其信号大多滞后的，无法实现止损，跟踪止损，止盈等功能。
本文增加止损，跟踪止损，止盈等的回测。
本篇文章部分图示有误，以下一篇为准:31DMA之九滑窗网格参数优选

01,基础配置信息#

1
#conda envs:vectorbt_env
2
import warnings
3
import vectorbt as vbt
4
import numpy as np
5
import pandas as pd
6
from datetime import datetime, timedelta
7
import pytz
8
from dateutil.parser import parse
9
import ipywidgets as widgets
10
from copy import deepcopy
11
from tqdm import tqdm
12
import imageio
13
from IPython import display
14
import plotly.graph_objects as go
15
import itertools
16
import dateparser
17
import gc
18
import math
19
from tools import dbtools
20

21
warnings.filterwarnings("ignore")
22

23
pd.set_option('display.max_rows',500)
24
pd.set_option('display.max_columns',500)
25
pd.set_option('display.width',1000)

展开收起

02,行情获取和可视化#

a,时间交易参数配置#

1
# Enter your parameters here
2
seed = 42
3
symbol = '002594.XSHE'
4
metric = 'total_return'
5

6
start_date = datetime(2020, 1, 1, tzinfo=pytz.utc)  # time period for analysis, must be timezone-aware
7
end_date = datetime(2023,1,1, tzinfo=pytz.utc)
8
time_buffer = timedelta(days=100)  # buffer before to pre-calculate SMA/EMA, best to set to max window
9
freq = '1D'
10

11
vbt.settings.portfolio['init_cash'] = 10000.  # 100$
12
vbt.settings.portfolio['fees'] = 0.0025  # 0.25%
13
vbt.settings.portfolio['slippage'] = 0.0025  # 0.25%

b,获取行情和行情mask#

1
# Download data with time buffer
2
cols = ['Open', 'High', 'Low', 'Close', 'Volume']
3
# ohlcv_wbuf = vbt.YFData.download(symbol, start=start_date-time_buffer, end=end_date).get(cols)
4

5
ohlcv_wbuf=dbtools.MySQLData.download(symbol).get() # 自带工具类查询
6
assert(~ohlcv_wbuf.empty)
7
ohlcv_wbuf = ohlcv_wbuf.astype(np.float64)
8

9
print("ohlcv_wbuf.shape:",ohlcv_wbuf.shape)
10
print("ohlcv_wbuf.columns:",ohlcv_wbuf.columns)
11

12

13
# Create a copy of data without time buffer
14
wobuf_mask = (ohlcv_wbuf.index >= start_date) & (ohlcv_wbuf.index <= end_date) # mask without buffer
15

16
ohlcv = ohlcv_wbuf.loc[wobuf_mask, :]
17

18
print("ohlcv.shape:",ohlcv.shape)
19

20
# Plot the OHLC data
21
ohlcv.vbt.ohlcv.plot().show_svg() # 绘制蜡烛图
22
# remove show_svg() to display interactive chart!

展开收起

1
ohlcv_wbuf.shape: (978, 5)
2
ohlcv_wbuf.columns: Index(['Open', 'High', 'Low', 'Close', 'Volume'], dtype='object')
3
ohlcv.shape: (728, 5)

svg

20,网格参数-指标计算和可视化#

仅可视化第一列

1
fast_windows = np.arange(10, 50,5)
2
slow_multis = np.arange(1.5, 5.5, 0.5)
3
print("fast_windows:",fast_windows)
4
print("slow_multis:",slow_multis)
5

6
price=ohlcv_wbuf['Close']
7
dualma = vbt.DualMA.run(price, fast_window=fast_windows,slow_multi=slow_multis,param_product=True)
8
dualma = dualma[wobuf_mask]
9
# there should be no nans after removing time buffer
10
assert(~dualma.fast_ma.isnull().any().any())
11
assert(~dualma.slow_ma.isnull().any().any())
12

13

14
print()
15
print('dualma.fast_ma.head(3)')
16
print(dualma.fast_ma.head(3))
17
print('dualma.slow_ma.head(3)')
18
print(dualma.slow_ma.head(3))
19

20
print()
21
fig = ohlcv['Close'].vbt.plot(trace_kwargs=dict(name='Price'))
22
fig = dualma.fast_ma.iloc[:,0].vbt.plot(trace_kwargs=dict(name="Fast MA col %s"%str(dualma.fast_ma.iloc[:,0].name)), fig=fig)
23
fig = dualma.slow_ma.iloc[:,0].vbt.plot(trace_kwargs=dict(name="Slow MA col %s"%str(dualma.slow_ma.iloc[:,0].name)), fig=fig)
24
fig.show_svg()

展开收起

1
fast_windows: [10 15 20 25 30 35 40 45]
2
slow_multis: [1.5 2.  2.5 3.  3.5 4.  4.5 5. ]
3

4
dualma.fast_ma.head(3)
5
dualma_fast_window             10                                                                 15                                                                                    20                                                                      25                                                                        30                                                                                      35                                                                                    40                                                                        45
6
dualma_slow_multi             1.5     2.0     2.5     3.0     3.5     4.0     4.5     5.0        1.5        2.0        2.5        3.0        3.5        4.0        4.5        5.0      1.5      2.0      2.5      3.0      3.5      4.0      4.5      5.0      1.5      2.0      2.5      3.0      3.5      4.0      4.5      5.0        1.5        2.0        2.5        3.0        3.5        4.0        4.5        5.0        1.5        2.0        2.5        3.0        3.5        4.0        4.5        5.0      1.5      2.0      2.5      3.0      3.5      4.0      4.5      5.0        1.5        2.0        2.5        3.0        3.5        4.0        4.5        5.0
7
date
8
2020-01-02 00:00:00+00:00  46.665  46.665  46.665  46.665  46.665  46.665  46.665  46.665  45.824667  45.824667  45.824667  45.824667  45.824667  45.824667  45.824667  45.824667  45.3025  45.3025  45.3025  45.3025  45.3025  45.3025  45.3025  45.3025  44.9476  44.9476  44.9476  44.9476  44.9476  44.9476  44.9476  44.9476  44.816667  44.816667  44.816667  44.816667  44.816667  44.816667  44.816667  44.816667  44.594571  44.594571  44.594571  44.594571  44.594571  44.594571  44.594571  44.594571  44.5425  44.5425  44.5425  44.5425  44.5425  44.5425  44.5425  44.5425  44.440222  44.440222  44.440222  44.440222  44.440222  44.440222  44.440222  44.440222
9
2020-01-03 00:00:00+00:00  46.972  46.972  46.972  46.972  46.972  46.972  46.972  46.972  46.128667  46.128667  46.128667  46.128667  46.128667  46.128667  46.128667  46.128667  45.5025  45.5025  45.5025  45.5025  45.5025  45.5025  45.5025  45.5025  45.1420  45.1420  45.1420  45.1420  45.1420  45.1420  45.1420  45.1420  44.964000  44.964000  44.964000  44.964000  44.964000  44.964000  44.964000  44.964000  44.723714  44.723714  44.723714  44.723714  44.723714  44.723714  44.723714  44.723714  44.6265  44.6265  44.6265  44.6265  44.6265  44.6265  44.6265  44.6265  44.555556  44.555556  44.555556  44.555556  44.555556  44.555556  44.555556  44.555556
10
2020-01-06 00:00:00+00:00  47.138  47.138  47.138  47.138  47.138  47.138  47.138  47.138  46.456000  46.456000  46.456000  46.456000  46.456000  46.456000  46.456000  46.456000  45.7310  45.7310  45.7310  45.7310  45.7310  45.7310  45.7310  45.7310  45.3376  45.3376  45.3376  45.3376  45.3376  45.3376  45.3376  45.3376  45.112667  45.112667  45.112667  45.112667  45.112667  45.112667  45.112667  45.112667  44.871143  44.871143  44.871143  44.871143  44.871143  44.871143  44.871143  44.871143  44.7115  44.7115  44.7115  44.7115  44.7115  44.7115  44.7115  44.7115  44.660222  44.660222  44.660222  44.660222  44.660222  44.660222  44.660222  44.660222
11
dualma.slow_ma.head(3)
12
dualma_fast_window                10                                                                              15                                                                                      20                                                                                25                                                                                 30                                                                                    35                                                                                      40                                                                                   45
13
dualma_slow_multi                1.5      2.0      2.5        3.0        3.5      4.0        4.5      5.0        1.5        2.0        2.5        3.0        3.5        4.0        4.5        5.0        1.5      2.0      2.5        3.0        3.5        4.0        4.5      5.0        1.5      2.0        2.5        3.0        3.5      4.0        4.5       5.0        1.5        2.0        2.5        3.0        3.5        4.0        4.5      5.0        1.5        2.0        2.5        3.0        3.5        4.0        4.5        5.0        1.5        2.0      2.5        3.0        3.5        4.0        4.5       5.0        1.5        2.0        2.5        3.0        3.5        4.0        4.5        5.0
14
date
15
2020-01-02 00:00:00+00:00  45.824667  45.3025  44.9476  44.816667  44.594571  44.5425  44.440222  44.6384  45.180455  44.816667  44.545676  44.440222  44.717692  45.135167  45.513134  46.025200  44.816667  44.5425  44.6384  45.135167  45.697429  46.307750  46.683111  47.0983  44.545676  44.6384  45.235806  46.025200  46.560460  47.0983  47.997679  48.61136  44.440222  45.135167  46.025200  46.683111  47.425238  48.410917  48.769630  48.8484  44.717692  45.697429  46.560460  47.425238  48.496066  48.803714  48.852357  49.430914  45.135167  46.307750  47.0983  48.410917  48.803714  48.892313  49.622778  50.14240  45.513134  46.683111  47.997679  48.769630  48.852357  49.622778  50.162574  50.375822
16
2020-01-03 00:00:00+00:00  46.128667  45.5025  45.1420  44.964000  44.723714  44.6265  44.555556  44.6660  45.373636  44.964000  44.652162  44.555556  44.741538  45.119167  45.485821  45.984267  44.964000  44.6265  44.6660  45.119167  45.666714  46.291125  46.643333  47.0707  44.652162  44.6660  45.229677  45.984267  46.549080  47.0707  47.936429  48.56848  44.555556  45.119167  45.984267  46.643333  47.349905  48.362083  48.758074  48.8320  44.741538  45.666714  46.549080  47.349905  48.460984  48.784357  48.838471  49.366457  45.119167  46.291125  47.0707  48.362083  48.784357  48.878875  49.584500  50.12260  45.485821  46.643333  47.936429  48.758074  48.838471  49.584500  50.141139  50.379778
17
2020-01-06 00:00:00+00:00  46.456000  45.7310  45.3376  45.112667  44.871143  44.7115  44.660222  44.6908  45.562273  45.112667  44.787297  44.660222  44.773846  45.116667  45.474478  45.950800  45.112667  44.7115  44.6908  45.116667  45.641143  46.267875  46.621889  47.0449  44.787297  44.6908  45.232742  45.950800  46.534598  47.0449  47.864554  48.52880  44.660222  45.116667  45.950800  46.621889  47.278952  48.320667  48.743185  48.8232  44.773846  45.641143  46.534598  47.278952  48.406803  48.770500  48.833885  49.298743  45.116667  46.267875  47.0449  48.320667  48.770500  48.860063  49.552222  50.09115  45.474478  46.621889  47.864554  48.743185  48.833885  49.552222  50.122772  50.388044

展开收起

svg

21,网格参数-信号计算和可视化#

仅可视化第一列

1
# 信号计算
2
dmac_size=dualma.fast_ma_above(dualma.slow_ma)
3
print('dmac_size.shape:',dmac_size.shape)
4
print()
5
print('dmac_size.iloc[:3,:3]:')
6
print(dmac_size.iloc[:3,:3])
7

8

9
# 行情-指标-信号可视化
10
fig = ohlcv['Close'].vbt.plot(trace_kwargs=dict(name='Price'))
11
fig = dualma.fast_ma.iloc[:,0].vbt.plot(trace_kwargs=dict(name='Fast MA'), fig=fig)
12
fig = dualma.slow_ma.iloc[:,0].vbt.plot(trace_kwargs=dict(name='Slow MA'), fig=fig)
13
fig = dmac_size.iloc[:,0].vbt.signals.plot_as_markers(ohlcv['Close'], fig=fig)
14
fig.show_svg()
15

16
# (单独)信号可视化
17
fig = dmac_size.iloc[:,0].vbt.signals.plot(trace_kwargs=dict(name='Entries'))
18
fig.show_svg()
19

20
# 信号的统计信息
21
dmac_size.vbt.signals.stats()

展开收起

1
dmac_size.shape: (728, 64)
2

3
dmac_size.iloc[:3,:3]:
4
dualma_fast_window           10
5
dualma_slow_multi           1.5   2.0   2.5
6
date
7
2020-01-02 00:00:00+00:00  True  True  True
8
2020-01-03 00:00:00+00:00  True  True  True
9
2020-01-06 00:00:00+00:00  True  True  True

svg

1
Start                       2020-01-02 00:00:00+00:00
2
End                         2022-12-30 00:00:00+00:00
3
Period                                            728
4
Total                                       474.03125
5
Rate [%]                                    65.114183
6
First Index                 2020-01-15 16:52:30+00:00
7
Last Index                  2022-11-07 20:15:00+00:00
8
Norm Avg Index [-1, 1]                      -0.159967
9
Distance: Min                                     1.0
10
Distance: Max                               82.734375
11
Distance: Mean                               1.464916
12
Distance: Std                                5.175417
13
Total Partitions                             6.671875
14
Partition Rate [%]                           1.510978
15
Partition Length: Min                       41.671875
16
Partition Length: Max                      211.171875
17
Partition Length: Mean                     110.468174
18
Partition Length: Std                       78.523847
19
Partition Distance: Min                      26.78125
20
Partition Distance: Max                     82.734375
21
Partition Distance: Mean                    51.365493
22
Partition Distance: Std                     28.015768
23
Name: agg_func_mean, dtype: object

展开收起

22,行情,信号的滑窗处理#

注意点：
01，训练集和验证集比例3：1，或者2：1，对应：window_len和set_lens为4:1(或3:1)，过大了历史包袱沉重，无法及时响应最新行情，过小了则容易参数跳变，形成类似过拟合效果

a,参数设置和效果预览#

代码中

1
#todo 这里是自然日计算的，但后面训练，验证集个数计算都完全正确，哪里应该和预想的不一致
2
合理的。实测bar_days= 60时
3

4
print(in_indexes[0][0])
5
print(in_indexes[1][0])
6
print(in_indexes[0][53:55])
7

8
2019-01-02 00:00:00+00:00
9
2019-03-25 00:00:00+00:00
10
DatetimeIndex(['2019-03-25 00:00:00+00:00', '2019-03-26 00:00:00+00:00'], dtype='datetime64[ns, UTC]', name='split_0', freq=None)
11
可见第二行第一个位于第一行第53个，不足设置的60,就是由于切分优先保证了数据的足量，但是数据间隔方面则可能有所重叠。

1
# 滚动周期参数设置和大致效果可视化
2
start_end_days=int((end_date-start_date).days) #todo 这里是自然日计算的，但后面训练，验证集个数计算都完全正确，哪里应该和预想的不一致
3
bar_days= 80         # 训练，验证集时间长度，以此为单位
4
test_bar_num=2      # 训练集时间长度
5
verify_bar_num=1    # 验证集时间长度
6
verify_overlap=0 # 验证集重叠时间长度
7
pre_test_days=0    # 由于测试集一部分时间用于计算指标，导致实际训练时间不足，这个是一定程度补充的days周期
8
# n取值需要满足:确保验证集合收尾相接
9
# => (n-1)*(verify_bar_num-verify_overlap)+(verify_bar_num+test_bar_num)=start_end_days/bar_days
10
# => n=(start_end_days/bar_days-test_bar_num-verify_overlap)/(verify_bar_num-verify_overlap)
11
calc_n=(start_end_days/bar_days-test_bar_num-verify_overlap)/(verify_bar_num-verify_overlap)
12

13

14
split_kwargs = dict(
15
    n=int(calc_n),
16
    window_len=int(bar_days*(test_bar_num+verify_bar_num)+pre_test_days),
17
    set_lens=(int(bar_days*verify_bar_num),),
18
    left_to_right=False
19
)  # 10 windows, each 2 years long, reserve 180 days for test
20
# 合理设置n，最好确保验证集，连续且无重复
21
pf_kwargs = dict(
22
    direction='longonly',  # long and short
23
    freq='d'
24
)
25
print('split_kwargs:',split_kwargs)
26

27
def roll_in_and_out_samples(price, **kwargs):
28
    return price.vbt.rolling_split(**kwargs)
29

30
# 验证：单列数据验证，橘黄色验证集连续且无重复
31
roll_in_and_out_samples(price, **split_kwargs, plot=True, trace_names=['in-sample', 'out-sample']).show_svg()

展开收起

1
split_kwargs: {'n': 11, 'window_len': 240, 'set_lens': (80,), 'left_to_right': False}

svg

b,根据滑窗参数切分行情数据和信号#

1
in_price.shape: (160, 11)
2
out_price.shape: (80, 11)
3

4
in_price.index: RangeIndex(start=0, stop=160, step=1)
5
in_price.columns: Int64Index([0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10], dtype='int64', name='split_idx')
6

7
in_price[0:3]:
8
split_idx     0      1      2      3      4      5       6       7       8       9       10
9
0          49.17  58.15  51.20  43.39  48.15  97.90  167.98  239.52  202.00  251.77  253.14
10
1          48.06  56.16  49.50  43.15  49.73  96.55  164.08  225.00  214.11  252.50  266.49
11
2          50.65  55.36  50.29  43.79  52.25  94.50  168.03  208.99  227.02  246.86  266.08
12

13
###############################
14
in_dmac_size.shape: (160, 704)
15
out_dmac_size.shape: (80, 704)
16

17
in_dmac_size.iloc[:5,:5]:
18
split_idx              0
19
dualma_fast_window    10
20
dualma_slow_multi    1.5   2.0   2.5   3.0   3.5
21
0                   True  True  True  True  True
22
1                   True  True  True  True  True
23
2                   True  True  True  True  True
24
3                   True  True  True  True  True
25
4                   True  True  True  True  True

展开收起

23,滑窗的收益数据计算#

a,持有参数收益#

在此区间，基础标的物表现

1
def simulate_holding(price, **kwargs):
2
    pf = vbt.Portfolio.from_holding(price, **kwargs)
3
    return pf.sharpe_ratio()
4

5
in_hold_sharpe = simulate_holding(in_price, **pf_kwargs)
6
print(in_hold_sharpe.head(5))
7

8
out_hold_sharpe = simulate_holding(out_price, **pf_kwargs)
9
print(out_hold_sharpe.head(5))

1
split_idx
2
0    0.235446
3
1   -1.630616
4
2    0.598889
5
3    2.647397
6
4    4.501923
7
Name: sharpe_ratio, dtype: float64
8
split_idx
9
0   -0.929956
10
1    2.065991
11
2    4.100300
12
3    4.801291
13
4    0.688785
14
Name: sharpe_ratio, dtype: float64

b,网格参数收益(训练集和验证集)#

1
in_sharpe.shape: (11264,)
2
split_idx  dualma_fast_window  dualma_slow_multi  sl_stop  sl_trail  tp_stop
3
0          10                  1.5                0.05     False     0.1       -0.875730
4
                                                                     0.2       -0.875730
5
                                                           True      0.1        0.213753
6
                                                                     0.2        0.213753
7
                                                  0.10     False     0.1       -0.279062
8
                                                                                  ...
9
10         45                  5.0                0.15     True      0.2       -1.593755
10
                                                  0.20     False     0.1       -2.154236
11
                                                                     0.2       -2.154236
12
                                                           True      0.1       -1.910520
13
                                                                     0.2       -1.910520
14
Name: sharpe_ratio, Length: 11264, dtype: float64
15

16
split_idx              0                                                                                                                                                                                                                                                                                                                                                                                                                                                               1                                                                                                                                                                                                                                                                                                                                                                                                                                                               2                                                                         \
17
dualma_fast_window     10                                                      15                                                      20                                                      25                                                      30                                                      35                                                      40                                                      45                                                      10                                                      15                                                      20                                                      25                                                      30                                                      35                                                      40                                                      45                                                      10                                                      15
18
dualma_slow_multi     1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5
19
0                    True  False  False  False  False  False  False  False  False  False  False  False   True   True   True   True  False  False   True   True   True   True   True   True  False   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True
20
1                   False  False  False  False  False  False  False   True  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False
21
2                   False   True   True   True   True  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False
22

23
split_idx                                                                                                                                                                                                                                                                                                                                                                                                 3                                                                                                                                                                                                                                                                                                                                                                                                                  ...     7                                                                                                                                                                                                \
24
dualma_fast_window                                        20                                                      25                                                      30                                                      35                                                      40                                                      45                                                      10                                                      15                                                      20                                                      25                                                      30                                                      35                                                      40                                                      45         ...     10            15                                                      20                                                      25                                                      30
25
dualma_slow_multi     3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0  ...    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0
26
0                    True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False   True  False  False  False  False  False   True   True   True  False  False  False   True   True   True   True   True  False   True  ...  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False
27
1                   False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  ...  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False
28
2                   False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  ...  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False
29

30
split_idx                                                                                                                                                                                                                                8                                                                                                                                                                                                                                                                                                                                                                                                                                                               9                                                                                                                                                                                                                                                                                                                       \
31
dualma_fast_window                                               35                                                      40                                                      45                                                      10                                                      15                                                      20                                                      25                                                      30                                                      35                                                      40                                                      45                                                      10                                                      15                                                      20                                                      25                                                      30                                                      35
32
dualma_slow_multi     2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5
33
0                   False  False  False  False  False  False  False  False  False  False  False  False  False   True  False  False  False  False  False   True   True   True  False  False  False  False   True   True   True   True  False   True   True   True   True  False  False  False   True   True   True   True   True  False  False  False   True  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True
34
1                   False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False   True   True   True  False  False  False  False  False  False  False  False  False   True   True  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False
35
2                   False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False   True  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False
36

37
split_idx                                                                                                                                                   10
38
dualma_fast_window                          40                                                      45                                                      10                                                      15                                                      20                                                      25                                                      30                                                      35                                                      40                                                      45
39
dualma_slow_multi     4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0
40
0                    True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False   True   True  False  False  False  False   True   True   True   True  False  False  False   True   True   True   True   True  False  False   True   True   True   True   True   True  False  False   True   True   True   True   True   True  False   True   True   True   True   True   True   True
41
1                   False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False
42
2                   False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False
43

44
[3 rows x 704 columns]
45
out_sharpe.shape: (11264,)
46
split_idx  dualma_fast_window  dualma_slow_multi  sl_stop  sl_trail  tp_stop
47
0          10                  1.5                0.05     False     0.1       -1.069452
48
                                                                     0.2       -1.069452
49
                                                           True      0.1       -0.297334
50
                                                                     0.2       -0.297334
51
                                                  0.10     False     0.1       -2.012693
52
                                                                                  ...
53
10         45                  5.0                0.15     True      0.2       -2.766034
54
                                                  0.20     False     0.1       -0.197531
55
                                                                     0.2       -0.197531
56
                                                           True      0.1       -0.197531
57
                                                                     0.2       -0.197531
58
Name: sharpe_ratio, Length: 11264, dtype: float64

展开收起

1
import pandas as pd
2
import matplotlib.pyplot as plt
3

4
# 根据索引层筛选数据
5
groups = in_return.groupby(level=['sl_trail','sl_stop'])
6

7
# 计算每个分组的统计数据
8
# statistics = groups.agg(['mean', 'var', 'max', 'min', 'median'])
9
statistics = groups.agg([
10
    ('mean', 'mean'),
11
    ('var', 'var'),
12
    ('max', 'max'),
13
    ('min', 'min'),
14
    ('median', 'median'),
15
    ('25%', lambda x: np.percentile(x, 25)),
16
    ('75%', lambda x: np.percentile(x, 75))
17
])
18
print(statistics)
19

20

21
def compare_true_false_statistics(statistics):
22
    """
23
    比较 sl_trail 索引层为 True 和 False 时各统计指标的大小。
24

25
    :param statistics: 包含 True 和 False 分组的统计数据。
26
    :return: 一个新的 DataFrame，展示 True 是否大于 False。
27
    """
28
    # 确保索引是多重索引，并且第一个索引是 sl_trail
29
    if not isinstance(statistics.index, pd.MultiIndex) or statistics.index.names[0] != 'sl_trail':
30
        raise ValueError("数据的第一个索引必须是 'sl_trail' 并且为多重索引。")
31

32
    # 提取 True 和 False 的统计数据
33
    true_stats = statistics.xs(True, level='sl_trail')
34
    false_stats = statistics.xs(False, level='sl_trail')
35

36
    # 比较 True 和 False 的每个统计指标
37
    comparison = true_stats > false_stats
38

39
    # 将比较结果转换为整数类型（True为1，False为0）
40
    comparison = comparison.astype(int)
41

42
    return comparison
43

44
# 示例使用
45
# 假设 statistics 是上述提供的 DataFrame
46
comparison_results = compare_true_false_statistics(statistics)
47
print(comparison_results)

展开收起

1
                      mean       var       max       min    median       25%       75%
2
sl_trail sl_stop
3
False    0.05     0.156963  0.158100  2.451051 -0.274652 -0.009410 -0.111586  0.300105
4
         0.10     0.169930  0.169304  2.451051 -0.370515  0.026649 -0.134527  0.414560
5
         0.15     0.162313  0.178970  2.451051 -0.355247  0.022469 -0.169337  0.438223
6
         0.20     0.212244  0.170921  2.451051 -0.370934  0.081500 -0.086851  0.455634
7
True     0.05     0.024409  0.026795  1.337420 -0.350482 -0.014005 -0.087060  0.130420
8
         0.10     0.157421  0.081934  1.347645 -0.332450  0.133399 -0.097223  0.351686
9
         0.15     0.111382  0.084515  1.294188 -0.410083  0.065638 -0.147819  0.338981
10
         0.20     0.178996  0.128846  2.451051 -0.357140  0.113125 -0.067093  0.316135
11
         mean  var  max  min  median  25%  75%
12
sl_stop
13
0.05        0    0    0    0       0    1    0
14
0.10        0    0    0    1       1    1    0
15
0.15        0    0    0    0       1    1    0
16
0.20        0    0    0    1       1    1    0

展开收起

c,训练集上的最佳参数用于验证集#

v1:简单最大值优选法 选取，测试集合的最优参数作为验证集参数，如果sharp_ratio就最大，回撤就最小类似这样的简单优选策略。

1
def get_best_index(performance, higher_better=True):
2
    if higher_better:
3
        return performance[performance.groupby('split_idx').idxmax()].index
4
    return performance[performance.groupby('split_idx').idxmin()].index
5
in_best_index_basic = get_best_index(in_sharpe)
6

7
print('in_best_index')
8
print(in_best_index_basic)
9

10
# 绘图：参数走势图
11
df_plot_tmp = in_best_index_basic.to_frame(index=False)
12
# 将split_idx设置为行索引，并按照split_idx从小到大排序
13
df_plot_tmp.set_index('split_idx', inplace=True)
14
df_plot_tmp.sort_index(inplace=True)
15
df_plot_tmp['dualma_slow_window'] = df_plot_tmp['dualma_fast_window']*df_plot_tmp['dualma_slow_multi']
16
df_plot_tmp[['dualma_fast_window','dualma_slow_window']].vbt.plot().show_svg()

展开收起

1
in_best_index[:5]
2
MultiIndex([( 0, 35, 2.0,  0.1,  True, 0.1),
3
            ( 1, 15, 4.0, 0.05,  True, 0.1),
4
            ( 2, 10, 3.0, 0.05, False, 0.1),
5
            ( 3, 25, 3.5, 0.05, False, 0.1),
6
            ( 4, 40, 5.0, 0.05, False, 0.1),
7
            ( 5, 35, 5.0,  0.2,  True, 0.1),
8
            ( 6, 10, 4.0,  0.1,  True, 0.1),
9
            ( 7, 45, 3.0, 0.15, False, 0.1),
10
            ( 8, 40, 1.5,  0.1, False, 0.1),
11
            ( 9, 20, 1.5,  0.1, False, 0.1),
12
            (10, 30, 1.5, 0.05,  True, 0.1)],
13
           names=['split_idx', 'dualma_fast_window', 'dualma_slow_multi', 'sl_stop', 'sl_trail', 'tp_stop'])

svg

将滚动获取的最佳参数用于验证集，统计收益信息

24,sharp ratio的汇总可视化#

basic为例的基础分析视图

1
cv_results_df = pd.DataFrame({
2
    'in_sample_hold': in_hold_sharpe.values,
3
    'in_sample_median': in_sharpe.groupby('split_idx').median().values,
4
    'in_sample_best': in_test_best_sharpe_basic.values,
5
    'out_sample_hold': out_hold_sharpe.values,
6
    'out_sample_median': out_sharpe.groupby('split_idx').median().values,
7
    'out_sample_test': out_test_sharpe_basic.values
8
})
9

10
color_schema = vbt.settings['plotting']['color_schema']
11

12
cv_results_df.vbt.plot(
13
    trace_kwargs=[
14
        dict(line_color=color_schema['blue']),
15
        dict(line_color=color_schema['blue'], line_dash='dash'),
16
        dict(line_color=color_schema['blue'], line_dash='dot'),
17
        dict(line_color=color_schema['orange']),
18
        dict(line_color=color_schema['orange'], line_dash='dash'),
19
        dict(line_color=color_schema['orange'], line_dash='dot')
20
    ]
21
).show_svg()

展开收起

svg

关注点：

蓝色部分正常排序是(从上到下)：点线，实现，线段，

橘色部分

实线对实线
说明测试集和验证集的周期收益情况，二者同时出现0轴同侧较好（同时上涨，同时下跌，保持行情的稳定性or延续性）

线段对线段
二者一方面随着各自颜色的实线趋势变化（受各自实线影响较大），其他应该无必然联系

点线对点线
蓝色点高于橘色点线，蓝色是训练集内最佳，橘色则是训练集得到最优参数用于验证集结果收益，大概率低于验证集。

25,滚动回测收益可视化#

1
# 验证集：原始价格变动
2
in_price_org=in_price.iloc[-1, :]/in_price.iloc[0, :]
3
print('in_price_org shape:',in_price_org.shape)
4
print('in_price_org.head(5)')
5
print(in_price_org.head(5))
6

7

8
cv_results_df = pd.DataFrame({
9
    'out_price_org':  in_price_org.cumprod(),
10
    'out_test_return_mean': (in_test_best_return_basic.values+1).cumprod(),
11
})
12

13
color_dmac_pfschema = vbt.settings['plotting']['color_schema']
14

15

16
cv_results_df.vbt.plot(
17
    trace_kwargs=[
18
        dict(line_color=color_schema['blue']),
19
        dict(line_color=color_schema['green'])
20
    ]
21
).show_svg()
22

23

24

25
# 验证集：原始价格变动
26
out_price_org=out_price.iloc[-1, :]/out_price.iloc[0, :]
27
print('out_price_org shape:',out_price_org.shape)
28
print('out_price_org.head(5)')
29
print(out_price_org.head(5))
30

31
print()
32
print('out_test_return_basic shape:',out_test_return_basic.shape)
33
print('out_test_return_basic.head(5) + 1')
34
print(out_test_return_basic.head(5)+1)
35

36
cv_results_df = pd.DataFrame({
37
    'out_price_org':  out_price_org.cumprod(),
38
    'out_test_return_mean': (out_test_return_basic.values+1).cumprod(),
39
})
40

41
color_dmac_pfschema = vbt.settings['plotting']['color_schema']
42

43

44
cv_results_df.vbt.plot(
45
    trace_kwargs=[
46
        dict(line_color=color_schema['blue']),
47
        dict(line_color=color_schema['green'])
48
    ]
49
).show_svg()

展开收起

1
in_price_org shape: (11,)
2
in_price_org.head(5)
3
split_idx
4
0    1.007525
5
1    0.774549
6
2    1.086914
7
3    1.933856
8
4    3.468328
9
dtype: float64

svg

1
out_price_org shape: (11,)
2
out_price_org.head(5)
3
split_idx
4
0    0.940574
5
1    1.315436
6
2    1.625985
7
3    2.111239
8
4    1.059162
9
dtype: float64
10

11
out_test_return_basic shape: (11,)
12
out_test_return_basic.head(5) + 1
13
split_idx  dualma_fast_window  dualma_slow_multi  sl_stop  sl_trail  tp_stop
14
0          35                  2.0                0.10     True      0.1        0.875962
15
1          15                  4.0                0.05     True      0.1        1.195700
16
2          10                  3.0                0.05     False     0.1        1.064199
17
3          25                  3.5                0.05     False     0.1        1.571024
18
4          40                  5.0                0.05     False     0.1        1.053886
19
Name: total_return, dtype: float64

展开收起

svg

上图可见，以上参数优选方法表现基本接近（也符合之前的sharp ratio接近的特征），不论何种参数优选策略，均优于单纯的持有（不过，结论未必通用）。

26,计算正确性验证(略)#

1
a,准备校验数据，数据展示
2
b,行情->指标 计算正确
3
c,指标->信号 计算正确
4
entry record: 48.9220 price: 51.5800

27,回测结果汇总#

原始双均线#

参数

1
fast_windows = np.arange(10, 50,5)
2
slow_multis = np.arange(1.5, 5.5, 0.5)

最佳参数

1
in_best_index[:5]
2
MultiIndex([( 0, 35, 2.0),
3
            ( 1, 10, 4.5),
4
            ( 2, 10, 2.0),
5
            ( 3, 25, 3.5),
6
            ( 4, 40, 5.0),
7
            ( 5, 35, 5.0),
8
            ( 6, 10, 1.5),
9
            ( 7, 45, 3.0),
10
            ( 8, 40, 1.5),
11
            ( 9, 20, 1.5),
12
            (10, 25, 1.5)],
13
           names=['split_idx', 'dualma_fast_window', 'dualma_slow_multi'])

最佳参数样本内网sharp

最佳参数测试集回测表现

最佳参数验证集回测表现

跟踪止损#

参数

1
sl_stops = [0.05,0.1,0.15,0.20]
2
sl_trail=True

最佳参数

1
MultiIndex([( 0, 35, 2.0,  0.1),
2
            ( 1, 15, 4.0, 0.05),
3
            ( 2, 10, 2.0, 0.05),
4
            ( 3, 10, 1.5,  0.1),
5
            ( 4, 40, 5.0,  0.2),
6
            ( 5, 35, 5.0,  0.2),
7
            ( 6, 10, 4.0,  0.1),
8
            ( 7, 45, 2.5,  0.2),
9
            ( 8, 40, 1.5,  0.2),
10
            ( 9, 20, 1.5,  0.1),
11
            (10, 30, 1.5, 0.05)],
12
           names=['split_idx', 'dualma_fast_window', 'dualma_slow_multi', 'sl_stop'])

最佳参数样本内网sharp

最佳参数测试集回测表现

最佳参数验证集回测表现

跟踪止损+np.inf#

参数

1
sl_stops = [np.inf,0.05,0.1,0.15,0.20]
2
sl_trail=True

最佳参数

1
merged_df[in_test_best_index_basic]
2
                                                        in_sharpe  in_return  out_sharpe  out_return
3
split_idx dualma_fast_window dualma_slow_multi sl_stop
4
0         35                 2.0               0.10      1.979770   0.319978   -2.876613   -0.124038
5
1         15                 4.0               0.05      0.324361   0.016997    2.231171    0.195700
6
2         10                 2.0               0.05      1.844657   0.303627    2.693463    0.161817
7
3         25                 3.5               inf       3.374967   1.233830    3.996941    0.571024
8
4         40                 5.0               inf       4.501923   2.451051    0.688785    0.053886
9
5         35                 5.0               0.20      2.959891   1.144421   -2.467499   -0.193663
10
6         10                 4.0               0.10      3.029320   0.727907   -1.060044   -0.073690
11
7         45                 3.0               inf       2.296182   0.749108         inf    0.000000
12
8         40                 1.5               inf       2.489317   0.692895    3.678357    0.449287
13
9         20                 1.5               inf       2.926436   0.575073    2.364898    0.128734
14
10        30                 1.5               0.05      2.402594   0.302466   -4.323912   -0.074724

最佳参数样本内网sharp

最佳参数测试集回测表现

最佳参数验证集回测表现

止损止盈#

1
sl_stops = [0.05,0.1,0.15,0.20]
2
sl_trails = [False, True]
3
tp_stops = [0.1, 0.2]

最佳参数

1
MultiIndex([( 0, 45, 2.0, 0.05, False, 0.1),
2
            ( 1, 15, 4.0, 0.05, False, 0.1),
3
            ( 2, 10, 2.0, 0.05,  True, 0.2),
4
            ( 3, 10, 2.0, 0.05,  True, 0.2),
5
            ( 4, 15, 1.5, 0.05, False, 0.2),
6
            ( 5, 40, 3.5,  0.2, False, 0.2),
7
            ( 6, 20, 4.0, 0.05, False, 0.2),
8
            ( 7, 25, 2.0, 0.05, False, 0.2),
9
            ( 8, 40, 1.5,  0.1, False, 0.2),
10
            ( 9, 30, 5.0,  0.1, False, 0.2),
11
            (10, 30, 3.0, 0.05, False, 0.2)],
12
           names=['split_idx', 'dualma_fast_window', 'dualma_slow_multi', 'sl_stop', 'sl_trail', 'tp_stop'])

最佳参数样本内网sharp

最佳参数训练集回测表现

最佳参数验证集回测表现

止损止盈+np.inf#

参数

1
sl_stops = [np.inf,0.05,0.1,0.15,0.20]
2
sl_trails = [False, True]
3
tp_stops = [np.inf,0.1, 0.2]

最佳参数

1
merged_df[in_test_best_index_basic]
2
                                                                         in_sharpe  in_return  out_sharpe  out_return
3
split_idx dualma_fast_window dualma_slow_multi sl_stop sl_trail tp_stop
4
0         45                 2.0               inf     False    0.1       3.158667   0.237753   -0.929956   -0.064111
5
1         15                 4.0               inf     False    0.1       0.664945   0.034948    2.563318    0.145963
6
2         10                 3.0               0.05    False    inf       1.978273   0.408342    1.451395    0.064199
7
3         25                 3.5               inf     False    inf       3.374967   1.233830    3.996941    0.571024
8
4         15                 1.5               inf     False    0.2       5.245280   1.127771    2.858175    0.239233
9
5         35                 5.0               0.20    True     inf       2.959891   1.144421   -2.467499   -0.193663
10
6         20                 4.0               inf     False    0.2       4.039079   0.462475    1.890751    0.207220
11
7         45                 3.0               inf     False    inf       2.296182   0.749108         inf    0.000000
12
8         40                 1.5               inf     False    0.2       2.665200   0.492175    2.449875    0.239941
13
9         30                 5.0               inf     False    0.2       3.738112   0.507262   -0.434888   -0.063484
14
10        30                 3.0               inf     False    0.2       2.943695   0.258812   -3.877240   -0.075374

最佳参数样本内网sharp

最佳参数测试集回测表现

最佳参数验证集回测表现

小汇总#

策略	参数	训练区标的	训练区最优	验证区标的	验证区表现
原始双均线	fast_windows = np.arange(10, 50,5) slow_multis = np.arange(1.5, 5.5, 0.5)	25，	220	8	5.5
跟踪止损	sl_stops = [0.05,0.1,0.15,0.20] sl_trail=True	25	220	8	3.5
跟踪止损+inf	sl_stops = [np.inf,0.05,0.1,0.15,0.20] sl_trail=True	25	300	8	2
止损止盈	sl_stops = [0.05,0.1,0.15,0.20] sl_trails = [False, True] tp_stops = [0.1, 0.2]	25	40	8	1
止损止盈+inf	sl_stops = [np.inf,0.05,0.1,0.15,0.20] sl_trails = [False, True] tp_stops = [np.inf,0.1, 0.2]	25	140	8	2

结论:
01，可见策略越复杂，则训练集上的最优效果也越好（拟合效果更佳）
比如：跟踪止损+inf 优于跟踪止损，止损止盈+inf 优于止损止盈
反例：止损止盈小于跟踪止损，这个主要是止盈的限制，盈利达到xx后卖出限制了受益最大值，所以可解释。
02，止盈可以考虑不加，效果整体不如不止盈的。
03，跟踪止损表现一般。
以上结果仅对此案例有效，无法通用泛化。还需更多数据支持。
比较反常的：“止损止盈+inf”的140小于“跟踪止损+inf”的220，原因是我们参数选择时并非基于最高收益，而是基于最高sharpe，所以“止损止盈+inf”选中标的和“跟踪止损+inf”肯定存在差异。

vectorbt学习_49DMA之九滑窗网格参数优选

Sat, 06 Jul 2024 00:00:00 GMT

本文在上一篇文章(30DMA之八滑窗网格参数优选)基础上。
上一篇文章增加了止盈，止损，跟踪止损等参数，但实际效果看训练集上效果尚可，验证集上效果更差，怀疑过拟合导致。

故本篇文章增加几种避免过拟合的参数优选方法。之前文章方法类似。差异在于：对本文而言，止损参数，止盈参数也是类似的，不止2个维度了，邻居采用立方体思路（对角点相接的也算作邻居，之前2维时是同边才算邻居，比如(1,3)，邻居是(2,3),(1,2),(1,4),新的规则会新增(2，2),(2，4)）

新增3种参数优选方法，一定程度上降低参数过拟合的可能。

v1:直接(简单最大值)优选法
选取，测试集合的最优参数作为验证集参数，如果sharp_ratio就最大，回撤就最小类似这样的简单优选策略。

v2:邻近域优选法
在上一个策略中，实际上是选取，测试集合的最优参数作为验证集参数。而有些情况下，测试集得到参数会突然发生较大变化，这可能偶发事件导致的，
比如：之前的双均线最佳参数一直是，（20，40），本期突然变成（80，160），显然不大合理，为了避免这种突变，让参数的变化也具有一定连贯性（当然，增加连贯性也一定程度降低过拟合风险）

v4:邻居权重优选法-中位数
由于均值受极值影响较大，可以考虑用 median( 多个邻居)，代替上面”邻居的平均值”。

01,基础配置信息#

1
#conda envs:vectorbt_env
2
import warnings
3
import vectorbt as vbt
4
import numpy as np
5
import pandas as pd
6
from datetime import datetime, timedelta
7
import pytz
8
from dateutil.parser import parse
9
import ipywidgets as widgets
10
from copy import deepcopy
11
from tqdm import tqdm
12
import imageio
13
from IPython import display
14
import plotly.graph_objects as go
15
import itertools
16
import dateparser
17
import gc
18
import math
19
from tools import dbtools
20

21
warnings.filterwarnings("ignore")
22

23
pd.set_option('display.max_rows',500)
24
pd.set_option('display.max_columns',500)
25
pd.set_option('display.width',1000)

展开收起

02,行情获取和可视化#

a,时间交易参数配置#

1
# Enter your parameters here
2
seed = 42
3
symbol = '002594.XSHE'
4
metric = 'total_return'
5

6
start_date = datetime(2020, 1, 1, tzinfo=pytz.utc)  # time period for analysis, must be timezone-aware
7
end_date = datetime(2023,1,1, tzinfo=pytz.utc)
8
time_buffer = timedelta(days=100)  # buffer before to pre-calculate SMA/EMA, best to set to max window
9
freq = '1D'
10

11
vbt.settings.portfolio['init_cash'] = 10000.  # 100$
12
vbt.settings.portfolio['fees'] = 0.0025  # 0.25%
13
vbt.settings.portfolio['slippage'] = 0.0025  # 0.25%

b,获取行情和行情mask#

1
# Download data with time buffer
2
cols = ['Open', 'High', 'Low', 'Close', 'Volume']
3
# ohlcv_wbuf = vbt.YFData.download(symbol, start=start_date-time_buffer, end=end_date).get(cols)
4

5
ohlcv_wbuf=dbtools.MySQLData.download(symbol).get() # 自带工具类查询
6
assert(~ohlcv_wbuf.empty)
7
ohlcv_wbuf = ohlcv_wbuf.astype(np.float64)
8

9
print("ohlcv_wbuf.shape:",ohlcv_wbuf.shape)
10
print("ohlcv_wbuf.columns:",ohlcv_wbuf.columns)
11

12

13
# Create a copy of data without time buffer
14
wobuf_mask = (ohlcv_wbuf.index >= start_date) & (ohlcv_wbuf.index <= end_date) # mask without buffer
15

16
ohlcv = ohlcv_wbuf.loc[wobuf_mask, :]
17

18
print("ohlcv.shape:",ohlcv.shape)
19

20
# Plot the OHLC data
21
ohlcv.vbt.ohlcv.plot().show_svg() # 绘制蜡烛图
22
# remove show_svg() to display interactive chart!

展开收起

1
ohlcv_wbuf.shape: (978, 5)
2
ohlcv_wbuf.columns: Index(['Open', 'High', 'Low', 'Close', 'Volume'], dtype='object')
3
ohlcv.shape: (728, 5)

svg

20,网格参数-指标计算和可视化#

仅可视化第一列

1
fast_windows = np.arange(10, 50,5)
2
slow_multis = np.arange(1.5, 5.5, 0.5)
3
print("fast_windows:",fast_windows)
4
print("slow_multis:",slow_multis)
5

6
price_wbuf=ohlcv_wbuf['Close']
7
dualma = vbt.DualMA.run(price_wbuf, fast_window=fast_windows,slow_multi=slow_multis,param_product=True)
8
dualma = dualma[wobuf_mask]
9
# there should be no nans after removing time buffer
10
assert(~dualma.fast_ma.isnull().any().any())
11
assert(~dualma.slow_ma.isnull().any().any())
12

13

14
print()
15
print('dualma.fast_ma.head(3)')
16
print(dualma.fast_ma.head(3))
17
print('dualma.slow_ma.head(3)')
18
print(dualma.slow_ma.head(3))
19

20
print()
21
fig = ohlcv['Close'].vbt.plot(trace_kwargs=dict(name='Price'))
22
fig = dualma.fast_ma.iloc[:,0].vbt.plot(trace_kwargs=dict(name="Fast MA col %s"%str(dualma.fast_ma.iloc[:,0].name)), fig=fig)
23
fig = dualma.slow_ma.iloc[:,0].vbt.plot(trace_kwargs=dict(name="Slow MA col %s"%str(dualma.slow_ma.iloc[:,0].name)), fig=fig)
24
fig.show_svg()

展开收起

1
fast_windows: [10 15 20 25 30 35 40 45]
2
slow_multis: [1.5 2.  2.5 3.  3.5 4.  4.5 5. ]
3

4
dualma.fast_ma.head(3)
5
dualma_fast_window             10                                                                 15                                                                                    20                                                                      25                                                                        30                                                                                      35                                                                                    40                                                                        45
6
dualma_slow_multi             1.5     2.0     2.5     3.0     3.5     4.0     4.5     5.0        1.5        2.0        2.5        3.0        3.5        4.0        4.5        5.0      1.5      2.0      2.5      3.0      3.5      4.0      4.5      5.0      1.5      2.0      2.5      3.0      3.5      4.0      4.5      5.0        1.5        2.0        2.5        3.0        3.5        4.0        4.5        5.0        1.5        2.0        2.5        3.0        3.5        4.0        4.5        5.0      1.5      2.0      2.5      3.0      3.5      4.0      4.5      5.0        1.5        2.0        2.5        3.0        3.5        4.0        4.5        5.0
7
date
8
2020-01-02 00:00:00+00:00  46.665  46.665  46.665  46.665  46.665  46.665  46.665  46.665  45.824667  45.824667  45.824667  45.824667  45.824667  45.824667  45.824667  45.824667  45.3025  45.3025  45.3025  45.3025  45.3025  45.3025  45.3025  45.3025  44.9476  44.9476  44.9476  44.9476  44.9476  44.9476  44.9476  44.9476  44.816667  44.816667  44.816667  44.816667  44.816667  44.816667  44.816667  44.816667  44.594571  44.594571  44.594571  44.594571  44.594571  44.594571  44.594571  44.594571  44.5425  44.5425  44.5425  44.5425  44.5425  44.5425  44.5425  44.5425  44.440222  44.440222  44.440222  44.440222  44.440222  44.440222  44.440222  44.440222
9
2020-01-03 00:00:00+00:00  46.972  46.972  46.972  46.972  46.972  46.972  46.972  46.972  46.128667  46.128667  46.128667  46.128667  46.128667  46.128667  46.128667  46.128667  45.5025  45.5025  45.5025  45.5025  45.5025  45.5025  45.5025  45.5025  45.1420  45.1420  45.1420  45.1420  45.1420  45.1420  45.1420  45.1420  44.964000  44.964000  44.964000  44.964000  44.964000  44.964000  44.964000  44.964000  44.723714  44.723714  44.723714  44.723714  44.723714  44.723714  44.723714  44.723714  44.6265  44.6265  44.6265  44.6265  44.6265  44.6265  44.6265  44.6265  44.555556  44.555556  44.555556  44.555556  44.555556  44.555556  44.555556  44.555556
10
2020-01-06 00:00:00+00:00  47.138  47.138  47.138  47.138  47.138  47.138  47.138  47.138  46.456000  46.456000  46.456000  46.456000  46.456000  46.456000  46.456000  46.456000  45.7310  45.7310  45.7310  45.7310  45.7310  45.7310  45.7310  45.7310  45.3376  45.3376  45.3376  45.3376  45.3376  45.3376  45.3376  45.3376  45.112667  45.112667  45.112667  45.112667  45.112667  45.112667  45.112667  45.112667  44.871143  44.871143  44.871143  44.871143  44.871143  44.871143  44.871143  44.871143  44.7115  44.7115  44.7115  44.7115  44.7115  44.7115  44.7115  44.7115  44.660222  44.660222  44.660222  44.660222  44.660222  44.660222  44.660222  44.660222
11
dualma.slow_ma.head(3)
12
dualma_fast_window                10                                                                              15                                                                                      20                                                                                25                                                                                 30                                                                                    35                                                                                      40                                                                                   45
13
dualma_slow_multi                1.5      2.0      2.5        3.0        3.5      4.0        4.5      5.0        1.5        2.0        2.5        3.0        3.5        4.0        4.5        5.0        1.5      2.0      2.5        3.0        3.5        4.0        4.5      5.0        1.5      2.0        2.5        3.0        3.5      4.0        4.5       5.0        1.5        2.0        2.5        3.0        3.5        4.0        4.5      5.0        1.5        2.0        2.5        3.0        3.5        4.0        4.5        5.0        1.5        2.0      2.5        3.0        3.5        4.0        4.5       5.0        1.5        2.0        2.5        3.0        3.5        4.0        4.5        5.0
14
date
15
2020-01-02 00:00:00+00:00  45.824667  45.3025  44.9476  44.816667  44.594571  44.5425  44.440222  44.6384  45.180455  44.816667  44.545676  44.440222  44.717692  45.135167  45.513134  46.025200  44.816667  44.5425  44.6384  45.135167  45.697429  46.307750  46.683111  47.0983  44.545676  44.6384  45.235806  46.025200  46.560460  47.0983  47.997679  48.61136  44.440222  45.135167  46.025200  46.683111  47.425238  48.410917  48.769630  48.8484  44.717692  45.697429  46.560460  47.425238  48.496066  48.803714  48.852357  49.430914  45.135167  46.307750  47.0983  48.410917  48.803714  48.892313  49.622778  50.14240  45.513134  46.683111  47.997679  48.769630  48.852357  49.622778  50.162574  50.375822
16
2020-01-03 00:00:00+00:00  46.128667  45.5025  45.1420  44.964000  44.723714  44.6265  44.555556  44.6660  45.373636  44.964000  44.652162  44.555556  44.741538  45.119167  45.485821  45.984267  44.964000  44.6265  44.6660  45.119167  45.666714  46.291125  46.643333  47.0707  44.652162  44.6660  45.229677  45.984267  46.549080  47.0707  47.936429  48.56848  44.555556  45.119167  45.984267  46.643333  47.349905  48.362083  48.758074  48.8320  44.741538  45.666714  46.549080  47.349905  48.460984  48.784357  48.838471  49.366457  45.119167  46.291125  47.0707  48.362083  48.784357  48.878875  49.584500  50.12260  45.485821  46.643333  47.936429  48.758074  48.838471  49.584500  50.141139  50.379778
17
2020-01-06 00:00:00+00:00  46.456000  45.7310  45.3376  45.112667  44.871143  44.7115  44.660222  44.6908  45.562273  45.112667  44.787297  44.660222  44.773846  45.116667  45.474478  45.950800  45.112667  44.7115  44.6908  45.116667  45.641143  46.267875  46.621889  47.0449  44.787297  44.6908  45.232742  45.950800  46.534598  47.0449  47.864554  48.52880  44.660222  45.116667  45.950800  46.621889  47.278952  48.320667  48.743185  48.8232  44.773846  45.641143  46.534598  47.278952  48.406803  48.770500  48.833885  49.298743  45.116667  46.267875  47.0449  48.320667  48.770500  48.860063  49.552222  50.09115  45.474478  46.621889  47.864554  48.743185  48.833885  49.552222  50.122772  50.388044

展开收起

svg

21,网格参数-信号计算和可视化#

仅可视化第一列

1
# 信号计算
2
dmac_size=dualma.fast_ma_above(dualma.slow_ma)
3
print('dmac_size.shape:',dmac_size.shape)
4
print()
5
print('dmac_size.iloc[:3,:3]:')
6
print(dmac_size.iloc[:3,:3])
7

8

9
# 行情-指标-信号可视化
10
fig = ohlcv['Close'].vbt.plot(trace_kwargs=dict(name='Price'))
11
fig = dualma.fast_ma.iloc[:,0].vbt.plot(trace_kwargs=dict(name='Fast MA'), fig=fig)
12
fig = dualma.slow_ma.iloc[:,0].vbt.plot(trace_kwargs=dict(name='Slow MA'), fig=fig)
13
fig = dmac_size.iloc[:,0].vbt.signals.plot_as_markers(ohlcv['Close'], fig=fig)
14
fig.show_svg()
15

16
# (单独)信号可视化
17
fig = dmac_size.iloc[:,0].vbt.signals.plot(trace_kwargs=dict(name='Entries'))
18
fig.show_svg()
19

20
# 信号的统计信息
21
dmac_size.vbt.signals.stats()

展开收起

1
dmac_size.shape: (728, 64)
2

3
dmac_size.iloc[:3,:3]:
4
dualma_fast_window           10
5
dualma_slow_multi           1.5   2.0   2.5
6
date
7
2020-01-02 00:00:00+00:00  True  True  True
8
2020-01-03 00:00:00+00:00  True  True  True
9
2020-01-06 00:00:00+00:00  True  True  True

svg

1
Start                       2020-01-02 00:00:00+00:00
2
End                         2022-12-30 00:00:00+00:00
3
Period                                            728
4
Total                                       474.03125
5
Rate [%]                                    65.114183
6
First Index                 2020-01-15 16:52:30+00:00
7
Last Index                  2022-11-07 20:15:00+00:00
8
Norm Avg Index [-1, 1]                      -0.159967
9
Distance: Min                                     1.0
10
Distance: Max                               82.734375
11
Distance: Mean                               1.464916
12
Distance: Std                                5.175417
13
Total Partitions                             6.671875
14
Partition Rate [%]                           1.510978
15
Partition Length: Min                       41.671875
16
Partition Length: Max                      211.171875
17
Partition Length: Mean                     110.468174
18
Partition Length: Std                       78.523847
19
Partition Distance: Min                      26.78125
20
Partition Distance: Max                     82.734375
21
Partition Distance: Mean                    51.365493
22
Partition Distance: Std                     28.015768
23
Name: agg_func_mean, dtype: object

展开收起

22,行情,信号的滑窗处理#

a,参数设置和效果预览#

代码中

1
#todo 这里是自然日计算的，但后面训练，验证集个数计算都完全正确，哪里应该和预想的不一致
2
合理的。实测bar_days= 60时
3

4
print(in_indexes[0][0])
5
print(in_indexes[1][0])
6
print(in_indexes[0][53:55])
7

8
2019-01-02 00:00:00+00:00
9
2019-03-25 00:00:00+00:00
10
DatetimeIndex(['2019-03-25 00:00:00+00:00', '2019-03-26 00:00:00+00:00'], dtype='datetime64[ns, UTC]', name='split_0', freq=None)
11
可见第二行第一个位于第一行第53个，不足设置的60,就是由于切分优先保证了数据的足量，但是数据间隔方面则可能有所重叠。

1
# 滚动周期参数设置和大致效果可视化
2
start_end_days=ohlcv.shape[0]
3
bar_days= 80         # 训练，验证集时间长度，以此为单位
4
test_bar_num=2      # 训练集时间长度
5
verify_bar_num=1    # 验证集时间长度
6
verify_overlap=0 # 验证集重叠时间长度
7
pre_test_days=0    # 由于测试集一部分时间用于计算指标，导致实际训练时间不足，这个是一定程度补充的days周期
8
# n取值需要满足:确保验证集合收尾相接
9
# => (n-1)*(verify_bar_num-verify_overlap)+(verify_bar_num+test_bar_num)=start_end_days/bar_days
10
# => n=(start_end_days/bar_days-test_bar_num-verify_overlap)/(verify_bar_num-verify_overlap)
11
calc_n=(start_end_days/bar_days-test_bar_num-verify_overlap)/(verify_bar_num-verify_overlap)
12

13

14
split_kwargs = dict(
15
    n=int(calc_n),
16
    window_len=int(bar_days*(test_bar_num+verify_bar_num)+pre_test_days),
17
    set_lens=(int(bar_days*verify_bar_num),),
18
    left_to_right=False
19
)  # 10 windows, each 2 years long, reserve 180 days for test
20
# 合理设置n，最好确保验证集，连续且无重复
21
pf_kwargs = dict(
22
    direction='longonly',  # long and short
23
    freq='d'
24
)
25
print('split_kwargs:',split_kwargs)
26

27
def roll_in_and_out_samples(price, **kwargs):
28
    return price.vbt.rolling_split(**kwargs)
29

30
price=ohlcv['Close']
31
# 验证：单列数据验证，橘黄色验证集连续且无重复
32
roll_in_and_out_samples(price, **split_kwargs, plot=True, trace_names=['in-sample', 'out-sample']).show_svg()

展开收起

1
split_kwargs: {'n': 7, 'window_len': 240, 'set_lens': (80,), 'left_to_right': False}

svg

b,根据滑窗参数切分行情数据和信号#

1
in_price.shape: (160, 7)
2
out_price.shape: (80, 7)
3

4
in_price.index: RangeIndex(start=0, stop=160, step=1)
5
in_price.columns: Int64Index([0, 1, 2, 3, 4, 5, 6], dtype='int64', name='split_idx')
6

7
in_price[0:3]:
8
split_idx      0      1      2       3       4       5       6
9
0          48.17  59.78  92.59  219.90  146.56  254.11  250.02
10
1          48.04  58.88  90.00  216.30  153.73  277.60  246.50
11
2          48.28  59.13  94.74  225.04  148.99  275.95  246.30
12

13
###############################
14
in_dmac_size.shape: (160, 448)
15
out_dmac_size.shape: (80, 448)
16

17
in_dmac_size.iloc[:5,:5]:
18
split_idx              0
19
dualma_fast_window    10
20
dualma_slow_multi    1.5   2.0   2.5   3.0   3.5
21
0                   True  True  True  True  True
22
1                   True  True  True  True  True
23
2                   True  True  True  True  True
24
3                   True  True  True  True  True
25
4                   True  True  True  True  True

展开收起

23,滑窗的收益数据计算#

a,持有参数收益#

在此区间，基础标的物表现

1
def simulate_holding(price, **kwargs):
2
    pf = vbt.Portfolio.from_holding(price, **kwargs)
3
    return pf.sharpe_ratio()
4

5
in_hold_sharpe = simulate_holding(in_price, **pf_kwargs)
6
print(in_hold_sharpe.head(5))
7

8
out_hold_sharpe = simulate_holding(out_price, **pf_kwargs)
9
print(out_hold_sharpe.head(5))

1
split_idx
2
0    2.315678
3
1    3.890261
4
2    1.812302
5
3    1.122310
6
4    2.388496
7
Name: sharpe_ratio, dtype: float64
8
split_idx
9
0    4.885519
10
1   -0.547754
11
2    4.538256
12
3   -0.039085
13
4   -0.527252
14
Name: sharpe_ratio, dtype: float64

b,网格参数收益(训练集和验证集)#

1
in_sharpe.shape: (1792,)
2
split_idx  dualma_fast_window  dualma_slow_multi  sl_stop
3
0          10                  1.5                0.05       2.698831
4
                                                  0.10       2.487661
5
                                                  0.15       2.305821
6
                                                  0.20       2.389847
7
                               2.0                0.05       2.344002
8
                                                               ...
9
6          45                  4.5                0.20      -1.054460
10
                               5.0                0.05      -0.331869
11
                                                  0.10      -1.664299
12
                                                  0.15      -1.487590
13
                                                  0.20      -1.513999
14
Name: sharpe_ratio, Length: 1792, dtype: float64
15

16
split_idx               0                                                                                                                                                                                                                                                                                                                                                                                                                                                               1                                                                                                                                                                                                                                                                                                                                                                                                                                                               2                                                                        \
17
dualma_fast_window     10                                                      15                                                      20                                                      25                                                      30                                                      35                                                      40                                                      45                                                      10                                                      15                                                      20                                                      25                                                      30                                                      35                                                      40                                                      45                                                      10                                                      15
18
dualma_slow_multi     1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5
19
0                    True  False  False  False  False  False  False  False  False  False  False  False   True   True   True   True  False  False   True   True   True   True   True   True  False   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True  False  False  False  False  False  False  False  False  False  False  False
20
1                   False  False  False  False  False  False  False   True  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False
21
2                   False   True   True   True   True  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False
22

23
split_idx                                                                                                                                                                                                                                                                                                                                                                                                  3                                                                                                                                                                                                                                                                                                                                                                                                                                                               4                                                                                                                                                     \
24
dualma_fast_window                                        20                                                      25                                                      30                                                      35                                                      40                                                      45                                                      10                                                      15                                                      20                                                      25                                                      30                                                      35                                                      40                                                      45                                                      10                                                      15                                                      20
25
dualma_slow_multi     3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0
26
0                   False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False   True   True  False  False  False  False  False   True   True   True  False  False   True   True   True   True   True   True  False   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False
27
1                   False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False
28
2                   False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False
29

30
split_idx                                                                                                                                                                                                                                                                                                                     5                                                                                                                                                                                                                                                                                                                                                                                                                                                               6                                                                                                                                                                                                                                  \
31
dualma_fast_window                   25                                                      30                                                      35                                                      40                                                      45                                                      10                                                      15                                                      20                                                      25                                                      30                                                      35                                                      40                                                      45                                                      10                                                      15                                                      20                                                      25                                                      30
32
dualma_slow_multi     4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5
33
0                   False  False  False  False  False   True   True   True   True   True  False  False   True   True   True   True   True   True  False   True   True   True   True   True   True   True  False   True   True   True   True   True   True   True   True   True   True   True   True   True   True   True  False  False  False   True  False   True   True   True  False   True   True   True   True   True   True  False   True   True   True   True  False  False  False  False   True   True   True  False  False  False  False  False   True   True  False  False  False  False  False  False   True  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False   True   True  False  False  False  False   True   True   True   True  False
34
1                   False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False   True   True   True  False   True  False  False  False   True  False  False  False  False  False  False  False  False  False  False  False   True  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False   True  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False
35
2                   False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False   True  False  False  False  False  False   True  False  False  False  False  False   True  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False
36

37
split_idx
38
dualma_fast_window                                                      35                                                      40                                                      45
39
dualma_slow_multi     2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0    1.5    2.0    2.5    3.0    3.5    4.0    4.5    5.0
40
0                   False  False   True   True   True   True   True  False  False   True   True   True   True   True   True  False  False   True   True   True   True   True   True  False   True   True   True   True   True   True   True
41
1                   False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False
42
2                   False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False  False
43
out_sharpe.shape: (1792,)

展开收起

1
# import pandas as pd
2
# import matplotlib.pyplot as plt
3

4
# # 根据索引层筛选数据
5
# groups = in_return.groupby(level=['sl_trail','sl_stop'])
6

7
# # 计算每个分组的统计数据
8
# # statistics = groups.agg(['mean', 'var', 'max', 'min', 'median'])
9
# statistics = groups.agg([
10
#     ('mean', 'mean'),
11
#     ('var', 'var'),
12
#     ('max', 'max'),
13
#     ('min', 'min'),
14
#     ('median', 'median'),
15
#     ('25%', lambda x: np.percentile(x, 25)),
16
#     ('75%', lambda x: np.percentile(x, 75))
17
# ])
18
# print(statistics)
19

20

21
# def compare_true_false_statistics(statistics):
22
#     """
23
#     比较 sl_trail 索引层为 True 和 False 时各统计指标的大小。
24

25
#     :param statistics: 包含 True 和 False 分组的统计数据。
26
#     :return: 一个新的 DataFrame，展示 True 是否大于 False。
27
#     """
28
#     # 确保索引是多重索引，并且第一个索引是 sl_trail
29
#     if not isinstance(statistics.index, pd.MultiIndex) or statistics.index.names[0] != 'sl_trail':
30
#         raise ValueError("数据的第一个索引必须是 'sl_trail' 并且为多重索引。")
31

32
#     # 提取 True 和 False 的统计数据
33
#     true_stats = statistics.xs(True, level='sl_trail')
34
#     false_stats = statistics.xs(False, level='sl_trail')
35

36
#     # 比较 True 和 False 的每个统计指标
37
#     comparison = true_stats > false_stats
38

39
#     # 将比较结果转换为整数类型（True为1，False为0）
40
#     comparison = comparison.astype(int)
41

42
#     return comparison
43

44
# # 示例使用
45
# # 假设 statistics 是上述提供的 DataFrame
46
# comparison_results = compare_true_false_statistics(statistics)
47
# print(comparison_results)

展开收起

c,训练集上的最佳参数用于验证集#

v1:简单最大值优选法
选取，测试集合的最优参数作为验证集参数，如果sharp_ratio就最大，回撤就最小类似这样的简单优选策略。

1
def get_best_index(performance, higher_better=True):
2
    if higher_better:
3
        return performance[performance.groupby('split_idx').idxmax()].index
4
    return performance[performance.groupby('split_idx').idxmin()].index
5
in_test_best_index_basic = get_best_index(in_sharpe)
6

7
merged_df = pd.concat([in_sharpe, in_return,out_sharpe,out_return], axis=1, keys=['in_sharpe', 'in_return','out_sharpe', 'out_return'])
8
print('merged_df[in_test_best_index_basic]')
9
print(merged_df.loc[in_test_best_index_basic])
10

11
# 绘图：参数走势图
12
df_plot_tmp = in_test_best_index_basic.to_frame(index=False)
13
# 将split_idx设置为行索引，并按照split_idx从小到大排序
14
df_plot_tmp.set_index('split_idx', inplace=True)
15
df_plot_tmp.sort_index(inplace=True)
16
df_plot_tmp['dualma_slow_window'] = df_plot_tmp['dualma_fast_window']*df_plot_tmp['dualma_slow_multi']
17
df_plot_tmp[['dualma_fast_window','dualma_slow_window']].vbt.plot().show_svg()

展开收起

1
merged_df[in_test_best_index_basic]
2
                                                        in_sharpe  in_return  out_sharpe  out_return
3
split_idx dualma_fast_window dualma_slow_multi sl_stop
4
0         40                 1.5               0.05      3.032440   0.678169    0.204789    0.004091
5
1         20                 2.0               0.10      4.264742   1.678727    2.600636    0.278124
6
2         20                 1.5               0.10      3.698019   1.458562    2.820473    0.422292
7
3         10                 3.5               0.10      2.015480   0.526104    0.451947    0.023056
8
4         40                 5.0               0.05      2.835772   0.428931   -1.923102   -0.062478
9
5         15                 2.0               0.05      0.717109   0.062730    3.414356    0.302466
10
6         25                 2.5               0.05      2.848787   0.414228    0.900054    0.004202

svg

1
in_test_best_index_nb_coord[:5]
2
MultiIndex([(0, 40, 1.5, 0.05),
3
            (1, 30, 1.5,  0.1),
4
            (2, 20, 1.5,  0.1),
5
            (3, 15, 2.5,  0.1),
6
            (4, 10, 3.5, 0.05)],
7
           names=['split_idx', 'dualma_fast_window', 'dualma_slow_multi', 'sl_stop'])

svg

1
in_test_best_index_nb_mean[:5]
2
MultiIndex([(0, 25, 2.5, 0.05),
3
            (1, 20, 2.0, 0.15),
4
            (2, 20, 1.5, 0.15),
5
            (3, 10, 3.5, 0.05),
6
            (4, 45, 5.0, 0.05)],
7
           names=['split_idx', 'dualma_fast_window', 'dualma_slow_multi', 'sl_stop'])

svg

v4:邻居权重优选法-中位数
由于均值受极值影响较大，可以考虑用 median( 多个邻居)，代替上面”邻居的平均值”。

1
in_test_best_index_nb_median[:5]
2
MultiIndex([(0, 25, 2.5, 0.05),
3
            (1, 25, 2.5,  0.2),
4
            (2, 20, 1.5,  0.1),
5
            (3, 10, 3.5, 0.05),
6
            (4, 45, 5.0, 0.05)],
7
           names=['split_idx', 'dualma_fast_window', 'dualma_slow_multi', 'sl_stop'])

svg

将滚动获取的最佳参数用于验证集，统计收益信息

24,sharp ratio的汇总可视化#

basic为例的基础分析视图

1
cv_results_df = pd.DataFrame({
2
    'in_sample_hold': in_hold_sharpe.values,
3
    'in_sample_median': in_sharpe.groupby('split_idx').median().values,
4
    'in_sample_best': in_test_best_sharpe_basic.values,
5
    'out_sample_hold': out_hold_sharpe.values,
6
    'out_sample_median': out_sharpe.groupby('split_idx').median().values,
7
    'out_sample_test': out_test_sharpe_basic.values
8
})
9

10
color_schema = vbt.settings['plotting']['color_schema']
11

12
cv_results_df.vbt.plot(
13
    trace_kwargs=[
14
        dict(line_color=color_schema['blue']),
15
        dict(line_color=color_schema['blue'], line_dash='dash'),
16
        dict(line_color=color_schema['blue'], line_dash='dot'),
17
        dict(line_color=color_schema['orange']),
18
        dict(line_color=color_schema['orange'], line_dash='dash'),
19
        dict(line_color=color_schema['orange'], line_dash='dot')
20
    ]
21
).show_svg()

展开收起

svg

关注点：

蓝色部分正常排序是(从上到下)：点线，实现，线段，

橘色部分

实线对实线
说明测试集和验证集的周期收益情况，二者同时出现0轴同侧较好（同时上涨，同时下跌，保持行情的稳定性or延续性）

线段对线段
二者一方面随着各自颜色的实线趋势变化（受各自实线影响较大），其他应该无必然联系

点线对点线
蓝色点高于橘色点线，蓝色是训练集内最佳，橘色则是训练集得到最优参数用于验证集结果收益，大概率低于验证集。

4种优选方法的训练集夏普sharp ratio

1
cv_results_df = pd.DataFrame({
2
    'in_sample_hold': in_hold_sharpe.values,
3
    'in_sample_best_basic': in_sharpe[in_test_best_index_basic].values,
4
    'in_sample_best_coord': in_sharpe[in_test_best_index_nb_coord].values,
5
    'in_sample_best_mean': in_sharpe[in_test_best_index_nb_mean].values,
6
    'in_sample_best_median': in_sharpe[in_test_best_index_nb_median].values,
7
})
8

9

10
color_schema = vbt.settings['plotting']['color_schema']
11

12
cv_results_df.vbt.plot(
13
    trace_kwargs=[
14
        dict(line_color=color_schema['blue']),
15
        dict(line_color=color_schema['green']),
16
        dict(line_color=color_schema['red']),
17
        dict(line_color=color_schema['cyan']),
18
        dict(line_color=color_schema['orange'])
19
    ]
20
).show_svg()

展开收起

svg

4种优选方法的验证集夏普sharp ratio

1
cv_results_df = pd.DataFrame({
2
    'out_sample_hold': out_hold_sharpe.values,
3
    'out_sample_test_basic': out_test_sharpe_basic.values,
4
    'out_sample_test_coord': out_test_sharpe_coord.values,
5
    'out_sample_test_mean': out_test_sharpe_mean.values,
6
    'out_sample_test_median': out_test_sharpe_median.values
7
})
8

9
color_schema = vbt.settings['plotting']['color_schema']
10

11
cv_results_df.vbt.plot(
12
    trace_kwargs=[
13
         dict(line_color=color_schema['blue']),
14
        dict(line_color=color_schema['green']),
15
        dict(line_color=color_schema['red']),
16
        dict(line_color=color_schema['cyan']),
17
        dict(line_color=color_schema['orange'])
18
    ]
19
).show_svg()

展开收起

svg

25,滚动回测收益可视化#

1
# 测试集：原始价格变动
2
in_price_org=in_price.iloc[-1, :]/in_price.iloc[0, :]
3
print('in_price_org shape:',in_price_org.shape)
4
print('in_price_org.head(5)')
5
print(in_price_org.head(5))
6

7

8
cv_results_df = pd.DataFrame({
9
    'out_price_org':  in_price_org.cumprod(),
10
    'in_test_best_return_basic': (in_test_best_return_basic.values+1).cumprod(),
11
    'in_test_best_return_coord': (in_test_best_return_nb_coord.values+1).cumprod(),
12
    'in_test_best_return_mean': (in_test_best_return_nb_mean.values+1).cumprod(),
13
    'in_test_best_return_median': (in_test_best_return_nb_median.values+1).cumprod(),
14

15
})
16

17
color_dmac_pfschema = vbt.settings['plotting']['color_schema']
18

19

20
cv_results_df.vbt.plot(
21
    trace_kwargs=[
22
         dict(line_color=color_schema['blue']),
23
        dict(line_color=color_schema['green']),
24
        dict(line_color=color_schema['red']),
25
        dict(line_color=color_schema['cyan']),
26
        dict(line_color=color_schema['orange'])
27
    ]
28
).show_svg()
29

30

31

32
# 验证集：原始价格变动
33
out_price_org=out_price.iloc[-1, :]/out_price.iloc[0, :]
34
print('out_price_org shape:',out_price_org.shape)
35
print('out_price_org.head(5)')
36
print(out_price_org.head(5))
37

38
print()
39
print('out_test_return_basic shape:',out_test_return_basic.shape)
40
print('out_test_return_basic.head(5) + 1')
41
print(out_test_return_basic.head(5)+1)
42

43
cv_results_df = pd.DataFrame({
44
    'out_price_org':  out_price_org.cumprod(),
45
    'out_test_return_basic': (out_test_return_basic.values+1).cumprod(),
46
    'out_test_return_coord': (out_test_return_coord.values+1).cumprod(),
47
    'out_test_return_mean': (out_test_return_mean.values+1).cumprod(),
48
    'out_test_return_median': (out_test_return_median.values+1).cumprod(),
49
})
50

51
color_dmac_pfschema = vbt.settings['plotting']['color_schema']
52

53

54
cv_results_df.vbt.plot(
55
    trace_kwargs=[
56
        dict(line_color=color_schema['blue']),
57
        dict(line_color=color_schema['green']),
58
        dict(line_color=color_schema['red']),
59
        dict(line_color=color_schema['cyan']),
60
        dict(line_color=color_schema['orange'])
61
    ]
62
).show_svg()

展开收起

1
in_price_org shape: (7,)
2
in_price_org.head(5)
3
split_idx
4
0    1.772680
5
1    2.987621
6
2    1.620045
7
3    1.282265
8
4    1.822666
9
dtype: float64

svg

1
out_price_org shape: (7,)
2
out_price_org.head(5)
3
split_idx
4
0    2.210941
5
1    0.876075
6
2    2.001737
7
3    0.971119
8
4    0.902879
9
dtype: float64
10

11
out_test_return_basic shape: (7,)
12
out_test_return_basic.head(5) + 1
13
split_idx  dualma_fast_window  dualma_slow_multi  sl_stop
14
0          40                  1.5                0.05       1.004091
15
1          20                  2.0                0.10       1.278124
16
2          20                  1.5                0.10       1.422292
17
3          10                  3.5                0.10       1.023056
18
4          40                  5.0                0.05       0.937522
19
Name: total_return, dtype: float64

展开收起

svg

26,计算正确性验证(略)#

1
a,准备校验数据，数据展示
2
b,行情->指标 计算正确
3
c,指标->信号 计算正确

27,回测结果汇总#

参数
4种优选方法训练集夏普sharp ratio
4种优选方法验证集夏普sharp ratio 4种优选方法最佳参数测试集回测表现 4种优选方法最佳参数验证集回测表现

跟踪止损#

参数

1
fast_windows = np.arange(10, 50,5)
2
slow_multis = np.arange(1.5, 5.5, 0.5)
3
sl_stops = [0.05,0.1,0.15,0.20]
4
sl_trails = True
5
无止盈

4种优选方法训练集夏普sharp ratio

svg

4种优选方法验证集夏普sharp ratio

svg

4种优选方法最佳参数测试集回测表现

svg

4种优选方法最佳参数验证集回测表现

svg

非跟踪止损#

参数

1
fast_windows = np.arange(10, 50,5)
2
slow_multis = np.arange(1.5, 5.5, 0.5)
3
sl_stops = [0.05,0.1,0.15,0.20]
4
sl_trails = False
5
无止盈

4种优选方法训练集夏普sharp ratio

4种优选方法验证集夏普sharp ratio

4种优选方法最佳参数测试集回测表现
4种优选方法最佳参数验证集回测表现

跟踪止损+止盈#

参数

1
fast_windows = np.arange(10, 50,5)
2
slow_multis = np.arange(1.5, 5.5, 0.5)
3
sl_stops = [0.05,0.1,0.15,0.20]
4
sl_trails = True
5
tp_stops = [0.1, 0.2]

参数
4种优选方法训练集夏普sharp ratio

4种优选方法验证集夏普sharp ratio
4种优选方法最佳参数测试集回测表现
4种优选方法最佳参数验证集回测表现

非跟踪止损+止盈#

参数

1
fast_windows = np.arange(10, 50,5)
2
slow_multis = np.arange(1.5, 5.5, 0.5)
3
sl_stops = [0.05,0.1,0.15,0.20]
4
sl_trails = False
5
tp_stops = [0.1, 0.2]

4种优选方法训练集夏普sharp ratio

4种优选方法验证集夏普sharp ratio
4种优选方法最佳参数测试集回测表现
4种优选方法最佳参数验证集回测表现

小汇总#

跟踪止损 vs 非跟踪止损(买入价固定百分比止损)：一般常规认为跟踪止损更佳，此处并不显著。
跟踪止损+止盈 vs 跟踪止损：趋势策略添加止盈等于给跳蚤加盖测跳高，极度不合适，训练集上效果都上不来。
非跟踪止损+止盈 vs 非跟踪止损：加了止盈不怎么样了。
趋势策略不考虑止盈，可考虑增加买入价固定百分比止损，或跟踪止损。

vectorbt学习_47DMA之七回顾小节

Sun, 30 Jun 2024 00:00:00 GMT

阶段性回顾汇总之前个文章，步骤的核心功能。

DMA之一基础策略#

通过2个vbt.MA.run计算均线，然后计算指标和可视化，计算信号和可视化，最终形成交易序列以及可视化。

svg

DMA之二网格参数优选#

在上一篇基础上，使用vbt.MA.run_combs，形成多个参数组合的策略，网格遍历的形式优选出最佳均线参数。获得各参数表现热力图，以及最佳表现。
局限在于： 01，虽然回测但无法实盘，原因是对于今天来讲，使用的均是历史信息，但是对于过去视角看，过去是不知道未来xx月，使用xx参数可以取得较好收益。所以获得回测结果也就只能看看而已，不具备落地条件。
02，由于参数在整个测试区间都是固定，限制了策略表现，现实中参数大概率随时间or行情走势动态变动的。固定参数无法动态的适应行情。

svg

DMA之三滑窗网格参数优选(滚动窗口)#

采用滚动窗口+网格参数优选，分析出动态最优参数。
需要对行情，做滚动切分，切分成训练集，预测集
训练集用于测试各参数的表现，选择最优用于预测集合。同时也要尽可能保证
a,训练集和预测集数据比例合适.
b,预测集合尽可能首尾相接连续整合行情区间，避免重复或者间隙过多（重复或者间隙可能导致double/错过某周期性行情，引入额外测试误差).

svg

验证集的收益计算采用，会面临预热问题，导致验证集信号稀疏。也会破坏最初设计的验证集首尾相接接近整个时间区间。

1
def simulate_all_params(price, windows, **kwargs):
2
    fast_ma, slow_ma = vbt.MA.run_combs(price, windows, r=2, short_names=['fast', 'slow'])
3
    entries = fast_ma.ma_crossed_above(slow_ma)
4
    exits = fast_ma.ma_crossed_below(slow_ma)
5
    pf = vbt.Portfolio.from_signals(price, entries, exits, **kwargs)
6
    return pf.sharpe_ratio()

最终效果

svg

DMA之四滑窗网格参数优选(size状态仓位)#

处理预热问题，将信号，指标的计算前置，entry+exit机制改为状态机制（否则entry按照滚动周期，切分后会有信号丢失的问题）。此时得到结果

svg

对应到参数走势图

svg

显然参数不合理，出现(10，11)，(43，44)这种参数组合。
不过，这是第一个理论上没有未来数据等硬伤，且可持续滚动进行下去的版本。

DMA之五滑窗网格参数优选(参数正交性:快线*慢线乘数)#

改进了参数组合方式，采用快线以及慢线相对快线的倍率。大致认为剔除二者相关性了（正交性）。
此时就无法借助run_combs创建组合计算指标了，需基于vbt创建新技术指标DualMA
参数走势

svg

最终效果

svg

DMA之六滑窗网格参数优选(4种参数优选)#

之前每个周期(训练集)的最佳参数，都是采用直接优选的方法。可能存在局部最优过拟合陷阱（某个参数效果很好，但是其邻居效果奇差）。新增3种参数优选方法，一定程度上降低参数过拟合的可能。

v1:直接(简单最大值)优选法
选取，测试集合的最优参数作为验证集参数，如果sharp_ratio就最大，回撤就最小类似这样的简单优选策略。

svg

v4:邻居权重优选法-中位数
由于均值受极值影响较大，可以考虑用 median( 多个邻居)，代替上面”邻居的平均值”。

svg

参数优选方法对应累积收益图

svg

vectorbt学习_46DMA之六滑窗网格参数优选

Sat, 29 Jun 2024 00:00:00 GMT

本文基于上一篇文章(vectorbt学习_17DMA之五滑窗网格参数优选)。
之前每个周期(训练集)的最佳参数，都是采用直接优选的方法。可能存在局部最优过拟合陷阱（某个参数效果很好，但是其邻居效果奇差）。

新增3种参数优选方法，一定程度上降低参数过拟合的可能。

v1:直接(简单最大值)优选法
选取，测试集合的最优参数作为验证集参数，如果sharp_ratio就最大，回撤就最小类似这样的简单优选策略。

v4:邻居权重优选法-中位数
由于均值受极值影响较大，可以考虑用 median( 多个邻居)，代替上面”邻居的平均值”。

01,基础配置信息#

1
#conda envs:vectorbt_env
2
import warnings
3
import vectorbt as vbt
4
import numpy as np
5
import pandas as pd
6
from datetime import datetime, timedelta
7
import pytz
8
from dateutil.parser import parse
9
import ipywidgets as widgets
10
from copy import deepcopy
11
from tqdm import tqdm
12
import imageio
13
from IPython import display
14
import plotly.graph_objects as go
15
import itertools
16
import dateparser
17
import gc
18
import math
19
from tools import dbtools
20

21
warnings.filterwarnings("ignore")
22

23
pd.set_option('display.max_rows',500)
24
pd.set_option('display.max_columns',500)
25
pd.set_option('display.width',1000)

展开收起

02,行情获取和可视化#

a,时间交易参数配置#

1
# Enter your parameters here
2
seed = 42
3
symbol = '002594.XSHE'
4
metric = 'total_return'
5

6
start_date = datetime(2020, 1, 1, tzinfo=pytz.utc)  # time period for analysis, must be timezone-aware
7
end_date = datetime(2023,1,1, tzinfo=pytz.utc)
8
time_buffer = timedelta(days=100)  # buffer before to pre-calculate SMA/EMA, best to set to max window
9
freq = '1D'
10

11
vbt.settings.portfolio['init_cash'] = 10000.  # 100$
12
vbt.settings.portfolio['fees'] = 0.0025  # 0.25%
13
vbt.settings.portfolio['slippage'] = 0.0025  # 0.25%

b,获取行情和行情mask#

1
# Download data with time buffer
2
cols = ['Open', 'High', 'Low', 'Close', 'Volume']
3
# ohlcv_wbuf = vbt.YFData.download(symbol, start=start_date-time_buffer, end=end_date).get(cols)
4

5
ohlcv_wbuf=dbtools.MySQLData.download(symbol).get() # 自带工具类查询
6
assert(~ohlcv_wbuf.empty)
7
ohlcv_wbuf = ohlcv_wbuf.astype(np.float64)
8

9
print("ohlcv_wbuf.shape:",ohlcv_wbuf.shape)
10
print("ohlcv_wbuf.columns:",ohlcv_wbuf.columns)
11

12

13
# Create a copy of data without time buffer
14
wobuf_mask = (ohlcv_wbuf.index >= start_date) & (ohlcv_wbuf.index <= end_date) # mask without buffer
15

16
ohlcv = ohlcv_wbuf.loc[wobuf_mask, :]
17

18
print("ohlcv.shape:",ohlcv.shape)
19

20
# Plot the OHLC data
21
ohlcv.vbt.ohlcv.plot().show_svg() # 绘制蜡烛图
22
# remove show_svg() to display interactive chart!

展开收起

1
ohlcv_wbuf.shape: (978, 5)
2
ohlcv_wbuf.columns: Index(['Open', 'High', 'Low', 'Close', 'Volume'], dtype='object')
3
ohlcv.shape: (728, 5)

svg

20,网格参数-指标计算和可视化#

仅可视化第一列

1
fast_windows = np.arange(10, 50,5)
2
slow_multis = np.arange(1.5, 5.5, 0.5)
3
print("fast_windows:",fast_windows)
4
print("slow_multis:",slow_multis)
5

6
price_wbuf=ohlcv_wbuf['Close']
7
dualma = vbt.DualMA.run(price_wbuf, fast_window=fast_windows,slow_multi=slow_multis,param_product=True)
8
dualma = dualma[wobuf_mask]
9
# there should be no nans after removing time buffer
10
assert(~dualma.fast_ma.isnull().any().any())
11
assert(~dualma.slow_ma.isnull().any().any())
12

13

14
print()
15
print('dualma.fast_ma.head(3)')
16
print(dualma.fast_ma.head(3))
17
print('dualma.slow_ma.head(3)')
18
print(dualma.slow_ma.head(3))
19

20
print()
21
fig = ohlcv['Close'].vbt.plot(trace_kwargs=dict(name='Price'))
22
fig = dualma.fast_ma.iloc[:,0].vbt.plot(trace_kwargs=dict(name="Fast MA col %s"%str(dualma.fast_ma.iloc[:,0].name)), fig=fig)
23
fig = dualma.slow_ma.iloc[:,0].vbt.plot(trace_kwargs=dict(name="Slow MA col %s"%str(dualma.slow_ma.iloc[:,0].name)), fig=fig)
24
fig.show_svg()

展开收起

1
fast_windows: [10 15 20 25 30 35 40 45]
2
slow_multis: [1.5 2.  2.5 3.  3.5 4.  4.5 5. ]
3

4
dualma.fast_ma.head(3)
5
dualma_fast_window             10                                                                 15                                                                                    20                                                                      25                                                                        30                                                                                      35                                                                                    40                                                                        45
6
dualma_slow_multi             1.5     2.0     2.5     3.0     3.5     4.0     4.5     5.0        1.5        2.0        2.5        3.0        3.5        4.0        4.5        5.0      1.5      2.0      2.5      3.0      3.5      4.0      4.5      5.0      1.5      2.0      2.5      3.0      3.5      4.0      4.5      5.0        1.5        2.0        2.5        3.0        3.5        4.0        4.5        5.0        1.5        2.0        2.5        3.0        3.5        4.0        4.5        5.0      1.5      2.0      2.5      3.0      3.5      4.0      4.5      5.0        1.5        2.0        2.5        3.0        3.5        4.0        4.5        5.0
7
date
8
2020-01-02 00:00:00+00:00  46.665  46.665  46.665  46.665  46.665  46.665  46.665  46.665  45.824667  45.824667  45.824667  45.824667  45.824667  45.824667  45.824667  45.824667  45.3025  45.3025  45.3025  45.3025  45.3025  45.3025  45.3025  45.3025  44.9476  44.9476  44.9476  44.9476  44.9476  44.9476  44.9476  44.9476  44.816667  44.816667  44.816667  44.816667  44.816667  44.816667  44.816667  44.816667  44.594571  44.594571  44.594571  44.594571  44.594571  44.594571  44.594571  44.594571  44.5425  44.5425  44.5425  44.5425  44.5425  44.5425  44.5425  44.5425  44.440222  44.440222  44.440222  44.440222  44.440222  44.440222  44.440222  44.440222
9
2020-01-03 00:00:00+00:00  46.972  46.972  46.972  46.972  46.972  46.972  46.972  46.972  46.128667  46.128667  46.128667  46.128667  46.128667  46.128667  46.128667  46.128667  45.5025  45.5025  45.5025  45.5025  45.5025  45.5025  45.5025  45.5025  45.1420  45.1420  45.1420  45.1420  45.1420  45.1420  45.1420  45.1420  44.964000  44.964000  44.964000  44.964000  44.964000  44.964000  44.964000  44.964000  44.723714  44.723714  44.723714  44.723714  44.723714  44.723714  44.723714  44.723714  44.6265  44.6265  44.6265  44.6265  44.6265  44.6265  44.6265  44.6265  44.555556  44.555556  44.555556  44.555556  44.555556  44.555556  44.555556  44.555556
10
2020-01-06 00:00:00+00:00  47.138  47.138  47.138  47.138  47.138  47.138  47.138  47.138  46.456000  46.456000  46.456000  46.456000  46.456000  46.456000  46.456000  46.456000  45.7310  45.7310  45.7310  45.7310  45.7310  45.7310  45.7310  45.7310  45.3376  45.3376  45.3376  45.3376  45.3376  45.3376  45.3376  45.3376  45.112667  45.112667  45.112667  45.112667  45.112667  45.112667  45.112667  45.112667  44.871143  44.871143  44.871143  44.871143  44.871143  44.871143  44.871143  44.871143  44.7115  44.7115  44.7115  44.7115  44.7115  44.7115  44.7115  44.7115  44.660222  44.660222  44.660222  44.660222  44.660222  44.660222  44.660222  44.660222
11
dualma.slow_ma.head(3)
12
dualma_fast_window                10                                                                              15                                                                                      20                                                                                25                                                                                 30                                                                                    35                                                                                      40                                                                                   45
13
dualma_slow_multi                1.5      2.0      2.5        3.0        3.5      4.0        4.5      5.0        1.5        2.0        2.5        3.0        3.5        4.0        4.5        5.0        1.5      2.0      2.5        3.0        3.5        4.0        4.5      5.0        1.5      2.0        2.5        3.0        3.5      4.0        4.5       5.0        1.5        2.0        2.5        3.0        3.5        4.0        4.5      5.0        1.5        2.0        2.5        3.0        3.5        4.0        4.5        5.0        1.5        2.0      2.5        3.0        3.5        4.0        4.5       5.0        1.5        2.0        2.5        3.0        3.5        4.0        4.5        5.0
14
date
15
2020-01-02 00:00:00+00:00  45.824667  45.3025  44.9476  44.816667  44.594571  44.5425  44.440222  44.6384  45.180455  44.816667  44.545676  44.440222  44.717692  45.135167  45.513134  46.025200  44.816667  44.5425  44.6384  45.135167  45.697429  46.307750  46.683111  47.0983  44.545676  44.6384  45.235806  46.025200  46.560460  47.0983  47.997679  48.61136  44.440222  45.135167  46.025200  46.683111  47.425238  48.410917  48.769630  48.8484  44.717692  45.697429  46.560460  47.425238  48.496066  48.803714  48.852357  49.430914  45.135167  46.307750  47.0983  48.410917  48.803714  48.892313  49.622778  50.14240  45.513134  46.683111  47.997679  48.769630  48.852357  49.622778  50.162574  50.375822
16
2020-01-03 00:00:00+00:00  46.128667  45.5025  45.1420  44.964000  44.723714  44.6265  44.555556  44.6660  45.373636  44.964000  44.652162  44.555556  44.741538  45.119167  45.485821  45.984267  44.964000  44.6265  44.6660  45.119167  45.666714  46.291125  46.643333  47.0707  44.652162  44.6660  45.229677  45.984267  46.549080  47.0707  47.936429  48.56848  44.555556  45.119167  45.984267  46.643333  47.349905  48.362083  48.758074  48.8320  44.741538  45.666714  46.549080  47.349905  48.460984  48.784357  48.838471  49.366457  45.119167  46.291125  47.0707  48.362083  48.784357  48.878875  49.584500  50.12260  45.485821  46.643333  47.936429  48.758074  48.838471  49.584500  50.141139  50.379778
17
2020-01-06 00:00:00+00:00  46.456000  45.7310  45.3376  45.112667  44.871143  44.7115  44.660222  44.6908  45.562273  45.112667  44.787297  44.660222  44.773846  45.116667  45.474478  45.950800  45.112667  44.7115  44.6908  45.116667  45.641143  46.267875  46.621889  47.0449  44.787297  44.6908  45.232742  45.950800  46.534598  47.0449  47.864554  48.52880  44.660222  45.116667  45.950800  46.621889  47.278952  48.320667  48.743185  48.8232  44.773846  45.641143  46.534598  47.278952  48.406803  48.770500  48.833885  49.298743  45.116667  46.267875  47.0449  48.320667  48.770500  48.860063  49.552222  50.09115  45.474478  46.621889  47.864554  48.743185  48.833885  49.552222  50.122772  50.388044

展开收起

svg

21,网格参数-信号计算和可视化#

仅可视化第一列

1
# 信号计算
2
dmac_size=dualma.fast_ma_above(dualma.slow_ma)
3
print('dmac_size.shape:',dmac_size.shape)
4
print()
5
print('dmac_size.iloc[:3,:3]:')
6
print(dmac_size.iloc[:3,:3])
7

8

9
# 行情-指标-信号可视化
10
fig = ohlcv['Close'].vbt.plot(trace_kwargs=dict(name='Price'))
11
fig = dualma.fast_ma.iloc[:,0].vbt.plot(trace_kwargs=dict(name='Fast MA'), fig=fig)
12
fig = dualma.slow_ma.iloc[:,0].vbt.plot(trace_kwargs=dict(name='Slow MA'), fig=fig)
13
fig = dmac_size.iloc[:,0].vbt.signals.plot_as_markers(ohlcv['Close'], fig=fig)
14
fig.show_svg()
15

16
# (单独)信号可视化
17
fig = dmac_size.iloc[:,0].vbt.signals.plot(trace_kwargs=dict(name='Entries'))
18
fig.show_svg()
19

20
# 信号的统计信息
21
dmac_size.vbt.signals.stats()

展开收起

1
dmac_size.shape: (728, 64)
2

3
dmac_size.iloc[:3,:3]:
4
dualma_fast_window           10
5
dualma_slow_multi           1.5   2.0   2.5
6
date
7
2020-01-02 00:00:00+00:00  True  True  True
8
2020-01-03 00:00:00+00:00  True  True  True
9
2020-01-06 00:00:00+00:00  True  True  True

svg

1
Start                       2020-01-02 00:00:00+00:00
2
End                         2022-12-30 00:00:00+00:00
3
Period                                            728
4
Total                                       474.03125
5
Rate [%]                                    65.114183
6
First Index                 2020-01-15 16:52:30+00:00
7
Last Index                  2022-11-07 20:15:00+00:00
8
Norm Avg Index [-1, 1]                      -0.159967
9
Distance: Min                                     1.0
10
Distance: Max                               82.734375
11
Distance: Mean                               1.464916
12
Distance: Std                                5.175417
13
Total Partitions                             6.671875
14
Partition Rate [%]                           1.510978
15
Partition Length: Min                       41.671875
16
Partition Length: Max                      211.171875
17
Partition Length: Mean                     110.468174
18
Partition Length: Std                       78.523847
19
Partition Distance: Min                      26.78125
20
Partition Distance: Max                     82.734375
21
Partition Distance: Mean                    51.365493
22
Partition Distance: Std                     28.015768
23
Name: agg_func_mean, dtype: object

展开收起

22,行情,信号的滑窗处理#

a,参数设置和效果预览#

代码中

1
print(in_indexes[0][0])
2
print(in_indexes[1][0])
3
print(in_indexes[0][53:55])
4

5
2019-01-02 00:00:00+00:00
6
2019-03-25 00:00:00+00:00
7
DatetimeIndex(['2019-03-25 00:00:00+00:00', '2019-03-26 00:00:00+00:00'], dtype='datetime64[ns, UTC]', name='split_0', freq=None)
8
可见第二行第一个位于第一行第53个，不足设置的60,就是由于切分优先保证了数据的足量，但是数据间隔方面则可能有所重叠。

1
# 滚动周期参数设置和大致效果可视化
2
start_end_days=ohlcv.shape[0]
3
bar_days= 80         # 训练，验证集时间长度，以此为单位
4
test_bar_num=2      # 训练集时间长度
5
verify_bar_num=1    # 验证集时间长度
6
verify_overlap=0 # 验证集重叠时间长度
7
pre_test_days=0    # 由于测试集一部分时间用于计算指标，导致实际训练时间不足，这个是一定程度补充的days周期
8
# n取值需要满足:确保验证集合收尾相接
9
# => (n-1)*(verify_bar_num-verify_overlap)+(verify_bar_num+test_bar_num)=start_end_days/bar_days
10
# => n=(start_end_days/bar_days-test_bar_num-verify_overlap)/(verify_bar_num-verify_overlap)
11
calc_n=(start_end_days/bar_days-test_bar_num-verify_overlap)/(verify_bar_num-verify_overlap)
12

13

14
split_kwargs = dict(
15
    n=int(calc_n),
16
    window_len=int(bar_days*(test_bar_num+verify_bar_num)+pre_test_days),
17
    set_lens=(int(bar_days*verify_bar_num),),
18
    left_to_right=False
19
)  # 10 windows, each 2 years long, reserve 180 days for test
20
# 合理设置n，最好确保验证集，连续且无重复
21
pf_kwargs = dict(
22
    direction='longonly',  # long and short
23
    freq='d'
24
)
25
print('split_kwargs:',split_kwargs)
26

27
def roll_in_and_out_samples(price, **kwargs):
28
    return price.vbt.rolling_split(**kwargs)
29
price=ohlcv['Close']
30
# 验证：单列数据验证，橘黄色验证集连续且无重复
31
roll_in_and_out_samples(price, **split_kwargs, plot=True, trace_names=['in-sample', 'out-sample']).show_svg()

展开收起

1
split_kwargs: {'n': 7, 'window_len': 240, 'set_lens': (80,), 'left_to_right': False}

svg

b,根据滑窗参数切分行情数据和信号#

1
in_price.shape: (160, 7)
2
out_price.shape: (80, 7)
3

4
in_price.index: RangeIndex(start=0, stop=160, step=1)
5
in_price.columns: Int64Index([0, 1, 2, 3, 4, 5, 6], dtype='int64', name='split_idx')
6

7
in_price[0:3]:
8
split_idx      0      1      2       3       4       5       6
9
0          48.17  59.78  92.59  219.90  146.56  254.11  250.02
10
1          48.04  58.88  90.00  216.30  153.73  277.60  246.50
11
2          48.28  59.13  94.74  225.04  148.99  275.95  246.30
12

13
###############################
14
in_dmac_size.shape: (160, 448)
15
out_dmac_size.shape: (80, 448)
16

17
in_dmac_size.iloc[:5,:5]:
18
split_idx              0
19
dualma_fast_window    10
20
dualma_slow_multi    1.5   2.0   2.5   3.0   3.5
21
0                   True  True  True  True  True
22
1                   True  True  True  True  True
23
2                   True  True  True  True  True
24
3                   True  True  True  True  True
25
4                   True  True  True  True  True

展开收起

23,滑窗的收益数据计算#

a,持有参数收益#

在此区间，基础标的物表现

1
def simulate_holding(price, **kwargs):
2
    pf = vbt.Portfolio.from_holding(price, **kwargs)
3
    return pf.sharpe_ratio()
4

5
in_hold_sharpe = simulate_holding(in_price, **pf_kwargs)
6
print(in_hold_sharpe.head(5))
7

8
out_hold_sharpe = simulate_holding(out_price, **pf_kwargs)
9
print(out_hold_sharpe.head(5))

1
split_idx
2
0    2.315678
3
1    3.890261
4
2    1.812302
5
3    1.122310
6
4    2.388496
7
Name: sharpe_ratio, dtype: float64
8
split_idx
9
0    4.885519
10
1   -0.547754
11
2    4.538256
12
3   -0.039085
13
4   -0.527252
14
Name: sharpe_ratio, dtype: float64

b,网格参数收益(训练集和验证集)#

1
in_sharpe.shape: (448,)
2

3
out_sharpe.shape: (448,)

c,训练集上的最佳参数用于验证集#

v1:简单最大值优选法 选取，测试集合的最优参数作为验证集参数，如果sharp_ratio就最大，回撤就最小类似这样的简单优选策略。

1
def get_best_index(performance, higher_better=True):
2
    if higher_better:
3
        return performance[performance.groupby('split_idx').idxmax()].index
4
    return performance[performance.groupby('split_idx').idxmin()].index
5
in_best_index_basic = get_best_index(in_sharpe)
6

7
print('in_best_index[:5]')
8
print(in_best_index_basic[:5])
9

10
# 绘图：参数走势图
11
df_plot_tmp = in_best_index_basic.to_frame(index=False)
12
# 将split_idx设置为行索引，并按照split_idx从小到大排序
13
df_plot_tmp.set_index('split_idx', inplace=True)
14
df_plot_tmp.sort_index(inplace=True)
15
df_plot_tmp['dualma_slow_window'] = df_plot_tmp['dualma_fast_window']*df_plot_tmp['dualma_slow_multi']
16
df_plot_tmp[['dualma_fast_window','dualma_slow_window']].vbt.plot().show_svg()

展开收起

1
in_best_index[:5]
2
MultiIndex([(40, 1.5, 0),
3
            (20, 3.0, 1),
4
            (10, 4.0, 2),
5
            (10, 4.0, 3),
6
            (40, 5.0, 4)],
7
           names=['dualma_fast_window', 'dualma_slow_multi', 'split_idx'])

svg

1
in_best_index[:5]
2
MultiIndex([(40, 1.5, 0),
3
            (40, 1.5, 1),
4
            (40, 2.0, 2),
5
            (30, 1.5, 3),
6
            (25, 1.5, 4)],
7
           names=['dualma_fast_window', 'dualma_slow_multi', 'split_idx'])

svg

1
in_best_index[:5]
2
MultiIndex([(10, 1.5, 0),
3
            (20, 3.0, 1),
4
            (10, 4.5, 2),
5
            (10, 4.5, 3),
6
            (45, 5.0, 4)],
7
           names=['dualma_fast_window', 'dualma_slow_multi', 'split_idx'])

svg

v4:邻居权重优选法-中位数
由于均值受极值影响较大，可以考虑用 median( 多个邻居)，代替上面”邻居的平均值”。

1
in_best_index[:5]
2
MultiIndex([(10, 1.5, 0),
3
            (25, 2.5, 1),
4
            (10, 4.5, 2),
5
            (10, 4.5, 3),
6
            (45, 5.0, 4)],
7
           names=['dualma_fast_window', 'dualma_slow_multi', 'split_idx'])

svg

将滚动获取的最佳参数用于验证集，统计收益信息

1
out_dmac_size.shape: (80, 448)
2

3
out_dmac_size_reindexed[in_best_index_basic].shape: (80, 7)
4

5
dmac_pf_out.trades.records[:5]
6
   id  col        size  entry_idx  entry_price  entry_fees  exit_idx  exit_price  exit_fees           pnl    return  direction  status  parent_id
7
0   0    0  117.061022          0    85.212500   24.937656        79  187.930000   0.000000  11999.277880  1.202928          0       0          0
8
1   1    1   53.495628          0   186.465000   24.937656        46  181.225800  24.236970   -329.448922 -0.033027          0       1          1
9
2   2    2   56.480598         13   176.610425   24.937656        79  288.150000   0.000000   6274.884195  0.629057          0       0          2
10
3   3    3   35.921252          0   277.692500   24.937656         7  271.030725  24.339408   -288.576364 -0.028930          0       1          3
11
4   4    3   33.252058         29   291.326500   24.218014        64  300.038025  24.942204    240.515915  0.024828          0       1          4
12

13
out_test_sharpe.head(5)
14
dualma_fast_window  dualma_slow_multi  split_idx
15
40                  1.5                0            4.885519
16
20                  3.0                1            0.059796
17
10                  4.0                2            3.438258
18
                                       3            0.153046
19
40                  5.0                4           -1.016612
20
Name: sharpe_ratio, dtype: float64

展开收起

24,sharp ratio的汇总可视化#

basic为例的基础分析视图

1
cv_results_df = pd.DataFrame({
2
    'in_sample_hold': in_hold_sharpe.values,
3
    'in_sample_median': in_sharpe.groupby('split_idx').median().values,
4
    'in_sample_best': in_sharpe[in_best_index_basic].values,
5
    'out_sample_hold': out_hold_sharpe.values,
6
    'out_sample_median': out_sharpe.groupby('split_idx').median().values,
7
    'out_sample_test': out_test_sharpe_basic.values
8
})
9

10
color_schema = vbt.settings['plotting']['color_schema']
11

12
cv_results_df.vbt.plot(
13
    trace_kwargs=[
14
        dict(line_color=color_schema['blue']),
15
        dict(line_color=color_schema['blue'], line_dash='dash'),
16
        dict(line_color=color_schema['blue'], line_dash='dot'),
17
        dict(line_color=color_schema['orange']),
18
        dict(line_color=color_schema['orange'], line_dash='dash'),
19
        dict(line_color=color_schema['orange'], line_dash='dot')
20
    ]
21
).show_svg()

展开收起

svg

关注点：

蓝色部分正常排序是(从上到下)：点线，实现，线段，

橘色部分

实线对实线
说明测试集和验证集的周期收益情况，二者同时出现0轴同侧较好（同时上涨，同时下跌，保持行情的稳定性or延续性）

线段对线段
二者一方面随着各自颜色的实线趋势变化（受各自实线影响较大），其他应该无必然联系

点线对点线
蓝色点高于橘色点线，蓝色是训练集内最佳，橘色则是训练集得到最优参数用于验证集结果收益，大概率低于验证集。

4种优选方法的训练集夏普sharp ratio

1
cv_results_df = pd.DataFrame({
2
    'in_sample_hold': in_hold_sharpe.values,
3
    'in_sample_best_basic': in_sharpe[in_best_index_basic].values,
4
    'in_sample_best_coord': in_sharpe[in_best_index_nb_coord].values,
5
    'in_sample_best_mean': in_sharpe[in_best_index_nb_mean].values,
6
    'in_sample_best_median': in_sharpe[in_best_index_nb_median].values,
7
})
8

9

10
color_schema = vbt.settings['plotting']['color_schema']
11

12
cv_results_df.vbt.plot(
13
    trace_kwargs=[
14
        dict(line_color=color_schema['blue']),
15
        dict(line_color=color_schema['green']),
16
        dict(line_color=color_schema['red']),
17
        dict(line_color=color_schema['cyan']),
18
        dict(line_color=color_schema['orange'])
19
    ]
20
).show_svg()

展开收起

svg

可见，训练集上，不论那种筛选方法，其sharp_ratio大致走势接近，均优于简单的持有策略。
对于本案例，本质上是因为行情本身基本维持上涨趋势，如果行情较高波动性，则可能会有分化。

4种优选方法的验证集夏普sharp ratio

1
cv_results_df = pd.DataFrame({
2
    'out_sample_hold': out_hold_sharpe.values,
3
    'out_sample_test_basic': out_test_sharpe_basic.values,
4
    'out_sample_test_coord': out_test_sharpe_coord.values,
5
    'out_sample_test_mean': out_test_sharpe_mean.values,
6
    'out_sample_test_median': out_test_sharpe_median.values
7
})
8

9
color_schema = vbt.settings['plotting']['color_schema']
10

11
cv_results_df.vbt.plot(
12
    trace_kwargs=[
13
         dict(line_color=color_schema['blue']),
14
        dict(line_color=color_schema['green']),
15
        dict(line_color=color_schema['red']),
16
        dict(line_color=color_schema['cyan']),
17
        dict(line_color=color_schema['orange'])
18
    ]
19
).show_svg()

展开收起

svg

可见，验证集上，其sharp_ratio大致走势也接近。

25,滚动回测收益可视化#

1
# 验证集：原始价格变动
2
out_price_org=out_price.iloc[-1, :]/out_price.iloc[0, :]
3
print('out_price_org shape:',out_price_org.shape)
4
print('out_price_org.head(5)')
5
print(out_price_org.head(5))
6

7
# # 验证集：持有收益率，  高度类似，out_price_org，略
8
# def simulate_holding(price, **kwargs):
9
#     pf = vbt.Portfolio.from_holding(price, **kwargs)
10
#     return pf.total_return()
11

12
# out_hold_return = simulate_holding(out_price, **pf_kwargs)
13
# print()
14
# print('out_hold_return shape:',out_hold_return.shape)
15
# print('out_hold_return.head(5) + 1')
16
# print(out_hold_return.head(5)+1)
17

18

19
print()
20
print('out_test_return_basic shape:',out_test_return_basic.shape)
21
print('out_test_return_basic.head(5) + 1')
22
print(out_test_return_basic.head(5)+1)
23

24
cv_results_df = pd.DataFrame({
25
    'out_price_org':  out_price_org.cumprod(),
26
    'out_test_return_basic': (out_test_return_basic.values+1).cumprod(),
27
    'out_test_return_coord': (out_test_return_coord.values+1).cumprod(),
28
    'out_test_return_mean': (out_test_return_mean.values+1).cumprod(),
29
    'out_test_return_median': (out_test_return_median.values+1).cumprod(),
30
})
31

32
color_dmac_pfschema = vbt.settings['plotting']['color_schema']
33

34

35
cv_results_df.vbt.plot(
36
    trace_kwargs=[
37
        dict(line_color=color_schema['blue']),
38
        dict(line_color=color_schema['green']),
39
        dict(line_color=color_schema['red']),
40
        dict(line_color=color_schema['cyan']),
41
        dict(line_color=color_schema['orange'])
42
    ]
43
).show_svg()

展开收起

1
out_price_org shape: (7,)
2
out_price_org.head(5)
3
split_idx
4
0    2.210941
5
1    0.876075
6
2    2.001737
7
3    0.971119
8
4    0.902879
9
dtype: float64
10

11
out_test_return_basic shape: (7,)
12
out_test_return_basic.head(5) + 1
13
dualma_fast_window  dualma_slow_multi  split_idx
14
40                  1.5                0            2.199928
15
20                  3.0                1            0.967055
16
10                  4.0                2            1.627488
17
                                       3            0.995194
18
40                  5.0                4            0.897145
19
Name: total_return, dtype: float64

展开收起

svg

上图可见，以上参数优选方法表现基本接近（也符合之前的sharp ratio接近的特征）。 最佳的效果是out_test_return_basic，也就是最简单的取得测试区间最大值表现的参数。

为何这种简单朴素的思路反而取得较好的效果？这一点乍一看有点不符常理。猜测是由于策略并未陷入过拟合，由于均线时间设置合理，倍率步长也设置较为宽泛，所以本身就包含了一定的容错性。避免了过拟合。上面的那几种优化思路，其本质都是针对过拟合的优化，均值，中位数，以及近邻选择都是避免陷入局部最优。但是如果网格参数设置较宽泛，其本身一定程度就避免了过拟合。
所以，基于以上在过拟合上的优化，可能并无效果。
网格参数宽泛，缺点在于未能有效捕捉行情蕴含信息，比如，均线探测，10，20，30，实际最佳结果为15，或者25，则容易跳过去。如果非要吹毛求疵，不妨根据上面的图示，进一步减少步长，细化参数（此时大概率出现几条线同时向上走，basic到一定程度陷入局部最优后就会下降），直到basic效果接近优化思路的效果。此时大概率说明达到过拟合临界点。

26,计算正确性验证(略)#

1
a,准备校验数据，数据展示
2
b,行情->指标 计算正确
3
c,指标->信号 计算正确
4
d,信号->交易 计算正确

vectorbt学习_44DMA之四滑窗网格参数优选

Fri, 28 Jun 2024 00:00:00 GMT

本文在上一篇文章(vectorbt学习_17DMA之三滑窗网格参数优选)面临问题
时间切分后，根据切分后的行情数据，重新计算技术指标，会存在一部分行情作为技术指标的预热时间被消耗掉。
比如：训练集，验证集时间(80,40), slow_windows=30，慢均线需要30天才有有效值。
则意味着训练集需要只有50(80-30)天，预测集10(40-30)天，技术指标slow_ma有有效取值。实际训练，验证集为(50,10)，与本意偏差较大。

勘误：此篇文章部分截图可能有误，此文章的后继文章“DMA之六滑窗网格参数优选”修复此问题。请查阅后文。

01,基础配置信息#

1
#conda envs:vectorbt_env
2
import warnings
3
import vectorbt as vbt
4
import numpy as np
5
import pandas as pd
6
from datetime import datetime, timedelta
7
import pytz
8
from dateutil.parser import parse
9
import ipywidgets as widgets
10
from copy import deepcopy
11
from tqdm import tqdm
12
import imageio
13
from IPython import display
14
import plotly.graph_objects as go
15
import itertools
16
import dateparser
17
import gc
18
import math
19
from tools import dbtools
20

21
warnings.filterwarnings("ignore")
22

23
pd.set_option('display.max_rows',500)
24
pd.set_option('display.max_columns',500)
25
pd.set_option('display.width',1000)

展开收起

02,行情获取和可视化#

a,时间交易参数配置#

1
# Enter your parameters here
2
seed = 42
3
symbol = '002594.XSHE'
4
metric = 'total_return'
5

6
start_date = datetime(2020, 1, 1, tzinfo=pytz.utc)  # time period for analysis, must be timezone-aware
7
end_date = datetime(2023,1,1, tzinfo=pytz.utc)
8
time_buffer = timedelta(days=100)  # buffer before to pre-calculate SMA/EMA, best to set to max window
9
freq = '1D'
10

11
vbt.settings.portfolio['init_cash'] = 10000.  # 100$
12
vbt.settings.portfolio['fees'] = 0.0025  # 0.25%
13
vbt.settings.portfolio['slippage'] = 0.0025  # 0.25%

b,获取行情和行情mask#

1
# Download data with time buffer
2
cols = ['Open', 'High', 'Low', 'Close', 'Volume']
3
# ohlcv_wbuf = vbt.YFData.download(symbol, start=start_date-time_buffer, end=end_date).get(cols)
4

5
ohlcv_wbuf=dbtools.MySQLData.download(symbol).get() # 自带工具类查询
6
assert(~ohlcv_wbuf.empty)
7
ohlcv_wbuf = ohlcv_wbuf.astype(np.float64)
8

9
print("origin ohlcv_wbuf size:",ohlcv_wbuf.shape)
10
print(ohlcv_wbuf.columns)
11

12

13
# Create a copy of data without time buffer
14
wobuf_mask = (ohlcv_wbuf.index >= start_date) & (ohlcv_wbuf.index <= end_date) # mask without buffer
15

16
ohlcv = ohlcv_wbuf.loc[wobuf_mask, :]
17

18
print("wobuf_mask ohlcv size:",ohlcv.shape)
19

20
# Plot the OHLC data
21
ohlcv.vbt.ohlcv.plot().show_svg() # 绘制蜡烛图
22
# remove show_svg() to display interactive chart!

展开收起

1
origin ohlcv_wbuf size: (978, 5)
2
Index(['Open', 'High', 'Low', 'Close', 'Volume'], dtype='object')
3
wobuf_mask ohlcv size: (728, 5)

svg

20,网格参数-指标计算和可视化#

仅可视化第一列

1
price=ohlcv_wbuf['Close']
2
windows = np.arange(10, 50)
3

4
fast_ma, slow_ma = vbt.MA.run_combs(price, windows, r=2, short_names=['fast', 'slow'])
5

6
print(fast_ma.ma.shape)
7
print(slow_ma.ma.shape)
8

9
# Remove time buffer
10
fast_ma = fast_ma[wobuf_mask]
11
slow_ma = slow_ma[wobuf_mask]
12

13
# there should be no nans after removing time buffer
14
assert(~fast_ma.ma.isnull().any().any())
15
assert(~slow_ma.ma.isnull().any().any())
16

17
print(fast_ma.ma.shape)
18
print(slow_ma.ma.shape)
19

20

21
fig = ohlcv['Close'].vbt.plot(trace_kwargs=dict(name='Price'))
22
fig = fast_ma.ma.iloc[:,0].vbt.plot(trace_kwargs=dict(name="Fast MA col %d"%fast_ma.ma.iloc[:,0].name), fig=fig)
23
fig = slow_ma.ma.iloc[:,0].vbt.plot(trace_kwargs=dict(name="Slow MA col %d"%slow_ma.ma.iloc[:,0].name), fig=fig)
24
fig.show_svg()

展开收起

1
(978, 780)
2
(978, 780)
3
(728, 780)
4
(728, 780)

svg

21,网格参数-信号计算和可视化#

仅可视化第一列

1
dmac_size.shape: (728, 780)
2
dmac_size.iloc[:3,:3]:
3
fast_window                  10
4
slow_window                  11    12    13
5
date
6
2020-01-02 00:00:00+00:00  True  True  True
7
2020-01-03 00:00:00+00:00  True  True  True
8
2020-01-06 00:00:00+00:00  True  True  True

svg

1
Start                                 2020-01-02 00:00:00+00:00
2
End                                   2022-12-30 00:00:00+00:00
3
Period                                                      728
4
Total                                                423.078205
5
Rate [%]                                              58.115138
6
First Index                           2020-01-02 02:00:00+00:00
7
Last Index                  2022-12-27 06:59:04.615384576+00:00
8
Norm Avg Index [-1, 1]                                -0.179136
9
Distance: Min                                               1.0
10
Distance: Max                                         75.946154
11
Distance: Mean                                         1.720602
12
Distance: Std                                          5.889353
13
Total Partitions                                      14.607692
14
Partition Rate [%]                                     3.501842
15
Partition Length: Min                                  3.239744
16
Partition Length: Max                                 85.138462
17
Partition Length: Mean                                36.392118
18
Partition Length: Std                                 27.476308
19
Partition Distance: Min                                4.425641
20
Partition Distance: Max                               75.946154
21
Partition Distance: Mean                              29.174564
22
Partition Distance: Std                               26.152924
23
Name: agg_func_mean, dtype: object

展开收起

22,行情,信号的滑窗处理#

a,参数设置和效果预览#

代码中

1
# todo这里是自然日计算的，但后面训练，验证集个数计算都完全正确，哪里应该和预想的不一致
2
合理的。实测bar_days= 60时
3

4
print(in_indexes[0][0])
5
print(in_indexes[1][0])
6
print(in_indexes[0][53:55])
7

8
2019-01-02 00:00:00+00:00
9
2019-03-25 00:00:00+00:00
10
DatetimeIndex(['2019-03-25 00:00:00+00:00', '2019-03-26 00:00:00+00:00'], dtype='datetime64[ns, UTC]', name='split_0', freq=None)
11
可见第二行第一个位于第一行第53个，不足设置的60,就是由于切分优先保证了数据的足量，但是数据间隔方面则可能有所重叠。

1
# 滚动周期参数设置和大致效果可视化
2
start_end_days=int((end_date-start_date).days) #todo 这里是自然日计算的，但后面训练，验证集个数计算都完全正确，哪里应该和预想的不一致
3
bar_days= 80         # 训练，验证集时间长度，以此为单位
4
test_bar_num=2      # 训练集时间长度
5
verify_bar_num=1    # 验证集时间长度
6
verify_overlap=0 # 验证集重叠时间长度
7
pre_test_days=0    # 由于测试集一部分时间用于计算指标，导致实际训练时间不足，这个是一定程度补充的days周期
8
# n取值需要满足:确保验证集合收尾相接
9
# => (n-1)*(verify_bar_num-verify_overlap)+(verify_bar_num+test_bar_num)=start_end_days/bar_days
10
# => n=(start_end_days/bar_days-test_bar_num-verify_overlap)/(verify_bar_num-verify_overlap)
11
calc_n=(start_end_days/bar_days-test_bar_num-verify_overlap)/(verify_bar_num-verify_overlap)
12

13

14
split_kwargs = dict(
15
    n=int(calc_n),
16
    window_len=int(bar_days*(test_bar_num+verify_bar_num)+pre_test_days),
17
    set_lens=(int(bar_days*verify_bar_num),),
18
    left_to_right=False
19
)  # 10 windows, each 2 years long, reserve 180 days for test
20
# 合理设置n，最好确保验证集，连续且无重复
21
pf_kwargs = dict(
22
    direction='both',  # long and short
23
    freq='d'
24
)
25
print('split_kwargs:',split_kwargs)
26

27
def roll_in_and_out_samples(price, **kwargs):
28
    return price.vbt.rolling_split(**kwargs)
29

30
# 验证：单列数据验证，橘黄色验证集连续且无重复
31
roll_in_and_out_samples(price, **split_kwargs, plot=True, trace_names=['in-sample', 'out-sample']).show_svg()
32

33
# 大致观察数据特征
34
(in_price, in_indexes), (out_price, out_indexes) = roll_in_and_out_samples(price, **split_kwargs)
35

36
print('in_price.shape:',in_price.shape )  # in-sample
37
print('out_price.shape:',out_price.shape)
38
print('in_price.index:',in_price.index)
39
print('in_price.columns:',in_price.columns)
40
print('in_price[0:3]:',in_price[0:3])
41

42
print('in_indexes[:5]:',in_indexes[:3])

展开收起

1
split_kwargs: {'n': 11, 'window_len': 240, 'set_lens': (80,), 'left_to_right': False}

svg

1
in_price.shape: (160, 11)
2
out_price.shape: (80, 11)
3
in_price.index: RangeIndex(start=0, stop=160, step=1)
4
in_price.columns: Int64Index([0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10], dtype='int64', name='split_idx')
5
in_price[0:3]: split_idx     0      1      2      3      4      5       6       7       8       9       10
6
0          49.17  58.15  51.20  43.39  48.15  97.90  167.98  239.52  202.00  251.77  253.14
7
1          48.06  56.16  49.50  43.15  49.73  96.55  164.08  225.00  214.11  252.50  266.49
8
2          50.65  55.36  50.29  43.79  52.25  94.50  168.03  208.99  227.02  246.86  266.08
9
in_indexes[:5]: [DatetimeIndex(['2019-01-02 00:00:00+00:00', '2019-01-03 00:00:00+00:00', '2019-01-04 00:00:00+00:00', '2019-01-07 00:00:00+00:00', '2019-01-08 00:00:00+00:00', '2019-01-09 00:00:00+00:00', '2019-01-10 00:00:00+00:00', '2019-01-11 00:00:00+00:00', '2019-01-14 00:00:00+00:00', '2019-01-15 00:00:00+00:00',
10
               ...
11
               '2019-08-14 00:00:00+00:00', '2019-08-15 00:00:00+00:00', '2019-08-16 00:00:00+00:00', '2019-08-19 00:00:00+00:00', '2019-08-20 00:00:00+00:00', '2019-08-21 00:00:00+00:00', '2019-08-22 00:00:00+00:00', '2019-08-23 00:00:00+00:00', '2019-08-26 00:00:00+00:00', '2019-08-27 00:00:00+00:00'], dtype='datetime64[ns, UTC]', name='split_0', length=160, freq=None), DatetimeIndex(['2019-04-24 00:00:00+00:00', '2019-04-25 00:00:00+00:00', '2019-04-26 00:00:00+00:00', '2019-04-29 00:00:00+00:00', '2019-04-30 00:00:00+00:00', '2019-05-06 00:00:00+00:00', '2019-05-07 00:00:00+00:00', '2019-05-08 00:00:00+00:00', '2019-05-09 00:00:00+00:00', '2019-05-10 00:00:00+00:00',
12
               ...
13
               '2019-12-04 00:00:00+00:00', '2019-12-05 00:00:00+00:00', '2019-12-06 00:00:00+00:00', '2019-12-09 00:00:00+00:00', '2019-12-10 00:00:00+00:00', '2019-12-11 00:00:00+00:00', '2019-12-12 00:00:00+00:00', '2019-12-13 00:00:00+00:00', '2019-12-16 00:00:00+00:00', '2019-12-17 00:00:00+00:00'], dtype='datetime64[ns, UTC]', name='split_1', length=160, freq=None), DatetimeIndex(['2019-08-12 00:00:00+00:00', '2019-08-13 00:00:00+00:00', '2019-08-14 00:00:00+00:00', '2019-08-15 00:00:00+00:00', '2019-08-16 00:00:00+00:00', '2019-08-19 00:00:00+00:00', '2019-08-20 00:00:00+00:00', '2019-08-21 00:00:00+00:00', '2019-08-22 00:00:00+00:00', '2019-08-23 00:00:00+00:00',
14
               ...
15
               '2020-03-26 00:00:00+00:00', '2020-03-27 00:00:00+00:00', '2020-03-30 00:00:00+00:00', '2020-03-31 00:00:00+00:00', '2020-04-01 00:00:00+00:00', '2020-04-02 00:00:00+00:00', '2020-04-03 00:00:00+00:00', '2020-04-07 00:00:00+00:00', '2020-04-08 00:00:00+00:00', '2020-04-09 00:00:00+00:00'], dtype='datetime64[ns, UTC]', name='split_2', length=160, freq=None)]

展开收起

b,根据滑窗参数切分行情数据和信号#

1
(in_price, in_indexes), (out_price, out_indexes) = roll_in_and_out_samples(price, **split_kwargs)
2

3
print('in_price.shape:',in_price.shape )  # in-sample
4
print('out_price.shape:',out_price.shape)
5

6

7
print(in_indexes[0][0])
8
print(in_indexes[1][0])
9
print(in_indexes[0][53:55])
10

11
print("###################")
12

13
(in_dmac_size,in_dmac_size_indexes),(out_dmac_size,out_dmac_size_indexes) = roll_in_and_out_samples(dmac_size, **split_kwargs)
14

15
print('in_dmac_size.shape:',in_dmac_size.shape)
16
print('in_dmac_size.iloc[:5,:5]:')
17
print(in_dmac_size.iloc[:5,:5])

展开收起

1
in_price.shape: (160, 11)
2
out_price.shape: (80, 11)
3
2019-01-02 00:00:00+00:00
4
2019-04-24 00:00:00+00:00
5
DatetimeIndex(['2019-03-25 00:00:00+00:00', '2019-03-26 00:00:00+00:00'], dtype='datetime64[ns, UTC]', name='split_0', freq=None)
6
###################
7
in_dmac_size.shape: (160, 8580)
8
in_dmac_size.iloc[:5,:5]:
9
split_idx       0
10
fast_window    10
11
slow_window    11    12    13    14    15
12
0            True  True  True  True  True
13
1            True  True  True  True  True
14
2            True  True  True  True  True
15
3            True  True  True  True  True
16
4            True  True  True  True  True

展开收起

23,滑窗的收益数据计算#

a,持有参数收益#

在此区间，基础标的物表现

1
def simulate_holding(price, **kwargs):
2
    pf = vbt.Portfolio.from_holding(price, **kwargs)
3
    return pf.sharpe_ratio()
4

5
in_hold_sharpe = simulate_holding(in_price, **pf_kwargs)
6
print(in_hold_sharpe.head(5))
7

8
out_hold_sharpe = simulate_holding(out_price, **pf_kwargs)
9
print(out_hold_sharpe.head(5))

1
split_idx
2
0    0.235446
3
1   -1.630616
4
2    0.598889
5
3    2.647397
6
4    4.501923
7
Name: sharpe_ratio, dtype: float64
8
split_idx
9
0   -0.929956
10
1    2.065991
11
2    4.100300
12
3    4.801291
13
4    0.688785
14
Name: sharpe_ratio, dtype: float64

b,网格参数收益(训练集和验证集)#

1
(8580,)
2
fast_window  slow_window  split_idx
3
10           11           0            0.235446
4
             12           0            0.235446
5
             13           0            0.235446
6
             14           0            0.235446
7
             15           0            0.235446
8
                                         ...
9
46           48           10           1.161184
10
             49           10           1.325572
11
47           48           10           1.088731
12
             49           10           1.129224
13
48           49           10           0.958552
14
Name: sharpe_ratio, Length: 8580, dtype: float64
15
(8580,)
16
fast_window  slow_window  split_idx
17
10           11           0           -0.703309
18
             12           0           -0.703309
19
             13           0           -0.703309
20
             14           0           -0.929956
21
             15           0           -0.929956
22
                                         ...
23
46           48           10          -0.119443
24
             49           10           0.516152
25
47           48           10          -0.119443
26
             49           10          -0.160922
27
48           49           10          -0.160922
28
Name: sharpe_ratio, Length: 8580, dtype: float64

展开收起

c,训练集上的最佳参数用于验证集#

1
def get_best_index(performance, higher_better=True):
2
    if higher_better:
3
        return performance[performance.groupby('split_idx').idxmax()].index
4
    return performance[performance.groupby('split_idx').idxmin()].index
5
in_best_index = get_best_index(in_sharpe)
6

7
print(in_best_index[:5])
8

9

10
def get_best_params(best_index, level_name):
11
    return best_index.get_level_values(level_name).to_numpy()
12
in_best_fast_windows = get_best_params(in_best_index, 'fast_window')
13
in_best_slow_windows = get_best_params(in_best_index, 'slow_window')
14
in_best_window_pairs = np.array(list(zip(in_best_fast_windows, in_best_slow_windows)))
15

16
print(in_best_window_pairs[:5][:])
17
pd.DataFrame(in_best_window_pairs, columns=['fast_window', 'slow_window']).vbt.plot().show_svg()

展开收起

1
MultiIndex([(35, 49, 0),
2
            (10, 30, 1),
3
            (10, 15, 2),
4
            (11, 15, 3),
5
            (10, 11, 4)],
6
           names=['fast_window', 'slow_window', 'split_idx'])
7
[[35 49]
8
 [10 30]
9
 [10 15]
10
 [11 15]
11
 [10 11]]

svg

将滚动获取的最佳参数用于验证集，统计收益信息

1
print('out_dmac_size.shape:',out_dmac_size.shape)
2
print('in_best_index.shape:',in_best_index.shape)
3
print('in_best_index:',in_best_index)
4
print('out_dmac_size.columns:',out_dmac_size.columns)
5
# out_dmac_size[(0,10,12)]
6
print('out_dmac_size.columns.names:',out_dmac_size.columns.names)
7
print('in_best_index.names:',in_best_index.names)
8

9
# 调整 out_dmac_size 的列索引级别顺序，使其与 in_best_index 的级别顺序一致
10
out_dmac_size_reindexed = out_dmac_size.swaplevel('split_idx', 'fast_window', axis=1).swaplevel('slow_window', 'split_idx', axis=1).sort_index(axis=1)
11
# 使用调整后的列索引进行 iloc 操作
12
# out_dmac_size_reindexed.columns
13
result = out_dmac_size_reindexed[in_best_index]
14
# out_dmac_size.iloc[in_best_index]
15

16
print('out_dmac_size_reindexed[in_best_index].shape:',out_dmac_size_reindexed[in_best_index].shape)
17

18
# out_dmac_size_reindexed[in_best_index].astype(np.int)

展开收起

1
out_dmac_size.shape: (80, 8580)
2
in_best_index.shape: (11,)
3
in_best_index: MultiIndex([(35, 49,  0),
4
            (10, 30,  1),
5
            (10, 15,  2),
6
            (11, 15,  3),
7
            (10, 11,  4),
8
            (42, 43,  5),
9
            (10, 15,  6),
10
            (27, 34,  7),
11
            (10, 11,  8),
12
            (26, 45,  9),
13
            (13, 30, 10)],
14
           names=['fast_window', 'slow_window', 'split_idx'])
15
out_dmac_size.columns: MultiIndex([( 0, 10, 11),
16
            ( 0, 10, 12),
17
            ( 0, 10, 13),
18
            ( 0, 10, 14),
19
            ( 0, 10, 15),
20
            ( 0, 10, 16),
21
            ( 0, 10, 17),
22
            ( 0, 10, 18),
23
            ( 0, 10, 19),
24
            ( 0, 10, 20),
25
            ...
26
            (10, 45, 46),
27
            (10, 45, 47),
28
            (10, 45, 48),
29
            (10, 45, 49),
30
            (10, 46, 47),
31
            (10, 46, 48),
32
            (10, 46, 49),
33
            (10, 47, 48),
34
            (10, 47, 49),
35
            (10, 48, 49)],
36
           names=['split_idx', 'fast_window', 'slow_window'], length=8580)
37
out_dmac_size.columns.names: ['split_idx', 'fast_window', 'slow_window']
38
in_best_index.names: ['fast_window', 'slow_window', 'split_idx']
39
out_dmac_size_reindexed[in_best_index].shape: (80, 11)
40

41

42

43

44

45

46

47
    id  col        size  entry_idx  entry_price  entry_fees  exit_idx  exit_price  exit_fees           pnl    return  direction  status  parent_id
48
0    0    0  199.762836          0    49.934525   24.937656        79       46.85        0.0   -641.111119 -0.064271          0       0          0
49
1    1    1  222.599259          0    44.811750   24.937656        79       58.80        0.0   3088.836429  0.309656          0       0          1
50
2    2    2  182.338041          0    54.706425   24.937656        79       88.73        0.0   6178.854345  0.619430          0       0          2
51
3    3    3  114.462060          0    87.147325   24.937656        79      183.53        0.0  11007.221874  1.103474          0       0          3
52
4    4    4   59.581957          0   167.417500   24.937656        79      176.88        0.0    538.856616  0.054020          0       0          4
53
5    5    5   56.155465          0   177.632975   24.937656        79      250.50        0.0   4066.944030  0.407711          0       0          5
54
6    6    6   39.282222          0   253.933250   24.937656        79      321.74        0.0   2638.662163  0.264526          0       0          6
55
7    7    7   33.080178         35   301.541975   24.937656        79      240.60        0.0  -2040.909064 -0.204601          0       0          7
56
8    8    8   41.989226          0   237.562425   24.937656        79      314.89        0.0   3221.987364  0.323004          0       0          8
57
9    9    9   33.376449          0   298.865300   24.937656        79      274.21        0.0   -847.844011 -0.084996          0       0          9
58
10  10   10   39.143143         44   254.835500   24.937656        79      266.59        0.0    435.170415  0.043626          0       0         10
59
fast_window  slow_window  split_idx
60
35           49           0           -0.929956
61
10           30           1            2.065991
62
             15           2            4.100300
63
11           15           3            4.801291
64
10           11           4            0.688785
65
Name: sharpe_ratio, dtype: float64

展开收起

24,sharp ratio的汇总可视化#

1
cv_results_df = pd.DataFrame({
2
    'in_sample_hold': in_hold_sharpe.values,
3
    'in_sample_median': in_sharpe.groupby('split_idx').median().values,
4
    'in_sample_best': in_sharpe[in_best_index].values,
5
    'out_sample_hold': out_hold_sharpe.values,
6
    'out_sample_median': out_sharpe.groupby('split_idx').median().values,
7
    'out_sample_test': out_test_sharpe.values
8
})
9

10
color_schema = vbt.settings['plotting']['color_schema']
11

12
cv_results_df.vbt.plot(
13
    trace_kwargs=[
14
        dict(line_color=color_schema['blue']),
15
        dict(line_color=color_schema['blue'], line_dash='dash'),
16
        dict(line_color=color_schema['blue'], line_dash='dot'),
17
        dict(line_color=color_schema['orange']),
18
        dict(line_color=color_schema['orange'], line_dash='dash'),
19
        dict(line_color=color_schema['orange'], line_dash='dot')
20
    ]
21
).show_svg()

展开收起

svg

关注点：

蓝色部分正常排序是(从上到下)：点线，实现，线段，

橘色部分

实线对实线
说明测试集和验证集的周期收益情况，二者同时出现0轴同侧较好（同时上涨，同时下跌，保持行情的稳定性or延续性）

线段对线段
二者一方面随着各自颜色的实线趋势变化（受各自实线影响较大），其他应该无必然联系

点线对点线
蓝色点高于橘色点线，蓝色是训练集内最佳，橘色则是训练集得到最优参数用于验证集结果收益，大概率低于验证集。

25,滚动回测收益可视化#

1
# 验证集：原始价格变动
2
out_price_org=out_price.iloc[-1, :]/out_price.iloc[0, :]
3
print('out_price_org shape:',out_price_org.shape)
4
print(out_price_org.head(5))
5

6
# 验证集：持有收益率
7
def simulate_holding(price, **kwargs):
8
    pf = vbt.Portfolio.from_holding(price, **kwargs)
9
    return pf.total_return()
10

11
out_hold_return = simulate_holding(out_price, **pf_kwargs)
12
print("############")
13
print('out_hold_return shape:',out_hold_return.shape)
14
print(out_hold_return.head(5))
15

16

17
print("############")
18
print('out_test_return shape:',out_test_return.shape)
19
print(out_test_return.head(5))
20

21

22
cv_results_df = pd.DataFrame({
23
    'out_price_org':  out_price_org.cumprod(),
24
    'out_hold_return': (out_hold_return.values+1).cumprod(),
25
    'out_test_return': (out_test_return.values+1).cumprod()
26
})
27

28
color_dmac_pfschema = vbt.settings['plotting']['color_schema']
29

30

31
cv_results_df.vbt.plot(
32
    trace_kwargs=[
33
        dict(line_color=color_schema['blue']),
34
        dict(line_color=color_schema['blue'], line_dash='dash'),
35
        dict(line_color=color_schema['blue'], line_dash='dot')
36
    ]
37
).show_svg()

展开收起

1
out_price_org shape: (11,)
2
split_idx
3
0    0.940574
4
1    1.315436
5
2    1.625985
6
3    2.111239
7
4    1.059162
8
dtype: float64
9
############
10
out_hold_return shape: (11,)
11
split_idx
12
0   -0.064111
13
1    0.308884
14
2    0.617885
15
3    1.100722
16
4    0.053886
17
Name: total_return, dtype: float64
18
############
19
out_test_return shape: (11,)
20
fast_window  slow_window  split_idx
21
35           49           0           -0.064111
22
10           30           1            0.308884
23
             15           2            0.617885
24
11           15           3            1.100722
25
10           11           4            0.053886
26
Name: total_return, dtype: float64

展开收起

svg

可见，整体结果尚可，上涨幅度基本吃到位，由于单纯依赖技术指标退出，没有止损。所以回撤也是无法避免的。

进一步思考 (非滚动模式)网格参数寻优得到的固定参数，其实是使用未来信息的(未来行情)，不符合实际，也就是实际上无法落地。（5月份时，无法知道未来5-10月份，某个参数会取得较好收益）
滚动的网格参数寻优更符合实际，不含未来信息（可落地）。
时间周期越长，基于(非滚动模式)网格参数寻优取得较高收益概率越大，本质上是对历史的拟合。
但是滚动的测试未必，由于其未使用未来信息，如果策略本身无效，则大概率围绕0波动，类似随机。

26,计算正确性验证(略)#

1
a,准备校验数据，数据展示
2
b,行情->指标 计算正确
3
0
4
23
5
26
6
22
7
24
8
28
9
c,指标->信号 计算正确
10
d,信号->交易 计算正确

vectorbt学习_45DMA之五滑窗网格参数优选

Fri, 28 Jun 2024 00:00:00 GMT

本文在上一篇文章(05dma_03rollingGridParamV2)面临问题
对于双均线，最终采用参数为(20，22),(30，35)这样的参数组合，显然不合理，有对行情进行拟合的嫌疑。
较合理的参数组合方式是，采用快线以及慢线相对快线的倍率。大致认为剔除二者相关性了（正交性）。
此时就无法借助run_combs创建组合计算指标了，需基于vbt创建新技术指标DualMA。

勘误：此篇文章部分截图可能有误，此文章的后继文章“DMA之六滑窗网格参数优选”修复此问题。请查阅后文。

01,基础配置信息#

1
#conda envs:vectorbt_env
2
import warnings
3
import vectorbt as vbt
4
import numpy as np
5
import pandas as pd
6
from datetime import datetime, timedelta
7
import pytz
8
from dateutil.parser import parse
9
import ipywidgets as widgets
10
from copy import deepcopy
11
from tqdm import tqdm
12
import imageio
13
from IPython import display
14
import plotly.graph_objects as go
15
import itertools
16
import dateparser
17
import gc
18
import math
19
from tools import dbtools
20

21
warnings.filterwarnings("ignore")
22

23
pd.set_option('display.max_rows',500)
24
pd.set_option('display.max_columns',500)
25
pd.set_option('display.width',1000)

展开收起

02,行情获取和可视化#

a,时间交易参数配置#

1
# Enter your parameters here
2
seed = 42
3
symbol = '002594.XSHE'
4
metric = 'total_return'
5

6
start_date = datetime(2020, 1, 1, tzinfo=pytz.utc)  # time period for analysis, must be timezone-aware
7
end_date = datetime(2023,1,1, tzinfo=pytz.utc)
8
time_buffer = timedelta(days=100)  # buffer before to pre-calculate SMA/EMA, best to set to max window
9
freq = '1D'
10

11
vbt.settings.portfolio['init_cash'] = 10000.  # 100$
12
vbt.settings.portfolio['fees'] = 0.0025  # 0.25%
13
vbt.settings.portfolio['slippage'] = 0.0025  # 0.25%

b,获取行情和行情mask#

1
# Download data with time buffer
2
cols = ['Open', 'High', 'Low', 'Close', 'Volume']
3
# ohlcv_wbuf = vbt.YFData.download(symbol, start=start_date-time_buffer, end=end_date).get(cols)
4

5
ohlcv_wbuf=dbtools.MySQLData.download(symbol).get() # 自带工具类查询
6
assert(~ohlcv_wbuf.empty)
7
ohlcv_wbuf = ohlcv_wbuf.astype(np.float64)
8

9
print("ohlcv_wbuf.shape:",ohlcv_wbuf.shape)
10
print("ohlcv_wbuf.columns:",ohlcv_wbuf.columns)
11

12

13
# Create a copy of data without time buffer
14
wobuf_mask = (ohlcv_wbuf.index >= start_date) & (ohlcv_wbuf.index <= end_date) # mask without buffer
15

16
ohlcv = ohlcv_wbuf.loc[wobuf_mask, :]
17

18
print("ohlcv.shape:",ohlcv.shape)
19

20
# Plot the OHLC data
21
ohlcv.vbt.ohlcv.plot().show_svg() # 绘制蜡烛图
22
# remove show_svg() to display interactive chart!

展开收起

1
ohlcv_wbuf.shape: (978, 5)
2
ohlcv_wbuf.columns: Index(['Open', 'High', 'Low', 'Close', 'Volume'], dtype='object')
3
ohlcv.shape: (728, 5)

svg

20,网格参数-指标计算和可视化#

仅可视化第一列

1
fast_windows = np.arange(10, 50,5)
2
slow_multis = np.arange(1.5, 5.5, 0.5)
3
print("fast_windows:",fast_windows)
4
print("slow_multis:",slow_multis)
5

6
price=ohlcv_wbuf['Close']
7
dualma = vbt.DualMA.run(price, fast_window=fast_windows,slow_multi=slow_multis,param_product=True)
8
dualma = dualma[wobuf_mask]
9
# there should be no nans after removing time buffer
10
assert(~dualma.fast_ma.isnull().any().any())
11
assert(~dualma.slow_ma.isnull().any().any())
12

13

14
print()
15
print('dualma.fast_ma.head(3)')
16
print(dualma.fast_ma.head(3))
17
print('dualma.slow_ma.head(3)')
18
print(dualma.slow_ma.head(3))
19

20
print()
21
fig = ohlcv['Close'].vbt.plot(trace_kwargs=dict(name='Price'))
22
fig = dualma.fast_ma.iloc[:,0].vbt.plot(trace_kwargs=dict(name="Fast MA col %s"%str(dualma.fast_ma.iloc[:,0].name)), fig=fig)
23
fig = dualma.slow_ma.iloc[:,0].vbt.plot(trace_kwargs=dict(name="Slow MA col %s"%str(dualma.slow_ma.iloc[:,0].name)), fig=fig)
24
fig.show_svg()

展开收起

1
fast_windows: [10 15 20 25 30 35 40 45]
2
slow_multis: [1.5 2.  2.5 3.  3.5 4.  4.5 5. ]
3

4
dualma.fast_ma.head(3)
5
dualma_fast_window             10                                                                 15                                                                                    20                                                                      25                                                                        30                                                                                      35                                                                                    40                                                                        45
6
dualma_slow_multi             1.5     2.0     2.5     3.0     3.5     4.0     4.5     5.0        1.5        2.0        2.5        3.0        3.5        4.0        4.5        5.0      1.5      2.0      2.5      3.0      3.5      4.0      4.5      5.0      1.5      2.0      2.5      3.0      3.5      4.0      4.5      5.0        1.5        2.0        2.5        3.0        3.5        4.0        4.5        5.0        1.5        2.0        2.5        3.0        3.5        4.0        4.5        5.0      1.5      2.0      2.5      3.0      3.5      4.0      4.5      5.0        1.5        2.0        2.5        3.0        3.5        4.0        4.5        5.0
7
date
8
2020-01-02 00:00:00+00:00  46.665  46.665  46.665  46.665  46.665  46.665  46.665  46.665  45.824667  45.824667  45.824667  45.824667  45.824667  45.824667  45.824667  45.824667  45.3025  45.3025  45.3025  45.3025  45.3025  45.3025  45.3025  45.3025  44.9476  44.9476  44.9476  44.9476  44.9476  44.9476  44.9476  44.9476  44.816667  44.816667  44.816667  44.816667  44.816667  44.816667  44.816667  44.816667  44.594571  44.594571  44.594571  44.594571  44.594571  44.594571  44.594571  44.594571  44.5425  44.5425  44.5425  44.5425  44.5425  44.5425  44.5425  44.5425  44.440222  44.440222  44.440222  44.440222  44.440222  44.440222  44.440222  44.440222
9
2020-01-03 00:00:00+00:00  46.972  46.972  46.972  46.972  46.972  46.972  46.972  46.972  46.128667  46.128667  46.128667  46.128667  46.128667  46.128667  46.128667  46.128667  45.5025  45.5025  45.5025  45.5025  45.5025  45.5025  45.5025  45.5025  45.1420  45.1420  45.1420  45.1420  45.1420  45.1420  45.1420  45.1420  44.964000  44.964000  44.964000  44.964000  44.964000  44.964000  44.964000  44.964000  44.723714  44.723714  44.723714  44.723714  44.723714  44.723714  44.723714  44.723714  44.6265  44.6265  44.6265  44.6265  44.6265  44.6265  44.6265  44.6265  44.555556  44.555556  44.555556  44.555556  44.555556  44.555556  44.555556  44.555556
10
2020-01-06 00:00:00+00:00  47.138  47.138  47.138  47.138  47.138  47.138  47.138  47.138  46.456000  46.456000  46.456000  46.456000  46.456000  46.456000  46.456000  46.456000  45.7310  45.7310  45.7310  45.7310  45.7310  45.7310  45.7310  45.7310  45.3376  45.3376  45.3376  45.3376  45.3376  45.3376  45.3376  45.3376  45.112667  45.112667  45.112667  45.112667  45.112667  45.112667  45.112667  45.112667  44.871143  44.871143  44.871143  44.871143  44.871143  44.871143  44.871143  44.871143  44.7115  44.7115  44.7115  44.7115  44.7115  44.7115  44.7115  44.7115  44.660222  44.660222  44.660222  44.660222  44.660222  44.660222  44.660222  44.660222
11
dualma.slow_ma.head(3)
12
dualma_fast_window                10                                                                              15                                                                                      20                                                                                25                                                                                 30                                                                                    35                                                                                      40                                                                                   45
13
dualma_slow_multi                1.5      2.0      2.5        3.0        3.5      4.0        4.5      5.0        1.5        2.0        2.5        3.0        3.5        4.0        4.5        5.0        1.5      2.0      2.5        3.0        3.5        4.0        4.5      5.0        1.5      2.0        2.5        3.0        3.5      4.0        4.5       5.0        1.5        2.0        2.5        3.0        3.5        4.0        4.5      5.0        1.5        2.0        2.5        3.0        3.5        4.0        4.5        5.0        1.5        2.0      2.5        3.0        3.5        4.0        4.5       5.0        1.5        2.0        2.5        3.0        3.5        4.0        4.5        5.0
14
date
15
2020-01-02 00:00:00+00:00  45.824667  45.3025  44.9476  44.816667  44.594571  44.5425  44.440222  44.6384  45.180455  44.816667  44.545676  44.440222  44.717692  45.135167  45.513134  46.025200  44.816667  44.5425  44.6384  45.135167  45.697429  46.307750  46.683111  47.0983  44.545676  44.6384  45.235806  46.025200  46.560460  47.0983  47.997679  48.61136  44.440222  45.135167  46.025200  46.683111  47.425238  48.410917  48.769630  48.8484  44.717692  45.697429  46.560460  47.425238  48.496066  48.803714  48.852357  49.430914  45.135167  46.307750  47.0983  48.410917  48.803714  48.892313  49.622778  50.14240  45.513134  46.683111  47.997679  48.769630  48.852357  49.622778  50.162574  50.375822
16
2020-01-03 00:00:00+00:00  46.128667  45.5025  45.1420  44.964000  44.723714  44.6265  44.555556  44.6660  45.373636  44.964000  44.652162  44.555556  44.741538  45.119167  45.485821  45.984267  44.964000  44.6265  44.6660  45.119167  45.666714  46.291125  46.643333  47.0707  44.652162  44.6660  45.229677  45.984267  46.549080  47.0707  47.936429  48.56848  44.555556  45.119167  45.984267  46.643333  47.349905  48.362083  48.758074  48.8320  44.741538  45.666714  46.549080  47.349905  48.460984  48.784357  48.838471  49.366457  45.119167  46.291125  47.0707  48.362083  48.784357  48.878875  49.584500  50.12260  45.485821  46.643333  47.936429  48.758074  48.838471  49.584500  50.141139  50.379778
17
2020-01-06 00:00:00+00:00  46.456000  45.7310  45.3376  45.112667  44.871143  44.7115  44.660222  44.6908  45.562273  45.112667  44.787297  44.660222  44.773846  45.116667  45.474478  45.950800  45.112667  44.7115  44.6908  45.116667  45.641143  46.267875  46.621889  47.0449  44.787297  44.6908  45.232742  45.950800  46.534598  47.0449  47.864554  48.52880  44.660222  45.116667  45.950800  46.621889  47.278952  48.320667  48.743185  48.8232  44.773846  45.641143  46.534598  47.278952  48.406803  48.770500  48.833885  49.298743  45.116667  46.267875  47.0449  48.320667  48.770500  48.860063  49.552222  50.09115  45.474478  46.621889  47.864554  48.743185  48.833885  49.552222  50.122772  50.388044

展开收起

svg

21,网格参数-信号计算和可视化#

仅可视化第一列

1
dmac_size.shape: (728, 64)
2

3
dmac_size.iloc[:3,:3]:
4
dualma_fast_window           10
5
dualma_slow_multi           1.5   2.0   2.5
6
date
7
2020-01-02 00:00:00+00:00  True  True  True
8
2020-01-03 00:00:00+00:00  True  True  True
9
2020-01-06 00:00:00+00:00  True  True  True

svg

1
Start                       2020-01-02 00:00:00+00:00
2
End                         2022-12-30 00:00:00+00:00
3
Period                                            728
4
Total                                       474.03125
5
Rate [%]                                    65.114183
6
First Index                 2020-01-15 16:52:30+00:00
7
Last Index                  2022-11-07 20:15:00+00:00
8
Norm Avg Index [-1, 1]                      -0.159967
9
Distance: Min                                     1.0
10
Distance: Max                               82.734375
11
Distance: Mean                               1.464916
12
Distance: Std                                5.175417
13
Total Partitions                             6.671875
14
Partition Rate [%]                           1.510978
15
Partition Length: Min                       41.671875
16
Partition Length: Max                      211.171875
17
Partition Length: Mean                     110.468174
18
Partition Length: Std                       78.523847
19
Partition Distance: Min                      26.78125
20
Partition Distance: Max                     82.734375
21
Partition Distance: Mean                    51.365493
22
Partition Distance: Std                     28.015768
23
Name: agg_func_mean, dtype: object

展开收起

22,行情,信号的滑窗处理#

a,参数设置和效果预览#

代码中

1
#todo 这里是自然日计算的，但后面训练，验证集个数计算都完全正确，哪里应该和预想的不一致
2
合理的。实测bar_days= 60时
3

4
print(in_indexes[0][0])
5
print(in_indexes[1][0])
6
print(in_indexes[0][53:55])
7

8
2019-01-02 00:00:00+00:00
9
2019-03-25 00:00:00+00:00
10
DatetimeIndex(['2019-03-25 00:00:00+00:00', '2019-03-26 00:00:00+00:00'], dtype='datetime64[ns, UTC]', name='split_0', freq=None)
11
可见第二行第一个位于第一行第53个，不足设置的60,就是由于切分优先保证了数据的足量，但是数据间隔方面则可能有所重叠。

1
# 滚动周期参数设置和大致效果可视化
2
start_end_days=int((end_date-start_date).days) #todo 这里是自然日计算的，但后面训练，验证集个数计算都完全正确，哪里应该和预想的不一致
3
bar_days= 80         # 训练，验证集时间长度，以此为单位
4
test_bar_num=2      # 训练集时间长度
5
verify_bar_num=1    # 验证集时间长度
6
verify_overlap=0 # 验证集重叠时间长度
7
pre_test_days=0    # 由于测试集一部分时间用于计算指标，导致实际训练时间不足，这个是一定程度补充的days周期
8
# n取值需要满足:确保验证集合收尾相接
9
# => (n-1)*(verify_bar_num-verify_overlap)+(verify_bar_num+test_bar_num)=start_end_days/bar_days
10
# => n=(start_end_days/bar_days-test_bar_num-verify_overlap)/(verify_bar_num-verify_overlap)
11
calc_n=(start_end_days/bar_days-test_bar_num-verify_overlap)/(verify_bar_num-verify_overlap)
12

13

14
split_kwargs = dict(
15
    n=int(calc_n),
16
    window_len=int(bar_days*(test_bar_num+verify_bar_num)+pre_test_days),
17
    set_lens=(int(bar_days*verify_bar_num),),
18
    left_to_right=False
19
)  # 10 windows, each 2 years long, reserve 180 days for test
20
# 合理设置n，最好确保验证集，连续且无重复
21
pf_kwargs = dict(
22
    direction='both',  # long and short
23
    freq='d'
24
)
25
print('split_kwargs:',split_kwargs)
26

27
def roll_in_and_out_samples(price, **kwargs):
28
    return price.vbt.rolling_split(**kwargs)
29

30
# 验证：单列数据验证，橘黄色验证集连续且无重复
31
roll_in_and_out_samples(price, **split_kwargs, plot=True, trace_names=['in-sample', 'out-sample']).show_svg()

展开收起

1
split_kwargs: {'n': 11, 'window_len': 240, 'set_lens': (80,), 'left_to_right': False}

svg

b,根据滑窗参数切分行情数据和信号#

1
in_price.shape: (160, 11)
2
out_price.shape: (80, 11)
3

4
in_price.index: RangeIndex(start=0, stop=160, step=1)
5
in_price.columns: Int64Index([0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10], dtype='int64', name='split_idx')
6

7
in_price[0:3]:
8
split_idx     0      1      2      3      4      5       6       7       8       9       10
9
0          49.17  58.15  51.20  43.39  48.15  97.90  167.98  239.52  202.00  251.77  253.14
10
1          48.06  56.16  49.50  43.15  49.73  96.55  164.08  225.00  214.11  252.50  266.49
11
2          50.65  55.36  50.29  43.79  52.25  94.50  168.03  208.99  227.02  246.86  266.08
12

13
###############################
14
in_dmac_size.shape: (160, 704)
15
out_dmac_size.shape: (80, 704)
16

17
in_dmac_size.iloc[:5,:5]:
18
split_idx              0
19
dualma_fast_window    10
20
dualma_slow_multi    1.5   2.0   2.5   3.0   3.5
21
0                   True  True  True  True  True
22
1                   True  True  True  True  True
23
2                   True  True  True  True  True
24
3                   True  True  True  True  True
25
4                   True  True  True  True  True

展开收起

23,滑窗的收益数据计算#

a,持有参数收益#

在此区间，基础标的物表现

1
def simulate_holding(price, **kwargs):
2
    pf = vbt.Portfolio.from_holding(price, **kwargs)
3
    return pf.sharpe_ratio()
4

5
in_hold_sharpe = simulate_holding(in_price, **pf_kwargs)
6
print(in_hold_sharpe.head(5))
7

8
out_hold_sharpe = simulate_holding(out_price, **pf_kwargs)
9
print(out_hold_sharpe.head(5))

1
split_idx
2
0    0.235446
3
1   -1.630616
4
2    0.598889
5
3    2.647397
6
4    4.501923
7
Name: sharpe_ratio, dtype: float64
8
split_idx
9
0   -0.929956
10
1    2.065991
11
2    4.100300
12
3    4.801291
13
4    0.688785
14
Name: sharpe_ratio, dtype: float64

b,网格参数收益(训练集和验证集)#

1
in_sharpe.shape: (704,)
2
dualma_fast_window  dualma_slow_multi  split_idx
3
10                  1.5                0            0.235446
4
                    2.0                0            0.235446
5
                    2.5                0            0.235446
6
                    3.0                0            0.235446
7
                    3.5                0            0.235446
8
                                                      ...
9
45                  3.0                10           0.663486
10
                    3.5                10           0.663486
11
                    4.0                10           0.663486
12
                    4.5                10           0.663486
13
                    5.0                10           0.663486
14
Name: sharpe_ratio, Length: 704, dtype: float64
15

16
out_sharpe.shape: (704,)
17
dualma_fast_window  dualma_slow_multi  split_idx
18
10                  1.5                0           -0.929956
19
                    2.0                0           -0.820595
20
                    2.5                0           -0.820595
21
                    3.0                0           -0.820595
22
                    3.5                0           -0.820595
23
                                                      ...
24
45                  3.0                10          -0.554763
25
                    3.5                10          -0.554763
26
                    4.0                10          -0.554763
27
                    4.5                10          -0.554763
28
                    5.0                10          -0.554763
29
Name: sharpe_ratio, Length: 704, dtype: float64

展开收起

c,训练集上的最佳参数用于验证集#

1
def get_best_index(performance, higher_better=True):
2
    if higher_better:
3
        return performance[performance.groupby('split_idx').idxmax()].index
4
    return performance[performance.groupby('split_idx').idxmin()].index
5
in_best_index = get_best_index(in_sharpe)
6

7
print('in_best_index[:5]')
8
print(in_best_index[:5])
9

10
# 参数走势可视化
11
def get_best_params(best_index, level_name):
12
    return best_index.get_level_values(level_name).to_numpy()
13
in_best_fast_windows = get_best_params(in_best_index, 'dualma_fast_window')
14
in_best_slow_multi = get_best_params(in_best_index, 'dualma_slow_multi')
15
in_best_slow_windows = in_best_fast_windows*in_best_slow_multi
16
in_best_window_pairs = np.array(list(zip(in_best_fast_windows, in_best_slow_windows)))
17
print()
18
print('in_best_window_pairs[:5][:]:')
19
print(in_best_window_pairs[:5][:])
20
pd.DataFrame(in_best_window_pairs, columns=['fast_window', 'slow_window']).vbt.plot().show_svg()

展开收起

1
in_best_index[:5]
2
MultiIndex([(40, 5.0, 0),
3
            (10, 3.0, 1),
4
            (10, 1.5, 2),
5
            (10, 1.5, 3),
6
            (10, 1.5, 4)],
7
           names=['dualma_fast_window', 'dualma_slow_multi', 'split_idx'])
8

9
in_best_window_pairs[:5][:]:
10
[[ 40. 200.]
11
 [ 10.  30.]
12
 [ 10.  15.]
13
 [ 10.  15.]
14
 [ 10.  15.]]

svg

将滚动获取的最佳参数用于验证集，统计收益信息

1
in_best_index.shape: (11,)
2

3
in_best_index:
4
MultiIndex([(40, 5.0,  0),
5
            (10, 3.0,  1),
6
            (10, 1.5,  2),
7
            (10, 1.5,  3),
8
            (10, 1.5,  4),
9
            (10, 1.5,  5),
10
            (10, 1.5,  6),
11
            (45, 2.5,  7),
12
            (10, 1.5,  8),
13
            (25, 2.0,  9),
14
            (10, 2.5, 10)],
15
           names=['dualma_fast_window', 'dualma_slow_multi', 'split_idx'])
16

17
out_dmac_size.shape: (80, 704)
18

19
out_dmac_size_reindexed[in_best_index].shape: (80, 11)
20

21
dmac_pf_out.trades.records[:5]
22
   id  col        size  entry_idx  entry_price  entry_fees  exit_idx  exit_price  exit_fees           pnl    return  direction  status  parent_id
23
0   0    0  199.762836          0    49.934525   24.937656        79       46.85        0.0   -641.111119 -0.064271          0       0          0
24
1   1    1  222.599259          0    44.811750   24.937656        79       58.80        0.0   3088.836429  0.309656          0       0          1
25
2   2    2  182.338041          0    54.706425   24.937656        79       88.73        0.0   6178.854345  0.619430          0       0          2
26
3   3    3  114.462060          0    87.147325   24.937656        79      183.53        0.0  11007.221874  1.103474          0       0          3
27
4   4    4   59.581957          0   167.417500   24.937656        79      176.88        0.0    538.856616  0.054020          0       0          4
28

29
out_test_sharpe.head(5)
30
dualma_fast_window  dualma_slow_multi  split_idx
31
40                  5.0                0           -0.929956
32
10                  3.0                1            2.065991
33
                    1.5                2            4.100300
34
                                       3            4.801291
35
                                       4            0.688785
36
Name: sharpe_ratio, dtype: float64

展开收起

24,sharp ratio的汇总可视化#

1
cv_results_df = pd.DataFrame({
2
    'in_sample_hold': in_hold_sharpe.values,
3
    'in_sample_median': in_sharpe.groupby('split_idx').median().values,
4
    'in_sample_best': in_sharpe[in_best_index].values,
5
    'out_sample_hold': out_hold_sharpe.values,
6
    'out_sample_median': out_sharpe.groupby('split_idx').median().values,
7
    'out_sample_test': out_test_sharpe.values
8
})
9

10
color_schema = vbt.settings['plotting']['color_schema']
11

12
cv_results_df.vbt.plot(
13
    trace_kwargs=[
14
        dict(line_color=color_schema['blue']),
15
        dict(line_color=color_schema['blue'], line_dash='dash'),
16
        dict(line_color=color_schema['blue'], line_dash='dot'),
17
        dict(line_color=color_schema['orange']),
18
        dict(line_color=color_schema['orange'], line_dash='dash'),
19
        dict(line_color=color_schema['orange'], line_dash='dot')
20
    ]
21
).show_svg()

展开收起

svg

关注点：

蓝色部分正常排序是(从上到下)：点线，实现，线段，

橘色部分

实线对实线
说明测试集和验证集的周期收益情况，二者同时出现0轴同侧较好（同时上涨，同时下跌，保持行情的稳定性or延续性）

线段对线段
二者一方面随着各自颜色的实线趋势变化（受各自实线影响较大），其他应该无必然联系

点线对点线
蓝色点高于橘色点线，蓝色是训练集内最佳，橘色则是训练集得到最优参数用于验证集结果收益，大概率低于验证集。

25,滚动回测收益可视化#

1
# 验证集：原始价格变动
2
out_price_org=out_price.iloc[-1, :]/out_price.iloc[0, :]
3
print('out_price_org shape:',out_price_org.shape)
4
print('out_price_org.head(5)')
5
print(out_price_org.head(5))
6

7
# 验证集：持有收益率
8
def simulate_holding(price, **kwargs):
9
    pf = vbt.Portfolio.from_holding(price, **kwargs)
10
    return pf.total_return()
11

12
out_hold_return = simulate_holding(out_price, **pf_kwargs)
13
print()
14
print('out_hold_return shape:',out_hold_return.shape)
15
print('out_hold_return.head(5) + 1')
16
print(out_hold_return.head(5)+1)
17

18

19
print()
20
print('out_test_return shape:',out_test_return.shape)
21
print('out_test_return.head(5) + 1')
22
print(out_test_return.head(5)+1)
23

24
cv_results_df = pd.DataFrame({
25
    'out_price_org':  out_price_org.cumprod(),
26
    'out_hold_return': (out_hold_return.values+1).cumprod(),
27
    'out_test_return': (out_test_return.values+1).cumprod()
28
})
29

30
color_dmac_pfschema = vbt.settings['plotting']['color_schema']
31

32

33
cv_results_df.vbt.plot(
34
    trace_kwargs=[
35
        dict(line_color=color_schema['blue']),
36
        dict(line_color=color_schema['blue'], line_dash='dash'),
37
        dict(line_color=color_schema['blue'], line_dash='dot')
38
    ]
39
).show_svg()

展开收起

1
out_price_org shape: (11,)
2
out_price_org.head(5)
3
split_idx
4
0    0.940574
5
1    1.315436
6
2    1.625985
7
3    2.111239
8
4    1.059162
9
dtype: float64
10

11
out_hold_return shape: (11,)
12
out_hold_return.head(5) + 1
13
split_idx
14
0    0.935889
15
1    1.308884
16
2    1.617885
17
3    2.100722
18
4    1.053886
19
Name: total_return, dtype: float64
20

21
out_test_return shape: (11,)
22
out_test_return.head(5) + 1
23
dualma_fast_window  dualma_slow_multi  split_idx
24
40                  5.0                0            0.935889
25
10                  3.0                1            1.308884
26
                    1.5                2            1.617885
27
                                       3            2.100722
28
                                       4            1.053886
29
Name: total_return, dtype: float64

展开收起

svg

可见，在上次降低技术指标的预热时间优化的基础上，整体收益进一步提升。改进后的策略避免了参数过拟合，挺高了鲁棒性，带来了收益改善。

26,计算正确性验证(略)#

1
a,准备校验数据，数据展示
2
b,行情->指标 计算正确
3
c,指标->信号 计算正确
4
d,信号->交易 计算正确

vectorbt学习_42DMA之二网格参数优选

Tue, 18 Jun 2024 00:00:00 GMT

本文在上一篇文章(vectorbt学习_16DMA之一基础策略)基础上，采用网格分析法分析策略的最优参数。

01,基础配置信息#

1
#conda envs:vectorbt_env
2
import warnings
3
import vectorbt as vbt
4
import numpy as np
5
import pandas as pd
6
from datetime import datetime, timedelta
7
import pytz
8
from dateutil.parser import parse
9
import ipywidgets as widgets
10
from copy import deepcopy
11
from tqdm import tqdm
12
import imageio
13
from IPython import display
14
import plotly.graph_objects as go
15
import itertools
16
import dateparser
17
import gc
18
import math
19
from tools import dbtools
20

21
warnings.filterwarnings("ignore")
22

23
pd.set_option('display.max_rows',500)
24
pd.set_option('display.max_columns',500)
25
pd.set_option('display.width',1000)

展开收起

02,行情获取和可视化#

a,时间交易参数配置#

1
# Enter your parameters here
2
seed = 42
3
symbol = '002594.XSHE'
4
metric = 'total_return'
5

6
start_date = datetime(2020, 1, 1, tzinfo=pytz.utc)  # time period for analysis, must be timezone-aware
7
end_date = datetime(2023,1,1, tzinfo=pytz.utc)
8
time_buffer = timedelta(days=100)  # buffer before to pre-calculate SMA/EMA, best to set to max window
9
freq = '1D'
10

11
vbt.settings.portfolio['init_cash'] = 10000.  # 100$
12
vbt.settings.portfolio['fees'] = 0.0025  # 0.25%
13
vbt.settings.portfolio['slippage'] = 0.0025  # 0.25%

b,获取行情和行情mask#

1
# Download data with time buffer
2
cols = ['Open', 'High', 'Low', 'Close', 'Volume']
3
# ohlcv_wbuf = vbt.YFData.download(symbol, start=start_date-time_buffer, end=end_date).get(cols)
4

5
ohlcv_wbuf=dbtools.MySQLData.download(symbol).get() # 自带工具类查询
6
assert(~ohlcv_wbuf.empty)
7
ohlcv_wbuf = ohlcv_wbuf.astype(np.float64)
8

9
print("origin ohlcv_wbuf size:",ohlcv_wbuf.shape)
10
print(ohlcv_wbuf.columns)
11

12

13
# Create a copy of data without time buffer
14
wobuf_mask = (ohlcv_wbuf.index >= start_date) & (ohlcv_wbuf.index <= end_date) # mask without buffer
15

16
ohlcv = ohlcv_wbuf.loc[wobuf_mask, :]
17

18
print("wobuf_mask ohlcv size:",ohlcv.shape)
19

20
# Plot the OHLC data
21
ohlcv.vbt.ohlcv.plot().show_svg() # 绘制蜡烛图
22
# remove show_svg() to display interactive chart!

展开收起

1
origin ohlcv_wbuf size: (978, 5)
2
Index(['Open', 'High', 'Low', 'Close', 'Volume'], dtype='object')
3
wobuf_mask ohlcv size: (728, 5)

svg

10,网格参数寻优#

a,基础参数设置#

1
min_window = 10
2
max_window = 60
3

4
metric = 'total_return'

b,多维(联合索引)指标#

1
# Pre-calculate running windows on data with time buffer
2
fast_ma, slow_ma = vbt.MA.run_combs(
3
    ohlcv_wbuf['Close'], np.arange(min_window, max_window+1),
4
    r=2, short_names=['fast_ma', 'slow_ma'])
5
print("##### 111 #####")
6
print(fast_ma.ma.shape)
7
print(slow_ma.ma.shape)
8
print(fast_ma.ma.columns)
9
print(slow_ma.ma.columns)
10

11
# Remove time buffer
12
fast_ma = fast_ma[wobuf_mask]
13
slow_ma = slow_ma[wobuf_mask]
14
print("##### 222 #####")
15
print(fast_ma.ma.shape)
16
print(slow_ma.ma.shape)
17
fast_ma.ma.columns

展开收起

1
##### 111 #####
2
(978, 1275)
3
(978, 1275)
4
Int64Index([10, 10, 10, 10, 10, 10, 10, 10, 10, 10,
5
            ...
6
            56, 56, 56, 56, 57, 57, 57, 58, 58, 59], dtype='int64', name='fast_ma_window', length=1275)
7
Int64Index([11, 12, 13, 14, 15, 16, 17, 18, 19, 20,
8
            ...
9
            57, 58, 59, 60, 58, 59, 60, 59, 60, 60], dtype='int64', name='slow_ma_window', length=1275)
10
##### 222 #####
11
(728, 1275)
12
(728, 1275)
13

14

15

16

17

18
Int64Index([10, 10, 10, 10, 10, 10, 10, 10, 10, 10,
19
            ...
20
            56, 56, 56, 56, 57, 57, 57, 58, 58, 59], dtype='int64', name='fast_ma_window', length=1275)

展开收起

c,多维(联合索引)信号#

1
# We perform the same steps, but now we have 4851 columns instead of 1
2
# Each column corresponds to a pair of fast and slow windows
3
# Generate crossover signals
4
dmac_entries = fast_ma.ma_crossed_above(slow_ma)
5
dmac_exits = fast_ma.ma_crossed_below(slow_ma)
6
print(dmac_entries.columns) # the same for dmac_exits

1
MultiIndex([(10, 11),
2
            (10, 12),
3
            (10, 13),
4
            (10, 14),
5
            (10, 15),
6
            (10, 16),
7
            (10, 17),
8
            (10, 18),
9
            (10, 19),
10
            (10, 20),
11
            ...
12
            (56, 57),
13
            (56, 58),
14
            (56, 59),
15
            (56, 60),
16
            (57, 58),
17
            (57, 59),
18
            (57, 60),
19
            (58, 59),
20
            (58, 60),
21
            (59, 60)],
22
           names=['fast_ma_window', 'slow_ma_window'], length=1275)

展开收起

d,多维(联合索引)信号回测,最佳参数组#

1
# Build portfolio
2
dmac_pf = vbt.Portfolio.from_signals(ohlcv['Close'], dmac_entries, dmac_exits)
3
# Calculate performance of each window combination
4
dmac_perf = dmac_pf.deep_getattr(metric)
5

6
print(dmac_perf.shape)
7
print(dmac_perf.index)
8

9
print("dmac_perf.idxmax()")
10
print(dmac_perf.idxmax()) # your optimal window combination

1
(1275,)
2
MultiIndex([(10, 11),
3
            (10, 12),
4
            (10, 13),
5
            (10, 14),
6
            (10, 15),
7
            (10, 16),
8
            (10, 17),
9
            (10, 18),
10
            (10, 19),
11
            (10, 20),
12
            ...
13
            (56, 57),
14
            (56, 58),
15
            (56, 59),
16
            (56, 60),
17
            (57, 58),
18
            (57, 59),
19
            (57, 60),
20
            (58, 59),
21
            (58, 60),
22
            (59, 60)],
23
           names=['fast_ma_window', 'slow_ma_window'], length=1275)
24
dmac_perf.idxmax()
25
(35, 60)

展开收起

e,网格选优热力图#

1
# Convert this array into a matrix of shape (99, 99): 99 fast windows x 99 slow windows
2
dmac_perf_matrix = dmac_perf.vbt.unstack_to_df(symmetric=True,   index_levels='fast_ma_window', column_levels='slow_ma_window')
3
print("dmac_perf_matrix.shape")
4
print(dmac_perf_matrix.shape)
5

6
dmac_perf_matrix.vbt.heatmap(
7
    xaxis_title='Slow window',
8
    yaxis_title='Fast window').show_svg()
9
# remove show_svg() for interactivity

1
dmac_perf_matrix.shape
2
(51, 51)
3
('fast_ma_window', 'slow_ma_window')   10   11   12   13   14   15   16   17   18   19   20   21   22   23   24   25   26   27   28   29   30   31   32   33   34   35   36   37   38   39   40   41   42   43   44   45   46   47   48   49   50   51   52   53   54   55   56   57   58   59   60
4
(fast_ma_window, slow_ma_window)

svg

11,最佳参数回测图#

svg

vectorbt学习_43DMA之三滑窗网格参数优选

Tue, 18 Jun 2024 00:00:00 GMT

本文在上一篇文章(vectorbt学习_17DMA之二网格参数优选)基础上，采用滚动窗口+网格参数优选，分析出动态最优参数。

01,基础配置信息#

1
#conda envs:vectorbt_env
2
import warnings
3
import vectorbt as vbt
4
import numpy as np
5
import pandas as pd
6
from datetime import datetime, timedelta
7
import pytz
8
from dateutil.parser import parse
9
import ipywidgets as widgets
10
from copy import deepcopy
11
from tqdm import tqdm
12
import imageio
13
from IPython import display
14
import plotly.graph_objects as go
15
import itertools
16
import dateparser
17
import gc
18
import math
19
from tools import dbtools
20

21
warnings.filterwarnings("ignore")
22

23
pd.set_option('display.max_rows',500)
24
pd.set_option('display.max_columns',500)
25
pd.set_option('display.width',1000)

展开收起

02,行情获取和可视化#

a,时间交易参数配置#

1
# Enter your parameters here
2
seed = 42
3
symbol = '002594.XSHE'
4
metric = 'total_return'
5

6
start_date = datetime(2020, 1, 1, tzinfo=pytz.utc)  # time period for analysis, must be timezone-aware
7
end_date = datetime(2023,1,1, tzinfo=pytz.utc)
8
time_buffer = timedelta(days=100)  # buffer before to pre-calculate SMA/EMA, best to set to max window
9
freq = '1D'
10

11
vbt.settings.portfolio['init_cash'] = 10000.  # 100$
12
vbt.settings.portfolio['fees'] = 0.0025  # 0.25%
13
vbt.settings.portfolio['slippage'] = 0.0025  # 0.25%

b,获取行情和行情mask#

1
# Download data with time buffer
2
cols = ['Open', 'High', 'Low', 'Close', 'Volume']
3
# ohlcv_wbuf = vbt.YFData.download(symbol, start=start_date-time_buffer, end=end_date).get(cols)
4

5
ohlcv_wbuf=dbtools.MySQLData.download(symbol).get() # 自带工具类查询
6
assert(~ohlcv_wbuf.empty)
7
ohlcv_wbuf = ohlcv_wbuf.astype(np.float64)
8

9
print("origin ohlcv_wbuf size:",ohlcv_wbuf.shape)
10
print(ohlcv_wbuf.columns)
11

12

13
# Create a copy of data without time buffer
14
wobuf_mask = (ohlcv_wbuf.index >= start_date) & (ohlcv_wbuf.index <= end_date) # mask without buffer
15

16
ohlcv = ohlcv_wbuf.loc[wobuf_mask, :]
17

18
print("wobuf_mask ohlcv size:",ohlcv.shape)
19

20
# Plot the OHLC data
21
ohlcv.vbt.ohlcv.plot().show_svg() # 绘制蜡烛图
22
# remove show_svg() to display interactive chart!

展开收起

1
origin ohlcv_wbuf size: (978, 5)
2
Index(['Open', 'High', 'Low', 'Close', 'Volume'], dtype='object')
3
wobuf_mask ohlcv size: (728, 5)

svg

20,行情的滑窗处理#

注意点：
01，训练集和验证集比例3：1，或者2：1，对应：window_len和set_lens为4:1(或3:1)，过大了历史包袱沉重，无法及时响应最新行情，过小了则容易参数跳变，形成类似过拟合效果
02，直观感受是验证集最好收尾相接，实际并非最佳，验证集过短会导致无法触发信号生成，从而形成无交易区间。

a,参数设置和效果预览#

1
# 滚动周期参数设置和大致效果可视化
2
start_end_days=((end_date-start_date).days*5/7)
3
bar_days= 80         # 训练，验证集时间长度，以此为单位
4
test_bar_num=2      # 训练集时间长度
5
verify_bar_num=1    # 验证集时间长度
6
verify_overlap=0 # 验证集重叠时间长度
7
pre_test_days=40    # 由于测试集一部分时间用于计算指标，导致实际训练时间不足，这个是一定程度补充的days周期
8
# n取值需要满足:确保验证集合收尾相接
9
# => (n-1)*(verify_bar_num-verify_overlap)+(verify_bar_num+test_bar_num)=start_end_days/bar_days
10
# => n=(start_end_days/bar_days-test_bar_num-verify_overlap)/(verify_bar_num-verify_overlap)
11
calc_n=(start_end_days/bar_days-test_bar_num-verify_overlap)/(verify_bar_num-verify_overlap)
12

13
split_kwargs = dict(
14
    n=int(calc_n),
15
    window_len=int(bar_days*(test_bar_num+verify_bar_num)+pre_test_days),
16
    set_lens=(int(bar_days*verify_bar_num),),
17
    left_to_right=False
18
)  # 10 windows, each 2 years long, reserve 180 days for test
19
# 合理设置n，最好确保验证集，连续且无重复
20
pf_kwargs = dict(
21
    direction='both',  # long and short
22
    freq='d'
23
)
24
windows = np.arange(10, 50)
25

26

27

28
def roll_in_and_out_samples(price, **kwargs):
29
    return price.vbt.rolling_split(**kwargs)
30

31
price=ohlcv['Close']
32
# 验证：单列数据验证，橘黄色验证集连续且无重复
33
roll_in_and_out_samples(price, **split_kwargs, plot=True, trace_names=['in-sample', 'out-sample']).show_svg()
34

35
# 大致观察数据特征
36
(in_price, in_indexes), (out_price, out_indexes) = roll_in_and_out_samples(price, **split_kwargs)
37

38
print(in_price.shape, len(in_indexes))  # in-sample
39
print(out_price.shape, len(out_indexes))  # out-sample
40
print(in_price.columns)
41
print(in_price[0:3])
42

43
# 这里仅仅用于print数据是否符合期望。
44
def simulate_all_params(price, windows, **kwargs):
45
    fast_ma, slow_ma = vbt.MA.run_combs(price, windows, r=2, short_names=['fast', 'slow'])
46
    entries = fast_ma.ma_crossed_above(slow_ma)
47
    exits = fast_ma.ma_crossed_below(slow_ma)
48
    pf = vbt.Portfolio.from_signals(price, entries, exits, **kwargs)
49
    return pf.sharpe_ratio()
50
# Simulate all params for in-sample ranges
51
in_sharpe = simulate_all_params(in_price, windows, **pf_kwargs)
52
print(in_sharpe[:3])

展开收起

svg

1
(200, 7) 7
2
(80, 7) 7
3
Int64Index([0, 1, 2, 3, 4, 5, 6], dtype='int64', name='split_idx')
4
split_idx      0      1      2       3       4       5       6
5
0          48.17  56.98  81.93  175.29  169.00  223.97  310.26
6
1          48.04  56.98  82.92  177.97  164.51  227.50  311.99
7
2          48.28  58.00  82.18  173.24  169.07  241.23  306.78
8
fast_window  slow_window  split_idx
9
10           11           0           -0.354158
10
                          1            1.117491
11
                          2            0.551415
12
Name: sharpe_ratio, dtype: float64

b,根据滑窗参数切分行情数据#

1
(in_price, in_indexes), (out_price, out_indexes) = roll_in_and_out_samples(price, **split_kwargs)
2

3
print(in_price.shape, len(in_indexes))  # in-sample
4
print(out_price.shape, len(out_indexes))  # out-sample
5

6
print(in_indexes[0:3])
7

8
print("###################")
9
print(in_indexes[0][0])
10
print(in_indexes[1][0])
11
print(in_indexes[0][25:27])

1
(200, 7) 7
2
(80, 7) 7
3
[DatetimeIndex(['2020-01-02 00:00:00+00:00', '2020-01-03 00:00:00+00:00', '2020-01-06 00:00:00+00:00', '2020-01-07 00:00:00+00:00', '2020-01-08 00:00:00+00:00', '2020-01-09 00:00:00+00:00', '2020-01-10 00:00:00+00:00', '2020-01-13 00:00:00+00:00', '2020-01-14 00:00:00+00:00', '2020-01-15 00:00:00+00:00',
4
               ...
5
               '2020-10-20 00:00:00+00:00', '2020-10-21 00:00:00+00:00', '2020-10-22 00:00:00+00:00', '2020-10-23 00:00:00+00:00', '2020-10-26 00:00:00+00:00', '2020-10-27 00:00:00+00:00', '2020-10-28 00:00:00+00:00', '2020-10-29 00:00:00+00:00', '2020-10-30 00:00:00+00:00', '2020-11-02 00:00:00+00:00'], dtype='datetime64[ns, UTC]', name='split_0', length=200, freq=None), DatetimeIndex(['2020-04-27 00:00:00+00:00', '2020-04-28 00:00:00+00:00', '2020-04-29 00:00:00+00:00', '2020-04-30 00:00:00+00:00', '2020-05-06 00:00:00+00:00', '2020-05-07 00:00:00+00:00', '2020-05-08 00:00:00+00:00', '2020-05-11 00:00:00+00:00', '2020-05-12 00:00:00+00:00', '2020-05-13 00:00:00+00:00',
6
               ...
7
               '2021-02-03 00:00:00+00:00', '2021-02-04 00:00:00+00:00', '2021-02-05 00:00:00+00:00', '2021-02-08 00:00:00+00:00', '2021-02-09 00:00:00+00:00', '2021-02-10 00:00:00+00:00', '2021-02-18 00:00:00+00:00', '2021-02-19 00:00:00+00:00', '2021-02-22 00:00:00+00:00', '2021-02-23 00:00:00+00:00'], dtype='datetime64[ns, UTC]', name='split_1', length=200, freq=None), DatetimeIndex(['2020-08-14 00:00:00+00:00', '2020-08-17 00:00:00+00:00', '2020-08-18 00:00:00+00:00', '2020-08-19 00:00:00+00:00', '2020-08-20 00:00:00+00:00', '2020-08-21 00:00:00+00:00', '2020-08-24 00:00:00+00:00', '2020-08-25 00:00:00+00:00', '2020-08-26 00:00:00+00:00', '2020-08-27 00:00:00+00:00',
8
               ...
9
               '2021-05-31 00:00:00+00:00', '2021-06-01 00:00:00+00:00', '2021-06-02 00:00:00+00:00', '2021-06-03 00:00:00+00:00', '2021-06-04 00:00:00+00:00', '2021-06-07 00:00:00+00:00', '2021-06-08 00:00:00+00:00', '2021-06-09 00:00:00+00:00', '2021-06-10 00:00:00+00:00', '2021-06-11 00:00:00+00:00'], dtype='datetime64[ns, UTC]', name='split_2', length=200, freq=None)]
10
###################
11
2020-01-02 00:00:00+00:00
12
2020-04-27 00:00:00+00:00
13
DatetimeIndex(['2020-02-14 00:00:00+00:00', '2020-02-17 00:00:00+00:00'], dtype='datetime64[ns, UTC]', name='split_0', freq=None)

21,滑窗的收益数据计算#

a,持有参数收益#

在此区间，基础标的物表现

1
def simulate_holding(price, **kwargs):
2
    pf = vbt.Portfolio.from_holding(price, **kwargs)
3
    return pf.sharpe_ratio()
4

5
in_hold_sharpe = simulate_holding(in_price, **pf_kwargs)
6
print(in_hold_sharpe.head(5))
7

8
out_hold_sharpe = simulate_holding(out_price, **pf_kwargs)
9
print(out_hold_sharpe.head(5))

1
split_idx
2
0    3.604669
3
1    3.897711
4
2    2.890238
5
3    1.095362
6
4    1.425303
7
Name: sharpe_ratio, dtype: float64
8
split_idx
9
0    1.849248
10
1    1.152267
11
2    1.266940
12
3   -0.093093
13
4    1.274854
14
Name: sharpe_ratio, dtype: float64

b,网格参数收益(训练集和验证集)#

1
def simulate_all_params(price, windows, **kwargs):
2
    fast_ma, slow_ma = vbt.MA.run_combs(price, windows, r=2, short_names=['fast', 'slow'])
3
    entries = fast_ma.ma_crossed_above(slow_ma)
4
    exits = fast_ma.ma_crossed_below(slow_ma)
5
    pf = vbt.Portfolio.from_signals(price, entries, exits, **kwargs)
6
    return pf.sharpe_ratio()
7
# Simulate all params for in-sample ranges
8
in_sharpe = simulate_all_params(in_price, windows, **pf_kwargs)
9
print(in_sharpe.shape)
10
print(in_sharpe)
11

12

13
# Simulate all params for out-sample ranges
14
out_sharpe = simulate_all_params(out_price, windows, **pf_kwargs)
15
print(out_sharpe)

展开收起

1
(5460,)
2
fast_window  slow_window  split_idx
3
10           11           0           -0.354158
4
                          1            1.117491
5
                          2            0.551415
6
                          3            0.336980
7
                          4           -0.918363
8
                                         ...
9
48           49           2           -0.758895
10
                          3           -0.629667
11
                          4           -0.100832
12
                          5           -1.404637
13
                          6           -0.398260
14
Name: sharpe_ratio, Length: 5460, dtype: float64
15
fast_window  slow_window  split_idx
16
10           11           0            1.827234
17
                          1           -1.103760
18
                          2           -2.128081
19
                          3           -1.757578
20
                          4            1.088042
21
                                         ...
22
48           49           2                 inf
23
                          3            1.676608
24
                          4           -3.392528
25
                          5            3.175129
26
                          6           -2.545182
27
Name: sharpe_ratio, Length: 5460, dtype: float64

展开收起

c,训练集上的最佳参数用于验证集#

1
def get_best_index(performance, higher_better=True):
2
    if higher_better:
3
        return performance[performance.groupby('split_idx').idxmax()].index
4
    return performance[performance.groupby('split_idx').idxmin()].index
5
in_best_index = get_best_index(in_sharpe)
6

7
print(in_best_index[:5])
8

9

10
def get_best_params(best_index, level_name):
11
    return best_index.get_level_values(level_name).to_numpy()
12
in_best_fast_windows = get_best_params(in_best_index, 'fast_window')
13
in_best_slow_windows = get_best_params(in_best_index, 'slow_window')
14
in_best_window_pairs = np.array(list(zip(in_best_fast_windows, in_best_slow_windows)))
15

16
print(in_best_window_pairs[:5][:])
17
pd.DataFrame(in_best_window_pairs, columns=['fast_window', 'slow_window']).vbt.plot().show_svg()

展开收起

1
MultiIndex([(40, 44, 0),
2
            (12, 13, 1),
3
            (10, 13, 2),
4
            (10, 40, 3),
5
            (12, 37, 4)],
6
           names=['fast_window', 'slow_window', 'split_idx'])
7
[[40 44]
8
 [12 13]
9
 [10 13]
10
 [10 40]
11
 [12 37]]

svg

将滚动获取的最佳参数用于验证集，统计收益信息

1
def simulate_best_params(price, best_fast_windows, best_slow_windows, **kwargs):
2
    fast_ma = vbt.MA.run(price, window=best_fast_windows, per_column=True)
3
    slow_ma = vbt.MA.run(price, window=best_slow_windows, per_column=True)
4
    entries = fast_ma.ma_crossed_above(slow_ma)
5
    exits = fast_ma.ma_crossed_below(slow_ma)
6
    pf = vbt.Portfolio.from_signals(price, entries, exits, **kwargs)
7
    return pf.sharpe_ratio()
8

9
# Use best params from in-sample ranges and simulate them for out-sample ranges
10
out_test_sharpe = simulate_best_params(out_price, in_best_fast_windows, in_best_slow_windows, **pf_kwargs)
11
print(out_test_sharpe.head(5))

1
ma_window  ma_window  split_idx
2
40         44         0           -0.863821
3
12         13         1            0.441460
4
10         13         2           -0.895217
5
           40         3            3.233424
6
12         37         4            2.764636
7
Name: sharpe_ratio, dtype: float64

22,sharp ratio的汇总可视化#

1
cv_results_df = pd.DataFrame({
2
    'in_sample_hold': in_hold_sharpe.values,
3
    'in_sample_median': in_sharpe.groupby('split_idx').median().values,
4
    'in_sample_best': in_sharpe[in_best_index].values,
5
    'out_sample_hold': out_hold_sharpe.values,
6
    'out_sample_median': out_sharpe.groupby('split_idx').median().values,
7
    'out_sample_test': out_test_sharpe.values
8
})
9

10
color_schema = vbt.settings['plotting']['color_schema']
11

12
cv_results_df.vbt.plot(
13
    trace_kwargs=[
14
        dict(line_color=color_schema['blue']),
15
        dict(line_color=color_schema['blue'], line_dash='dash'),
16
        dict(line_color=color_schema['blue'], line_dash='dot'),
17
        dict(line_color=color_schema['orange']),
18
        dict(line_color=color_schema['orange'], line_dash='dash'),
19
        dict(line_color=color_schema['orange'], line_dash='dot')
20
    ]
21
).show_svg()

展开收起

svg

关注点：

蓝色部分正常排序是(从上到下)：点线，实现，线段，

橘色部分

实线对实线
说明测试集和验证集的周期收益情况，二者同时出现0轴同侧较好（同时上涨，同时下跌，保持行情的稳定性or延续性）

线段对线段
二者一方面随着各自颜色的实线趋势变化（受各自实线影响较大），其他应该无必然联系

点线对点线
蓝色点高于橘色点线，蓝色是训练集内最佳，橘色则是训练集得到最优参数用于验证集结果收益，大概率低于验证集。

23,滚动回测收益可视化#

svg

可见，整体结果并不很理想，由于参数是滚动的，相比固定参数，期望取得更好收益，实际上并非如此。
大概率是由于技术指标的预热问题，下一篇会修复此问题。

vectorbt学习_41DMA之一基础策略

Tue, 18 Jun 2024 00:00:00 GMT

基于vectorbt的基础双均线策略

01,基础配置信息#

1
#conda envs:vectorbt_env
2
import warnings
3
import vectorbt as vbt
4
import numpy as np
5
import pandas as pd
6
from datetime import datetime, timedelta
7
import pytz
8
from dateutil.parser import parse
9
import ipywidgets as widgets
10
from copy import deepcopy
11
from tqdm import tqdm
12
import imageio
13
from IPython import display
14
import plotly.graph_objects as go
15
import itertools
16
import dateparser
17
import gc
18
import math
19
from tools import dbtools
20

21
warnings.filterwarnings("ignore")
22

23
pd.set_option('display.max_rows',500)
24
pd.set_option('display.max_columns',500)
25
pd.set_option('display.width',1000)

展开收起

02,行情获取和可视化#

a,时间交易参数配置#

1
# Enter your parameters here
2
seed = 42
3
symbol = '002594.XSHE'
4
metric = 'total_return'
5

6
start_date = datetime(2020, 1, 1, tzinfo=pytz.utc)  # time period for analysis, must be timezone-aware
7
end_date = datetime(2023,1,1, tzinfo=pytz.utc)
8
time_buffer = timedelta(days=100)  # buffer before to pre-calculate SMA/EMA, best to set to max window
9
freq = '1D'
10

11
vbt.settings.portfolio['init_cash'] = 10000.  # 100$
12
vbt.settings.portfolio['fees'] = 0.0025  # 0.25%
13
vbt.settings.portfolio['slippage'] = 0.0025  # 0.25%

b,获取行情和行情mask#

1
# Download data with time buffer
2
cols = ['Open', 'High', 'Low', 'Close', 'Volume']
3
# ohlcv_wbuf = vbt.YFData.download(symbol, start=start_date-time_buffer, end=end_date).get(cols)
4

5
ohlcv_wbuf=dbtools.MySQLData.download(symbol).get() # 自带工具类查询
6
assert(~ohlcv_wbuf.empty)
7
ohlcv_wbuf = ohlcv_wbuf.astype(np.float64)
8

9
print("origin ohlcv_wbuf size:",ohlcv_wbuf.shape)
10
print(ohlcv_wbuf.columns)
11

12

13
# Create a copy of data without time buffer
14
wobuf_mask = (ohlcv_wbuf.index >= start_date) & (ohlcv_wbuf.index <= end_date) # mask without buffer
15

16
ohlcv = ohlcv_wbuf.loc[wobuf_mask, :]
17

18
print("wobuf_mask ohlcv size:",ohlcv.shape)
19

20
# Plot the OHLC data
21
ohlcv.vbt.ohlcv.plot().show_svg() # 绘制蜡烛图
22
# remove show_svg() to display interactive chart!

展开收起

1
origin ohlcv_wbuf size: (978, 5)
2
Index(['Open', 'High', 'Low', 'Close', 'Volume'], dtype='object')
3
wobuf_mask ohlcv size: (728, 5)

svg

03,指标计算和可视化#

1
# fig.show_svg()
2
fast_window = 35
3
slow_window = 60
4

5
# Pre-calculate running windows on data with time buffer
6
fast_ma = vbt.MA.run(ohlcv_wbuf['Close'], fast_window)
7
slow_ma = vbt.MA.run(ohlcv_wbuf['Close'], slow_window)
8

9
print(fast_ma.ma.shape)
10
print(slow_ma.ma.shape)
11

12
# Remove time buffer
13
fast_ma = fast_ma[wobuf_mask]
14
slow_ma = slow_ma[wobuf_mask]
15

16
# there should be no nans after removing time buffer
17
assert(~fast_ma.ma.isnull().any())
18
assert(~slow_ma.ma.isnull().any())
19

20
print(fast_ma.ma.shape)
21
print(slow_ma.ma.shape)
22

23

24
fig = ohlcv['Open'].vbt.plot(trace_kwargs=dict(name='Price'))
25
fig = fast_ma.ma.vbt.plot(trace_kwargs=dict(name='Fast MA'), fig=fig)
26
fig = slow_ma.ma.vbt.plot(trace_kwargs=dict(name='Slow MA'), fig=fig)
27
fig.show_svg()

展开收起

1
(978,)
2
(978,)
3
(728,)
4
(728,)

svg

04,信号计算,可视化#

1
# 信号计算
2
dmac_entries = fast_ma.ma_crossed_above(slow_ma)
3
dmac_exits = fast_ma.ma_crossed_below(slow_ma)
4

5
# 行情-指标-信号可视化
6
fig = ohlcv['Close'].vbt.plot(trace_kwargs=dict(name='Price'))
7
fig = fast_ma.ma.vbt.plot(trace_kwargs=dict(name='Fast MA'), fig=fig)
8
fig = slow_ma.ma.vbt.plot(trace_kwargs=dict(name='Slow MA'), fig=fig)
9
fig = dmac_entries.vbt.signals.plot_as_entry_markers(ohlcv['Close'], fig=fig)
10
fig = dmac_exits.vbt.signals.plot_as_exit_markers(ohlcv['Close'], fig=fig)
11
fig.show_svg()
12

13
# (单独)信号可视化
14
fig = dmac_entries.vbt.signals.plot(trace_kwargs=dict(name='Entries'))
15
dmac_exits.vbt.signals.plot(trace_kwargs=dict(name='Exits'), fig=fig).show_svg()
16

17
# 信号的统计信息
18
dmac_entries.vbt.signals.stats(settings=dict(other=dmac_exits))

展开收起

svg

1
Start                       2020-01-02 00:00:00+00:00
2
End                         2022-12-30 00:00:00+00:00
3
Period                                            728
4
Total                                               6
5
Rate [%]                                     0.824176
6
Total Overlapping                                   0
7
Overlapping Rate [%]                              0.0
8
First Index                 2020-01-08 00:00:00+00:00
9
Last Index                  2022-12-16 00:00:00+00:00
10
Norm Avg Index [-1, 1]                      -0.002751
11
Distance -> Other: Min                            7.0
12
Distance -> Other: Max                          200.0
13
Distance -> Other: Mean                     76.333333
14
Distance -> Other: Std                      66.503133
15
Total Partitions                                    6
16
Partition Rate [%]                              100.0
17
Partition Length: Min                             1.0
18
Partition Length: Max                             1.0
19
Partition Length: Mean                            1.0
20
Partition Length: Std                             0.0
21
Partition Distance: Min                          90.0
22
Partition Distance: Max                         252.0
23
Partition Distance: Mean                        142.6
24
Partition Distance: Std                     65.305436
25
dtype: object

展开收起

05,交易统计#

a,基准比对#

1
dmac_pf = vbt.Portfolio.from_signals(ohlcv['Close'], dmac_entries, dmac_exits)
2
# Print stats
3
print(dmac_pf.stats())
4

5
# Now build portfolio for a "Hold" strategy
6
# Here we buy once at the beginning and sell at the end
7
hold_entries = pd.Series.vbt.signals.empty_like(dmac_entries)
8
hold_entries.iloc[0] = True
9
hold_exits = pd.Series.vbt.signals.empty_like(hold_entries)
10
hold_exits.iloc[-1] = True
11
hold_pf = vbt.Portfolio.from_signals(ohlcv['Close'], hold_entries, hold_exits)
12

13
# Equity
14
fig = dmac_pf.value().vbt.plot(trace_kwargs=dict(name='Value (DMAC)'))
15
hold_pf.value().vbt.plot(trace_kwargs=dict(name='Value (Hold)'), fig=fig).show_svg()

展开收起

1
Start                         2020-01-02 00:00:00+00:00
2
End                           2022-12-30 00:00:00+00:00
3
Period                                              728
4
Start Value                                     10000.0
5
End Value                                  56343.449364
6
Total Return [%]                             463.434494
7
Benchmark Return [%]                         433.464812
8
Max Gross Exposure [%]                            100.0
9
Total Fees Paid                             1154.406013
10
Max Drawdown [%]                              37.462162
11
Max Drawdown Duration                             319.0
12
Total Trades                                          6
13
Total Closed Trades                                   6
14
Total Open Trades                                     0
15
Open Trade PnL                                      0.0
16
Win Rate [%]                                  66.666667
17
Best Trade [%]                               192.432267
18
Worst Trade [%]                              -14.196623
19
Avg Winning Trade [%]                         72.994385
20
Avg Losing Trade [%]                          -9.136247
21
Avg Winning Trade Duration                        104.0
22
Avg Losing Trade Duration                          21.0
23
Profit Factor                                   5.95588
24
Expectancy                                  7723.908227
25
dtype: object

展开收起

svg

b,交易详情和可视化#

1
# Plot trades
2
print(dmac_pf.trades.records.head(5))
3
dmac_pf.trades.plot().show_svg()

1
   id  col        size  entry_idx  entry_price  entry_fees  exit_idx  exit_price   exit_fees           pnl    return  direction  status  parent_id
2
0   0    0  210.452345          4    47.398200   24.937656        66   57.775200   30.397316   2128.529014  0.213385          0       1          0
3
1   1    0  210.612793         94    57.443250   30.245708       294  168.547575   88.745689  23281.000774  1.924323          0       1          1
4
2   2    0  174.421504        346   202.505000   88.303067       430  282.621675  123.238244  13762.529659  0.389639          0       1          2
5
3   3    0  157.697151        448   311.035650  122.623590       483  268.327500  105.786206  -6963.363374 -0.141966          0       1          3
6
4   4    0  179.995892        566   233.913325  105.258594       636  327.110175  147.196219  16522.595293  0.392429          0       1          4

svg

vectorbt学习_21低相关性标的集合

Sat, 11 Nov 2023 00:00:00 GMT

在做基础资产组合（策略组合）时，往往需要筛选出一部分相关性较低的资产，构造出地相关性资产集合，基于低相关性性资产集合计算最佳的组合权重。

实现思路步骤#

01，设定相似度阈值x，作为判断是否相似的依据
02，计算标的相关性矩阵，从中选择出相关性小于特定阈值的组合，加入到集合set A中，
03，重复步骤02，依次将相关性较小的标的，加入到SetA中。需保证，新加的标的，在SetA中不存在，且，和SetA中已经存在标的的相似度不超过阈值x
最终得到的setA中，两两之间相似度均比较低。

todo：其他思路，聚类算法的中心点

函数:获取行情,计算低相关性集合#

1
from tools.dbtools import *
2

3
# 计算相似度的行情区间
4
start_date = datetime(2020, 1, 1, tzinfo=pytz.utc)
5
end_date = datetime(2023, 1, 1, tzinfo=pytz.utc)
6
start_date_str= start_date.strftime("%Y-%m-%d")
7
end_date_str= end_date.strftime("%Y-%m-%d")
8

9
def low_correlation_set(symbols=[],max_nan_days = 100,min_price_var=5.0,similar_threshold = 0.5):
10
    # max_nan_days: 最大nan行情，不添加此筛选，会选出长期停牌标的
11
    # min_price_var: 过滤掉低方差标的，不添加此筛选，会选出小波动标的（大多为债基etf）
12
    # similar_threshold: 相似度阈值，高于此取值认为相似的
13

14
    choose_set = set() # 低相关度标的集合
15
    # 标的行情
16
    yfdata=MySQLData.download(symbols,start_dt=start_date_str,end_dt=end_date_str) # 自带工具类查询
17

18
    ohlcv = yfdata.concat()
19
    price = ohlcv['Close'] # 收盘价
20

21
    # 过滤掉停牌次数过多的标的
22
    price_nan=price.isna().sum()>=max_nan_days
23
    for key,value in price_nan.items():
24
        if value:
25
            price.drop(columns=key,inplace=True)
26

27
    # 过滤掉波动过小的标的
28
    price_var=price.var()<min_price_var
29
    for key,value in price_var.items():
30
        if value:
31
            price.drop(columns=key,inplace=True)
32

33
    # 相似度计算
34
    returns = price.pct_change()
35
    return_corr=returns.corr()
36
    corr_stack=return_corr.stack()
37
    corr_stack=corr_stack.sort_values() #相关度排序
38

39
    # 低相关度股票组合
40
    for idx in range(0,corr_stack.size,2): # 相似度矩阵corr是对称矩阵，stack后存在一半的重复记录，0-1或2-3其实对应同一个标的,类似pair(a,b)和(b,a)的关系，只取偶数避免重复计算
41
        pair_stock=corr_stack.index[idx]
42
        if corr_stack[idx]<similar_threshold:
43
            for stock in pair_stock:
44
                if stock in choose_set:
45
                    continue;
46
                isBreak=False
47
                for base_stock in choose_set:
48
                    if corr_stack[(base_stock,stock)]>similar_threshold:
49
                        isBreak=True # 说明和已经选中的某标的相似度过高
50
                        break
51
                if not isBreak: # 和选中的标的均不相似
52
                    choose_set.add(stock)
53
    return choose_set

展开收起

分批次计算相似度,沪深300为例#

为了避免一次计算300只股票的相互相似度，采用分批次方式。每次查询50个股票行情，计算相似度，保留相似度较低的集合。反复6次，之后将得到的集合，做二次的相似度筛选。这样得到的集合内各股票相似度都低于设置的阈值。

1
def choose_stock_hs300():
2
    batch_size=50
3
    choose_set=set()
4
    for i in range(0,6):
5
        batch_start=i*batch_size
6
        batch_end=batch_start+batch_size
7

8
        # 本批次标的，只考虑股票
9
        sql_str ="select t.stock_code_market as code_market from jq_index_stocks t where t.index_code_market = '000300.XSHG' limit {},{};".format(batch_start,batch_size)
10

11
        df = pd.read_sql(sql_str, DButil.get_conn());
12
        symbols = df['code_market'].values
13
        print("limit {} - {} symbols:{}".format(batch_start,batch_end,symbols.size))
14

15
        choose_set=choose_set.union(low_correlation_set(symbols,min_price_var=10.0,similar_threshold=0.3))
16
        print("limit {} - {} choose_stock:{}".format(batch_start,batch_end,len(choose_set)))
17
    return choose_set

展开收起

结果保存到文件#

将计算结果保存到txt文件

1
# 低相关度集合：沪深300
2
choose_set=choose_stock_hs300()   # 二次筛选，各个批次之间可能有高相似度的
3
second_choose_set=low_correlation_set(list(choose_set))
4
print("choose_set:{} choose_stock_hs300:{}".format(len(choose_set),len(second_choose_set)))
5
print(second_choose_set)
6
save_set_file(second_choose_set,"output/20231116_low_correlation_stock_hs300.txt")

随机选择和可视化#

1
# 可视化筛选出标的，观察是否存在显著问题
2
# todo筛选出的均为，存在净值剧烈变动（累计净值没变）的etf
3

4
# 验证是否真的不相似
5
import random
6
random_symbols = random.sample(second_choose_set, k=5) # 随机选择5个标的
7
print("random_symbols:",random_symbols)
8
yfdata=MySQLData.download(random_symbols,start_dt=start_date_str,end_dt=end_date_str) # 自带工具类查询
9

10
# 获取收盘价
11
ohlcv = yfdata.concat()
12
price = ohlcv['Close']
13

14
# 行情（收盘价）可视化
15
(price / price.iloc[0]).vbt.plot().show_svg()
16

17
# 相似度
18
returns = price.pct_change()
19
return_corr=returns.corr()
20
# print(returns.mean())
21
# print(returns.std())
22
print(return_corr)

展开收起

vectorbt学习_10PortfolioOptimization

Sun, 05 Nov 2023 00:00:00 GMT

投资组合优化，需要一定背景知识，否则不清楚整篇文章干嘛的，达到什么目的。
“马科维茨”投资组合模型实践——第三章投资组合优化：最小方差与最大夏普比率：https://www.jianshu.com/p/400758e58768

随机搜索最优权重#

构造随机权重#

1
np.random.seed(42)
2

3
# Generate random weights, n times
4
weights = []
5
for i in range(num_tests):
6
    w = np.random.random_sample(len(symbols))
7
    w = w / np.sum(w)
8
    weights.append(w)
9

10
print(len(weights))
11
2000
12

13
weights
14
[array([0.18205878, 0.46212909, 0.35581214]),
15
 array([0.65738127, 0.17132261, 0.17129612]),
16
 array([0.03807826, 0.56784481, 0.39407693]),
17
 array([0.41686469, 0.01211874, 0.57101657]),
18
 array([0.67865488, 0.173111  , 0.14823412]),
19
 array([0.18115758, 0.3005149 , 0.51832752]),
20

21
3列是由于本例子使用的symbols标的有3个
22
symbols = [
23
    '510050.XSHG', '510300.XSHG', '159901.XSHE'
24
]

展开收起

数据准备#

1
# Build column hierarchy such that one weight corresponds to one price series
2
# 3列数据，变为3*num_tests=》3*2000=6000列
3
_price = price.vbt.tile(num_tests, keys=pd.Index(np.arange(num_tests), name='symbol_group'))
4
_price = _price.vbt.stack_index(pd.Index(np.concatenate(weights), name='weights'))
5

6
print(_price.columns)
7
MultiIndex([( 0.18205877561639985,    0, '510050.XSHG'),
8
            ( 0.46212908544657766,    0, '510300.XSHG'),
9
            ，，，
10
            ( 0.34668046300795724, 1999, '510300.XSHG'),
11
            (  0.1067148038247113, 1999, '159901.XSHE')],
12
           names=['weights', 'symbol_group', 'symbol'], length=6000)

tile用法样例

1
price.vbt.tile(3, keys=pd.Index(list('abc'), name='symbol_group'))
2
#简单来说，原始数据列，复制出3份，3份在column的mulitindex索引标识为a,b,c

del01

stack_index用法样例

1
num_tests= 3
2
tmpp=price.vbt.tile(num_tests, keys=pd.Index(np.arange(num_tests), name='symbol_group'))
3
weights = []
4
for i in range(3):
5
    w = np.random.random_sample(len(symbols))
6
    w = w / np.sum(w)
7
    weights.append(w)
8
print(np.concatenate(weights))
9
# [0.28035754 0.08989454 0.62974792 0.41627195 0.11541703 0.46831101 0.02859779 0.75619858 0.21520363]
10
tmpp.vbt.stack_index(pd.Index(np.concatenate(weights), name='weights'))
11
# 将新增的pd.Index，attach到原有的multiIndex上。

del01

生成订单#

1
# Run simulation
2
pf = vbt.Portfolio.from_orders(
3
    close=_price,
4
    size=size,# size只有 初始的第一行，意味着不会调仓
5
    size_type='targetpercent', # size中保存的数据是标的百分比,由于单组weight已经做了sum=1的计算保证
6
    # 购买时，是OrderContext.cash_now的百分比。
7
    # 卖出时，是OrderContext.position_now的百分比。
8
    # 卖空时为OrderContext.free_cash_now的百分比。
9
    # 卖出和卖空（即反转仓位）时，是OrderContext.position_now和OrderContext.free_cash_now的百分比。
10

11
    group_by='symbol_group',# 结果分组
12
    cash_sharing=True
13
) # all weights sum to 1, no shorting, and 100% investment in risky assets
14

15
print(len(pf.orders))
16
6000

展开收起

波动率收益回报率,可视化#

1
annualized_return = pf.annualized_return()
2
# 前文截图case为例：
3
# a    2.273208
4
# b   -0.737391
5
# Name: annualized_return, dtype: float64
6

7

8
annualized_return.index = pf.annualized_volatility()
9
# 前文截图case为例：
10
# a    0.090345
11
# b    0.091265
12
# Name: annualized_volatility, dtype: float64
13

14
# 可见是2个series
15

16
# 此时annualized_return是一个series，index=波动率，value=收益率
17
annualized_return.vbt.scatterplot(
18
    trace_kwargs=dict(
19
        mode='markers',
20
        marker=dict(
21
            color=pf.sharpe_ratio(),
22
            colorbar=dict(
23
                title='sharpe_ratio'
24
            ),
25
            size=5,
26
            opacity=0.7
27
        )
28
    ),
29
    xaxis_title='annualized_volatility',
30
    yaxis_title='annualized_return'
31
).show_svg()

展开收起

del01

取得最优组合信息#

1
# Get index of the best group according to the target metric
2
best_symbol_group = pf.sharpe_ratio().idxmax()
3

4
print(best_symbol_group)
5
400
6

7
print(pf.sharpe_ratio().max())
8
print(pf.sharpe_ratio().idxmax())
9
print(pf.sharpe_ratio()[pf.sharpe_ratio().idxmax()])
10
0.7277965995778561
11
400
12
0.7277965995778561
13

14

15
# Print best weights
16
print(weights[best_symbol_group])
17
[0.94197268 0.03054375 0.02748357]
18

19
# Compute default stats
20
print(pf.iloc[best_symbol_group].stats())

展开收起

del01

月再平衡(重置回初始权重)#

收益计算#

按照月重新平衡，虽然再平衡权重没变，但由于标的价格变化，购买时的size对应的targetpercent，其实是现金比例，所以实际仓位也会变化。等于在原始持续持有的基础上，卖出了上涨幅度大的（由于上涨，导致reset时，实际targetpercent高于初始取值，所以会卖出部分，维持资金占比）。

1
# Select the first index of each month
2
rb_mask = ~_price.index.to_period('m').duplicated()
3

4
print(rb_mask.sum())
5
36 # 说明共36个月

这部分如何理解？

1
_price.index.to_period('m')
2
# =>
3
# PeriodIndex(['2017-01', '2017-01', '2017-01', '2017-01', '2017-01', '2017-01',
4
             '2017-01', '2017-01', '2017-01', '2017-01',
5
             ...
6
             '2019-12', '2019-12', '2019-12', '2019-12', '2019-12', '2019-12',
7
             '2019-12', '2019-12', '2019-12', '2019-12'],
8
            dtype='period[M]', name='date', length=731)
9

10
_price.index.to_period('m').duplicated()
11
# array([False,  True,  True,  True,  True,  True,  True,  True,  True,
12
        True,  True,  True,  True,  True,  True,  True,  True,  True,
13
       False,  True,  True,  True,  True,  True,  True,  True,  True,
14
        True,  True,  True,  True,  True,  True,  True,  True,  True,
15
       False,  True,  True,  True,  True,  True,  True,  True,  True,
16
        True,  True,  True,  True,  True,  True,  True,  True,  True,
17
        True,  True,  True,  True,  True, False,  True,  True,  True,
18
        True,  True,  True,  True,  True,  True,  True,  True,  True,
19
        731个，false的都是每个月的第一日
20

21
~_price.index.to_period('m').duplicated()
22
# 取反后，每个月第一日从False变为True

展开收起

再平衡日，重新设置权重

1
rb_size = np.full_like(_price, np.nan)
2
rb_size[rb_mask, :] = np.concatenate(weights)  # allocate at mask # 再平衡日，重设权重
3

4
print(rb_size.shape)
5
(731, 6000)

重新计算再平衡收益

1
# Run simulation, with rebalancing monthly
2
rb_pf = vbt.Portfolio.from_orders(
3
    close=_price,
4
    size=rb_size,
5
    size_type='targetpercent',
6
    group_by='symbol_group',
7
    cash_sharing=True,
8
    call_seq='auto'  # important: sell before buy
9
)
10

11
print(len(rb_pf.orders))
12
rb_best_symbol_group = rb_pf.sharpe_ratio().idxmax()
13

14
print(rb_best_symbol_group)
15
print(weights[rb_best_symbol_group])
16

17
216000
18
400
19
[0.94197268 0.03054375 0.02748357]
20

21
print(rb_pf.iloc[rb_best_symbol_group].stats())

展开收起

del01

权值可视化#

1
def plot_allocation(rb_pf):
2
    # Plot weights development of the portfolio
3
    rb_asset_value = rb_pf.asset_value(group_by=False)
4
    rb_value = rb_pf.value()
5
    rb_idxs = np.flatnonzero((rb_pf.asset_flow() != 0).any(axis=1))
6
    rb_dates = rb_pf.wrapper.index[rb_idxs]
7
    fig = (rb_asset_value.vbt / rb_value).vbt.plot(
8
        trace_names=symbols,
9
        trace_kwargs=dict(
10
            stackgroup='one'
11
        )
12
    )
13
    for rb_date in rb_dates:
14
        fig.add_shape(
15
            dict(
16
                xref='x',
17
                yref='paper',
18
                x0=rb_date,
19
                x1=rb_date,
20
                y0=0,
21
                y1=1,
22
                line_color=fig.layout.template.layout.plot_bgcolor
23
            )
24
        )
25
    fig.show_svg()
26
plot_allocation(rb_pf.iloc[rb_best_symbol_group])  # best group

展开收起

del01

搜索和30日再平衡#

1
srb_sharpe = np.full(price.shape[0], np.nan)
2

3
@njit
4
def pre_sim_func_nb(c, every_nth):
5
    # Define rebalancing days
6
    c.segment_mask[:, :] = False
7
    c.segment_mask[every_nth::every_nth, :] = True
8
    return ()
9

10
@njit
11
def find_weights_nb(c, price, num_tests):
12
    # Find optimal weights based on best Sharpe ratio
13
    returns = (price[1:] - price[:-1]) / price[:-1]
14
    returns = returns[1:, :]  # cannot compute np.cov with NaN
15
    mean = nanmean_nb(returns)
16
    cov = np.cov(returns, rowvar=False)  # masked arrays not supported by Numba (yet)
17
    best_sharpe_ratio = -np.inf
18
    weights = np.full(c.group_len, np.nan, dtype=np.float_)
19

20
    for i in range(num_tests):
21
        # Generate weights
22
        w = np.random.random_sample(c.group_len)
23
        w = w / np.sum(w)
24

25
        # Compute annualized mean, covariance, and Sharpe ratio
26
        p_return = np.sum(mean * w) * ann_factor
27
        p_std = np.sqrt(np.dot(w.T, np.dot(cov, w))) * np.sqrt(ann_factor)
28
        sharpe_ratio = p_return / p_std
29
        if sharpe_ratio > best_sharpe_ratio:
30
            best_sharpe_ratio = sharpe_ratio
31
            weights = w
32

33
    return best_sharpe_ratio, weights
34

35
@njit
36
def pre_segment_func_nb(c, find_weights_nb, history_len, ann_factor, num_tests, srb_sharpe):
37
    if history_len == -1:
38
        # Look back at the entire time period
39
        close = c.close[:c.i, c.from_col:c.to_col]
40
    else:
41
        # Look back at a fixed time period
42
        if c.i - history_len <= 0:
43
            return (np.full(c.group_len, np.nan),)  # insufficient data
44
        close = c.close[c.i - history_len:c.i, c.from_col:c.to_col]
45

46
    # Find optimal weights
47
    best_sharpe_ratio, weights = find_weights_nb(c, close, num_tests)
48
    srb_sharpe[c.i] = best_sharpe_ratio
49

50
    # Update valuation price and reorder orders
51
    size_type = SizeType.TargetPercent
52
    direction = Direction.LongOnly
53
    order_value_out = np.empty(c.group_len, dtype=np.float_)
54
    for k in range(c.group_len):
55
        col = c.from_col + k
56
        c.last_val_price[col] = c.close[c.i, col]
57
    sort_call_seq_nb(c, weights, size_type, direction, order_value_out)
58

59
    return (weights,)
60

61
@njit
62
def order_func_nb(c, weights):
63
    col_i = c.call_seq_now[c.call_idx]
64
    return order_nb(
65
        weights[col_i],
66
        c.close[c.i, c.col],
67
        size_type=SizeType.TargetPercent
68
    )
69

70

71
ann_factor = returns.vbt.returns.ann_factor
72

73

74
# Run simulation using a custom order function
75
srb_pf = vbt.Portfolio.from_order_func(
76
    price,
77
    order_func_nb,
78
    pre_sim_func_nb=pre_sim_func_nb,
79
    pre_sim_args=(30,),
80
    pre_segment_func_nb=pre_segment_func_nb,
81
    pre_segment_args=(find_weights_nb, -1, ann_factor, num_tests, srb_sharpe),
82
    cash_sharing=True,
83
    group_by=True
84
)
85

86

87
# Plot best Sharpe ratio at each rebalancing day
88
pd.Series(srb_sharpe, index=price.index).vbt.scatterplot(trace_kwargs=dict(mode='markers')).show_svg()
89

90
print(srb_pf.stats())

展开收起

from_order_func(有点复杂,暂跳过)#

先搞清楚from_order_func，参考：https://vectorbt.dev/api/portfolio/base/#vectorbt.portfolio.base.Portfolio.from_order_func

1
# Run simulation using a custom order function
2
srb_pf = vbt.Portfolio.from_order_func(
3
    price, #行情信息
4
    order_func_nb,#订单生成函数
5
    pre_sim_func_nb=pre_sim_func_nb,# Function called before simulation. Defaults to no_pre_func_nb().
6
    pre_sim_args=(30,),# Packed arguments passed to pre_sim_func_nb. Defaults to ().
7
    pre_segment_func_nb=pre_segment_func_nb,# Function called before each segment. Defaults to no_pre_func_nb().
8
    pre_segment_args=(find_weights_nb, -1, ann_factor, num_tests, srb_sharpe), #Packed arguments passed to pre_segment_func_nb. Defaults to ().
9
    cash_sharing=True, # Whether to share cash within the same group.
10
                        # If group_by is None, group_by becomes True to form a single group with cash sharing.
11
    group_by=True
12
)

关于from_order_func，几个比较容易混淆的重要的函数

1
order_func_nb: callable
2
    订单生成功能。
3
post_order_func_nb: callable
4
    订单处理后调用的回调。
5

6
pre(post)_sim_func_nb: callable
7
    模拟之前调用的函数。默认为no_pre_func_nb()。
8

9
pre/post_group_func_nb：
10
    在每组之前调用的函数。默认为no_pre_func_nb()。
11
    仅当 为 False 时才调用row_wise。
12

13
pre/post_row_func_nb: callable
14
    在每行之前调用的函数。默认为no_pre_func_nb()。
15
    仅当为 True 时才调用row_wise。
16

17
pre/post_segment_func_nb: callable # 段是组和行之间的交集。它是一个实体，定义如何以及以何种顺序处理同一组和行中的元素。
18
    在每个段之前调用的函数。默认为no_pre_func_nb()。
19
    segment_mask: int或array_like的bool
20
        是否应执行特定段的掩码。
21
        提供一个整数将激活每第 n 行。提供布尔值或布尔值数组将广播到行数和组数。
22
        不与close和一起广播broadcast_named_args，仅针对最终形状。
23
    call_pre_segment: bool
24
        是否打电话pre_segment_func_nb不管segment_mask。
25
    call_post_segment: bool
26
        是否打电话post_segment_func_nb不管segment_mask。

展开收起

执行官方提供最简单demo

1
import numpy as np
2
import pandas as pd
3
from datetime import datetime
4
from numba import njit
5

6
import vectorbt as vbt
7
from vectorbt.utils.colors import adjust_opacity
8
from vectorbt.utils.enum_ import map_enum_fields
9
from vectorbt.base.reshape_fns import broadcast, flex_select_auto_nb, to_2d_array
10
from vectorbt.portfolio.enums import SizeType, Direction, NoOrder, OrderStatus, OrderSide
11
from vectorbt.portfolio import nb
12

13
@njit
14
def order_func_nb(c, size):
15
    return nb.order_nb(size=size)
16

17
close = pd.Series([1, 2, 3, 4, 5])
18
pf = vbt.Portfolio.from_order_func(close, order_func_nb, 10)
19

20
nb.order_nb(size=5) #本身返回一个order对象，故order_func_nb可看做order构造函数，生成一系列order
21
Order(size=5.0, price=inf, size_type=0, direction=2, fees=0.0, fixed_fees=0.0, slippage=0.0, min_size=0.0, max_size=inf, size_granularity=nan, reject_prob=0.0, lock_cash=False, allow_partial=True, raise_reject=False, log=False)
22

23
print(pf.assets())
24
print(pf.cash())
25

26
0    10.0
27
1    20.0
28
2    30.0
29
3    40.0
30
4    40.0
31
dtype: float64
32
0    90.0
33
1    70.0
34
2    40.0
35
3     0.0
36
4     0.0
37
dtype: float64
38

39
输出分析：每次买入10份，每份价格分别：1，2，3，4，5，交易记录和消耗资金如下
40
buy:10*1(-10)
41
buy:10*2(-20)
42
buy:10*3(-30)
43
buy:10*4(-40)
44
assets对应股票份额，每天增加10，最多买到40就到头了(资金不足)

展开收起

有效边界法(PyPortfolioOpt)#

1
# Calculate expected returns and sample covariance amtrix
2
avg_returns = expected_returns.mean_historical_return(price)
3
symbol
4
510050.XSHG    0.135305
5
510300.XSHG    0.098036
6
159901.XSHE    0.096895
7
dtype: float64
8

9
cov_mat = risk_models.sample_cov(price) # 协方差矩阵

del01

1
# Get weights maximizing the Sharpe ratio
2
ef = EfficientFrontier(avg_returns, cov_mat)
3
weights = ef.max_sharpe()
4
weights
5
OrderedDict([('510050.XSHG', 1.0), ('510300.XSHG', 0.0), ('159901.XSHE', 0.0)])
6

7
clean_weights = ef.clean_weights()
8
clean_weights
9
OrderedDict([('510050.XSHG', 1.0), ('510300.XSHG', 0.0), ('159901.XSHE', 0.0)])
10

11
pyopt_weights = np.array([clean_weights[symbol] for symbol in symbols])
12
print(pyopt_weights)
13
[1. 0. 0.]

填充初始权值

1
pyopt_size = np.full_like(price, np.nan)
2
pyopt_size[0, :] = pyopt_weights  # allocate at first timestamp, do nothing afterwards
3

4
print(pyopt_size[:5])
5
print(pyopt_size.shape)
6
[[ 1.  0.  0.]
7
 [nan nan nan]
8
 [nan nan nan]
9
 [nan nan nan]
10
 [nan nan nan]]
11
(731, 3)

只进行一次初始化时的交易回测

1
# Run simulation with weights from PyPortfolioOpt
2
pyopt_pf = vbt.Portfolio.from_orders(
3
    close=price,
4
    size=pyopt_size,
5
    size_type='targetpercent',
6
    group_by=True,
7
    cash_sharing=True
8
)
9

10
print(len(pyopt_pf.orders))
11
1
12

13
收益统计
14
print(pyopt_pf.stats())
15
Start                         2017-01-03 00:00:00+00:00
16
End                           2019-12-31 00:00:00+00:00
17
Period                                731 days 00:00:00
18
Start Value                                       100.0
19
End Value                                    144.428008
20
Total Return [%]                              44.428008
21
Benchmark Return [%]                           35.42267
22
Max Gross Exposure [%]                            100.0
23
Total Fees Paid                                     0.0
24
Max Drawdown [%]                               29.64467
25
Max Drawdown Duration                 462 days 00:00:00
26
Total Trades                                          1
27
Total Closed Trades                                   0
28
Total Open Trades                                     1
29
Open Trade PnL                                44.428008
30
Win Rate [%]                                        NaN
31
Best Trade [%]                                      NaN
32
Worst Trade [%]                                     NaN
33
Avg Winning Trade [%]                               NaN
34
Avg Losing Trade [%]                                NaN
35
Avg Winning Trade Duration                          NaT
36
Avg Losing Trade Duration                           NaT
37
Profit Factor                                       NaN
38
Expectancy                                          NaN
39
Sharpe Ratio                                   0.735009
40
Calmar Ratio                                   0.455758
41
Omega Ratio                                     1.14102
42
Sortino Ratio                                  1.082667
43
Name: group, dtype: object

展开收起

有效边界的按月再平衡#

原文中有这么一段描述

1
You can't use third-party optimization packages within Numba (yet). #不确定为啥
2
Here you have two choices:
3
1) Use os.environ['NUMBA_DISABLE_JIT'] = '1' before all imports to disable Numba completely 2) Disable Numba for the function, but also for every other function in the stack that calls it
4
We will demonstrate the second option.

重写了weight方法

1
def pyopt_find_weights(sc, price, num_tests):  # no @njit decorator = it's a pure Python function
2
    # Calculate expected returns and sample covariance matrix
3
    price = pd.DataFrame(price, columns=symbols)
4
    avg_returns = expected_returns.mean_historical_return(price)
5
    cov_mat = risk_models.sample_cov(price)
6

7
    # Get weights maximizing the Sharpe ratio
8
    ef = EfficientFrontier(avg_returns, cov_mat)
9
    weights = ef.max_sharpe()
10
    clean_weights = ef.clean_weights()
11
    weights = np.array([clean_weights[symbol] for symbol in symbols])
12
    best_sharpe_ratio = base_optimizer.portfolio_performance(weights, avg_returns, cov_mat)[2]
13

14
    return best_sharpe_ratio, weights

计算组合收益

1
pyopt_srb_sharpe = np.full(price.shape[0], np.nan)
2

3
# Run simulation with a custom order function
4
pyopt_srb_pf = vbt.Portfolio.from_order_func(
5
    price,
6
    order_func_nb,
7
    pre_sim_func_nb=pre_sim_func_nb,
8
    pre_sim_args=(30,),
9
    pre_segment_func_nb=pre_segment_func_nb.py_func,  # run pre_segment_func_nb as pure Python function
10
    pre_segment_args=(pyopt_find_weights, -1, ann_factor, num_tests, pyopt_srb_sharpe),
11
    cash_sharing=True,
12
    group_by=True,
13
    use_numba=False  # run simulate_nb as pure Python function
14
)

夏普值的可视化

1
pd.Series(pyopt_srb_sharpe, index=price.index).vbt.scatterplot(trace_kwargs=dict(mode='markers')).show_svg()

del01

绩效评估

1
print(pyopt_srb_pf.stats())
2
Start                           2017-01-03 00:00:00+00:00
3
End                             2019-12-31 00:00:00+00:00
4
Period                                  731 days 00:00:00
5
Start Value                                         100.0
6
End Value                                      130.474091
7
Total Return [%]                                30.474091
8
Benchmark Return [%]                             35.42267
9
Max Gross Exposure [%]                              100.0
10
Total Fees Paid                                       0.0
11
Max Drawdown [%]                                  31.0145
12
Max Drawdown Duration                   471 days 00:00:00
13
Total Trades                                           13
14
Total Closed Trades                                    12
15
Total Open Trades                                       1
16
Open Trade PnL                                  26.174785
17
Win Rate [%]                                    58.333333
18
Best Trade [%]                                  23.399167
19
Worst Trade [%]                                -11.947833
20
Avg Winning Trade [%]                            8.563981
21
Avg Losing Trade [%]                            -4.049498
22
Avg Winning Trade Duration    107 days 03:25:42.857142856
23
Avg Losing Trade Duration                78 days 00:00:00
24
Profit Factor                                    1.788768
25
Expectancy                                       0.358275
26
Sharpe Ratio                                     0.563374
27
Calmar Ratio                                     0.309651
28
Omega Ratio                                      1.108617
29
Sortino Ratio                                    0.820358
30
Name: group, dtype: object

展开收起

权值可视化

1
plot_allocation(pyopt_srb_pf)

del01

附录#

Portfolio.from_orders#

参考：https://vectorbt.dev/api/portfolio/base/#from-orders
样例

del01

需要注意的是size:1,-1,1,-1需要结合不同direction会生成不同的sell，buy信号，shortonly时的size=1表示卖出。

from_signals#

参考：https://vectorbt.dev/api/portfolio/base/#from-signals

vectorbt学习_08PortingBTStrategy

Sat, 28 Oct 2023 00:00:00 GMT

对比用backtrader实现策略和vectorbt实现策略的异同

数据查询和可视化#

1
price=dbtools.MySQLData.download('510050.XSHG',start_dt=start_date_str,end_dt=end_date_str) # 自定义工具类查询
2
data = price.get()
3

4
ohlcv_wbuf.vbt.ohlcv.plot().show_svg()

del01

bt策略#

需要对backtrader有基础的了解。

定义cerebro,broker#

1
class FullMoney(PercentSizer):
2
    params = (
3
        ('percents', 100 - fees),
4
    )
5

6
data_bt = bt.feeds.PandasData(
7
    dataname=ohlcv_wbuf,
8
    openinterest=-1,
9
    datetime=None,
10
    timeframe=bt.TimeFrame.Minutes,
11
    compression=1
12
 )
13

14
cerebro = bt.Cerebro(quicknotify=True)
15
cerebro.adddata(data_bt)
16
broker = cerebro.getbroker()
17
broker.set_coc(True) # cheat-on-close
18
broker.setcommission(commission=fees/100)#, name=coin_target)
19
broker.setcash(init_cash)
20
cerebro.addsizer(FullMoney)
21
cerebro.addanalyzer(bt.analyzers.TradeAnalyzer, _name="ta")
22
cerebro.addanalyzer(bt.analyzers.SQN, _name="sqn")
23
cerebro.addanalyzer(bt.analyzers.Transactions, _name="transactions")

展开收起

定义RSI策略#

1
class StrategyBase(bt.Strategy):
2
    def __init__(self):
3
        self.order = None
4
        self.last_operation = "SELL"
5
        self.status = "DISCONNECTED"
6
        self.buy_price_close = None
7
        self.pending_order = False
8
        self.commissions = []
9

10
    def notify_data(self, data, status, *args, **kwargs):
11
        self.status = data._getstatusname(status)
12

13
    def short(self):
14
        self.sell()
15

16
    def long(self):
17
        self.buy_price_close = self.data0.close[0]
18
        self.buy()
19

20
    def notify_order(self, order):
21
        self.pending_order = False
22
        if order.status in [order.Submitted, order.Accepted]:
23
            self.order = order
24
            return
25

26
        elif order.status in [order.Completed]:
27
            self.commissions.append(order.executed.comm)
28

29
            if order.isbuy():
30
                self.last_operation = "BUY"
31

32
            else:  # Sell
33
                self.buy_price_close = None
34
                self.last_operation = "SELL"
35

36
        self.order = None
37

38
class BasicRSI(StrategyBase):
39
    params = dict(    #入参申明
40
        period_ema_fast=fast_window,
41
        period_ema_slow=slow_window,
42
        rsi_bottom_threshold=rsi_bottom,
43
        rsi_top_threshold=rsi_top
44
    )
45

46
    def __init__(self):
47
        StrategyBase.__init__(self)
48

49
        self.ema_fast = bt.indicators.EMA(period=self.p.period_ema_fast)
50
        self.ema_slow = bt.indicators.EMA(period=self.p.period_ema_slow)
51
        self.rsi = bt.talib.RSI(self.data, timeperiod=14) #指标计算
52
        #self.rsi = bt.indicators.RelativeStrengthIndex()
53

54
        self.profit = 0
55
        self.stop_loss_flag = True
56

57
    def update_indicators(self): #指标更新
58
        self.profit = 0
59
        if self.buy_price_close and self.buy_price_close > 0:
60
            self.profit = float(
61
                self.data0.close[0] - self.buy_price_close) / self.buy_price_close
62

63
    def next(self):
64
        self.update_indicators()
65

66
        if self.order:  # waiting for pending order
67
            return
68

69
        # stop Loss
70
        ''' if self.profit < -0.03:
71
            self.short() '''
72

73
        # take Profit
74
        ''' if self.profit > 0.03:
75
            self.short() '''
76

77
        # reset stop loss flag
78
        if self.rsi > self.p.rsi_bottom_threshold:
79
            self.stop_loss_flag = False
80

81
        if self.last_operation != "BUY": # 这里需要注意，由于rsi可能持续小于阈值，需避免持续的下单
82
            # if self.rsi < 30 and self.ema_fast > self.ema_slow:
83
            if self.rsi < self.p.rsi_bottom_threshold:  # and not self.stop_loss_flag:
84
                self.long()
85

86
        if self.last_operation != "SELL":
87
            if self.rsi > self.p.rsi_top_threshold:
88
                self.short()

展开收起

运行策略#

1
cerebro.addstrategy(BasicRSI)
2
initial_value = cerebro.broker.getvalue()
3
print('Starting Portfolio Value: %.2f' % initial_value)
4
result = cerebro.run()
5

6
Starting Portfolio Value: 100.62  #期末终值，比最初100多了0.62

打印交易摘要信息#

1
def print_trade_analysis(analyzer): # 将analyzer的一部分信息按照特定格式打印出来
2
    # Get the results we are interested in
3
    if not analyzer.get("total"):
4
        return
5

6
    total_open = analyzer.total.open
7
    total_closed = analyzer.total.closed
8
    total_won = analyzer.won.total
9
    total_lost = analyzer.lost.total
10
    win_streak = analyzer.streak.won.longest
11
    lose_streak = analyzer.streak.lost.longest
12
    pnl_net = round(analyzer.pnl.net.total, 2)
13
    strike_rate = round((total_won / total_closed) * 2)
14

15
    # Designate the rows
16
    h1 = ['Total Open', 'Total Closed', 'Total Won', 'Total Lost']
17
    h2 = ['Strike Rate', 'Win Streak', 'Losing Streak', 'PnL Net']
18
    r1 = [total_open, total_closed, total_won, total_lost]
19
    r2 = [strike_rate, win_streak, lose_streak, pnl_net]
20

21
    # Check which set of headers is the longest.
22
    if len(h1) > len(h2):
23
        header_length = len(h1)
24
    else:
25
        header_length = len(h2)
26

27
    # Print the rows
28
    print_list = [h1, r1, h2, r2]
29
    row_format = "{:<15}" * (header_length + 1)
30
    print("Trade Analysis Results:")
31
    for row in print_list:
32
        print(row_format.format('', *row))
33

34

35
def print_sqn(analyzer):
36
    sqn = round(analyzer.sqn, 2)
37
    print('SQN: {}'.format(sqn))
38

39
# Print analyzers - results
40
final_value = cerebro.broker.getvalue()
41
print('Final Portfolio Value: %.2f' % final_value)
42
print('Profit %.3f%%' % ((final_value - initial_value) / initial_value * 100))
43
print_trade_analysis(result[0].analyzers.ta.get_analysis())
44
print_sqn(result[0].analyzers.sqn.get_analysis())
45

46

47
Final Portfolio Value: 100.62
48
Profit 0.618%
49
Trade Analysis Results:
50
               Total Open     Total Closed   Total Won      Total Lost
51
               0              2              1              1
52
               Strike Rate    Win Streak     Losing Streak  PnL Net
53
               1              1              1              0.62
54
SQN: 0.06

展开收起

交易明细#

1
data = result[0].analyzers.transactions.get_analysis()
2
df = pd.DataFrame.from_dict(data, orient='index', columns=['data'])
3
bt_transactions = pd.DataFrame(df.data.values.tolist(), df.index.tz_localize(tz='UTC'), columns=[
4
                               'amount', 'price', 'sid', 'symbol', 'value'])
5
bt_transactions
6

7
  amount  price  sid  symbol  value
8
2018-02-12 00:00:00+00:00  38.760667  2.578  0    -99.925000
9
2018-09-25 00:00:00+00:00  -38.760667  2.407  0    93.296926
10
2018-12-24 00:00:00+00:00  43.818010  2.126  0    -93.157089
11
2019-02-01 00:00:00+00:00  -43.818010  2.298  0    100.693787

行情交易可视化#

1
%matplotlib inline
2
import matplotlib.pyplot as plt
3

4

5
plt.rcParams["figure.figsize"] = (13, 8)
6
cerebro.plot(style='bar', iplot=False)

del01

bt交易历史转vectorbt交易信号#

1
bt_entries_mask = bt_transactions[bt_transactions.amount > 0]
2
bt_entries_mask.index = bt_entries_mask.index
3
bt_exits_mask = bt_transactions[bt_transactions.amount < 0]
4
bt_exits_mask.index = bt_exits_mask.index
5

6
bt_entries = pd.Series.vbt.signals.empty_like(ohlcv['Close'])
7
bt_entries.loc[bt_entries_mask.index] = True
8
bt_exits = pd.Series.vbt.signals.empty_like(ohlcv['Close'])
9
bt_exits.loc[bt_exits_mask.index] = True

vectorbt的回测,可视化#

1
vbt.settings.portfolio['fees'] = 0.075 / 100 #0.0025 # in %
2
bt_pf = vbt.Portfolio.from_signals(ohlcv['Close'], bt_entries, bt_exits, price=ohlcv['Close'].vbt.fshift(1))
3

4
bt_pf.trades.plot().show_svg()

del01

bt和vectorbt手续费对比#

1
bt_commissions = pd.Series(result[0].commissions, index=bt_transactions.index)
2

3
vbt_commissions = bt_pf.orders.records_readable.Fees
4
vbt_commissions.index = bt_pf.orders.records_readable.Timestamp
5

6
commissions_delta = bt_commissions - vbt_commissions
7
print(commissions_delta.head())
8

9
2018-02-12 00:00:00+00:00   -4.215589e-08
10
2018-09-25 00:00:00+00:00   -3.935966e-08
11
2018-12-24 00:00:00+00:00   -3.644546e-08
12
2019-02-01 00:00:00+00:00   -3.939400e-08
13
dtype: float64
14

15
commissions_delta.rename('Commissions (Delta)').vbt.plot().show_svg()

展开收起

可见，差异约等于0

del01

bt回测报表vectorbt回测报表比对#

1
print('Final Portfolio Value: %.5f' % final_value)
2
print('Profit %.3f%%' % ((final_value - initial_value) / initial_value * 100))
3
print_trade_analysis(result[0].analyzers.ta.get_analysis())
4
print(bt_pf.stats())
5

6
Final Portfolio Value: 100.61832
7
Profit 0.618%
8
Trade Analysis Results:
9
               Total Open     Total Closed   Total Won      Total Lost
10
               0              2              1              1
11
               Strike Rate    Win Streak     Losing Streak  PnL Net
12
               1              1              1              0.62
13
Start                         2017-03-06 00:00:00+00:00
14
End                           2019-03-11 00:00:00+00:00
15
Period                                  0 days 08:12:00
16
Start Value                                       100.0
17
End Value                                    100.618319 #和bt基本相等
18
Total Return [%]                               0.618319
19
Benchmark Return [%]                          21.449275
20
Max Gross Exposure [%]                            100.0
21
Total Fees Paid                                0.290305
22
Max Drawdown [%]                              20.985401
23
Max Drawdown Duration                   0 days 04:12:00
24
Total Trades                                          2 #交易2次，和bt相等
25
Total Closed Trades                                   2
26
Total Open Trades                                     0
27
Open Trade PnL                                      0.0
28
Win Rate [%]                                       50.0
29
Best Trade [%]                                 7.934243
30
Worst Trade [%]                               -6.778074
31
Avg Winning Trade [%]                          7.934243
32
Avg Losing Trade [%]                          -6.778074
33
Avg Winning Trade Duration              0 days 00:27:00
34
Avg Losing Trade Duration               0 days 02:30:00
35
Profit Factor                                  1.091292
36
Expectancy                                      0.30916
37
Sharpe Ratio                                   4.058997
38
Calmar Ratio                                3446.385338
39
Omega Ratio                                    1.024452
40
Sortino Ratio                                  5.961637
41
Name: Close, dtype: object

展开收起

vectorbt买卖信号可视化#

1
fig = vbt.make_subplots(specs=[[{"secondary_y": True}]])
2
fig = ohlcv['Close'].vbt.plot(trace_kwargs=dict(name='Price'), fig=fig)
3

4
fig = bt_entries.vbt.signals.plot_as_entry_markers(ohlcv['Close'], fig=fig)
5
fig = bt_exits.vbt.signals.plot_as_exit_markers(ohlcv['Close'], fig=fig)
6

7
fig.show_svg()

del01

vectorbt策略#

指标,信号#

1
# 计算指标
2
RSI = vbt.IndicatorFactory.from_talib('RSI')
3
rsi = RSI.run(ohlcv_wbuf['Open'], timeperiod=[14])
4

5
print(rsi.real.shape)
6
(492,)
7

8
# 指标转买卖信号
9
vbt_entries = rsi.real_crossed_below(rsi_bottom)
10
vbt_exits = rsi.real_crossed_above(rsi_top)
11
vbt_entries, vbt_exits = pd.DataFrame.vbt.signals.clean(vbt_entries, vbt_exits)
12

13
# 买卖信号绘制到价格图中
14
fig = vbt.make_subplots(specs=[[{"secondary_y": True}]])
15
fig = ohlcv['Open'].vbt.plot(trace_kwargs=dict(name='Price'), fig=fig)
16
fig = vbt_entries.vbt.signals.plot_as_entry_markers(ohlcv['Open'], fig=fig)
17
fig = vbt_exits.vbt.signals.plot_as_exit_markers(ohlcv['Open'], fig=fig)
18

19
fig.show_svg()

展开收起

del01

这里需要留意的函数signals.clean
参考官方文档；https://vectorbt.dev/api/signals/accessors/#vectorbt.signals.accessors.SignalsAccessor.clean

1
SignalsAccessor.clean(
2
    *args,
3
    entry_first=True,
4
    broadcast_kwargs=None,
5
    wrap_kwargs=None
6
)
7
Clean signals.
8

9
If one array passed, see SignalsAccessor.first(). If two arrays passed, entries and exits, see clean_enex_nb().
10

11
SignalsAccessor.first() #下面解释没看懂，但之前代码运行结果为，保留第一个为true的记录，后续置为false
12
first method¶
13
SignalsAccessor.first(
14
    wrap_kwargs=None,
15
    **kwargs
16
)
17
Select signals that satisfy the condition pos_rank == 0.
18

19

20
clean_enex_nb function¶ #clean_enex_1d_nb()的二维版本，顾名思义应该是多组买卖信号，买在卖前，可能还兼顾将连续的true或false改为单次触发信号
21
clean_enex_nb(
22
    entries,
23
    exits,
24
    entry_first
25
)
26
2-dim version of clean_enex_1d_nb().
27

28
clean_enex_1d_nb(). #从信号中取得第一个买卖信号，其中买在卖前，假如2个信号完全相同，则为None
29
clean_enex_1d_nb function¶
30
clean_enex_1d_nb(
31
    entries,
32
    exits,
33
    entry_first
34
)
35
Clean entry and exit arrays by picking the first signal out of each.
36
Entry signal must be picked first. If both signals are present, selects none.

展开收起

信号回测结果和差异分析#

1
vbt_pf = vbt.Portfolio.from_signals(ohlcv['Close'], vbt_entries, vbt_exits, price=ohlcv['Close'].vbt.fshift(1))
2
print('Final Portfolio Value   (Vectorbt): %.5f' % vbt_pf.final_value())
3
print('Final Portfolio Value (Backtrader): %.5f' % final_value)
4

5
Final Portfolio Value   (Vectorbt): 98.55972
6
Final Portfolio Value (Backtrader): 100.61832

显然，二者回测结果并不匹配

比对交易信号差异

1
(vbt_entries ^ bt_entries).rename('Entries (Delta)').vbt.signals.plot().show_svg()
2
(vbt_exits ^ bt_exits).rename('Exits (Delta)').vbt.signals.plot().show_svg()

del01

那么差异区间rsi取值是怎样的呢？

1
# create a selection mask for showing values which are different
2
mask = vbt_exits ^ bt_exits
3
print(vbt_exits[mask]) # show the different ones in vbt_exits
4
print(bt_exits[mask]) # show the different ones in bt_exits
5
print(rsi.real[mask]) # show the RSI value

这几天(mask)，vbt_exits和bt_exits信号有差异，所以分别打印vbt_exits和bt_exits在这3天的取值，以及指标原始取值

1
date
2
2017-05-24 00:00:00+00:00     True
3
2018-09-25 00:00:00+00:00    False
4
2018-09-27 00:00:00+00:00     True
5
Name: (14, Open), dtype: bool
6
date
7
2017-05-24 00:00:00+00:00    False
8
2018-09-25 00:00:00+00:00     True
9
2018-09-27 00:00:00+00:00    False
10
Name: Close, dtype: bool
11
date
12
2017-05-24 00:00:00+00:00    66.448255
13
2018-09-25 00:00:00+00:00    63.782884
14
2018-09-27 00:00:00+00:00    66.771968
15
Name: (14, Open), dtype: float64

展开收起

考虑到阈值设置的为65。所以第一组数据是合理的，也就是vbt_exits计算结果是对的。（此时，还有另一个考虑，就是信号发出后，何时触发交易下单，当日还是次日，如果当日，可能存在未来信息隐患）。

bt的指标计算方法用户vectorbt#

1
# backtrader计算的rsi指标
2
rsi_bt_df = pd.DataFrame({
3
    'rsi': result[0].rsi.get(size=len(result[0]))
4
  }, index=[result[0].datas[0].num2date(x) for x in result[0].data.datetime.get(size=len(result[0]))])
5
rsi_bt_df.index = rsi_bt_df.index.tz_localize(tz='UTC')
6
rsi_bt_df.rsi = rsi_bt_df.rsi.shift(1)
7

8
# vectorbt计算的rsi指标
9
rsi_vbt_df = pd.DataFrame({
10
  'rsi': rsi.real.values
11
}, index=rsi.real.index)
12
rsi_vbt_df_mask = (rsi_vbt_df.index >= start_date) & (rsi_vbt_df.index <= end_date) # mask without buffer
13
rsi_vbt_df = rsi_vbt_df.loc[rsi_vbt_df_mask, :]
14

15
print(rsi_bt_df.shape)
16
print(rsi_vbt_df.shape)
17
#rsi_bt_df.head(20)
18
#rsi_vbt_df.head(20)
19
(492, 1)
20
(492, 1)

展开收起

计算指标差异和可视化

1
rsi_delta = rsi_bt_df - rsi_vbt_df
2
#rsi_delta.head(20)
3
rsi_delta.rsi.rename('RSI (Delta)').vbt.plot().show_svg()

del01

指标同列比对

1
# Overlapped
2
pd.DataFrame({'RSI (VBT)': rsi_vbt_df['rsi'], 'RSI (BT)': rsi_bt_df['rsi']}).vbt.plot().show_svg()
3
# RSI signal from Backtrader
4
rsi_bt_df.rsi.rename('RSI (BT)').vbt.plot().show_svg()
5
# RSI signal from Vectorbt
6
rsi_vbt_df.rsi.rename('RSI (VBT)').vbt.plot().show_svg()

del01

可见，没有明显差异

那么，如果我们可以获得完全相同的结果么？比如使用bt计算的指标，提供给vectorbt做回测。

1
# 使用bt的指标计算信号
2
vbt_bt_entries = rsi_bt_df.rsi < rsi_bottom
3
vbt_bt_exits = rsi_bt_df.rsi > rsi_top
4
vbt_bt_entries, vbt_bt_exits = pd.DataFrame.vbt.signals.clean(vbt_bt_entries, vbt_bt_exits)
5

6
# 信号的可视化
7
fig = vbt.make_subplots(specs=[[{"secondary_y": True}]])
8
fig = ohlcv['Open'].vbt.plot(trace_kwargs=dict(name='Price'), fig=fig)
9
fig = vbt_bt_entries.vbt.signals.plot_as_entry_markers(ohlcv['Open'], fig=fig)
10
fig = vbt_bt_exits.vbt.signals.plot_as_exit_markers(ohlcv['Open'], fig=fig)
11

12
fig.show_svg()

del01

再次绘制信号差异图

1
(vbt_bt_entries ^ bt_entries).rename('Entries (Delta)').vbt.signals.plot().show_svg()
2
(vbt_bt_exits ^ bt_exits).rename('Exits (Delta)').vbt.signals.plot().show_svg()

del01

惊不惊喜，意不意外？完全相同，说明之前bt策略和基于vectorbt的策略差异在指标的计算上面。如果指标计算相同，那么二者回测结果也等同。等价于从侧面验证了vectorbt的正确性，毕竟backtrader作为广泛使用的经典框架，出错概率相对低些。

由于上面已经相同，下面信息可以忽略。

1
# 差异部分的print
2
# create a selection mask for showing values which are different
3
mask = vbt_bt_exits ^ bt_exits
4
print(vbt_bt_exits[mask]) # show the different ones in vbt_bt_exits
5
print(bt_exits[mask]) # show the different ones in bt_exits
6
print(rsi_bt_df.rsi[mask]) # show the RSI value
7

8
# 买卖信号可视化
9
fig = vbt_bt_entries.vbt.signals.plot(trace_kwargs=dict(name='Entries'))
10
vbt_bt_exits.vbt.signals.plot(trace_kwargs=dict(name='Exits'), fig=fig).show_svg()
11

12
# vectorbt和backtrader回测方法的终值差异
13
vbt_bt_pf = vbt.Portfolio.from_signals(ohlcv['Close'], vbt_bt_entries, vbt_bt_exits, price=ohlcv['Close'].vbt.fshift(1))
14
print('Final Portfolio Value   (Vectorbt): %.5f' % vbt_bt_pf.final_value())
15
print('Final Portfolio Value (Backtrader): %.5f' % final_value)
16

17
# vectorbt的交易可视化
18
#print(vbt_bt_pf.trades.records)
19
vbt_bt_pf.trades.plot().show_svg()

展开收起

结论#

单纯的持有型策略

1
hold_pf = vbt.Portfolio.from_holding(ohlcv['Close'])
2

3
# 绘制收益图
4
fig = vbt_pf.value().vbt.plot(trace_kwargs=dict(name='Value (pure vectorbt)'))
5
fig = vbt_bt_pf.value().vbt.plot(trace_kwargs=dict(name='Value (vectorbt w/ BT Ind.)'), fig=fig)
6
fig = bt_pf.value().vbt.plot(trace_kwargs=dict(name='Value (Backtrader)'), fig=fig)
7
hold_pf.value().vbt.plot(trace_kwargs=dict(name='Value (Hold)'), fig=fig).show_svg()

原文结论：
我们可以看到，vectorbt+backtrader RSI信号生成的投资组合与我们纯backtrader策略生成的投资组完全重叠。然而，正如我们所发现的，纯向量投资组合略有偏离。
这应该提醒你，信号算法实现方式的微小差异，甚至可能在你的策略中产生不同的进入和退出事件！

debug工具箱#

vectorbt的交易明细

1
vbt_pf.orders.records_readable
2

3
Order Id  Column  Timestamp  Size  Price  Fees  Side
4
0  0  0  2017-05-08 00:00:00+00:00  49.127363  2.034  0.074944  Buy
5
1  1  0  2017-05-24 00:00:00+00:00  49.127363  2.124  0.078260  Sell
6
2  2  0  2018-02-09 00:00:00+00:00  38.389873  2.714  0.078143  Buy
7
3  3  0  2018-09-27 00:00:00+00:00  38.389873  2.413  0.069476  Sell
8
4  4  0  2018-12-21 00:00:00+00:00  42.921539  2.155  0.069372  Buy
9
5  5  0  2019-02-01 00:00:00+00:00  42.921539  2.298  0.073975  Sell

backtrader的交易明细

1
bt_pf.orders.records_readable
2

3
Order Id  Column  Timestamp  Size  Price  Fees  Side
4
0  0  Close  2018-02-12 00:00:00+00:00  38.760689  2.578  0.074944  Buy
5
1  1  Close  2018-09-25 00:00:00+00:00  38.760689  2.407  0.069973  Sell
6
2  2  Close  2018-12-24 00:00:00+00:00  43.818033  2.126  0.069868  Buy
7
3  3  Close  2019-02-01 00:00:00+00:00  43.818033  2.298  0.075520  Sell

backtrader.vectorbt特定区间总资产

1
bt_pf.value().iloc[150:].head(20)
2
date
3
2017-10-16 00:00:00+00:00    100.0
4
2017-10-17 00:00:00+00:00    100.0
5
,,,
6
2017-11-08 00:00:00+00:00    100.0
7
2017-11-09 00:00:00+00:00    100.0
8
2017-11-10 00:00:00+00:00    100.0
9
Name: Close, dtype: float64
10

11
vbt_pf.value().iloc[150:].head(20)
12
date
13
2017-10-16 00:00:00+00:00    104.268259
14
2017-10-17 00:00:00+00:00    104.268259
15
2017-10-18 00:00:00+00:00    104.268259
16
,,,
17
2017-11-09 00:00:00+00:00    104.268259
18
2017-11-10 00:00:00+00:00    104.268259
19
dtype: float64

展开收起

vectorbt学习_09WalkForwardOptimization

Sat, 28 Oct 2023 00:00:00 GMT

滚动窗口法回测

获取行情,可视化#

1
print(price)
2
date
3
2017-01-03 00:00:00+00:00    2.028
4
2017-01-04 00:00:00+00:00    2.046
5
2017-01-05 00:00:00+00:00    2.043
6
2017-01-06 00:00:00+00:00    2.035
7
2017-01-09 00:00:00+00:00    2.040
8
                             ...
9
2022-12-26 00:00:00+00:00    2.612
10
2022-12-27 00:00:00+00:00    2.642
11
2022-12-28 00:00:00+00:00    2.649
12
2022-12-29 00:00:00+00:00    2.635
13
2022-12-30 00:00:00+00:00    2.649
14
Name: Close, Length: 1459, dtype: float64
15

16
price.vbt.plot().show_svg()

展开收起

del01

rolling_split数据切分,可视化#

1
split_kwargs = dict(
2
    n=30,
3
    window_len=365 * 2,#每个case总长365*2,包含set_lens的180=730除250交易日/年，大致对应了3年
4
    set_lens=(180,),
5
    left_to_right=False
6
)  # 30 windows, each 2 years long, reserve 180 days for test
7

8
def roll_in_and_out_samples(price, **kwargs):
9
    return price.vbt.rolling_split(**kwargs)
10
roll_in_and_out_samples(price, **split_kwargs, plot=True, trace_names=['in-sample', 'out-sample']).show_svg()

del01

1
(in_price, in_indexes), (out_price, out_indexes) = roll_in_and_out_samples(price, **split_kwargs)
2

3
print(in_price.shape, len(in_indexes))  # in-sample
4
print(out_price.shape, len(out_indexes))  # out-sample
5

6
(550, 30) 30 #30对应上面的n=30,365*2=730-180=550
7
(180, 30) 30 #180对应上面的set_lens

如果使用如下配置参数

1
split_kwargs = dict(
2
    n=30,
3
    window_len=250, # 1年的交易日
4
    set_lens=(70,),# 70天用来做测试集
5
    left_to_right=False
6
)

del01

可见，in-sample，和out-sample加起来恰好1年。

1
print(in_indexes)

del01

每个周期的初始日期怎么来的呢？
根据可视化图形，可以看出，

1
初始日期差异=(总天数-单个周期天数)/(总周期数-1)
2
=》
3
diff=(1459-365*2)/(30-1)=25.13
4

5
验证一下
6
print(in_indexes[0][0])
7
print(in_indexes[1][0])
8
print(in_indexes[0][25:27]) # 观察in_indexes[1][0]位于in_indexes[0][0]的第几个位置，此处应该为26
9

10
2017-01-03 00:00:00+00:00
11
2017-02-14 00:00:00+00:00
12
DatetimeIndex(['2017-02-14 00:00:00+00:00', '2017-02-15 00:00:00+00:00'], dtype='datetime64[ns, UTC]', name='split_0', freq=None)
13
可见，2个区间的起始日期in_indexes[0][0]，in_indexes[1][0]，相差的交易日个数，恰好为26

持有收益#

1
pf_kwargs = dict(
2
    direction='both',  # long and short
3
    freq='d'
4
)
5

6
def simulate_holding(price, **kwargs):
7
    pf = vbt.Portfolio.from_holding(price, **kwargs)
8
    return pf.sharpe_ratio()
9

10
in_hold_sharpe = simulate_holding(in_price, **pf_kwargs)
11
print(in_hold_sharpe)
12

13
split_idx
14
0     0.954906
15
1     0.685842
16
2     0.868976
17
，，
18
27    0.383577
19
28    0.334316
20
29    0.088459
21
Name: sharpe_ratio, dtype: float64
22
含义为，30个时间区间的sharpe值，由于采用hold策略，只要买入没卖出，可以看做价格本身的sharpe值

展开收起

from_holding

1
close = pd.Series([1, 2, 3, 4, 5])
2
pf = vbt.Portfolio.from_holding(close)
3
pf.final_value()
4

5
500 #第一天买入100块的,100/1=100份，第五天卖出得到总资产500，

双均线#

1
def simulate_all_params(price, windows, **kwargs):
2
    fast_ma, slow_ma = vbt.MA.run_combs(price, windows, r=2, short_names=['fast', 'slow']) # 指标参数组合构造
3
    entries = fast_ma.ma_crossed_above(slow_ma) #指标转买卖信号
4
    exits = fast_ma.ma_crossed_below(slow_ma)
5
    pf = vbt.Portfolio.from_signals(price, entries, exits, **kwargs) #信号组合的收益评估
6
    return pf.sharpe_ratio()#回测的sharpe值
7

8
# Simulate all params for in-sample ranges
9
in_sharpe = simulate_all_params(in_price, windows, **pf_kwargs) #评估window里各参数组合的sharpe值
10

11
print(in_sharpe.shape)
12
(23400,)
13

14
print(in_sharpe)
15
fast_window  slow_window  split_idx
16
10           11           0            1.202383
17
                          1            1.358301
18
                          2            1.629335
19
                          3            1.760235
20
                          4            1.258015
21
                                         ...
22
48           49           25           0.610420
23
                          26           0.738654
24
                          27           0.602987
25
                          28           0.689741
26
                          29           0.778645
27
Name: sharpe_ratio, Length: 23400, dtype: float64

展开收起

各时间区间sharpe最高的参数组#

1
def get_best_index(performance, higher_better=True):
2
    if higher_better:
3
        return performance[performance.groupby('split_idx').idxmax()].index
4
    return performance[performance.groupby('split_idx').idxmin()].index
5
in_best_index = get_best_index(in_sharpe)
6

7
print(in_best_index) #最优参数组
8
MultiIndex([(21, 35,  0),
9
            (21, 35,  1),
10
            (11, 14,  2),
11
         ,,,
12
            (45, 48, 28),
13
            (45, 48, 29)],
14
           names=['fast_window', 'slow_window', 'split_idx'])
15

16
def get_best_params(best_index, level_name):
17
    return best_index.get_level_values(level_name).to_numpy()
18
in_best_fast_windows = get_best_params(in_best_index, 'fast_window')
19
in_best_slow_windows = get_best_params(in_best_index, 'slow_window')
20
in_best_window_pairs = np.array(list(zip(in_best_fast_windows, in_best_slow_windows)))
21

22
print(in_best_window_pairs) #最优参数组，去掉了时间区间信息
23
[[21 35]
24
 [21 35]
25
 [11 14]
26
,,,
27
 [45 48]
28
 [45 48]]

展开收起

参数变化可视化

1
pd.DataFrame(in_best_window_pairs, columns=['fast_window', 'slow_window']).vbt.plot().show_svg()

del01

测试集实施hold策略#

1
out_hold_sharpe = simulate_holding(out_price, **pf_kwargs)
2

3
print(out_hold_sharpe)
4
split_idx
5
0     0.601067
6
1     0.850085
7
2    -0.844581
8
，，，
9
28   -1.233394
10
29   -0.335148
11
Name: sharpe_ratio, dtype: float64

测试集的参数探测

1
# Simulate all params for out-sample ranges
2
out_sharpe = simulate_all_params(out_price, windows, **pf_kwargs)
3

4
print(out_sharpe)
5
fast_window  slow_window  split_idx
6
10           11           0            0.495589
7
                          1           -1.111064
8
                          2           -2.526381
9
                          3           -1.415069
10
                          4           -1.979918
11
                                         ...
12
48           49           25          -1.560619
13
                          26          -3.410102
14
                          27          -1.743216
15
                          28          -1.648796
16
                          29          -0.405472
17
Name: sharpe_ratio, Length: 23400, dtype: float64

展开收起

1
def simulate_best_params(price, best_fast_windows, best_slow_windows, **kwargs):
2
    fast_ma = vbt.MA.run(price, window=best_fast_windows, per_column=True)
3
    slow_ma = vbt.MA.run(price, window=best_slow_windows, per_column=True)
4
    entries = fast_ma.ma_crossed_above(slow_ma)
5
    exits = fast_ma.ma_crossed_below(slow_ma)
6
    pf = vbt.Portfolio.from_signals(price, entries, exits, **kwargs)
7
    return pf.sharpe_ratio()
8
# Use best params from in-sample ranges and simulate them for out-sample ranges
9
# 入参：in_best_fast_windows，in_best_slow_windows是蓝色数据集计算出的 最佳参数组合
10
# 整体效果是，用历史数据得到最佳fast,slow参数组合，然后用户未来一段时间上
11
out_test_sharpe = simulate_best_params(out_price, in_best_fast_windows, in_best_slow_windows, **pf_kwargs)
12

13
print(out_test_sharpe)

del01

训练集,测试集上各策略sharpe中位数,最大值变化,可视化#

1
cv_results_df = pd.DataFrame({
2
    'in_sample_hold': in_hold_sharpe.values,
3
    'in_sample_median': in_sharpe.groupby('split_idx').median().values,
4
    'in_sample_best': in_sharpe[in_best_index].values,
5
    'out_sample_hold': out_hold_sharpe.values,
6
    'out_sample_median': out_sharpe.groupby('split_idx').median().values,
7
    'out_sample_test': out_test_sharpe.values
8
})
9

10
color_schema = vbt.settings['plotting']['color_schema']
11

12
cv_results_df.vbt.plot(
13
    trace_kwargs=[
14
        dict(line_color=color_schema['blue']),
15
        dict(line_color=color_schema['blue'], line_dash='dash'),
16
        dict(line_color=color_schema['blue'], line_dash='dot'),
17
        dict(line_color=color_schema['orange']),
18
        dict(line_color=color_schema['orange'], line_dash='dash'),
19
        dict(line_color=color_schema['orange'], line_dash='dot')
20
    ]
21
).show_svg()

展开收起

del01

vectorbt学习_06MACDVolume

Sun, 22 Oct 2023 00:00:00 GMT

立方体参数优化

构建参数搜索空间#

1
# Define hyper-parameter space
2
# 49 fast x 49 slow x 19 signal
3
fast_windows, slow_windows, signal_windows = vbt.utils.params.create_param_combs(
4
    (product, (combinations, np.arange(2, 51, 1), 2), np.arange(2, 21, 1)))
5

6
pd.DataFrame({"fast_windows":fast_windows, "slow_windows":slow_windows, "signal_windows":signal_windows})
7
Out[6]:
8
       fast_windows  slow_windows  signal_windows
9
0                 2             3               2
10
1                 2             3               3
11
2                 2             3               4
12
3                 2             3               5
13
4                 2             3               6
14
...             ...           ...             ...
15
22339            49            50              16
16
22340            49            50              17
17
22341            49            50              18
18
22342            49            50              19
19
22343            49            50              20

展开收起

计算指标和信号#

1
# Run MACD indicator
2
macd_ind = vbt.MACD.run(
3
    price,
4
    fast_window=fast_windows,
5
    slow_window=slow_windows,
6
    signal_window=signal_windows
7
)
8

9
# Long when MACD is above zero AND signal
10
entries = macd_ind.macd_above(0) & macd_ind.macd_above(macd_ind.signal)
11

12
# Short when MACD is below zero OR signal
13
exits = macd_ind.macd_below(0) | macd_ind.macd_below(macd_ind.signal)
14

15
exits
16
Out[16]:
17
macd_fast_window       2                        ...     49
18
macd_slow_window       3                        ...     50
19
macd_signal_window     2                    3   ...     19     20
20
split_idx               0      1      2      0  ...      2      0      1      2
21
0                   False  False  False  False  ...  False  False  False  False
22
1                   False  False  False  False  ...  False  False  False  False
23
2                   False  False  False  False  ...  False  False  False  False
24
3                    True   True   True   True  ...  False  False  False  False
25
4                    True  False   True   True  ...  False  False  False  False
26
5                    True  False   True   True  ...  False  False  False  False
27
6                    True   True  False   True  ...  False  False  False  False
28
7                   False  False  False  False  ...  False  False  False  False
29
8                   False   True   True  False  ...  False  False  False  False
30
9                    True  False   True   True  ...  False  False  False  False

展开收起

可见这里的信号为持续性信号，不同与常规的crossxx信号

组合收益评估#

1
# Build portfolio
2
pf = vbt.Portfolio.from_signals(
3
    price.vbt.tile(len(fast_windows)), entries, exits, fees=0.001, freq='1D')

原始的1列price，经过range_split后变为3列，但是依然和entries列数不同，所以需要tile对齐列数据。

1
price.shape
2
Out[26]: (16, 3)
3
len(fast_windows)
4
Out[27]: 22344
5
entries.shape
6
Out[28]: (16, 67032)

tile函数效果

1
Out[21]:price.head()
2
split_idx         0         1         2
3
0          0.374540  0.304242  0.065052
4
1          0.950714  0.524756  0.948886
5
2          0.731994  0.431945  0.965632
6
3          0.598658  0.291229  0.808397
7
4          0.156019  0.611853  0.304614
8

9
price.vbt.tile(2)
10
Out[22]:
11
split_idx         0         1         2         0         1         2
12
0          0.374540  0.304242  0.065052  0.374540  0.304242  0.065052
13
1          0.950714  0.524756  0.948886  0.950714  0.524756  0.948886
14
2          0.731994  0.431945  0.965632  0.731994  0.431945  0.965632
15
3          0.598658  0.291229  0.808397  0.598658  0.291229  0.808397
16
4          0.156019  0.611853  0.304614  0.156019  0.611853  0.304614
17
5          0.155995  0.139494  0.097672  0.155995  0.139494  0.097672

展开收起

可视化#

1
# Draw all window combinations as a 3D volume
2
fig = pf.total_return().vbt.volume(
3
    x_level='macd_fast_window',
4
    y_level='macd_slow_window',
5
    z_level='macd_signal_window',
6
    slider_level='split_idx',
7
    trace_kwargs=dict(
8
        colorbar=dict(
9
            title='Total return',
10
            tickformat='%'
11
        )
12
    )
13
)
14
fig.show()

会导致电脑卡顿，效果上也没觉得多么直观。

del01

vectorbt学习_07TelegramSignals略

Sun, 22 Oct 2023 00:00:00 GMT

主要通过MyDataUpdater定时刷行情和推送boll金叉死叉数据到MyTelegramBot server的功能，略
关于TelegramBot，可以理解为API版的QQ。
Telegram是一款支持多平台的即时通讯软件，它提供了丰富的API，使得开发者可以方便地开发机器人。
Telegram Bot是一种基于Telegram客户端的第三方程序。用户可以通过向Bot发送信息、照片、指令、在线请求等一系列的方式于Bot互动。Bot的所有者通过Bot的API访问并请求Telegram Server的信息。可以将Bot理解为一个更加智能的可以接受指令并可以爬取网络信息的微信公众号。

vectorbt学习_05TradingSessions

Fri, 20 Oct 2023 00:00:00 GMT

此demo主要是演示如何对数据进行按日切分的，如果进行日内策略可参考，类似，也可以实现数据按照自然月或季度回测的目标。

生成原始随机series序列#

1
# Generate sample price
2
price_idx = pd.date_range('2018-01-01 12:00:00', periods=48, freq='H')
3
np.random.seed(42)
4
price = pd.Series(np.random.uniform(size=price_idx.shape), index=price_idx)
5
print(price)
6
print(price.shape)
7

8
2018-01-03 02:00:00    0.684233
9
2018-01-03 03:00:00    0.440152
10
2018-01-03 04:00:00    0.122038
11
2018-01-03 05:00:00    0.495177
12
2018-01-03 06:00:00    0.034389
13
2018-01-03 07:00:00    0.909320
14
2018-01-03 08:00:00    0.258780
15
2018-01-03 09:00:00    0.662522
16
2018-01-03 10:00:00    0.311711
17
2018-01-03 11:00:00    0.520068
18
Freq: H, dtype: float64
19
(48,)

展开收起

数据补齐#

1
# Sessions must be equal - fill missing dates
2
# Fill on first date before 12:00 and on last date after 11:00
3
first_date = price.index[0].date()
4
last_date = price.index[-1].date()+timedelta(days=1)
5
filled_idx = pd.date_range(first_date, last_date, freq='H')
6
filled_price = price.reindex(filled_idx) #等于在原数据基础上扩展新增了部分数据
7
print(filled_price)
8

9
2018-01-01 00:00:00   NaN
10
2018-01-01 01:00:00   NaN
11
2018-01-01 02:00:00   NaN
12
2018-01-01 03:00:00   NaN
13
2018-01-01 04:00:00   NaN
14
                       ..
15
2018-01-03 20:00:00   NaN
16
2018-01-03 21:00:00   NaN
17
2018-01-03 22:00:00   NaN
18
2018-01-03 23:00:00   NaN
19
2018-01-04 00:00:00   NaN
20
Freq: H, Length: 73, dtype: float64 #数据长度从48变成73

展开收起

筛选交易时间内行情#

1
# Remove dates that are outside of trading sessions
2
session_price_idx = filled_price.between_time('9:00', '17:00', include_end=False).index
3
session_price = filled_price.loc[session_price_idx]
4
print(session_price)

筛选出start_idxs,end_idxs,基于此切分session#

1
# Select first and last ticks of each trading session and split price into ranges between those ticks
2
start_idxs = session_price.index[session_price.index.hour == 9]
3
end_idxs = session_price.index[session_price.index.hour == 16]
4
price_per_session, _ = session_price.vbt(freq='1H').range_split(start_idxs=start_idxs, end_idxs=end_idxs)
5
print(price_per_session)
6

7
split_idx         0         1         2
8
0               NaN  0.139494  0.662522
9
1               NaN  0.292145  0.311711
10
2               NaN  0.366362  0.520068
11
3          0.374540  0.456070       NaN
12
4          0.950714  0.785176       NaN
13
5          0.731994  0.199674       NaN
14
6          0.598658  0.514234       NaN
15
7          0.156019  0.592415       NaN

展开收起

可视化效果

1
session_price.vbt(freq='1H').range_split(start_idxs=start_idxs, end_idxs=end_idxs,plot=True)

del01

用于运行策略#

1
# Run your strategy (here using random signals)
2
entries, exits = pd.DataFrame.vbt.signals.generate_random_both(price_per_session.shape, n=2, seed=42)
3
pf = vbt.Portfolio.from_signals(price_per_session, entries, exits, freq='1H')
4
print(pf.total_return())

vectorbt学习_04StopSignals

Sun, 15 Oct 2023 00:00:00 GMT

学习笔记

OHLCSTX.run生成各类退出信号#

退出信号：
平仓(卖出)的方式，最简单的，相对买入价的固定比例止损，
止损：比如，相比买入价下跌10%就卖出。
跟踪止损：相比持有期间的最高价，下跌10%就卖出。
止盈：比如，相比买入价，上涨达到10%就卖出，落袋为安。
超时退出：买入最多持有10天，10天到期后强制卖出。
以上退出信号未必100%达成(触发)，如果价格波动非常小，有可能一直不会被触发，退化为持续持有策略。

稍微复杂的是OHLCSTX相关代码
先参考官方文档中关于：OHLCSTX的内容：https://vectorbt.dev/api/signals/generators/#vectorbt.signals.generators.OHLCSTX
函数原型

1
OHLCSTX.run(
2
    entries,
3
    open,
4
    high,
5
    low,
6
    close,
7
    sl_stop=Default(nan), #止损
8
    sl_trail=Default(False),#跟踪止损
9
    tp_stop=Default(nan),#止盈
10
    reverse=Default(False),
11
    stop_price=nan,#In-place output array.
12
    stop_type=-1,#In-place output array.
13
    short_name='ohlcstx',
14
    hide_params=None,
15
    hide_default=True,
16
    **kwargs
17
)

展开收起

参考官方demo简单分析下

1
entries = pd.Series([True, False, False, False, False, False])
2
price = pd.DataFrame({
3
    'open': [10, 11, 12, 11, 10, 9],
4
    'high': [11, 12, 13, 12, 11, 10],
5
    'low': [9, 10, 11, 10, 9, 8],
6
    'close': [10, 11, 12, 11, 10, 9]
7
})
8
ohlcstx = vbt.OHLCSTX.run(
9
    entries,
10
    price['open'], price['high'], price['low'], price['close'],
11
    sl_stop=[0.1, 0.1, np.nan],
12
    sl_trail=[False, True, False],
13
    tp_stop=[np.nan, np.nan, 0.1])
14

15
这里的：
16
sl_stop=[0.1, 0.1, np.nan],
17
sl_trail=[False, True, False],
18
tp_stop=[np.nan, np.nan, 0.1]
19
对应了3种退出策略
20
sl_stop=[0.1,
21
sl_trail=[False,
22
tp_stop=[np.nan,
23
=》
24
止损幅度：0.1
25
止损：固定止损（非跟踪止损）
26
止盈幅度：0.1
27

28

29
sl_stop=[0.1,
30
sl_trail=[True,
31
tp_stop=[np.nan
32
=》
33
止损幅度：0.1
34
止损：跟踪止损
35
止盈幅度：无
36

37
sl_stop= np.nan],
38
sl_trail= False],
39
tp_stop= 0.1]
40
=》
41
止损幅度：无
42
止损：无
43
止盈幅度：0.1

展开收起

参考上面含义解析，理解下面的信号结果output
直角方块：固定止损0.1，close=10，止损价9，所以最终退出价格为9，原因为止损退出
椭圆部分：跟踪止损0.1，high=13，止损价11.7，所以最终退出价格为11.7，原因为跟踪止损退出
圆角方框：无止损，止盈价10*1.1=11，所以最终退出价格为11，原因止盈退出

del01

1
sl_exits = vbt.OHLCSTX.run(
2
    entries,
3
    ohlcv['Open'],
4
    ohlcv['High'],
5
    ohlcv['Low'],
6
    ohlcv['Close'],
7
    sl_stop=list(stops),
8
    stop_type=None,
9
    stop_price=None
10
).exits
11
ts_exits = vbt.OHLCSTX.run(
12
    entries,
13
    ohlcv['Open'],
14
    ohlcv['High'],
15
    ohlcv['Low'],
16
    ohlcv['Close'],
17
    sl_stop=list(stops),
18
    sl_trail=True,
19
    stop_type=None,
20
    stop_price=None
21
).exits
22
tp_exits = vbt.OHLCSTX.run(
23
    entries,
24
    ohlcv['Open'],
25
    ohlcv['High'],
26
    ohlcv['Low'],
27
    ohlcv['Close'],
28
    tp_stop=list(stops),
29
    stop_type=None,
30
    stop_price=None
31
).exits
32

33
# 这3行代码原因参考下图数据的索引结构，目的是让多重索引保持对齐
34
sl_exits.vbt.rename_levels({'ohlcstx_sl_stop': 'stop_value'}, inplace=True)
35
ts_exits.vbt.rename_levels({'ohlcstx_sl_stop': 'stop_value'}, inplace=True)
36
tp_exits.vbt.rename_levels({'ohlcstx_tp_stop': 'stop_value'}, inplace=True)
37
ts_exits.vbt.drop_levels('ohlcstx_sl_trail', inplace=True)

展开收起

del01

不同方式的退出信号达成率#

信号达成率:退出是否被触发，比如止损5%，但是行情一直1%内波动，则信号不会被触发。

继续分析如下代码块

1
print(pd.Series({
2
    'SL': sl_exits.vbt.signals.total().mean(),
3
    'TS': ts_exits.vbt.signals.total().mean(),
4
    'TP': tp_exits.vbt.signals.total().mean()
5
}, name='avg_num_signals'))
6

7
SL    0.117000 #止损退出方式下，信号的平均达成率（成功固定止损）
8
TS    0.184667 #跟踪止损方式下，信号的平均达成率（成功跟踪止损）
9
TP    0.204750 #止盈方式下，信号的平均达成率（成功止盈）
10
Name: avg_num_signals, dtype: float64
11

12
pd.DataFrame({
13
    'Stop Loss': sl_exits.vbt.signals.total().groupby('stop_value').mean(),
14
    'Trailing Stop': ts_exits.vbt.signals.total().groupby('stop_value').mean(),
15
    'Take Profit': tp_exits.vbt.signals.total().groupby('stop_value').mean()
16
}).vbt.plot(xaxis_title='Stop value', yaxis_title='Avg number of signals').show_svg()

展开收起

del01

以 ‘Stop Loss’: sl_exits.vbt.signals.total().groupby(‘stop_value’).mean(),为例. sl_exits退出方式下，stop_value从0.01->0.99不同取值下，对应的，达成率
所以：随着stop_value从小到大，分别意味着价格要下探到0.99,0.98 -> 0.01才能触发信号止损，故越靠右侧，曲线越接近与0
takeProfit线，就更明显了，止盈取值遇到，信号达成率越低。

merge期末强制退出信号#

持有到期后（最后一天），生成卖出信号，强制卖出。

1
sl_exits.iloc[-1, :] = True # 强制周期末尾退出信号为True，所以可能存在2个True情况
2
ts_exits.iloc[-1, :] = True
3
tp_exits.iloc[-1, :] = True
4

5
# Select one exit between two entries
6
sl_exits = sl_exits.vbt.signals.first(reset_by=entries, allow_gaps=True)# 2个True情况下，取得第一个True
7
ts_exits = ts_exits.vbt.signals.first(reset_by=entries, allow_gaps=True)
8
tp_exits = tp_exits.vbt.signals.first(reset_by=entries, allow_gaps=True)
9

10
print(pd.Series({
11
    'SL': sl_exits.vbt.signals.total().mean(),# 由于每个标的的每个周期，都有且只有一个True信号，所以取值为1
12
    'TS': ts_exits.vbt.signals.total().mean(),
13
    'TP': tp_exits.vbt.signals.total().mean()
14
}, name='avg_num_signals'))
15

16
SL    1.0
17
TS    1.0
18
TP    1.0
19
Name: avg_num_signals, dtype: float64

展开收起

持有到期hold_exits,随机退出rand_exits#

1
hold_exits = pd.DataFrame.vbt.signals.empty_like(sl_exits)
2
hold_exits.iloc[-1, :] = True #买入并持有到期末的退出信号
3

4
print(hold_exits.shape)
5
rand_exits = hold_exits.vbt.shuffle(seed=seed)#随机卖出的退出信号
6

7
print(rand_exits.shape)

退出信号融合到columns.multiIndex#

1
exits = pd.DataFrame.vbt.concat(
2
    sl_exits,
3
    ts_exits,
4
    tp_exits,
5
    rand_exits,
6
    hold_exits,
7
    keys=pd.Index(exit_types, name='exit_type') #exit_types = ['SL', 'TS', 'TP', 'Random', 'Holding']
8
)
9

10
print(exits.shape)
11
(180, 60000)
12

13
print(exits.columns)
14
MultiIndex([(     'SL', 0.01,  0, '510050.XSHG'),
15
            (     'SL', 0.01,  0, '510300.XSHG'),
16
            (     'SL', 0.01,  0, '159901.XSHE'),
17
            (     'SL', 0.01,  1, '510050.XSHG'),
18
            (     'SL', 0.01,  1, '510300.XSHG'),
19
            (     'SL', 0.01,  1, '159901.XSHE'),
20
            (     'SL', 0.01,  2, '510050.XSHG'),
21
            (     'SL', 0.01,  2, '510300.XSHG'),
22
            (     'SL', 0.01,  2, '159901.XSHE'),
23
            (     'SL', 0.01,  3, '510050.XSHG'),
24
            ...
25
            ('Holding',  1.0, 36, '159901.XSHE'),
26
            ('Holding',  1.0, 37, '510050.XSHG'),
27
            ('Holding',  1.0, 37, '510300.XSHG'),
28
            ('Holding',  1.0, 37, '159901.XSHE'),
29
            ('Holding',  1.0, 38, '510050.XSHG'),
30
            ('Holding',  1.0, 38, '510300.XSHG'),
31
            ('Holding',  1.0, 38, '159901.XSHE'),
32
            ('Holding',  1.0, 39, '510050.XSHG'),
33
            ('Holding',  1.0, 39, '510300.XSHG'),
34
            ('Holding',  1.0, 39, '159901.XSHE')],
35
           names=['exit_type', 'stop_value', 'split_idx', 'symbol'], length=60000)
36

37
#可见vbt.concat实际效果是增加multiindex的维度，将各维度融合到一起
38
#新增了一个列的mulitindex，列明exit_type，取值
39
#sl_exits=》exit_types[0]='SL',
40
#ts_exits=》exit_types[1]='TS',
41
#tp_exits=》exit_types[2]='TP',

展开收起

各退出方式,退出价对应持仓周期#

1
avg_distance = entries.vbt.signals.between_ranges(other=exits)\
2
    .duration.mean()\ #买入信号(为true)和卖出信号(为true)的距离的平均
3
    .groupby(['exit_type', 'stop_value'])\ #根据退出类型和止损(退出)价格聚类
4
    .mean()\ #聚类后平均
5
    .unstack(level='exit_type')
6

7
print(avg_distance.mean())
8
exit_type
9
Holding    179.000000
10
Random      88.964167
11
SL         164.050500
12
TP         158.039583
13
TS         155.407917
14
dtype: float64

关于between_ranges，参考：https://vectorbt.dev/api/signals/accessors/#vectorbt.signals.accessors.SignalsAccessor.between_ranges
对于单列比对

del01

对于2列比对

del01

可视化

1
avg_distance[exit_types].vbt.plot(
2
    xaxis_title='Stop value',
3
    yaxis_title='Avg distance to entry'
4
).show_svg()

可见随机类型的平均持仓周期约为100，符合理论，随着Stop value的增大，持仓周期增大，意味着价格条件越苛刻，满足条件的标的越少，符合直观理解。

del01

各退出类型对应的收益率#

1
# del pf
2

3
from tqdm.auto import tqdm
4
import gc
5

6
total_returns = []
7

8
for i in tqdm(range(len(exit_types))):
9
    chunk_mask = exits.columns.get_level_values('exit_type') == exit_types[i]
10
    chunk_exits = exits.loc[:, chunk_mask]
11
    chunk_pf = vbt.Portfolio.from_signals(ohlcv['Close'], entries, chunk_exits)
12
    total_returns.append(chunk_pf.total_return())
13

14
    del chunk_pf
15
    gc.collect()
16

17
total_return = pd.concat(total_returns)
18
total_return
19

20
exit_type  stop_value  split_idx  symbol
21
SL         0.01        0          510050.XSHG   -0.048341
22
                                  510300.XSHG   -0.030499
23
                                  159901.XSHE   -0.050584
24
                       1          510050.XSHG   -0.028360
25
                                  510300.XSHG   -0.035368
26
                                                   ...
27
Holding    1.00        38         510300.XSHG    0.387240
28
                                  159901.XSHE    0.475174
29
                       39         510050.XSHG    0.348895
30
                                  510300.XSHG    0.409675
31
                                  159901.XSHE    0.532666
32
Name: total_return, Length: 60000, dtype: float64
33

34
print(total_return.shape)
35
(60000,)

展开收起

绘制特定类型的收益率分布

1
total_return_by_type = total_return.unstack(level='exit_type')[exit_types]

del01

1
print(total_return_by_type['Holding'].describe(percentiles=[]))
2

3
count    12000.000000
4
mean         0.105666
5
std          0.189775
6
min         -0.331357
7
50%          0.120410
8
max          0.532666
9
Name: Holding, dtype: float64
10

11

12
total_return_by_type['SL'].vbt.histplot(
13
    xaxis_title='Total return',
14
    xaxis_tickformat='%',
15
    yaxis_title='Count',
16
    trace_kwargs=dict(marker_color=vbt.settings['plotting']['color_schema']['purple'])
17
).show_svg()

展开收起

del01

由于这个数据是stopvalue止损价从0.01->0.99的总体统计，感觉说明不了什么。

各退出方式收益率分位图#

1
print(pd.DataFrame({
2
    'Mean': total_return_by_type.mean(),
3
    'Median': total_return_by_type.median(),
4
    'Std': total_return_by_type.std(),
5
}))
6
            Mean    Median       Std
7
exit_type
8
SL         0.093459  0.103322  0.189059
9
TS         0.085152  0.094196  0.184434
10
TP         0.091800  0.104270  0.177477
11
Random     0.031920  0.013198  0.142426
12
Holding    0.105666  0.120410  0.189775
13

14
total_return_by_type.vbt.boxplot(
15
    yaxis_title='Total return',
16
    yaxis_tickformat='%'
17
).show_svg()

展开收起

del01

各退出方式胜率#

1
print((total_return_by_type > 0).mean().rename('win_rate'))
2
exit_type
3
SL         0.673667
4
TS         0.656500
5
TP         0.740917
6
Random     0.548500
7
Holding    0.733333
8
Name: win_rate, dtype: float64

不同止损方式在不同止损价位上的预期收益(期望收益)#

1
init_cash = vbt.settings.portfolio['init_cash']
2

3
def get_expectancy(total_return_by_type, level_name):
4
    grouped = total_return_by_type.groupby(level_name, axis=0)
5
    win_rate = grouped.apply(lambda x: (x > 0).mean())
6
    avg_win = grouped.apply(lambda x: init_cash * x[x > 0].mean()).fillna(0)
7
    avg_loss = grouped.apply(lambda x: init_cash * x[x < 0].mean()).fillna(0)
8
    return win_rate * avg_win - (1 - win_rate) * np.abs(avg_loss)
9

10
expectancy_by_stop = get_expectancy(total_return_by_type, 'stop_value')
11

12
print(expectancy_by_stop.mean())
13
exit_type
14
SL          9.345944
15
TS          8.515217
16
TP          9.180045
17
Random      3.128960
18
Holding    10.566559
19
dtype: float64
20

21
expectancy_by_stop.vbt.plot(
22
    xaxis_title='Stop value',
23
    yaxis_title='Expectancy'
24
).show_svg()

展开收起

这张图没太理解，从代码中的公式上看
图中y轴：胜率*平均收益-亏损概率*平均亏损 = 期望收益
但是随着stopvalue的上涨，期望收益不断靠近达到10？这一点不是很理解

del01

看不懂todo#

后面一部分看不懂了，暂时跳过吧，把图示截图出来

1
return_values = np.sort(total_return_by_type['Holding'].values)
2
idxs = np.ceil(np.linspace(0, len(return_values) - 1, 21)).astype(int)
3
bins = return_values[idxs][:-1]
4

5
def bin_return(total_return_by_type):
6
    classes = pd.cut(total_return_by_type['Holding'], bins=bins, right=True)
7
    new_level = pd.Index(np.array(classes.apply(lambda x: x.right)), name='bin_right')
8
    return total_return_by_type.vbt.stack_index(new_level, axis=0)
9

10
binned_total_return_by_type = bin_return(total_return_by_type)
11

12
expectancy_by_bin = get_expectancy(binned_total_return_by_type, 'bin_right')
13

14
expectancy_by_bin.vbt.plot(
15
    trace_kwargs=dict(mode='lines'),
16
    xaxis_title='Total return of holding',
17
    xaxis_tickformat='%',
18
    yaxis_title='Expectancy'
19
).show_svg()

展开收起

del01

交互式图表

1
range_starts = pd.DatetimeIndex(list(map(lambda x: x[0], split_indexes)))
2
range_ends = pd.DatetimeIndex(list(map(lambda x: x[-1], split_indexes)))
3

4
symbol_lvl = total_return_by_type.index.get_level_values('symbol')
5
split_idx_lvl = total_return_by_type.index.get_level_values('split_idx')
6
range_start_lvl = range_starts[split_idx_lvl]
7
range_end_lvl = range_ends[split_idx_lvl]
8

9
asset_multi_select = ipywidgets.SelectMultiple(
10
    options=symbols,
11
    value=symbols,
12
    rows=len(symbols),
13
    description='Symbols'
14
)
15
dates = np.unique(yfdata.wrapper.index)
16
date_range_slider = ipywidgets.SelectionRangeSlider(
17
    options=dates,
18
    index=(0, len(dates)-1),
19
    orientation='horizontal',
20
    readout=False,
21
    continuous_update=False
22
)
23
range_start_label = ipywidgets.Label()
24
range_end_label = ipywidgets.Label()
25
metric_dropdown = ipywidgets.Dropdown(
26
    options=['Mean', 'Median', 'Win Rate', 'Expectancy'],
27
    value='Expectancy'
28
)
29
stop_scatter = vbt.plotting.Scatter(
30
    trace_names=exit_types,
31
    x_labels=stops,
32
    xaxis_title='Stop value',
33
    yaxis_title='Expectancy'
34
)
35
stop_scatter_img = ipywidgets.Image(
36
    format='png',
37
    width=stop_scatter.fig.layout.width,
38
    height=stop_scatter.fig.layout.height
39
)
40
bin_scatter = vbt.plotting.Scatter(
41
    trace_names=exit_types,
42
    x_labels=expectancy_by_bin.index,
43
    trace_kwargs=dict(mode='lines'),
44
    xaxis_title='Total return of holding',
45
    xaxis_tickformat='%',
46
    yaxis_title='Expectancy'
47
)
48
bin_scatter_img = ipywidgets.Image(
49
    format='png',
50
    width=bin_scatter.fig.layout.width,
51
    height=bin_scatter.fig.layout.height
52
)
53

54
def update_scatter(*args, **kwargs):
55
    _symbols = asset_multi_select.value
56
    _from = date_range_slider.value[0]
57
    _to = date_range_slider.value[1]
58
    _metric_name = metric_dropdown.value
59

60
    range_mask = (range_start_lvl >= _from) & (range_end_lvl <= _to)
61
    asset_mask = symbol_lvl.isin(_symbols)
62
    filtered = total_return_by_type[range_mask & asset_mask]
63

64
    filtered_binned = bin_return(filtered)
65
    if _metric_name == 'Mean':
66
        filtered_metric = filtered.groupby('stop_value').mean()
67
        filtered_bin_metric = filtered_binned.groupby('bin_right').mean()
68
    elif _metric_name == 'Median':
69
        filtered_metric = filtered.groupby('stop_value').median()
70
        filtered_bin_metric = filtered_binned.groupby('bin_right').median()
71
    elif _metric_name == 'Win Rate':
72
        filtered_metric = (filtered > 0).groupby('stop_value').mean()
73
        filtered_bin_metric = (filtered_binned > 0).groupby('bin_right').mean()
74
    elif _metric_name == 'Expectancy':
75
        filtered_metric = get_expectancy(filtered, 'stop_value')
76
        filtered_bin_metric = get_expectancy(filtered_binned, 'bin_right')
77

78
    stop_scatter.fig.update_layout(yaxis_title=_metric_name)
79
    stop_scatter.update(filtered_metric)
80
    stop_scatter_img.value = stop_scatter.fig.to_image(format="png")
81

82
    bin_scatter.fig.update_layout(yaxis_title=_metric_name)
83
    bin_scatter.update(filtered_bin_metric)
84
    bin_scatter_img.value = bin_scatter.fig.to_image(format="png")
85

86
    range_start_label.value = np.datetime_as_string(_from.to_datetime64(), unit='D')
87
    range_end_label.value = np.datetime_as_string(_to.to_datetime64(), unit='D')
88

89
asset_multi_select.observe(update_scatter, names='value')
90
date_range_slider.observe(update_scatter, names='value')
91
metric_dropdown.observe(update_scatter, names='value')
92
update_scatter()
93

94

95
dashboard = ipywidgets.VBox([
96
    asset_multi_select,
97
    ipywidgets.HBox([
98
        range_start_label,
99
        date_range_slider,
100
        range_end_label
101
    ]),
102
    metric_dropdown,
103
    stop_scatter_img,
104
    bin_scatter_img
105
])
106
dashboard

展开收起

del01

1
dashboard.close()

vectorbt学习_03BitcoinDMAC

Thu, 05 Oct 2023 00:00:00 GMT

对应https://vectorbt.dev/getting-started/resources/的第一篇文章
Performance analysis of Moving Average Crossover,比特币，双均线，参数探测和可视化
需要对python工具包，pandas的series和dataframe有大致了解，否则代码的阅读会比较吃力。

文章概述#

一共四部分
第一部分：数据查询和可视化
第二部分：Single window combination，单窗口组合
第三部分：Multiple window combinations，多参数组合测试
第四部分：Strategy comparison，策略比较

第一部分：数据查询和可视化#

主要用来验证，数据查询没问题，需要关注复权情况，避免数据没做复权处理，避免分红，配股引入的回测偏差。

1
数据查询：
2
    ohlcv_wbuf=dbtools.MySQLData.download('510050.XSHG').get() # 自带工具类查询
3

4
数据筛选和过滤
5
    # Create a copy of data without time buffer
6
    wobuf_mask = (ohlcv_wbuf.index >= start_date) & (ohlcv_wbuf.index <= end_date) # mask without buffer 计算指标时需要冗余数据
7
    ohlcv = ohlcv_wbuf.loc[wobuf_mask, :]
8

9
绘制蜡烛图：ohlcv.vbt.ohlcv.plot().show_svg()

del01

第二部分：Single window combination，单窗口组合#

观察指标的计算和信号的计算，触发等是否符合自己的设计思路，以及那些行情表现好，那些表现差，表现差的能否屏蔽或识别，过滤掉。

1
确保无任何空值：
2
    # there should be no nans after removing time buffer
3
    assert (~fast_ma.ma.isnull().any())
4

5
单次金叉：fast_ma.ma_crossed_above(slow_ma)
6

7
绘制行情，指标，交易信号图：
8
    fig = ohlcv['Open'].vbt.plot(trace_kwargs=dict(name='Price'))
9
    fig = fast_ma.ma.vbt.plot(trace_kwargs=dict(name='Fast MA'), fig=fig)
10
    fig = slow_ma.ma.vbt.plot(trace_kwargs=dict(name='Slow MA'), fig=fig)
11
    fig = dmac_entries.vbt.signals.plot_as_entry_markers(ohlcv['Open'], fig=fig)
12
    fig = dmac_exits.vbt.signals.plot_as_exit_markers(ohlcv['Open'], fig=fig)
13
    fig.show_svg()

del01

1
信号评估：dmac_entries.vbt.signals.stats(settings=dict(other=dmac_exits))
2

3
Start                       2019-06-03 00:00:00+00:00
4
End                         2020-06-01 00:00:00+00:00
5
Period                                            243 #开始-结束 交易日个数
6
Total                                               3 #交易次数（完整买卖，最后没卖出信号，自动卖出）
7
Rate [%]                                     1.234568 #todo
8
Total Overlapping                                   0 #重叠率，有重叠大概率说明买卖信号组合存在问题
9
Overlapping Rate [%]                              0.0
10
First Index                 2019-07-04 00:00:00+00:00 #推算应该是首次交易日
11
Last Index                  2020-05-26 00:00:00+00:00
12
Norm Avg Index [-1, 1]                       0.123967 #todo
13
Distance -> Other: Min                           21.0 #最小持仓区间，下图A标记距离
14
Distance -> Other: Max                          116.0 #最大持仓区间
15
Distance -> Other: Mean                          68.5 #平均持仓区间
16
Distance -> Other: Std                      67.175144
17
Total Partitions                                    3 #todo
18
Partition Rate [%]                              100.0 #todo
19
Partition Length: Min                             1.0
20
Partition Length: Max                             1.0
21
Partition Length: Mean                            1.0
22
Partition Length: Std                             0.0
23
Partition Distance: Min                          90.0 #2次买入信号最小间距，下图B标记距离
24
Partition Distance: Max                         126.0 #2次买入信号最大间距
25
Partition Distance: Mean                        108.0
26
Partition Distance: Std                     25.455844
27
dtype: object

展开收起

del01

1
买卖信号图：（上图所示）
2
    # Plot signals
3
    fig = dmac_entries.vbt.signals.plot(trace_kwargs=dict(name='Entries'))
4
    dmac_exits.vbt.signals.plot(trace_kwargs=dict(name='Exits'), fig=fig).show_svg()
5

6
交易结果分析：
7
    # Build partfolio, which internally calculates the equity curve
8

9
    # Volume is set to np.inf by default to buy/sell everything
10
    # You don't have to pass freq here because our data is already perfectly time-indexed
11
    dmac_pf = vbt.Portfolio.from_signals(ohlcv['Close'], dmac_entries, dmac_exits)
12

13
    # Print stats
14
    print(dmac_pf.stats())
15
Start                         2019-06-03 00:00:00+00:00
16
End                           2020-06-01 00:00:00+00:00
17
Period                                              243
18
Start Value                                     10000.0 #期初资金
19
End Value                                   9489.187544 #期末资金
20
Total Return [%]                              -5.108125 #总收益率
21
Benchmark Return [%]                           6.669267 #基准回报率
22
Max Gross Exposure [%]                            100.0 #最大总风险，todo
23
Total Fees Paid                              121.927248 #总费用
24
Max Drawdown [%]                              14.772497 #最大回撤
25
Max Drawdown Duration                             138.0 #回撤持续区间
26
Total Trades                                          3 #总交易
27
Total Closed Trades                                   2 #todo
28
Total Open Trades                                     1 #todo
29
Open Trade PnL                               168.683037 #todo
30
Win Rate [%]                                       50.0 #胜率
31
Best Trade [%]                                  0.77486 #0.77%收益率
32
Worst Trade [%]                               -7.528611 #-7.5%收益率
33
Avg Winning Trade [%]                           0.77486 #盈利交易平均收益
34
Avg Losing Trade [%]                          -7.528611 #亏损交易平均收益
35
Avg Winning Trade Duration                        116.0 #盈利交易持有平均周期
36
Avg Losing Trade Duration                          21.0 #亏损交易持有平均周期
37
Profit Factor                                  0.102133 #todo
38
Expectancy                                  -339.747747 #todo
39
dtype: object
40

41
交易历史明细单和可视化
42
    # Plot trades
43
    print(dmac_pf.trades.records)
44
    dmac_pf.trades.plot().show_svg()
45

46
id  col         size  entry_idx  entry_price  entry_fees  exit_idx  exit_price  exit_fees         pnl    return  direction  status  parent_id
47
0   0    0  3553.638170         22     2.807000   24.937656       138    2.842875  25.256373   77.292741  0.007749          0       1          0
48
1   1    0  3418.716194        148     2.940332   25.130406       169    2.733150  23.359660 -756.788234 -0.075286          0       1          1
49
2   2    0  3469.538407        238     2.679682   23.243153       242    2.735000   0.000000  168.683037  0.018143          0       0          2

展开收起

del01

1
多组绩效同列比对
2
    # Equity
3
    fig = dmac_pf.value().vbt.plot(trace_kwargs=dict(name='Value (DMAC)'))
4
    hold_pf.value().vbt.plot(trace_kwargs=dict(name='Value (Hold)'), fig=fig).show_svg()

del01

1
可视化动态dashboard调参:
2
    windows_slider.observe(on_value_change, names='value')
3
    on_value_change({'new': windows_slider.value})
4

5
    dashboard = widgets.VBox([
6
        widgets.HBox([widgets.Label('Fast and slow window:'), windows_slider]),
7
        dmac_img,
8
        metrics_html
9
    ])
10
    dashboard

del01

第三部分：Multiple window combinations，多参数组合测试#

对策略涉及的参数进行提取，并测试这些参数组合，获得最佳的参数组合。

1
组合测试：
2
    # Pre-calculate running windows on data with time buffer
3
    fast_ma, slow_ma = vbt.MA.run_combs(
4
        ohlcv_wbuf['Open'], np.arange(min_window, max_window+1),
5
        r=2, short_names=['fast_ma', 'slow_ma'])
6
    print(fast_ma.ma.shape)
7
    print(slow_ma.ma.shape)
8
    print(fast_ma.ma.columns)
9
    print(slow_ma.ma.columns)
10
    (978, 4851)
11
    (978, 4851)
12
    Int64Index([ 2,  2,  2,  2,  2,  2,  2,  2,  2,  2,
13
                ...
14
                96, 96, 96, 96, 97, 97, 97, 98, 98, 99], dtype='int64', name='fast_ma_window', length=4851)
15
    Int64Index([  3,   4,   5,   6,   7,   8,   9,  10,  11,  12,
16
                ...
17
                 97,  98,  99, 100,  98,  99, 100,  99, 100, 100], dtype='int64', name='slow_ma_window', length=4851)
18
    这里需要注意的是4851怎么来的？
19
    2:3->100(98)
20
    3:4->100(97)
21
    98:99->10(2)
22
    99:100->100(1)
23
    组合个数：(98+1)*98/2=4851
24
    可以发现：原始的fast_ma.ma只有一个维度，长度978的float序列，现在多出一个维度,目前的ma多出的维度
25
    fast_ma.ma.columns
26
    Int64Index([ 2,  2,  2,  2,  2,  2,  2,  2,  2,  2,
27
            ...
28
            96, 96, 96, 96, 97, 97, 97, 98, 98, 99], dtype='int64', name='fast_ma_window', length=4851)
29

30
组合测试的信号生成：
31
    表面和单指标相同
32
    dmac_entries = fast_ma.ma_crossed_above(slow_ma)
33
    print(dmac_entries.columns) # the same for dmac_exits
34
    MultiIndex([( 2,   3),
35
            ( 2,   4),
36
            ( 2,   5),
37
            ( 2,   6),
38
            ( 2,   7),
39
            ( 2,   8),
40
            ( 2,   9),
41
            ( 2,  10),
42
            ( 2,  11),
43
            ( 2,  12),
44
            ...
45
            (96,  97),
46
            (96,  98),
47
            (96,  99),
48
            (96, 100),
49
            (97,  98),
50
            (97,  99),
51
            (97, 100),
52
            (98,  99),
53
            (98, 100),
54
            (99, 100)],
55
           names=['fast_ma_window', 'slow_ma_window'], length=4851)
56
     这里需要注意的fast_ma和slow_ma的columns本都是单个int取值，crossed后自动，由于columns不同组合，自动生成multiindex了。
57
组合测试回测评估
58
    # Build portfolio
59
    dmac_pf = vbt.Portfolio.from_signals(ohlcv['Close'], dmac_entries, dmac_exits)
60
    dmac_perf = dmac_pf.deep_getattr(metric) #metric = 'total_return'
61

62
    print(dmac_perf.shape)
63
    print(dmac_perf.index)
64
    (4851,)
65
MultiIndex([( 2,   3),
66
            ( 2,   4),
67
            ( 2,   5),
68
            ( 2,   6),
69
            ( 2,   7),
70
            ( 2,   8),
71
            ( 2,   9),
72
            ( 2,  10),
73
            ( 2,  11),
74
            ( 2,  12),
75
            ...
76
            (96,  97),
77
            (96,  98),
78
            (96,  99),
79
            (96, 100),
80
            (97,  98),
81
            (97,  99),
82
            (97, 100),
83
            (98,  99),
84
            (98, 100),
85
            (99, 100)],
86
           names=['fast_ma_window', 'slow_ma_window'], length=4851)
87
      可见：dmac_perf其实完成column转index，同时猜测如果metric含有多个取值，那么dmac_perf.columns也会增加。
88

89
最佳参数组：
90
    # Calculate performance of each window combination
91
    dmac_perf = dmac_pf.deep_getattr(metric) #metric = 'total_return'
92
    dmac_perf.idxmax()
93
2维参数热力图可视化：
94
    # Convert this array into a matrix of shape (99, 99): 99 fast windows x 99 slow windows
95
    dmac_perf_matrix = dmac_perf.vbt.unstack_to_df(symmetric=True,
96
        index_levels='fast_ma_window', column_levels='slow_ma_window')
97
    dmac_perf_matrix.vbt.heatmap(
98
        xaxis_title='Slow window',
99
        yaxis_title='Fast window').show_svg()

展开收起

del01

交互式图表，以及gif动图的生成，有点复杂了，感觉用处不大，不深究

del01

第四部分：Strategy comparison，策略比较#

这一部分不是很懂干嘛用的，这个步骤的目标是什么，多个滚动时间窗口平均更能说明策略好坏？
规避起始-结束时间区间，引入的回测误差，将策略运行周期也看做策略参数，比如,fast-slow-range,5-10-40，就是5日10日的双均线策略，在40日为一个单元情况下的收益分布。
但个人感觉类似40日这样可比性不强，由于波动性随着时间大概率有变化的，所以震荡市向单边市场靠近时，必然导致统计数据不准的情况。所以我也不是非常肯定，这种测试是用来说明什么的。
简单来说，这种策略测试，有意义，但意义不大，只能笼统看做是对策略开始看时间的敏感性测试。或是策略对单笔交易鲁棒性体现指标。

1
时间区间回测：
2
    open_roll_wbuf, split_indexes = ohlcv_wbuf['Open'].vbt.range_split(
3
    range_len=(ts_window + time_buffer).days, n=ts_window_n)
4

5
    print(open_roll_wbuf.shape)
6
    print(open_roll_wbuf.columns)
7
    (465, 50)
8
    Int64Index([0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48, 49], dtype='int64', name='split_idx')
9
    比较容易理解，原始的1列数据，copy出50列，列索引从0-49。
10

11
    # This will calculate moving averages for all date ranges and window combinations
12
    fast_ma_roll, slow_ma_roll = vbt.MA.run_combs(
13
        open_roll_wbuf, np.arange(min_window, max_window+1),
14
        r=2, short_names=['fast_ma', 'slow_ma'])
15

16
    print(fast_ma_roll.ma.shape)
17
    print(fast_ma_roll.ma.columns)
18
    (465, 242550) # 4851*50=242550
19
    MultiIndex([( 2,  0),
20
                ( 2,  1),
21
                ( 2,  2),
22
                ( 2,  3),
23
                ( 2,  4),
24
                ( 2,  5),
25
                ( 2,  6),
26
                ( 2,  7),
27
                ( 2,  8),
28
                ( 2,  9),
29
                ...
30
                (99, 40),
31
                (99, 41),
32
                (99, 42),
33
                (99, 43),
34
                (99, 44),
35
                (99, 45),
36
                (99, 46),
37
                (99, 47),
38
                (99, 48),
39
                (99, 49)],
40
               names=['fast_ma_window', 'split_idx'], length=242550)
41
     从原始的常规columns数字索引，变成数字pair的二维multi索引。
42
    # Generate crossover signals
43
    dmac_entries_roll = fast_ma_roll.ma_crossed_above(slow_ma_roll)
44
    print(dmac_entries_roll.columns)
45
    MultiIndex([( 2,   3,  0),
46
            ( 2,   3,  1),
47
            ( 2,   3,  2),
48
            ( 2,   3,  3),
49
            ( 2,   3,  4),
50
            ( 2,   3,  5),
51
            ( 2,   3,  6),
52
            ( 2,   3,  7),
53
            ( 2,   3,  8),
54
            ( 2,   3,  9),
55
            ...
56
            (99, 100, 40),
57
            (99, 100, 41),
58
            (99, 100, 42),
59
            (99, 100, 43),
60
            (99, 100, 44),
61
            (99, 100, 45),
62
            (99, 100, 46),
63
            (99, 100, 47),
64
            (99, 100, 48),
65
            (99, 100, 49)],
66
           names=['fast_ma_window', 'slow_ma_window', 'split_idx'], length=242550)
67
     信号由原来的2维pair变成3维pair。
68

69
    # Calculate the performance of the DMAC Strategy applied on rolled price
70
    # We need to specify freq here since our dataframes are not more indexed by time
71
    dmac_roll_pf = vbt.Portfolio.from_signals(close_roll, dmac_entries_roll, dmac_exits_roll, freq=freq)
72

73
    dmac_roll_perf = dmac_roll_pf.deep_getattr(metric)
74

75
    print(dmac_roll_perf.shape)
76
    print(dmac_roll_perf.index)
77
    (242550,)
78
    MultiIndex([( 2,   3,  0),
79
                ( 2,   3,  1),
80
                ( 2,   3,  2),
81
                ( 2,   3,  3),
82
                ( 2,   3,  4),
83
                ( 2,   3,  5),
84
                ( 2,   3,  6),
85
                ( 2,   3,  7),
86
                ( 2,   3,  8),
87
                ( 2,   3,  9),
88
                ...
89
                (99, 100, 40),
90
                (99, 100, 41),
91
                (99, 100, 42),
92
                (99, 100, 43),
93
                (99, 100, 44),
94
                (99, 100, 45),
95
                (99, 100, 46),
96
                (99, 100, 47),
97
                (99, 100, 48),
98
                (99, 100, 49)],
99
               names=['fast_ma_window', 'slow_ma_window', 'split_idx'], length=242550)
100
数据格式转换：
101
    # Unstack this array into a cube
102
    dmac_perf_cube = dmac_roll_perf.vbt.unstack_to_array(
103
        levels=('fast_ma_window', 'slow_ma_window', 'split_idx'))
104

105
    print(dmac_perf_cube.shape)
106
    (98, 98, 50)
107
绘制fast-slow windows回测结果图
108
    # For example, get mean performance for each window combination over all date ranges
109
    heatmap_index = dmac_roll_perf.index.levels[0]
110
    heatmap_columns = dmac_roll_perf.index.levels[1]
111
    # np.nanmean取平均,所以最后是二维图而非立方体,https://www.python100.com/html/96013.html
112
    heatmap_df = pd.DataFrame(np.nanmean(dmac_perf_cube, axis=2), index=heatmap_index, columns=heatmap_columns)
113
    heatmap_df = heatmap_df.vbt.make_symmetric()
114

115
    heatmap_df.vbt.heatmap(
116
        xaxis_title='Slow window',
117
        yaxis_title='Fast window',
118
        trace_kwargs=dict(zmid=0, colorscale='RdBu')).show_svg()

展开收起

del01

查看特定fast-slow windows参数组合的收益分布

1
# Or for example, compare a pair of window combinations using a histogram
2
window_comb1 = (10, 22)
3
window_comb2 = (73, 77)
4

5
# Get index of each window in strat_cube
6
fast1_idx = np.where(heatmap_df.index == window_comb1[0])[0][0]
7
slow1_idx = np.where(heatmap_df.columns == window_comb1[1])[0][0]
8
fast2_idx = np.where(heatmap_df.index == window_comb2[0])[0][0]
9
slow2_idx = np.where(heatmap_df.columns == window_comb2[1])[0][0]
10

11
print(fast1_idx, slow1_idx, fast2_idx, slow2_idx)
12

13
dmac_comb1_perf = dmac_perf_cube[fast1_idx, slow1_idx, :]
14
dmac_comb2_perf = dmac_perf_cube[fast2_idx, slow2_idx, :]
15

16
pd.DataFrame({str(window_comb1): dmac_comb1_perf, str(window_comb2): dmac_comb2_perf}).vbt.histplot().show_svg()

展开收起

del01

由于每个参数对应50个不同的时间range，所以直方图列取值sum=50，可以近似看做特定参数组合的收益分布情况。

todo：补充，可以绘制各个参数的收益分布情况，可能更明显，选择高均值，低方差的参数组合，只是数据可能较多，100*100个组合。
可以笼统-》细化的思路处理，比如slow：1-》100，分成10个区间，1-》10，10-》20，fast也是类似的，这样可以找出平均收益最大的格子，锁定slow-fast区间，比如slow[10,20],fast:[20-30],之后再二次探测，类似迭代找局部最优解的思路。

用双均线策略和单纯的持有，以及随机买卖策略回测结果比对

1
pd.DataFrame({
2
    'Random Strategy': rand_roll_perf,
3
    'Hold Strategy': hold_roll_perf,
4
    'DMAC Strategy': dmac_roll_perf,
5
}).vbt.histplot(
6
    xaxis_title=metric,
7
    yaxis_title='Cumulative # of tests',
8
    trace_kwargs=dict(cumulative_enabled=True)).show_svg() # cumulative_enabled累加

del01

首先纵轴的250k是什么？

1
print(rand_roll_perf.shape)
2
(242550,)
3
就是之前的4851*50=242550

其次累积图，有点让人看不懂，不妨改为非累积

1
pd.DataFrame({
2
    'Random Strategy': rand_roll_perf,
3
    'Hold Strategy': hold_roll_perf,
4
    'DMAC Strategy': dmac_roll_perf,
5
}).vbt.histplot(
6
    xaxis_title=metric,
7
    yaxis_title='Cumulative # of tests',
8
    trace_kwargs=dict(cumulative_enabled=False)).show_svg()

del01

颜色上会有遮挡，hold策略收益分布较极端，dmac绿色部分，random对应绿色内部的深色部分。
这个能体现什么呢？也不是很懂，怎么评估优劣?，目前我也没看太懂。

时间维度绘制三种策略的收益变化图(平均收益)

1
pd.DataFrame({
2
    'Random strategy': rand_roll_perf.groupby('split_idx').mean(),
3
    'Hold strategy': hold_roll_perf.groupby('split_idx').mean(),
4
    'DMAC strategy': dmac_roll_perf.groupby('split_idx').mean()
5
}).vbt.plot(
6
    xaxis_title='Split index',
7
    yaxis_title='Mean %s' % metric).show_svg()

del01

能体现什么信息呢？
大致体现随着时间窗口移动，策略整体有效性（由于上面用的mean平均收益，dmac_roll_perf.groupby(‘split_idx’).mean()，所以可以认为双均线策略的综合有效性）。不过，由于不同参数的策略其实是完全不同的策略，所以感觉这组数据用来评估策略-时间关联性的说服力并不强。

下面是特定参数组合的例子。大致看出各参数组合策略收益稳定性。这个还是有一定说服力的。

del01

这个重点观察
先选定一组fast-slow windows参数
首先，思考下，本周一启动策略和下周一启动策略，那么策略执行结果相同么？肯定不同，如果本周触发交易信号，则由于交易序列不同，所以形成trads历史不同，最终收益自然也不同（策略对起始时间的敏感性，策略对单笔收益的鲁棒性，是否依靠某一笔收益取得正向结果）。由于我们不能乐观的估计，目前启动策略就一定位于高点上，所以需要采用窗口回测（windows=n）方法，得到一组收益数据。那么这组收益数据，就可以看做，是策略运行一个windows单位的最终收益分布。最优收益，最差收益，平均收益，以及收益稳定性。
所以重点关注这组fast-slow windows参数下:
01，理想的曲线时，都在0轴上方，越向上越好，均值大，波动小
02，是否稳定0轴上方，如果0附近随机波动，说明类似掷筛子，如果有正均值还行，负均值就不理想了。
03，最高，最低点距离，希望波动小，波动大了，很可能今天进去，恰好赶上最差的周期，windows天后，悲提最差收益。
04，收益权限最高点，对应windows时间区间行情长相，说明策略对这一类行情有偏好。想办法筛选出。
同理，收益最低点，对应windows时间区间行情长相，说明策略对这一类行情有排斥。想办法过滤掉。

vectorbt学习_02started

Mon, 02 Oct 2023 00:00:00 GMT

教程：https://vectorbt.dev/,started部分

Getting started#

基础demo

1
btc_price = vbt.YFData.download('BTC-USD', start=start, end=end).get('Close')
2

3
fast_ma = vbt.MA.run(btc_price, 10, short_name='fast')
4
slow_ma = vbt.MA.run(btc_price, 20, short_name='slow')
5

6
entries = fast_ma.ma_crossed_above(slow_ma)
7
exits = fast_ma.ma_crossed_below(slow_ma)
8

9
pf = vbt.Portfolio.from_signals(btc_price, entries, exits)
10
pf.total_return()

多窗口+多标的

1
eth_price = vbt.YFData.download('ETH-USD', start=start, end=end).get('Close')
2
comb_price = btc_price.vbt.concat(eth_price,
3
    keys=pd.Index(['BTC', 'ETH'], name='symbol'))
4
comb_price.vbt.drop_levels(-1, inplace=True)
5

6
fast_ma = vbt.MA.run(comb_price, [10, 20], short_name='fast')
7
slow_ma = vbt.MA.run(comb_price, [30, 30], short_name='slow')
8

9
entries = fast_ma.ma_crossed_above(slow_ma)
10
exits = fast_ma.ma_crossed_below(slow_ma)
11

12
pf = vbt.Portfolio.from_signals(comb_price, entries, exits)
13
pf.total_return()

del01

回测区间切分

1
mult_comb_price, _ = comb_price.vbt.range_split(n=2)
2
mult_comb_price
3
fast_ma = vbt.MA.run(mult_comb_price, [10, 20], short_name='fast')
4
slow_ma = vbt.MA.run(mult_comb_price, [30, 30], short_name='slow')
5

6
entries = fast_ma.ma_crossed_above(slow_ma)
7
exits = fast_ma.ma_crossed_below(slow_ma)
8

9
pf = vbt.Portfolio.from_signals(mult_comb_price, entries, exits, freq='1D')
10
pf.total_return()

del01

Features#

Pandas:对pandas做了改写和加速

1
Pandas acceleration: Compiled versions of most popular pandas functions, such as mapping, reducing, rolling, grouping, and resamping. For best performance, most operations are done strictly using NumPy and Numba. Attaches a custom accessor on top of pandas to easily switch between pandas and vectorbt functionality.
2
Flexible broadcasting: Mechanism for broadcasting array-like objects of arbitrary shapes, including pandas objects with MultiIndex.
3
Pandas utilities: Grouping columns, wrapping NumPy arrays, transforming pandas objects and their indexes, and more.

Data

1
Data acquisition: Supports various data providers, such as Yahoo Finance, Binance, CCXT and Alpaca. Can merge multiple symbols with different index, as well as update them.
2
Data generation: Supports various (random) data generators, such as GBM.
3
Scheduled data updates: Can periodically update any previously downloaded data.
4
Data preparation: Transformation, rescaling, and normalization of data. Custom splitters for cross-validation. Supports Scikit-Learn splitters, such as for K-Folds cross-validation.
5
Labeling for ML: Discrete and continuous label generation for effective training of ML models.

Indicators

1
Technical indicators: Most popular technical indicators with full Numba support, including Moving Average, Bollinger Bands, RSI, Stochastic, MACD, and more. Out-of-the-box support for 99% indicators in Technical Analysis Library, Pandas TA, and TA-Lib thanks to built-in parsers. Each indicator is wrapped with the vectorbt's indicator engine and thus accepts arbitrary hyperparameter combinations - from arrays to Cartesian products.
2
Indicator factory: Sophisticated factory for building custom technical indicators of any complexity. Takes a function and does all the magic for you: generates an indicator skeleton that takes inputs and parameters of any shape and type, and runs the vectorbt's indicator engine. The easiest and most flexible way to create indicators you will find in open source.

Signals

1
Signal analysis: Generation, mapping and reducing, ranking, and distribution analysis of entry and exit signals.
2
Signal generators: Random and stop loss (SL, TSL, TP, etc.) signal generators with full Numba support.
3
Signal factory: Signal factory based on indicator factory specialized for iterative signal generation.

Modeling

1
Portfolio modeling: The fastest backtesting engine in open source: fills 1,000,000 orders in 70-100ms on Apple M1. Flexible and powerful simulation functions for portfolio modeling, highly optimized for highest performance and lowest memory footprint. Supports two major simulation modes: 1) vectorized backtesting using user-provided arrays, such as orders, signals, and records, and 2) event-driven backtesting using user-defined callbacks. Supports shorting and individual as well as multi-asset mixed portfolios. Combines many features across vectorbt into a single behemoth class.

Analysis

1
Performance metrics: Numba-compiled versions of metrics from empyrical and their rolling versions. Adapter for QuantStats.
2
Stats builder: Class for building statistics out of custom metrics. Implements a preset of tailored statistics for many backtesting components, such as signals, returns, and portfolio.
3
Records and mapped arrays: In-house data structures for analyzing complex data, such as simulation logs. Fully compiled with Numba.
4
Trade analysis: Retrospective analysis of trades from various view points. Supports entry trades, exit trades, and positions.
5
Drawdown analysis: Drawdown statistics of any numeric time series.

Plotting

1
Data visualization: Numerous flexible data plotting functions distributed across vectorbt.
2
Figures and widgets: Custom interactive figures and widgets using Plotly, such as Heatmap and Volume. All custom widgets have dedicated methods for efficiently updating their state.
3
Plots builder: Class for building plots out of custom subplots. Implements a preset of tailored subplots for many backtesting components, such as signals, returns, and portfolio.

Extra

1
Notifications: Telegram bot based on Python Telegram Bot.
2
General utilities: Scheduling using schedule, templates, decorators, configs, and more.
3
Caching: Property and method decorators for caching most frequently used objects.
4
Persistance: Most Python objects including data and portfolio can be saved to a file and retrieved back using Dill.

Installation(略,已有)#

代码和数据结构分析#

1
import numpy as np
2
import pandas as pd
3
from datetime import datetime
4

5
import vectorbt as vbt
6

7
# Prepare data
8
gbm_data = vbt.GBMData.download(
9
    list(range(5)),
10
    start='2023-01-01',
11
    end='2023-06-01'
12
)
13
price=gbm_data.get()[0]
14
fast_ma = vbt.MA.run(price, 5)
15
slow_ma = vbt.MA.run(price, 10)
16
entries = fast_ma.ma_crossed_above(slow_ma)
17
exits = fast_ma.ma_crossed_below(slow_ma)
18

19
print(fast_ma.ma.head(40)[20:])
20
print(slow_ma.ma.head(40)[20:])
21
print(entries.head(40)[20:])
22
print(exits.head(40)[20:])
23

24
pf = vbt.Portfolio.from_signals(price, entries, exits, init_cash=100)
25
pf.total_profit()
26

27

28
                              fase_ma          slow_ma      entries   exits
29
2023-01-20 16:00:00+00:00     84.647574        84.049794     True     False
30
2023-01-21 16:00:00+00:00     83.575365        82.846123    False     False
31
2023-01-22 16:00:00+00:00     82.321140        81.643256    False     False
32
2023-01-23 16:00:00+00:00     82.111900        82.375203    False      True
33
2023-01-24 16:00:00+00:00     83.728940        83.546189     True     False
34
2023-01-25 16:00:00+00:00     86.367612        85.507593    False     False
35
2023-01-26 16:00:00+00:00     89.732193        86.653779    False     False
36
2023-01-27 16:00:00+00:00     92.474193        87.397667    False     False
37
2023-01-28 16:00:00+00:00     93.575949        87.843924    False     False
38
2023-01-29 16:00:00+00:00     93.334410        88.531675    False     False
39
2023-01-30 16:00:00+00:00     92.383425        89.375519    False     False
40
2023-01-31 16:00:00+00:00     93.128770        91.430482    False     False
41
2023-02-01 16:00:00+00:00     95.725233        94.099713    False     False
42
2023-02-02 16:00:00+00:00     99.180058        96.378003    False     False
43
2023-02-03 16:00:00+00:00    103.323654        98.329032    False     False
44
2023-02-04 16:00:00+00:00    106.262713        99.323069    False     False
45
2023-02-05 16:00:00+00:00    108.586491       100.857631    False     False
46
2023-02-06 16:00:00+00:00    111.566106       103.645670    False     False
47
2023-02-07 16:00:00+00:00    114.347398       106.763728    False     False
48
2023-02-08 16:00:00+00:00    114.953030       109.138342    False     False

展开收起

可见：
ma_crossed_above：金叉的第一个bar信号true，后续false
ma_crossed_below：死叉的第一个bar信号true，后续false

Usage(强悍的实例片段,略)#

vectorbt学习_01安装

Sat, 30 Sep 2023 00:00:00 GMT

参考教程：
官方文档：https://vectorbt.dev/
vector-bt 例程介绍:https://www.jianshu.com/p/4fc4ce04b925

vectorbt中文资料有限，阅读官方英文材料效率较低，将学习过程梳理为笔记，方便大家学习。
由于水平所限，如有错误，欢迎指正。

docker失败#

docker具体构建步骤参考

1
/home/john/docker/vectorbt/readme.txt

原始安装docker时这里会卡顿

1
Collecting plotly>=4.12.0
2
。。。
3

4
Collecting ccxt>=4.0.14
5
  Downloading ccxt-4.1.2-py2.py3-none-any.whl (3.9 MB)
6

7
Collecting TA-Lib
8
  Downloading TA-Lib-0.4.28.tar.gz (357 kB)

需要修改

1
(base) john@john-HLYL-WXX9:~/docker/vectorbt/vectorbt$ git diff Dockerfile
2
diff --git a/Dockerfile b/Dockerfile
3
index 0200fa1..a9da8aa 100644
4
--- a/Dockerfile
5
+++ b/Dockerfile
6
@@ -14,6 +14,8 @@ RUN chmod -R +x scripts
7

8
 ARG FULL="yes"
9

10
+RUN pip install plotly>=4.12.0 -i https://pypi.doubanio.com/simple ## 新增的行
11
+
12
 RUN if [[ -n "${FULL}" ]] ; then \
13
     scripts/install-talib.sh && pip install --no-cache-dir .[full] ; else \
14
     pip install --no-cache-dir . ; fi
15
@@ -36,4 +38,4 @@ RUN if [[ -n "${TEST}" ]] ; then \

展开收起

不可行，docker里安装talib失败。

conda+jupyter支持(依赖源码,成功)#

1
conda create -n vectorbt_env python=3.8
2
conda activate vectorbt_env
3

4
git clone git@github.com:polakowo/vectorbt.git vectorbt
5
pip install -e vectorbt
6

7
conda install pyyaml
8
pip install yfinance
9
pip install PyPortfolioOpt
10

11
pip install backtrader
12
pip install flask-SQLAlchemy
13
pip install pymysql
14
pip install -U kaleido
15

16
源码安装talib后pip安装(直接pip安装提示找不到头文件)
17
源码下载：https://ta-lib.org/install/
18
源码安装步骤：
19
$ untar and cd
20
$ ./configure --prefix=/usr
21
$ make
22
$ sudo make install
23

24
pip安装：pip install TA-Lib
25

26
pip install matplotlib==3.2.0 #cannot import name 'warnings' from 'matplotlib.dates'

展开收起

增加jupyter支持、

另外根据文档https://algotrading101.com/learn/vectorbt-guide/，可通过

1
pip install -U "vectorbt[full]"

安装完整版vectorbt（包含相关依赖项）

包升级#

新增指标修改vectorbt源码和包升级

1
cd /home/john/git/repo_quant
2
conda activate vectorbt_env
3
pip install -e vectorbt

光速不变理论01引子

Sun, 02 Jul 2023 00:00:00 GMT

偶然刷到b站视频：【灵魂拷问篇-02问】时间到底存不存在？从狭义相对论到圈量子引力，一个视频，为你重塑现代科学时空观：https://www.bilibili.com/video/BV1vm4y1e7Gv

里面对光速不变性的解释
突然想到这么个东西，弹簧圈：https://haokan.baidu.com/v?pd=wisenatural&vid=7959112340369363701
感觉光可能这个有点类似，是个弹性体，而非刚体，这样的话，即使绝对参考系里，也能推出光速不变性

一：基础假设:撒出去的光子,泼出去的水#

刚体速度：对于刚体模型，一端发力会完整传导到另一端，所以刚体2端速度完全相同
光速(弹性体)问题：光本身电磁波，通过场感应产生的，所以光源移动会立马传导到几分钟前发出的光子上？当然不是。光子一旦发出，就速度恒定跑出去了。简单类比：破出去的水，不可能受到盆的影响吧？（盆子向后移动，然后泼出去的水也跟着向后跑？想想还怪吓人的）
当然这个纯属个人假设，没有理论基础，万一光子离开光源后，还实时受到光源影响呢？

二：绝对的上帝视角#

引入绝对视角：上帝，他手中有个绝对原点和绝对尺子（就是绝对坐标系）
由于他是上帝么？他可以看到3重平行宇宙

其中
张三和李四，位于运动的板车上（就是运动着的坐标系，比如地球就是板车）
宇宙1：板车绝对静止，光1秒跑了c，板车长度也是c
宇宙2：板车朝着右侧运动速度0.5c
宇宙3：板车朝着右侧运动速度1c

此时巧了，各个宇宙的科学家张三，都开始计算光速了，开手电
那么就会发现这个现象，

宇宙3：1s后，第一缕手电光到达了哪里？显然是A线，基于假设：光子非刚体，一旦离开光源，不会受光源移动影响
首先，宇宙3中的光整体运行距离，当然是2c，但这个第一缕光达成的么？显然不是，第一缕光，在3个宇宙中都是同时到达A的。
宇宙3多出来的距离，纯属光源移动，导致的光柱的拉伸效果达到的。
那么宇宙3研究员计算的光速多少呢？
从李四视角：他看到第一束光到达视网膜时间，以及最后一束光到达视网膜时间差多少？
第一束光会在B线处看到：时间0.5s
最后一束光等到李四移动到C线处：时间1.5s
得到光速：c/1s=c（为何这么算？计算光速的齿轮遮光法就是基于同样原理）
可见即使对于运动的宇宙3，其中研究员依然会计算出正确的光速c（也就是和静止宇宙1完全相同的速度）
对于宇宙2，我们也可以得到一样结论。
也就是说即使存在绝对坐标系，也能解释光速不变性，光在任何运动参考系中，测试的速度都是c（运动的参考系，不会影响真理的结论）

三：知乎更通俗的解释#

这一种理解，知乎上还真有类似解释：而且解释的更通俗易懂
民科心中的物理（虽然这个名字看起来很不靠谱）：https://www.zhihu.com/question/298096903/answer/2257455377
简单来说，对于3个宇宙，同样时间内发出光波个数核定的，假如为10hz，单个光波长度x=c/10，但是由于宇宙3速度快，所以光线扫过路程更长，光波长就是2c/10=2x。（简单来说，由于光源朝着远处运动，导致光波被拉长了。红移，就这么来的）。但是由于宇宙3的李四，也在朝着光波，以速度c运动，就会导致他眼中光波又被压缩了。刚才被拉长了1倍的，现在又原样压缩回去了。所以李四眼中光波长还是x，波长不变，个数不变，所以总距离也不变。

那么进一步扩展
对于向左运动的光源，上帝视角看：光线扫过面积如下图的第一个图：
但是里面科研人员测试的各个角度光速都是一样的（也就是不论整个参考系怎么运动，光速在各个方向上都是均匀的）
其根本原因就是：光源运动后，导致的光波被压缩或者拉伸效应，由于另一个统计人员也在同步运动，会把压缩的光波再拉伸回来。导致此人看到的光波长和完全静止的参考系真实波长完全相同。所以光速也完全相同。

四：速度和速度不同#

光的速度和常规理解的速度不同，常规意义上速度，由于物体刚体，所以计算一端移动速度就可以看做整体速度。而光可以看做弹性非常好的绳，一端拉动后，已经脱手后的另一端可以不受影响沿着之前速度跑，所以2端速度可以是不同的，而速度差，是由自身的拉长（或者缩短）弥补的。这里虽然只有一个东西（光柱），但2头速度是不同的，这里的速度和我们直观理解速度，显然已经不大一样了。

五：另一个问题:静止的人看运动的光源，光速依然c(不会更快)#

张三在地下，朝着右侧发出一束光，李四在天上高速朝右飞，手里手电朝右侧发射一束光，张三看李四手电筒光和李四看张三手电筒光速度多少？
根据：发出去的光子泼出去的水（不受光源影响），此时张三李四的光，运动状态应该完全一样，这两束光二者步调一致向前推进！

运动的李四看自己手电：根据之前结论，同一个参考系中看自己光源速度是c，不会受到参考系自身运动影响
再根据：自己手电光和静止的张三手电光由完全步调一致，所有：运动的李四看静止的张三的手电光速度当然也是c。
同理：静止的张三看飞行李四的光依然是速度c。这种模型下，不能把张三和李四手里的光柱看做刚体模型（刚体下，一个端点运动会立刻传递给另一个端点），把光看做弹簧圈更合适！！

这里重点是“看”：这个看和常规意义“看“不同。比如：我们速度3km/h,一个小车速度5km/h，那么我们看小车速度：5km-3km=2km，那么我们和小车每小时距离变化为2km
光速的“看”不同，虽然李四看到的自己手电光速是c，但实际每秒钟，自己和第一缕光的距离增大c-v（v是自己移动速度），由于自己手电和自己运动方向一致，所以减法。如果v=0.5c，那么每秒二者距离增大0.5个c单位。
这个不对呀，不是说李四看自己手电光速是c么？这样c*1s=c对不上呀。
参考章节：三：知乎更通俗的解释，这里的“看”问题在于，这里”看”意思是”测量”,“测量”特指：齿轮遮光法测量(计算光速的方法)，齿轮遮光法对光速的计算其实是存在bug的。

其实还有另一种更容易理解方式：
如果这里的“看”，和我们常规理解“看”一个意思：
那么：张三距离第一缕速度c，李四距离第一缕速度c，所以张三和第一缕光的距离=李四和第一缕光的距离，而两人同时开手电时，第一缕光同时出现，反推出张三和李四位于同一位置，但显然不可能啊，同一个参考系，一个静止，一个固定方向运动，不可能处于同一位置。
B站上很多对光速的理解，也是真么理解，但这肯定不对的。

类比假设：重物比轻物的更快落地的是对的
那么构造场景：10kg大球绑1kg小球，
得出结论：
角度01结论：整体是11kg的东西，下落速度大于10kg，
角度02结论：1kg东西拖慢了10kg速度，所以下落速度小于10kg，故假设必然不成立。

避免物理实验，通过理论上的自我矛盾，直达真理，是不是很优雅！！

六：迈克尔逊-莫雷实验#

简单来说，可以证明：以太不存在（更严格来说，和地球有相对运动的以太不存在），由于地球在宇宙中有运动，自转也算。所以地球上，光顺着以太和逆着以太时，速度应该不同。本身没问题，也很严谨，证明了以太不存在。但是如果以太存在，但是受到地球引力束缚，和地球一起运动，那么这个实验就啥也说明不了，最简单的，拿声波水波，复现这个实验，都可以得到声波水波不依赖某种介质传播的结论，显然，这俩肯定是依赖介质的。
实验本身并没问题，目前也没证据显示以太有存在了，真空也能传递光线，可以认为电磁波可以不依赖目前已知东西传播。
关于这一点，b站这里有解释
相对论4︱迈克尔逊-莫雷实验为什么证明不了光速恒定？:https://www.bilibili.com/video/BV1eo4y1Q7oi

七：齿轮遮挡法的bug#

先说理想的光速测量：速度测量距离/时间，如果是光速，那么理想测试方法就是
2个点：点A，点B
二者距离：x米
A点开灯，同时B点开始计时，A点第一缕光线到达B点，此时距离/时间差就是光速。
这种方法绝对精准，这应该没啥疑问吧。
问题：同时，现在是做不到的，因为光已经是现实中已知的信息传播的最快途径了，假设有了什么量子纠缠技术。真正达到同时，那么就没问题。

再说现实中光速测量，关于齿轮遮挡法，可以参考科普教程
光速是如何被测量出来的？巧妙的“齿轮遮挡法”：https://www.bilibili.com/video/BV1rg4y157Fi
但是，齿轮遮光发测出的光速，由于2面反射镜都是和光源位于同一个参考系且相对静止状态，所以根据前文解释（三：知乎更通俗的解释），光源相对绝对时空运动导致的光波“拉长”，“压缩”，由于观察者(这里就是镜子，接受光子的人）的同步运动，把“拉长”or“压缩”的光波再次“压缩”or”拉长”回来,导致测量的速度等于光线本身速度，也即是c。

如果采用齿轮遮光法测量水波，声波，也会得到同样结论：首先会精准的得到二者速度数据，同时也会得到结论，不论波源如何移动，测量的波速都是相同的。但是实际，如果波源朝某一个方向运动，那么它靠近这个方向的波边缘更近。所以这个放在光波边缘一样合理。

简单来说，按照绝对参考系对光速的理解方式，目前已知的实验其实都是正常成立。光波的特性类比到水波和声波一样成立，目前的是实验，不论是迈克尔逊-莫雷实验，还是齿轮遮挡法测光速，类比水波声波也一样成立。唯一需要注意的是，B站大量的错误解读，导致的误解，比如：张三以0.5c的速度，朝着光线运动，那么他眼中光速是多少，c没错，但是，他距离光线边缘的距离变化呢？0.5c，而非c。本质就是因为这里的“看”，和我们直观理解的“看”，并非同一个意思。

八：总结#

简单来说，电磁场无法传导力，所以不论光源怎么移动，光子只会以一个速度MOVE，光源左右移动，只会导致发出的光波长拉伸or压缩。无法传导到已经发送出去的光子上。
另一种理解就是把电磁波发生器看做打印机，打印机左右移动，会导致新打印出的字体被拉伸或者压缩，但不会对已经打印出的字带来任何影响（也无法对字体施加速度）。当然，和电磁波相比，打印出的字无法自动扩散传播的。那就类比成在水面上打字吧，打印机自个移动不会加速水波的传递速度的。
这一点声波也是一样的，相同状态的空气介质，声波不会因为声源移动而获得加速。

bt_06信号模式之RSI

Fri, 23 Jun 2023 00:00:00 GMT

参考文章：常用技术指标之一文读懂RSI指标：https://blog.csdn.net/richardzhutalk/article/details/125348446

公式代码(略)#

信号策略研发#

趋势(区间突破)#

实例#

交易思路：
RSI指标大于70,认为牛市信号，买入
RSI指标小于60，认为牛市结束，平多
RSI指标小于30，认为熊市，做空
RSI指标大于40，认为熊市结束，平空

抽象化和信号表达式#

信号表达式：

1
open_signal= if(rsi> 70,1,if(ris<30,-1,0))
2
exit_signal_long=rsi-60
3
exit_signal_short=rsi-40

bt代码#

1
class RSI_101(bt.Indicator):
2
    lines = ('signal',)#k-d
3
    params = dict(period=10)
4
    plotinfo = dict(subplot=True)
5

6
    def __init__(self):
7
        rsi = bt.talib.RSI(self.datas[0].close, timeperiod=self.p.period)
8
        self.lines.signal = bt.If(rsi>70,1,bt.If(rsi<30,-1,0))
9

10
class RSI_60(bt.Indicator):
11
    lines = ('signal',)
12
    params = dict(period=10)
13
    # plotinfo = dict(subplot=False)
14

15
    def __init__(self):
16
        rsi = bt.talib.RSI(self.datas[0].close, timeperiod=self.p.period)
17
        self.lines.signal = rsi-60
18
class RSI_40(bt.Indicator):
19
    lines = ('signal',)
20
    params = dict(period=10)
21
    # plotinfo = dict(subplot=False)
22

23
    def __init__(self):
24
        rsi = bt.talib.RSI(self.datas[0].close, timeperiod=self.p.period)
25
        self.lines.signal = rsi - 40

展开收起

可视化和正确性验证#

1
python ./signal_template.py --plot --market_type longshort --open_signal RSI_101 --exit_signal_long RSI_60 --exit_signal_short RSI_40 --fromdate 2022-01-10 --todate 2023-01-01

del02

验证：开仓点：开多时rsi>70,开空时rsi<30
平多：rsi死叉60
平空：rsi金叉40
成立，可见思路无问题

波动(区间震荡)#

实例#

交易思路：
RSI指标小于70（死叉70水平线）,认为即将回调，开空
RSI指标小于60，认为回调结束，平空
RSI指标大于30（金叉30水平线），认为即将反转上涨，做多
RSI指标大于40，认为反转结束，平多

抽象化和信号表达式#

信号表达式：

1
open_signal_tmp01= bt.min(crossover(rsi,70),0)# 将-1,0,1转为-1,0.也就是只保留死叉那部分信号(丢弃金叉信号)
2
open_signal_tmp02= bt.max(crossover(rsi,30),0)# 将-1,0,1转为1,0.也就是只保留金叉那部分信号(丢弃死叉信号)
3
open_signal=open_signal_tmp01+open_signal_tmp02
4
exit_signal_long=rsi-60
5
exit_signal_short=rsi-40

bt代码#

1
class RSI_inner101(bt.Indicator):
2
    lines = ('signal',)
3
    params = dict(period=10)
4
    plotinfo = dict(subplot=True)
5

6
    def __init__(self):
7
        rsi = bt.talib.RSI(self.datas[0].close, timeperiod=self.p.period)
8
        open_signal_tmp01 = bt.Min(bt.ind.CrossOver(rsi, 70), 0)  # 将-1,0,1转为-1,0.也就是只保留死叉那部分信号(丢弃金叉信号)
9
        open_signal_tmp02 = bt.Max(bt.ind.CrossOver(rsi, 30), 0)  # 将-1,0,1转为1,0.也就是只保留金叉那部分信号(丢弃死叉信号)
10
        open_signal = open_signal_tmp01 + open_signal_tmp02
11
        self.lines.signal = open_signal

可视化和正确性验证#

1
python ./signal_template.py --plot --market_type longshort --open_signal RSI_inner101 --exit_signal_long RSI_60 --exit_signal_short RSI_40 --fromdate 2022-01-10 --todate 2023-01-01  --stock_id 300760.XSHE

del02

略

回测#

趋势(区间突破)#

多头模式#

多空模式#

波动(区间震荡)#

多头模式#

多空模式#

总结#

整体效果并不好，主要是rsi指标变化较快，容易急速突破导致假信号。

bt_04信号模式之BOLL带

Thu, 08 Jun 2023 00:00:00 GMT

公式代码#

1
BOLL:MA(CLOSE,N);
2
UB:BOLL+2*STD(CLOSE,N);
3
LB:BOLL-2*STD(CLOSE,N);

BOLL线：短线上下布林中，开口突破就大变
经过长时间的总结发现，布林线中长期看来是一种优秀的趋势指标，当布林线由收口转至开口时，表示股价结束盘整，即将产生剧烈波动，而股价的突破方向，标志着未来趋势的运动方向。也即，股价向上突破阻力线，则是一轮上升趋势，反之，将是下跌趋势。同时。平均线与阻力线(或支撑线)构成的上行(楚游)通道对于把握股价的中长期走势有着强烈的指示作用。

信号策略研发#

趋势(区间突破)#

实例#

del02

交易思路：
点1：突破下轨，表示行情走差，做空。点2：向上突破中轨，说明走差行情结束，平空。
点3：向上突破上轨，说明行情走强，做多。
点4：向下突破中轨，说明行情走弱，平多。

抽象化和信号表达式#

del01

上图中，中线是mid中间线，曲线是close收盘价。
图中红色为多(1),蓝色为空(-1)，采用蓝色代替绿色，考虑到部分人红绿色盲。

信号表达式：

1
open_signal= if(close> top,1,if(close<bot,-1,0))
2
exit_signal_long=close>mid
3
exit_signal_short=close>mid

这个案例中为何是亏损的：高买低卖，因为这个case图示是震荡市。

bt代码#

1
# boll带，突破boll上界1，突破下界-1，否则0
2
class BollBands_broketopbot101(bt.Indicator):
3
    lines = ('signal','top','bot','show')  # 声明 signal 线，交易信号放在 signal line 上
4
    params = dict(period=20)
5
    plotinfo = dict(subplot=False)
6

7
    def __init__(self):
8
        self.lines.top = bt.indicators.BollingerBands(self.datas[0], period=self.p.period).top
9
        self.lines.bot = bt.indicators.BollingerBands(self.datas[0], period=self.p.period).bot
10
        self.lines.signal=bt.If(self.datas[0].close>self.lines.top,1,bt.If(self.datas[0].close<self.lines.bot,-1,0))
11
        self.lines.show = self.l.signal*0.1*self.datas[0].close[0]+self.datas[0].close[0]
12

13
# boll带，中线上部：>0,中线下部：<0
14
class BollBands_mid11(bt.Indicator):
15
    lines = ('signal','mid','show')  # 声明 signal 线，交易信号放在 signal line 上
16
    params = dict(period=20)
17
    plotinfo = dict(subplot=False)
18

19
    def __init__(self):
20
        self.lines.mid = bt.indicators.BollingerBands(self.datas[0], period=self.p.period).mid
21
        self.lines.signal =self.data-self.lines.mid
22
        # self.lines.date0=self.data
23
        self.lines.show= bt.If(self.l.signal>0,1, -1)*0.1*self.datas[0].close[0]+self.datas[0].close[0]

展开收起

可视化和正确性验证#

测试命令：

1
开仓信号测试：python ./signal_template.py --plot --market_type longshort --open_signal BollBands_broketopbot101  --fromdate 2022-01-10 --todate 2023-01-01
2
平仓信号测试：python ./signal_template.py --plot --market_type longshort --open_signal BollBands_mid11  --fromdate 2022-01-10 --todate 2023-01-01
3
开平仓信号测试：python ./signal_template.py --plot --market_type longshort --open_signal BollBands_broketopbot101 --exit_signal_long  BollBands_mid11 --exit_signal_short BollBands_mid11 --fromdate 2022-01-10 --todate 2023-01-01

开仓信号测试

del01

可见：
当close高于boll.top时，信号signal为1。
当close低于boll.bot时，信号signal为-1。
符合本意。

平仓信号测试：

del01

可见：close位于均线上时，为做多，反之，做空。符合本意。

开平仓信号测试

del02

开仓信号：主图
平仓信号：下部辅图

波动(区间震荡)#

实例#

del02

交易思路：
点1：向下突破上轨，表示上涨行情即将回归，做空。
点2：向下突破中轨，说明行情回归结束，平空。
点3：向上突破下轨，说明下跌行情即将回归，做多。
点4：向下突破中轨，说明行情回归结束，平多。

抽象化和信号表达式#

del01

上图中，横向是mid中线，上下是close收盘价

信号表达式：

1
open_signal_tmp01= bt.min(crossover(close,top),0)# 将-1,0,1转为-1,0.也就是只保留死叉那部分信号(丢弃金叉信号)
2
open_signal_tmp02= bt.max(crossover(close,bot),0)# 将-1,0,1转为-1,0.也就是只保留金叉那部分信号(丢弃死叉信号)
3
open_signal=open_signal_tmp01+open_signal_tmp02
4
exit_signal_long=mid-close
5
exit_signal_short=mid-close

bt代码#

1
# boll带，均值回归策略，死叉top，-1，金叉bot，1
2
class BollBands_crosstopbot101(bt.Indicator):
3
    lines = ('signal','top','bot','show')  # 声明 signal 线，交易信号放在 signal line 上
4
    params = dict(period=20)
5
    plotinfo = dict(subplot=True)
6

7
    def __init__(self):
8
        self.lines.top = bt.indicators.BollingerBands(self.datas[0], period=self.p.period).top
9
        self.lines.bot = bt.indicators.BollingerBands(self.datas[0], period=self.p.period).bot
10
        open_signal_tmp01 = bt.Min(bt.ind.CrossOver(self.datas[0].close, self.lines.top), 0)
11
        open_signal_tmp02 = bt.Max(bt.ind.CrossOver(self.datas[0].close, self.lines.bot), 0)
12
        open_signal = open_signal_tmp01 + open_signal_tmp02
13
        self.lines.signal =open_signal
14
        # self.lines.date0=self.data
15
        self.lines.show= self.l.signal*0.1*self.datas[0].close[0]+self.datas[0].close[0]
16

17
class BollBands_blowmid11(bt.Indicator):
18
    lines = ('signal','mid','show')  # 声明 signal 线，交易信号放在 signal line 上
19
    params = dict(period=20)
20
    plotinfo = dict(subplot=False)
21

22
    def __init__(self):
23
        self.lines.mid = bt.indicators.BollingerBands(self.datas[0], period=self.p.period).mid
24
        self.lines.signal =self.lines.mid-self.datas[0].close
25
        self.lines.show= bt.If(self.l.signal>0,1,-1)*0.1*self.datas[0].close[0]+self.datas[0].close[0]

展开收起

可视化和正确性验证#

命令

1
开仓信号测试：python ./signal_template.py --plot --market_type longshort --open_signal BollBands_crosstopbot101 --fromdate 2022-01-10 --todate 2023-01-01
2
平仓信号测试：python ./signal_template.py --plot --market_type longshort --open_signal BollBands_blowmid11  --fromdate 2022-01-10 --todate 2023-01-01
3

4
开仓平仓结合测试：
5
python ./signal_template.py --plot --market_type longshort --open_signal BollBands_crosstopbot101 --exit_signal_long BollBands_blowmid11 --exit_signal_short BollBands_blowmid11 --fromdate 2022-01-10 --todate 2023-01-01

结果
开仓信号测试：

del01

可见：
a，信号正确，close靠近top时，频繁发出-1信号，说明频繁死叉top。close靠近bot时，频繁发出1信号，说明频繁金叉bot。符合逻辑 b，信号对应仓位正确，信号-1是开空仓，信号1时多仓，符合逻辑。

平仓信号测试：

del02

可见：当close位于mid上方时，信号提示空仓（用来平多），下方提示多仓（用来平空仓），符合预期。

开仓平仓结合测试：

del02

开仓信号：辅图
平仓信号：主图

回测#

趋势(区间突破)#

多头模式#

标的:002466天齐锂业
时间：20220110-20230101
信号参数：boll周期10
回测命令:

1
python ./signal_template.py --plot --market_type longonly --open_signal BollBands_broketopbot101 --exit_signal_long  BollBands_mid11 --fromdate 2022-01-10 --todate 2023-01-01 --stock_id 002466.XSHE

回测结果：5w ->6.8W,收益率36%

del02

多空模式#

标的:002466天齐锂业
时间：20220110-20230101
信号参数：boll周期15
回测命令:

1
python ./signal_template.py --plot --market_type longshort --open_signal BollBands_broketopbot101 --exit_signal_long  BollBands_mid11  --exit_signal_short  BollBands_mid11 --fromdate 2022-01-10 --todate 2023-01-01 --stock_id 002466.XSHE

del02

回测结果：5w ->6.5W,收益率30%

波动(区间震荡)#

多头模式#

标的:300760迈瑞医疗
时间：20220110-20230101
信号参数：2信号boll周期均为10

1
python ./signal_template.py --plot --market_type longonly --open_signal BollBands_crosstopbot101 --exit_signal_long BollBands_blowmid11 --fromdate 2022-01-10 --todate 2023-01-01  --stock_id 300760.XSHE

结果：5w->6w,收益率20%

del02

多空模式#

标的:300760迈瑞医疗
时间：20220110-20230101
信号参数：2信号boll周期均为10

1
python ./signal_template.py --plot --market_type longshort --open_signal BollBands_crosstopbot101 --exit_signal_long BollBands_blowmid11 --exit_signal_short BollBands_blowmid11 --fromdate 2022-01-10 --todate 2023-01-01  --stock_id 300760.XSHE

结果：5w->7w,收益率40%

del02

bt_03信号模式之双均线

Wed, 07 Jun 2023 00:00:00 GMT

基于信号思路实现常见策略系列。参考前文的backtrader信号交易机制，各个技术必须转化为[1,0,-1]的表达方式后（这里用1代表正数，-1代表负数），才能利用backtrader信号交易机制。

公式代码#

由于其产生的信号，本身就是非正即负（或0），所以不需要特别处理。

信号策略研发#

实例,抽象化,交易信号,bt代码

实例#

del01

交易思路：
点1：快均线由下至上穿过慢均线，说明行情由跌转涨，应该平空仓，开多仓
点2：快均线由上至下穿过慢均线，说明行情由涨转跌，应该平多仓，开空仓
双均线金叉买入（快线从下至上穿过慢线），死叉卖出（快线从上至下穿过慢线）。

抽象化和信号表达式#

图中红色为多(1),蓝色为空(-1)，采用蓝色代替绿色，考虑到部分人红绿色盲。

交易信号表达式

1
open_singal=fast_ma-close_ma

bt代码#

1
class DoubleMA(bt.Indicator):
2
    lines = ('signal',)  # 声明 signal 线，交易信号放在 signal line 上
3
    params = dict( short_period=5,  long_period=20)
4

5
    def __init__(self):
6
        self.s_ma = bt.ind.SMA(period=self.p.short_period)
7
        self.l_ma = bt.ind.SMA(period=self.p.long_period)
8
        # 短期均线上穿长期均线，取值为1；反之，短期均线下穿长期均线，取值为-1
9
        self.lines.signal = self.s_ma-self.l_ma

可视化和正确性验证#

Figure_0

主图蓝线就是signal线(做了平移和缩放，否则主图上显示不明显(由于是diff，取值较小))
可见和2均线的交叉点对应，所以信号计算没问题。

回测#

多头模式(longonly)#

股票模式，只允许做多，不允许做空

1
python ./signal_template.py --plot --main_signal_type longonly --main_signal DoubleMA  --fromdate 2022-01-10 --todate 2023-01-01
2
v3:python ./signal_template.py --plot --market_type longonly --open_signal DoubleMA_11  --fromdate 2022-01-10 --todate 2023-01-01
3

4
标的:002466天齐锂业
5
时间：20220110-20230101
6
参数：快均线5，慢均线10
7
回测命令：python ./signal_template.py --plot --market_type longonly --open_signal DoubleMA_11  --fromdate 2022-01-10 --todate 2023-01-01 --stock_id 002466.XSHE

回测结果：从5w到7.5w，收益率约50%

del01

多空模式(longshort)#

期货模式，既允许做多，也允许做空

1
python ./signal_template.py --plot --main_signal_type longonly --main_signal DoubleMA  --fromdate 2022-01-10 --todate 2023-01-01
2
v3:python ./signal_template.py --plot --market_type longshort --open_signal DoubleMA_11  --fromdate 2022-01-10 --todate 2023-01-01
3

4
标的:002466天齐锂业
5
时间：20220110-20230101
6
参数：快均线5，慢均线15
7
可做空（融券）模式下

回测结果：初始资金5w，期末资金9w，收益率约80%

del02

总结#

整个区间，趋势性较强，没有反复震荡导致频繁的亏损清仓+反向加仓等操作。

bt_01入门资料

Tue, 23 May 2023 00:00:00 GMT

bt入门的学习资料整理

01,官方中文文档#

https://www.heywhale.com/mw/project/63857587d0329ee911dcd7f2

4.4.3. 线的长度
len和buflen之间的区别：
len报告已处理了多少条
buflen报告已为交易数据加载的柱线总数
如果两个都返回相同的值，则要么没有数据被预加载，要么当前处理已消耗了所有预加载的数据（除非系统连接到实时交易数据，否则将意味着处理结束）。
4.5. 索引0和-1
框架认为最后一项为（读写当前点的前一个点）索引值为-1。因此，在策略中比较当前收盘价与前一个收盘价是通过 0 vs -1的方式。

4.6. 切片
backtrader不支持对线对象进行切片，这是遵循[0]和[-1]索引方案的设计决策
4.6.1. 获取切片
可以获得具有最新值的数组，语法：

1
# 显示默认值
2
myslice = self.my_sma.get(ago=0, size=1)
3
返回一个数组，该数组的大小为1，当前时刻为0，向后获取。
4
要从当前时间点获取10个值（即：最后10个值）：
5
# ago的默认值为0
6
myslice = self.my_sma.get(size=10)

4.7. 线的延迟索引
[]运算符可用于在next逻辑阶段提取单个值
假设一条逻辑是将先前的收盘价与简单移动平均线的实际值进行比较。无需在每次next迭代中进行手动操作，而是可以生成预定义的lines对象：

1
class MyStrategy(bt.Strategy):
2
    params = dict(period=20)
3

4
    def __init__(self):
5
        self.movav = btind.SimpleMovingAverage(self.data, period=self.p.period)
6
        self.cmpval = self.data.close(-1) > self.sma
7
    def next(self):
8
        if self.cmpval[0]:
9
            print('上一个收盘价高于当前移动平均值')

这里使用”()“延迟符号：
这提供了收盘价的副本，但延迟了-1。
比较self.data.close（-1）> self.sma 会生成另一个line对象，如果条件为True，则返回1，否则为0

4.8. 线(群)的耦合
日交易数据每年约有250条
周交易数据每年有52条

于是()表示法（空调用）可用于解决这个问题：

1
class MyStrategy(bt.Strategy):
2
    params = dict(period=20)
3
    def __init__(self):
4

5
        # data0 是日交易数据
6
        sma0 = btind.SMA(self.data0, period=15) # 15天sma
7
        # data1 是周要以数据
8
        sma1 = btind.SMA(self.data1, period=5) # 5周sma
9

10
        self.buysig = sma0 > sma1()
11

12
    def next(self):
13
        if self.buysig[0]:
14
            print('每日sma大于每周sma1')

在这里，较大的时间范围指标sma1通过sma1()与每日时间范围耦合。这将返回与更大数量的sma0兼容的对象，并复制sma1产生的值，从而有效地将52个周数据分散为250个日数据 4.9. 通过操作符构造对象
4.9.1. 情景1-操作符创建对象(init阶段构造指标） 4.9.2. 情景2-逻辑操作符 (next阶段构造指标)
4.9.3. 一些不可重载的运算符/函数
Python不允许重载所有内容，因此提供了一些功能函数来应对这种情况。
注意：仅适用于情景1，以创建对象供后面使用。
操作符:

1
and -> And
2
or -> Or

逻辑控制:

1
if -> If

函数:

1
any -> Any
2
all -> All
3
cmp -> Cmp
4
max -> Max
5
min -> Min
6
sum -> Sum
7
reduce -> Reduce

02,量化NPC#

数据源：insight，华泰免费2个月
sma策略，高低点突破策略

【backtrader保姆教学】高低轨突破策略:https://blog.csdn.net/weixin_38132951/article/details/129472199 【backtrader保姆级教学】日内区间突破型策略:https://blog.csdn.net/weixin_38132951/article/details/129477688
【backtrader保姆级教学】投资组合回测:https://blog.csdn.net/weixin_38132951/article/details/129765384 【backtrader保姆级教学】趋势选股策略:https://blog.csdn.net/weixin_38132951/article/details/129965349

03,量化投资与机器学习系列ok#

gitee，刘时忞 / learn_backtrader(包含，各个文章要点)：https://gitee.com/simon_lsm/learn_backtrader
github，QIML Backtrader系列:https://github.com/QuantWorld2022/backtrader
微信公众号，文章：https://mp.weixin.qq.com/mp/appmsgalbum?action=getalbum&album_id=2380299870701420545
csdn，Backtrader系列教程⑦:可视化篇（重构）:https://blog.csdn.net/qq_41578115/article/details/122535202
Backtrader 来了
Backtrader 数据篇
Backtrader 指标篇
Backtrader 交易篇（上）
Backtrader 交易篇（下）
Backtrader 策略篇
Backtrader 可视化篇（重构）
Backtrader 常见问题汇总
Backtrader 常见案例汇总

notify_order，notify_trader区别
策略里，notify_order， notify_trade两个函数，一个是订阅提交时触发，一个是交易产生时触发，这个在策略调试时特别有用，而且是通用的，直接写在基类里，另外就是基数实现log函数

03 “模块化算子”
这个才是“积木式”策略开发的精华。
我们连上面的代码都不想写，想直接从“仓库”里复用。
我们把策略逻辑拆解成：选标的、按信号筛选，排序，仓位分配等等。
先从最简单的“等权重买入并持有，每个季度动态再平衡”，这个经典的资本配置策略开始。
这里拆分成“算子”会是：

当前时点（今日）：datetime 2019-01-02 close 51.12077805
往前推1天（昨日）：datetime 2021-01-28 close 54.91980265
往前推2天（前日） datetime 2021-01-27 close 55.5952978
注意：此处时间循环了，应该19年的，取到了21年。

如何对齐不同周期的指标
__init__()和once() 区别

bt_02信号交易

Tue, 23 May 2023 00:00:00 GMT

signal模式入门

bt信号交易#

大多数策略开发，本就是基于信号的，bt直接提供了基于信号的回测，且灵活度较高，可以极大的提高策略研发效率。
基础入门可参考这篇文章：https://mp.weixin.qq.com/s?__biz=MzAxNTc0Mjg0Mg==&mid=2653317634&idx=1&sn=e92fec0b0b5fd5f62805e7c2be5830f8
官方文档参考demo：https://www.backtrader.com/docu/signal_strategy/signal_strategy/

信号交易5种模式差异#

add_signal(signal type, signal class, arg) 中的参数说明：
第 1 个参数：信号类型
分为 2 大类，共计 5 种信号类型：

开仓类#

bt.SIGNAL_LONGSHORT：
多头信号和空头信号都会作为开仓信号；
对于多头信号，如果之前有空头仓位，会先对空仓进行平仓 close，再开多仓；
空头信号也类似，会在开空仓前对多仓进行平仓 close。

bt.SIGNAL_LONG：
多头信号用于做多，空头信号用于平仓 close；
如果系统中同时存在 LONGEXIT 信号类型，SIGNAL_LONG 中的空头信号将不起作用，将会使用 LONGEXIT 中的空头信号来平仓多头，如上面的多条交易信号的例子。 bt.SIGNAL_SHORT：
空头信号用于做空，多头信号用于平仓；
如果系统中同时存在 SHORTEXIT 信号类型，SIGNAL_SHORT 中的多头信号将不起作用，将会使用 SHORTEXIT 中的多头信号来平仓空头。

这部分该如何理解？
信号理解为发号施令的领导，而具体action取决于负责执行的人。对于SIGNAL_LONGSHORT，可以看做负责执行的人充分实施领导命令。
对于SIGNAL_LONG，可以看做负责执行的人，选择性执行领导的开多仓和平多仓，而忽略领导的开空仓（和平空仓）。
对于SIGNAL_SHORT，可以看做负责执行的人，选择性执行领导的开空仓和平空仓，而忽略领导的开多仓（和平多仓）。
“选择性执行”，也可看做市场允许的交易类型，比如A股股票市场，不允许做空。还有就是比如现在长期均线朝上，或者月均线高于年均线（上涨趋势为主），此时也不应该做空，只能选择做多或空仓。

平仓类#

bt.SIGNAL_LONGEXIT：接收空头信号平仓多头；
bt.SIGNAL_SHORTEXIT：接收多头信号平仓空头；
上述 2 种信号类型主要用于确定平仓信号，在下达平仓指令时，优先级高于上面开仓类中的信号。
第 2 个参数：定义的信号指标类的名称，比如案例中的 SMACloseSignal 类和 SMAExitSignal 类，直接传入类即可，不需要将类进行实例化；
第 3 个参数：对应信号指标类中的参数 params，直接通过 period=xxx 、p1=xxx, p2=xxx 形式修改参数取值。

这部分又该如何理解？
首先为何需要这个平仓信号，思考一个完整行情周期，
01，市场长期底部横盘，开始启动，连续突破最近1月，2月最高点，开仓信号。 02，市场持续上涨，但是速度（斜率）偏弱，涨幅小且回调频繁，虽然上涨依然大概率，但是概率较启动时小了，且积累了较大涨幅了，平多仓，止盈。 03，市场由于过分上涨，开始回调，长期看空，开空仓。
04，空仓预期释放，短期依然空，长期偏多，平空仓。
由于买卖信号并不完全对称。有些强力偏多的信号，则买入多。一旦强力多信号减弱到一定程度就要平多了。而此时，整体依然是多面大，只是为了避免波动，远离市场而已，而空头同样道理。假设市场合理价值为0。波动区间[-100,100]，那么位于-80以及以下时，应当买多，而涨到-20时应当平多，市场在80以上，应该买空，而跌到20时，应该平空。所以买多和平多，与买空和平空，4个信号本来就是独立的（分别对应不同分值）。而非直观以为的，平多同时应该开空，因为信号不强烈时，极有可能长期波动横盘，导致资金效率低下且需承受不可避免的波动。

疑点解析#

信号只识别正负，不区分True或False#

比如：ma1在ma2上，开多仓，否则空仓。则是signal=ma1-ma2，不能采用signal=ma1>ma2

开仓类信号只负责买入，平仓类只负责卖出？#

CASE01：SIGNAL_LONG + SIGNAL_LONGEXIT
开仓：SIGNAL_LONG
平仓：SIGNAL_LONGEXIT（SIGNAL_LONG +/- 5day）
信号特征：非正即负
信号源码：

1
class SMACloseSignal(bt.Indicator):
2
    lines = ('signal',)
3
    params = (('period', 30),)
4

5
    def __init__(self):
6
        sma1 = bt.indicators.SMA(period=10)
7
        sma2 = bt.indicators.SMA(period=30)
8
        self.lines.signal = sma1 - sma2
9

10

11
class SMAExitSignal(bt.Indicator):
12
    lines = ('signal',)
13
    params = (('p1', 5), ('p2', 30),)
14

15
    def __init__(self):
16
        sma1 = bt.indicators.SMA(period=10)
17
        sma2 = bt.indicators.SMA(period=30)
18
        self.lines.signal = (sma1 - sma2)(-5)
19

20
python ./signal_macd.py --plot --signal longonly --exitsignal longexit --fromdate 2013-01-10 --todate 2014-01-01

展开收起

曲线图：

del02

解释：
竖线1：买入原因SMACloseSignal > 0
竖线2：卖出原因SMAExitSignal < 0
结论:
无持仓，盯着开仓信号线，开仓信号>0则买入（不管平仓信号状态），
有持仓，盯着平仓信号线，平仓信号<0则平仓（不管开仓信号状态）
图中，频繁开仓-平仓的锯齿部分（标记3），就是开仓信号线>0 但平仓信号线<0,导致刚买入即卖出。

再次验证另一种情况

1
class SMACloseSignal(bt.Indicator):
2
    lines = ('signal',)
3
    params = (('period', 30),)
4

5
    def __init__(self):
6
        sma1 = bt.indicators.SMA(period=10)
7
        sma2 = bt.indicators.SMA(period=30)
8
        self.lines.signal = (sma1 - sma2)(-5)
9

10

11
class SMAExitSignal(bt.Indicator):
12
    lines = ('signal',)
13
    params = (('p1', 5), ('p2', 30),)
14

15
    def __init__(self):
16
        sma1 = bt.indicators.SMA(period=10)
17
        sma2 = bt.indicators.SMA(period=30)
18
        self.lines.signal = (sma1 - sma2)
19
python ./signal_macd.py --plot --signal longonly --exitsignal longexit --fromdate 2013-01-10 --todate 2014-01-01

展开收起

曲线图

del02

区域尾部的折线意味着开仓信号 > 0，平仓信号 < 0，会导致持续的开仓-平仓.
可见，上述结论依旧成立。

CASE02：SIGNAL_LONG + SIGNAL_SHORTEXIT
修复源码中一个bug再测试

1
EXITSIGNALS = {
2
    'longexit': bt.SIGNAL_LONGEXIT,
3
    'shortexit': bt.SIGNAL_SHORTEXIT,
4
}
5

6
python ./signal_macd.py --plot --signal longonly --exitsignal shortexit --fromdate 2013-01-10 --todate 2014-01-01

结果图：

del02

可见：SMAExitSignal对仓位无影响，全凭SMACloseSignal决定。这个也符合逻辑，根据其定义，SIGNAL_SHORTEXIT接收多头信号平仓空头；由于单向做多，所以不存在空头仓位，所以属于无意义参数。

CASE03：SIGNAL_LONGSHORT+SIGNAL_LONGEXIT+SIGNAL_SHORTEXIT
开仓：SIGNAL_LONGSHORT
平仓：SIGNAL_LONGEXIT + SIGNAL_SHORTEXIT

代码调整:

1
class SMACloseSignal(bt.Indicator):
2
    lines = ('signal',)
3
    params = (('period', 30),)
4

5
    def __init__(self):
6
        sma1 = bt.indicators.SMA(period=10)
7
        sma2 = bt.indicators.SMA(period=30)
8
        self.lines.signal = bt.If((sma1 - sma2)>0,1,-1)
9

10

11
class SMAExitSignal(bt.Indicator):
12
    lines = ('signal',)
13
    params = (('p1', 5), ('p2', 30),)
14

15
    def __init__(self):
16
        sma1 = bt.indicators.SMA(period=10)
17
        sma2 = bt.indicators.SMA(period=30)
18
        self.lines.signal = bt.If((sma1 - sma2)>0,1,-1)(-5)
19

20
    if args.exitsignal is not None:
21
        cerebro.add_signal(bt.SIGNAL_LONGEXIT,
22
                           SMAExitSignal,
23
                           p1=args.exitperiod,
24
                           p2=args.smaperiod)
25
        cerebro.add_signal(bt.SIGNAL_SHORTEXIT,
26
                           SMAExitSignal,
27
                           p1=args.exitperiod,
28
                           p2=args.smaperiod)
29

30
python ./signal_macd.py --plot --signal longshort --exitsignal shortexit --fromdate 2013-01-10 --todate 2014-01-01

展开收起

结果

del02

分析：
竖线1区间：持有空头，原因：起点SMACloseSignal为负数，持有空头，由于SIGNAL_SHORTEXIT信号为负数，所以持续空头持仓
竖线2区间：SMACloseSignal负转正，触发持仓从空头变多头，变成多头后，由于SIGNAL_LONGEXIT信号依然为负，所以马上平仓，平仓后由于SMACloseSignal为正，会再次买入多头持仓，如此持续反复多次。
竖线3区间：SMACloseSignal稳定正，且SIGNAL_LONGEXIT信号也维持正，所以稳定持有多头
竖线4区间：SMACloseSignal正转负，引发空头持仓，但是SIGNAL_SHORTEXIT为正，所以马上清空空头持仓，清空后由于SMACloseSignal为负，会再次买入空头持仓，由于如此持续反复多次。
综上所述:
如果仓位为空：看信号SIGNAL_LONGSHORT，SMACloseSignal
如果仓位为多：看信号SIGNAL_LONGEXIT，决定是平多（归0）
如果仓位为空：看信号SIGNAL_SHORTEXIT，决定是平空（归0）
除此之外，SIGNAL_LONGSHORT的转向，依然会导致仓位切换，而忽略SIGNAL_LONGEXIT和SIGNAL_SHORTEXIT的屏蔽效应。

CASE03：SIGNAL_LONGSHORT+SIGNAL_LONGEXIT
开仓：SIGNAL_LONGSHORT
平仓：SIGNAL_LONGEXIT
代码:

1
class SMACloseSignal(bt.Indicator):
2
    lines = ('signal',)
3
    params = (('period', 30),)
4

5
    def __init__(self):
6
        sma1 = bt.indicators.SMA(period=10)
7
        sma2 = bt.indicators.SMA(period=30)
8
        self.lines.signal = bt.If((sma1 - sma2)>0,1,-1)
9

10

11
class SMAExitSignal(bt.Indicator):
12
    lines = ('signal',)
13
    params = (('p1', 5), ('p2', 30),)
14

15
    def __init__(self):
16
        sma1 = bt.indicators.SMA(period=10)
17
        sma2 = bt.indicators.SMA(period=30)
18
        self.lines.signal =  bt.If((sma1 - sma2)>0,1,-1)(-5)
19

20
python ./signal_macd.py --plot --signal longshort --exitsignal longexit --fromdate 2013-01-10 --todate 2014-01-01

展开收起

结果图：

del02

可见：SIGNAL_LONGSHORT ，信号决定了大体调仓方向，而Longexit信号造成锯齿类型的平仓记录。

开仓类信号只负责买入，平仓类只负责卖出？源码分析#

1
def _next_signal(self):
2
    if self._sentinel is not None and not self.p._concurrent:
3
        return  # order active and more than 1 not allowed
4

5
    sigs = self._signals
6
    nosig = [[0.0]]
7

8
    # 第一部分：注册为多空市场的信号
9
    # Calculate current status of the signals
10
    ls_long = all(x[0] > 0.0 for x in sigs[bt.SIGNAL_LONGSHORT] or nosig)
11
    ls_short = all(x[0] < 0.0 for x in sigs[bt.SIGNAL_LONGSHORT] or nosig)
12

13
    # 第二部分：注册为单看多市场的信号
14
    l_enter0 = all(x[0] > 0.0 for x in sigs[bt.SIGNAL_LONG] or nosig)         # >0表示看多
15
    l_enter1 = all(x[0] < 0.0 for x in sigs[bt.SIGNAL_LONG_INV] or nosig)     # _INV反向信号，<0，负数表示看多
16
    l_enter2 = all(x[0] for x in sigs[bt.SIGNAL_LONG_ANY] or nosig)           # _ANY只要非0就是true
17
    l_enter = l_enter0 or l_enter1 or l_enter2
18

19
    s_enter0 = all(x[0] < 0.0 for x in sigs[bt.SIGNAL_SHORT] or nosig)
20
    s_enter1 = all(x[0] > 0.0 for x in sigs[bt.SIGNAL_SHORT_INV] or nosig)
21
    s_enter2 = all(x[0] for x in sigs[bt.SIGNAL_SHORT_ANY] or nosig)
22
    s_enter = s_enter0 or s_enter1 or s_enter2
23

24
    # 第三部分：多头退出信号
25
    l_ex0 = all(x[0] < 0.0 for x in sigs[bt.SIGNAL_LONGEXIT] or nosig)
26
    l_ex1 = all(x[0] > 0.0 for x in sigs[bt.SIGNAL_LONGEXIT_INV] or nosig)
27
    l_ex2 = all(x[0] for x in sigs[bt.SIGNAL_LONGEXIT_ANY] or nosig)
28
    l_exit = l_ex0 or l_ex1 or l_ex2
29

30
    # 第四部分：空头退出信号
31
    s_ex0 = all(x[0] > 0.0 for x in sigs[bt.SIGNAL_SHORTEXIT] or nosig)
32
    s_ex1 = all(x[0] < 0.0 for x in sigs[bt.SIGNAL_SHORTEXIT_INV] or nosig)
33
    s_ex2 = all(x[0] for x in sigs[bt.SIGNAL_SHORTEXIT_ANY] or nosig)
34
    s_exit = s_ex0 or s_ex1 or s_ex2
35

36
    # Use oppossite signales to start reversal (by closing)
37
    # but only if no "xxxExit" exists
38
    # self._longexit=bool(_obj._signals[bt.SIGNAL_LONGEXIT])
39
    # 未设置独立的多头退出信号，且空头进入信号为true，long_reverse信号为true
40
    l_rev = not self._longexit and s_enter
41
    # 未设置独立的空头退出信号，且多头进入信号为true，short_reverse信号为true
42
    s_rev = not self._shortexit and l_enter
43

44
    # 这一部分是第一部分的反信号
45
    # Opposite of individual long and short
46
    l_leav0 = all(x[0] < 0.0 for x in sigs[bt.SIGNAL_LONG] or nosig)
47
    l_leav1 = all(x[0] > 0.0 for x in sigs[bt.SIGNAL_LONG_INV] or nosig)
48
    l_leav2 = all(x[0] for x in sigs[bt.SIGNAL_LONG_ANY] or nosig)
49
    l_leave = l_leav0 or l_leav1 or l_leav2
50

51
    # 这一部分是第二部分的反信号
52
    s_leav0 = all(x[0] > 0.0 for x in sigs[bt.SIGNAL_SHORT] or nosig)
53
    s_leav1 = all(x[0] < 0.0 for x in sigs[bt.SIGNAL_SHORT_INV] or nosig)
54
    s_leav2 = all(x[0] for x in sigs[bt.SIGNAL_SHORT_ANY] or nosig)
55
    s_leave = s_leav0 or s_leav1 or s_leav2
56

57
    # 未设置独立的多头退出信号，且多头leave为true
58
    # Invalidate long leave if longexit signals are available
59
    l_leave = not self._longexit and l_leave
60
    # 未设置独立的空头退出信号，且空头leave为true
61
    # Invalidate short leave if shortexit signals are available
62
    s_leave = not self._shortexit and s_leave
63

64
    # Take size and start logic
65
    size = self.getposition(self._dtarget).size
66
    if not size: # 没有持仓，只能开仓操作，判断是否有满足的开仓条件
67
        if ls_long or l_enter:
68
            self._sentinel = self.buy(self._dtarget)
69

70
        elif ls_short or s_enter:
71
            self._sentinel = self.sell(self._dtarget)
72

73
    elif size > 0:  # current long position，当前多头持仓，判断是否满足平仓，开空仓条件
74
        if ls_short or l_exit or l_rev or l_leave:
75
            # closing position - not relevant for concurrency
76
            self.close(self._dtarget)
77

78
        if ls_short or l_rev:
79
            self._sentinel = self.sell(self._dtarget)
80

81
        if ls_long or l_enter:
82
            if self.p._accumulate:
83
                self._sentinel = self.buy(self._dtarget)
84

85
    elif size < 0:  # current short position，当前空头持仓，判断是否满足平仓，开多仓条件
86
        if ls_long or s_exit or s_rev or s_leave:
87
            # closing position - not relevant for concurrency
88
            self.close(self._dtarget)
89

90
        if ls_long or s_rev:
91
            self._sentinel = self.buy(self._dtarget)
92

93
        if ls_short or s_enter:
94
            if self.p._accumulate:
95
                self._sentinel = self.sell(self._dtarget)

展开收起

这一部分逻辑看起来有点难以理解，先只考虑单向做多市场相关信号，分3类：
第一类：多头进入信号（开仓信号），l_enter = l_enter0 or l_enter1 or l_enter2
第二类：多头退出信号（平仓信号），l_exit = l_ex0 or l_ex1 or l_ex2
第三类：多头进入非有效（失效）信号，l_leave = l_leav0 or l_leav1 or l_leav2
关于第一类，第二个类信号，非常显著，
l_enter只关联self.buy(self._dtarget)
l_exit只关联了self.close(self._dtarget)
而l_leave和l_exit类似，只关联了self.close(self._dtarget)，所以l_leave和l_exit可看做邻近信号，二者或的关系（实际上，只会有一个有效，因为leave信号生效前提是未设置专用的 exit信号，而exit类信号必须是设置了专用exit信号）。

longshort类型交易,面对金叉和死叉会形成点状持仓还是状态持仓#

代码：

1
class TestCrossover(bt.Indicator):
2
    lines = ('signal',)
3
    params = (('pfast', 5),('pslow', 20))
4

5
    def __init__(self):
6
        #  定义一个长期均线和短期均线
7
        sma1 = bt.ind.SMA(period=self.p.pfast)
8
        sma2 = bt.ind.SMA(period=self.p.pslow)
9
        # 创建均线交叉（买入卖出）信号
10
        self.lines.signal = bt.ind.CrossOver(sma1, sma2)

测试命令:

1
python ./signal_template.py --plot --market_type longshort --open_signal TestCrossover --fromdate 2022-01-10 --todate 2023-01-01

结果：

del01

结论：最下面一列是金叉死叉信号，可见信号为点状信号（大部分0，1和-1是点），但持仓为状态持仓（也就是不是状态为1的那一天有持仓，而是出现-1信号前都保有持仓）

累积和订单并发【Accumulation and Order Concurrency 】#

上面显示的示例信号将不断发出longshort指示，因为它只是从收盘价减去SMA值，该值将始终为> 0和<0（0为数学上可能，但不太可能真正发生）
这将导致连续生成订单，从而产生两种情况：
积累：即使已经在市场上【即本身账户存在持仓情况】，信号也会产生新的订单会增加市场占有率。
并发：将生成新订单【之后】，而无需等待其他订单的执行订单

为了避免这种情况，默认行为是：不累积,不允许并发
从这点来讲，由于策略的过滤即便再严格，一天能够触发的成交信号肯定也是有很多，在这里bt默认在手里持仓没有被卖出之前，是不会再继续交易，直到手里的持仓结束以后即卖出以后，才考虑再执行下一个订单。

信号策略SignalStrategy和参数调优#

Genetic Optimization:https://community.backtrader.com/topic/186/genetic-optimization/22?_=1630611041858 Strategy with Signals：https://community.backtrader.com/topic/462/strategy-with-signals/2

1
import backtrader as bt
2

3
class SmaCross(bt.SignalStrategy):
4
    params = (('pfast', 10), ('pslow', 30),)
5
    def __init__(self):
6
        sma1, sma2 = bt.ind.SMA(period=self.p.pfast), bt.ind.SMA(period=self.p.pslow)
7
        self.signal_add(bt.SIGNAL_LONG, bt.ind.CrossOver(sma1, sma2))
8

9
cerebro = bt.Cerebro()
10
data = bt.feeds.YahooFinanceData(dataname='YHOO', fromdate=datetime(2011, 1, 1),
11
                                 todate=datetime(2012, 12, 31))
12
cerebro.adddata(data)
13
cerebro.addstrategy(SmaCross)
14
cerebro.run()
15
cerebro.plot()

展开收起

编写策略及优化方案的实例 – BACKTRADER中文教程:https://www.itbook5.com/11757/

1
from __future__ import (absolute_import, division, print_function,
2
                        unicode_literals)
3
import argparse
4
import backtrader as bt
5
class St0(bt.SignalStrategy):
6
    def __init__(self):
7
        sma1, sma2 = bt.ind.SMA(period=10), bt.ind.SMA(period=30)
8
        crossover = bt.ind.CrossOver(sma1, sma2)
9
        self.signal_add(bt.SIGNAL_LONG, crossover)
10
class St1(bt.SignalStrategy):
11
    def __init__(self):
12
        sma1 = bt.ind.SMA(period=10)
13
        crossover = bt.ind.CrossOver(self.data.close, sma1)
14
        self.signal_add(bt.SIGNAL_LONG, crossover)
15
class StFetcher(object):
16
    _STRATS = [St0, St1]
17
    def __new__(cls, *args, **kwargs):
18
        idx = kwargs.pop('idx')
19
        obj = cls._STRATS[idx](*args, **kwargs)
20
        return obj
21
def runstrat(pargs=None):
22
    args = parse_args(pargs)
23
    cerebro = bt.Cerebro()
24
    data = bt.feeds.BacktraderCSVData(dataname=args.data)
25
    cerebro.adddata(data)
26
    cerebro.addanalyzer(bt.analyzers.Returns)
27
    cerebro.optstrategy(StFetcher, idx=[0, 1])
28
    results = cerebro.run(maxcpus=args.maxcpus, optreturn=args.optreturn)
29
    strats = [x[0] for x in results]  # flatten the result
30
    for i, strat in enumerate(strats):
31
        rets = strat.analyzers.returns.get_analysis()
32
        print('Strat {} Name {}:\n  - analyzer: {}\n'.format(
33
            i, strat.__class__.__name__, rets))
34
def parse_args(pargs=None):
35
    parser = argparse.ArgumentParser(
36
        formatter_class=argparse.ArgumentDefaultsHelpFormatter,
37
        description='Sample for strategy selection')
38
    parser.add_argument('--data', required=False,
39
                        default='../../datas/2005-2006-day-001.txt',
40
                        help='Data to be read in')
41
    parser.add_argument('--maxcpus', required=False, action='store',
42
                        default=None, type=int,
43
                        help='Limit the numer of CPUs to use')
44
    parser.add_argument('--optreturn', required=False, action='store_true',
45
                        help='Return reduced/mocked strategy object')
46
    return parser.parse_args(pargs)
47
if __name__ == '__main__':
48
    runstrat()

展开收起

本想尝试signalStrategy结合optstrategy,实际发现

1
self.signal_add(bt.SIGNAL_LONG, DoubleMA_11,short_period=5,long_period=10)

此函数不支持传参，所以无法使用optstrategy进行参数透传调优

买房_03买房划算还是租房划算

Sat, 01 Apr 2023 00:00:00 GMT

这里的房子，指的是公寓，而非住宅，租房享受的就是单纯的居住价值，对标的资产应该是公寓，这样才是对等的比较。如果未来一天租房也可以享受落户和学区，那么租房和住宅价格才有比对基础。

分析目标：买公寓划算还是租房划算（由于租房不享受学区和户籍，所以和公寓才是公平的）

先看一个小例子#

基础参数

项目	数额	含义
初始资金	100w	当前手头现金100w
年租金	5w	(100w的房产)每年按照出租11个月计算(1个月空置)，得到月租金4.5k。
利率	5%	闲置资金的投资收益率（可认为是存银行利息）
房产寿命	30年	30年后房价保持不变(还是100w)

不妨计算，用100万，模拟买房和租房策略下的收益（静态视角分析(未来利率，租金等均保持稳定)，现金流折现利率也按照5%计算）。

可见，不论买房还是租房，100万本身是没变化的，只是变化了表现形式。一个转为为存单形式，享受银行利息收益。一个转换为房产形式，享受房产居住价值。简单的理解方式：钱本身没变化（不增不减，就在那里），只是换一个方式陪伴我们而已（理解这一点很重要，否则就会有现金迷恋症，本人之前就有这个问题）。

未来趋势倾向性分析#

利率，租金等因素未来变化趋势，对那个策略有优劣势。

项目	未来走势	租房	买房
利率	利率大概率继续下降，随着人民币国际化和社会的发展，融资成本大概率走低的，当下发达国家利率，也可作为佐证(0利率，负利率)，未来利率大概率继续走低	×(利息变少)	-(无影响)
房租	房租和人口以及工资水平挂钩，就成都而言，人口流入趋势短期不会变，收入长期层面大概率也上涨的，所以房租大概率也会涨。	×(租房支出变多)	-(无影响)
30年后房价	30年后，认为房价还是100w，乍一看感觉高估了，没考虑房产折旧，但是实际上，目前100w对应10年工资，未来社会发展，30年后，可能就对应2-3年工资。其实同价格已经充分考虑到房产折旧因素了。相对价格降低很多了。	-(无影响)	√(正影响,30年后大概率多余100w)

整理看，未来发展对买房方有利，对租房方不利。

关于成都未来人口
成都人口：2部分:川内流入和一线城市挤出，川内流入应该会变少，一线挤出得看未来一线房价，成都作为西部较好地区，地位还是蛮稳固的

一些观点#

01，当下买房不划算，租房划算
这句话完整的来讲是，当下买住宅不划算，租房划算，原因是住宅租售比不合理，这个结论是没问题的。但公寓租售比还是可以的，目前成都大多数公寓价格是住宅一半，具体划算不，可通过公式简单计算，月租金1130年如果比房价高就合适，反之则不合适（30年主要是偏保守估计，混凝土不偷工减100年也是撑得住，不考虑电梯配套老化等因素）。

02，有人反驳上面举例，比如租房可以降低支出，比如租小点差点之类的，这样计算出的结果不就比买房划算了么？
这种比较就不对等了，等于一方降低生活体验的，不在此分析范畴内。因为即使买房，亦可出租出去，然后转租小房子，一样可以得到一笔正向现金流。

03，有存款可以用来投资啊，有获取更高投资收益的潜力，买成房产后就无法投资了。
即使买成公寓，也一样可以抵押出去获得现金，而且利率更低（消费贷3.6%的利率，而且可以做到按月随借随还），这么算，反而更合适。等价于买入公寓同时，再抵押出来，等于不花钱（当然抵押比例不可能达到100%），白住房子（当然3.6%的年利率要支付）。这也是当下的最优策略。
说到底，如果有好的投资渠道，公寓一样不影响获取收益的能力。

04，租房很自由啊，买房就锁死了
这是一种粗放的想法，这里的买房是一种投资视角的策略。也没说一定要自住（当然不建议买多套，毕竟房产税还在路上）。再说了买房一样可以再转租出去的，不耽搁自由。

05，当下选择租房也有些潜在的未来利好
a，短期价格波动，会有买入抄底机会，比如未来房产税等 落实。可能导致大量住宅出清，公寓也可能也被拖累(但也不会太多，因为本来价格就是住宅一半，除非住宅跌掉5成，且公寓租售比并不算高有租金托底)，手持现金就有检漏机会。
b，随着未来预售制取消，现房制度下，房屋品质大概率会有所提升，也就是更可能买到高质量的房子。

06，公寓潜在的未来利好
户籍和学区未来大概率和房产脱钩，一旦脱钩，公寓住宅价格会靠拢，大概率以公寓涨，住宅跌的方式靠拢（考虑梯户比，小区等，同房龄地段的公寓很难比住宅贵），整体来说，公寓相比住宅有正面预期。

综合来看#

01，未来住宅大概率不涨了（既和收入脱钩又和租金脱钩），而公寓未必。公寓总价or均价本来就较低，且公寓是和租金挂钩，只要经济形势不出大问题，平均工资不下降的，成都人口流入保持稳定，公寓价格就能维持坚挺。
02，未来房产税不论按套还是面积征收，大家都会保留优质房产自住，出清劣质房产（比如：老破大），所以即使推出房产税，高品质房产一样可能继续上涨。选择高品种公寓，为最佳策略。

买房_04公寓真的碰不得么

Wed, 15 Mar 2023 00:00:00 GMT

首先要搞明白，市场上关于公寓的主观槽点以及数据类论据。

定性篇#

从网上巴拉的各种负面因素汇总

先谈谈对以上各优缺点的评判吧

年限(产权)#

不会真有人以为房子可以住70年吧，目前成都95年房子如果没有学区，基本流通困难（这才28年而已，在等12年，基本没有流动性，沦为再便宜没人买的程度），尤其高层住宅，如果不进行大型维护，一样基本无法居住，而且基本小区所有配套都会存在各种问题。

没学位#

硬伤，但相对与好学区的住宅才是硬伤，相对普通学区住宅，其实有无学区区别不大
从学区角度看，住宅价格严重高估的（或者公寓严重低估），原因就是住宅均价对应的是一般学区的均价，比如商住5k(千)，住宅1w(万)，实际好学区可能2w或更多，普通学区，可能8k，普通学区相对商住单纯多了户口优势，并不值得这个价差。（简单来说，普通学区住宅和没学区，区别不大）

没户口#

硬伤，但北京上海等买住宅也未必有户口，二三线户口本就没难度
也就是说户口和学区这两个硬伤，是和“户口和学区有优势的城市内的好学区区块的住宅”相比的劣势。而大多数住宅对应的学区都是一般的学区，所以这个硬伤并没有看上去的那么“伤”。

高首付(比例)#

观点：购房者如果拥有50万首付，可以购买150万的住宅，公寓却只能购买100万。同样总价的公寓、住宅，住宅购房门槛反而比公寓低。
不同意见：三成首付，五成首付，纯属杠杆率的差异（可以简单理解为大额信用卡），在货币贬值时代，可以较大程度利用杠杆，用30万本金撬动100万资金，享受100万资金价格上涨优势，同时提高负债率也能较好的抵御通胀。
但是，房价如果不上涨，那么这个杠杆其实意义不大，通缩时代，背负大额现金负债更糟
所谓首付门槛是伪命题，劳斯莱斯哪怕0成首付，你会买么？本来就是考虑需要什么买什么，而不是买得起什么就最大限度买什么。住宅门槛低由于低首付导致，并非真正的便宜，不论本金，还是利息终究还是要还的。中介会很强调这一点，无非是中介业绩和房屋总价挂钩的，所以肯定希望买总价贵的，推荐买方承受范围内的高总价资产。

贷款年限#

观点:贷款年限短，导致公寓月供压力巨大。同样贷款100万，住宅物业最长能贷款30年，月供只需要5307元/月，公寓物业最长却只能贷款10年，月供要达到11041元/月，这给购房者带来极大资金压力。
不同意见:虽然10年还款额度大，但债务时间短，并且相对可控，10年工作稳定度肯定大于30年，而且，债务我国是无限责任，永远躲不掉，借款那么长从任何角度看，都不算很大的优势（只是感觉上，等于债主给自己展期的机会）
说到底，有多大能力吃多大饭，能力不够，100年期限贷款一样可能还不款，不同行业的职业发展路径不同，除了公务员，医生少数行业，大多数行业其实是不具备30年不失业的能力的。

贷款利率#

观点：公寓利息较高。住宅可以使用利息较低的公积金也可以使用商贷，最高利息4.9%；公寓物业基本要上浮10%-20%，利息高了住宅1个百分点，进一步压缩公寓的投资收益。
不同意见：利息差额2%相比本金和整体支付资金，并不算非常大，别忘了，类似品质的住宅和公寓价差基本1倍了。

水电费#

放图镇楼

小红书：https://www.xiaohongshu.com/explore/630997b500000000190295bb
珍藏版，成都民用和商用水电气价格差别，还是很大的。
用水按照年度的梯度用量，民用从3.03-6.51元/m³跨度收费，商用则一竿子打死的4.43元/m³。
用电量按月，民用电费是0.52-0.82元/度，商用则是0.84元/度。
用气量也是按年，民用是2.02-3.04元/m³，商用则统一的是3.36元/m³。
按照一个月用水17m³，用电188度，用气25m³来算，十年商用家庭比民用多花费1.2万左右
十年1万2，没人嫌多吧

物业费#

商业差别很大有2.5的也有8的，民用一般2.5左右

用途#

此处公寓可注册公司，但鸡肋，不考虑

拆迁补偿#

低概率事件，不考虑

限购#

公寓有优势，不限购

影响公寓价格的重大因素#

落户，学区#

能落户，有学区（老公寓有这个的，不过极少且不便宜）

水电气三通#

三通且组好民用价格，水电一般都通，重要的是气，没有气的话，电费会比较高

小区环境#

有类住宅小区环境，交通便利，大户型

地段#

选择商圈成熟、交通便利的区域。一方面是因为便于出租，而且租金也有保障；另一方面，是因为涨值空间比较大，利于另作他用。

居住体验#

容积率，朝向、采光通风、梯户比等采光通风：公寓房大多都是高层建筑，一层可能有20多户，人口密度非常大，而且公寓楼一般是通道式结构，房间都是单面采光，房间光照时间短，通风效果也很受影响。公寓房的面积比较小，多为40-70平，不适合多人一起居住，会非常拥挤。容积率，针对有小区环境的商住，很重要。梯户比主要影响通勤时间，高峰期可能上下楼都得10分钟以上因素需要注意下即可，并不是所有公寓在以上几个方面不佳

公摊面积#

考虑高比例公摊造成的低价假象，考虑单价时按照套内考虑。

物业#

小区的物业好坏直接影响公寓房的价格，买房时首先要保证小区内的配套要完善，尤其是商业配套。其次是小区的安保措施要有保障，对业主反馈的问题处理要快，这样你的租金才能有保障。

价格#

最核心的是价格！价格！价格！毕竟主要用来出租的话，买入价就是成本，而租金取决于城市地段等外部因素，只要价格足够便宜，差点的公寓一样可以实现正收益。投资是为了收取租金，赢得长期不断的收入，如同饲养一个会下金蛋的鸡一样，不要杀鸡取卵，认真看待这个世界的现实，让自己真正的在投资上成为一个收益嘎嘎的投资人，这才是核心！

户型#

公寓大多小户型，出租有优势（均价较高），主要针对租房人群，所以对租房人群敏感自住则是劣势，劣势邻居大概率也是租户，人员复杂。大户型公寓，邻居即使租户也大概率长租，或者就是家庭，相对不稳定单身人口稍微稳定

“事到如今感觉可以回答一下了，公寓=居住价值，住宅包含了落户学区居住等价值。大家都知道住宅是好东西，再加上中国前几十年GDP飞速发展，平均增速9.6%，于是大家给了住宅一个非常高的估值，或者说叫泡沫。而公寓因为天天被黑，所以基本没啥大的泡沫，且给你提供稳定的租金，稳定的现金流。经济繁荣转滞胀的阶段，大家都靠泡沫赚钱，因此带泡沫的住宅估值越来越高。但现在经济是滞胀转衰退，市场上的钱渐渐减少了，由估值堆出来的住宅，渐渐会因为紧缩而被杀掉估值。反倒是现金流优秀的公寓，在大类估值被杀的时候，能保值，相当于股息率非常不错的股票，在熊市跌不到哪里去。阶段不同，投资策略不同罢了。

定量篇#

房产估值方法，可类比为可转债，股票价格低时收利息，股票价格高时，转股后卖出。

01，交易价差#

依靠买卖价差获取收益，典型的住宅，我国一线城市平均租售比为1:635(2022上半年),也就是基本50年回本，怎么算都不划算，但为何大家趋之若鹜，原因很简单，没人指望租金挣钱，都是指望未来价格更上一层楼来获取收益。以交易价差获取收益，对手续费会极其敏感。
交易价差不好估计，供需决定，典型的学区房！

02，租金折现#

买入后，持续出租获取源源不断的租金收益现金流。为何靠出租而不是交易，交易成本高呗，涨价100万，国家收走50万，此时买家买入只能冲着自住或者长期出租的目的。所以公寓价格基本和租金水平挂钩的，相对来说可以体现更纯粹的居住价值。
公寓价值相对容易估计，比如一套房子A，市场租金3000元每月，考虑不可能持续出租，所以估值是会按照每年11月估值，那么对应未来现金流价格=3000*11个月*40年=132万
有人说你没考虑租金上涨啊。其实是考虑了的，只是做了简化处理，假如每年租金上涨5%，定期存款利率5%，则明年的租金（明年的1000块等于今年的1000/(1+存款利率)，假如定存利率10%，那么今年的900块，约定于明年的1000块（900\1.1=990），有金融学背景应该都懂），折现到今年就是 (3000*11*1.05)/1.05=3000*11（这里没考虑3.3万的租金是分月到的，但是原理一样的）。上面的计算公式其实默认了未来租金涨幅和定存利率同步上涨的。
简单来说，公寓价格是有兜底的，租金兜底，除非租金下跌，否则亏损概率不大，当然如果着急用钱，交易价格可能下跌。

03，公寓住宅交易费用差异#

假设，张三在2015年分别购入了一套住宅和公寓，购入价均为50万。现在需要售出，假设售出价都为100万。那么，所需要承担的税费有：

住宅如果满二、满五唯一、普通住宅的话，税费会少很多，只有1%的契税；如果不满二、不满五不唯一、普通住宅的话，税费大概为7.3%，其中增值税占了大头（5.3%）；另外，关于个税，在目前房产增值的大背景下，一般都会选择核定计税。除非说，买入卖出价相差很小，才会去选择核实计税。公寓采用核定计税（也称全额征税），总税费约为卖出价的14.7%；核实计税算法相对复杂，但总的规律是：房产升值越多，缴税（个税、土地增值税）越高；如果房产增值不多，甚至没有增值，那选择核实计税会划算些，相反则选择核定计税。有上述数据可见，公寓的交易成本非常高。

解惑篇#

为何商住和住宅价格差异大#

拍地时，商业用地的价格本身就比住宅用地，城镇用地要便宜，在固定土地成本的基础上盖出来的房子，自然也要以此为依据。

其他参考此篇文章，读完相信你会对公寓有不一样的认识
洞察：公寓和住宅的21个区别，以及十个常见不让你买公寓的真相：https://zhuanlan.zhihu.com/p/595945002

综述#

投资住宅优势:流通成本低，价格上涨实打实收益，且高杠杆充分资金，吃足价格上涨优势，适合交易类投资，不适合收租类投资（总价高，租售比低），当前存在较高溢价。
投资公寓优势:公寓主要考出租，吃租金上涨优势，杠杆低且交易手续费高，所以不适合交易类投资（价差类投资），总价低，租售比高，价值有租金兜底
不要人云亦云，独立思考，并为自己的思考负责，才是紧握时代方向的。过去的经验未来未必适用，尤其是处于大概率变革的时代。

底部特征_05入场时机已到202205

Sat, 11 Jun 2022 00:00:00 GMT

0528目前来看，应该到了入场时机

支持01：上证指数及无风险收益曲线交叉#

参考博文:上证指数以及定投无风险收益率理财收益曲线比较:https://uqer.datayes.com/v3/community/share/6003a100a7014d01585f54f4
这条神奇的曲线，当下位置在这里（20220528），当然未来可能回踩，但整体来看，的确有较大概率构成底部。

del01

支持02：破净股比例接近历史高位#

历史角度，破净比例高于20%，基本上对应行情均为底部区域。而目前（图中对应最新日期为20220516），也基本达到此比例，当然，此数据有进一步升高(对应行情下挫)。但历史角度看，指数下跌空间已经很有限了。

支持03：总市值比GDP接近底部#

这个指标看，有一定下行空间，但空间并不大，注意，我们重点关注的是深色部分（靠下部的区线），这个是比值，上部的指数，不需太关注。

del01

支持04：股债利差将降低#

如下图：关注蓝色线，蓝色线到达2倍标准差顶部，回调概率较高。而回调对应着股价（这里是指数）上涨。

del01

支持05：市盈率位于底部#

重点关注：下部的黄，蓝，绿色三条线，最上部红色，是指数，不关注。
可以看到，三者都靠近历史底部。

del01

支持06：全部A股等权重市盈率中位数市盈率接近底部#

如下图黑色部分，目前已经很接近。此图最后日期为：20220526

del01

反对01：指标同质化，疫情+俄乌冲突+欧美对俄乌的扩大化，近几十年未遇之大变局#

上述所有指标，均是价格衍生指标，可以说明价格处于历史底部。但历史也不大可能是简单重复。目前的疫情和俄乌冲突（近几十年没有这个量级的大国直接参与战争，而欧美态度，又使得冲突扩大话，战争造成多大影响尚无法估计）都对一些行业造成毁灭性打击，所以即使出现极端行情也无需感到奇怪。
另一个需要注意的问题时，目前刚位于底部，可能面临较长时间的磨底期，尤其是疫情和俄乌，大概率会压制行情难以大涨。

底部特征_01底部标志无风险收益曲线

Tue, 10 May 2022 00:00:00 GMT

INNERID/上证及定投无风险收益比较_22042601.nb
缘起：文章：上证指数以及定投无风险收益率理财收益曲线比较

历史曲线#

先看下人家的曲线

del01

注意到底部蓝色线红色线交汇点，是处于完美的底部区域。之后不久，大盘就转牛。这个了不得啊，下次到了底部，卖车卖房，满仓上，分分钟走上人生巅峰！

del01

当下位置#

clone代码后直接运行，即可得到最新回测结果（当前日期：20220426），截图如下

del01

可见，现在已经到了我们梦寐以求的底部了。心动了没有？嘻嘻！

del01

个人见解#

大概率是凑巧，首先，大多行情线，基本存在一条线，可以将底部近似的串起来，由于我国市场，目前整体向上（所以这条线就容易存在，且看起来，拟合效果也会不错）。凑巧的是其数值，恰恰等同无风险收益率。（其实，不等于无风险收益率，也可以等于其他指标，比如：优质企业债券等收益率等，毕竟宏观经济指标太多了，总可以找到一个指标和这个斜率吻合的）。
但也并非全无意义，既然历史角度成立，所以，可能还是说明一些东西的。具体是啥，我也说不明白，简单来说，可以参考下，但也别太较真，千万别真的当做100%概率的事情（理论上，100%收益的事情，对应理论上，该采用所能达到的最上限度杠杆上，毕竟，稳赚不赔，钱多不压身。当然现实生活中好像没啥是100%的，金融市场，就更是如此了）。

不妨参考其他市场上的底部线，

del01

看到没，其实人家也挺精准的，尤其是孟买股市，吻合度很高。只要经济整体向上（向下也行，只要有大趋势），大概率会存在一条直线，将市场底部粗略串起来。但这只是后视角的概念，并不能作为预测使用！（请保持唯物！），类似抛硬币3次都是，正面，下一面反面概率也不大于正面！！

底部特征_03中金历史阶段性底部特征梳理

Fri, 29 Apr 2022 00:00:00 GMT

部分因素是假因素，比如公墓基金发型，显然是结果，不能作为底部信号的判断依据。
中金：如何判别A股市场是否见底？历史上阶段性底部特征梳理:https://k.sina.com.cn/article_1638782947_61add7e3027018deq.html

重要底部信号梳理#

1）基本面信号。阶段性底部通常对应盈利周期整体或结构性触底回升，市场见底常领先盈利增长的回升约1-2个季度或基本同时出现。但随着A股内部盈利周期的结构分化，以及新经济权重占比提升，各部分产业盈利周期分化也导致见底节奏差异，例如2012年和2016年分别仅为创业板和传统蓝筹的底部。随着经济结构调整和转型升级，金融数据领先实体经济的规律对不同产业的影响也有变化，要更重视科技创新和绿色发展等领域景气度的结构特征。
2）政策信号。宏观政策内生于经济形势，发力往往具有循序渐进的特征。从政策发力到逐步见效以及市场企稳回升的过程通常存在时滞，市场企稳时点与政策效果密切相关。历次市场调整过程后半段尤其是尾声期常有宏观和监管层面的支持和“维稳”措施，对缓解短期流动性压力、改善投资者预期等有较好效果，但市场中期调整能否结束往往需要观察政策应对市场调整核心矛盾的改善成效。
3）估值信号。历次阶段性底部往往对应投资者的预期和情绪较为悲观，估值下行往往超出预期，机构重仓的标的估值也多被压缩至较低水平。但历次底部估值水平高低存在差异，可同时结合一些具有均值回归特征的指标做综合评判，如宽基指数和主要风格指数的股权风险溢价等，极低的估值虽然无法单独印证市场是否见底，但往往对应中长期取得正收益的概率提升，并且在基本面因素边际好转时也可能给市场带来更大的修复弹性。
4）资金信号。A股阶段性底部区域往往伴随产业资本增持明显增加或净减持下降，以及市场交易情绪明显降温，底部时期常伴随1.5%以下的换手率水平或者成交额相比前期高点萎缩60%以上，也可结合公募基金发行和新增开户数等情况，作为辅助性参考。
5）行为信号。历史来看强势板块或者强势股补跌也可能是调整尾声阶段的重要行为信号。综合来看，有效的政策信号以及盈利预期改善的基本面信号是阶段性底部形成的重要条件，估值、资金和行为层面的信号可以起到辅助判断作用。从历次阶段见底后的市场表现看，多数底部低点出现后3个月内常出现消化负面因素的磨底期，超跌反弹主线并非该阶段的领涨行业，市场情绪谨慎时基本面逻辑清晰的板块有相对收益。
判断市场阶段性底部的指标体系可能也需要动态调整。
　　随着中国经济层面和资本市场基本面发生较多变化，“后地产时代”中国要寻找增长新动力、寻求增速新均衡，中国经济结构调整、转型升级也在进入攻坚阶段，百年一遇疫情叠加百年未有之大变局，外围环境影响不容忽视；资本市场中，新老经济持续分化，新经济占比逐年提升且市值占比逐步超过老经济。判断市场底部除了基于传统宏观经济指标以外，同样需要关注新产业(35.260, 0.00, 0.00%)趋势的与传统经济的周期异步，如2012年和2018年的阶段性底部；也需要重视外部变量影响，2018年和2020年的两次阶段底部与外围因素消化有关。
本轮市场调整至今出现了哪些底部信号？
　　年初以来引发市场下跌原因较为综合，外部包括俄乌局势演绎强化滞胀预期、国际关系如中概股退市的担忧，内部则包括市场担忧稳增长政策面临较多约束、房地产市场偏弱且信用风险尚待解决、国内局部疫情和产业监管等因素。而目前政策信号明确且有针对性，货币政策以及房地产等领域的支持政策相比前期更为积极，疫情的管控也在动态调整，对于中概股和平台经济问题，近期金融委会议也做出积极回应。目前来看基本面信号仍有待改善，大宗涨价对中下游盈利的挤压、房地产景气度偏弱拖累住房产业链需求以及消费受到压制等问题，尚待明确拐点出现。辅助信号中，目前市场估值接近历史低位可能已释放较多风险，而资金信号和行为信号尚需继续观察。

市场逐步进入磨底期，未来关注潜在四个方面因素。　　综合看，引发市场调整的部分因素已经迎来政策层面的积极化解，基本面信号仍然偏弱，潜在拐点可能仍然需要等待政策发挥效力实现基本面改善，市场短线仍可能有反复，但类似前期大幅下跌的阶段可能已经结束，后续市场可能逐步进入磨底阶段。结合已调整的幅度、估值和负面因素的可能消化程度，我们认为中期维度市场机会大于风险。未来关注以下潜在因素：1）俄乌局势明朗和全球通胀压力缓解，带来“滞胀”担心边际缓解；2）“稳增长”政策继续发力，尤其是目前担忧较多的房地产等领域。3）国内疫情情况进一步明朗；4）中美关系边际趋稳，中概股问题相对明确等。结构上，当前“稳增长”主线可能依然有配置价值，中期随着增长逐步趋于稳定，宏观风险逐步化解，市场可能仍将聚焦更可持续增长的领域，高景气度的科技创新和制造升级等相关领域可能相对占优。
　　

底部持续时间和特征#

历次底部持续时间和特征均有所差异。历次市场底部区域持续时间有较大差异，如2008年、2012年和2020年的市场底部仅持续不足半个月，市场开始明显反转，也包括2016年与2018年，市场出现1-3个月的“磨底期”，而2013-2014年市场在低位盘整近1年后才明显上涨脱离底部。而且市场见底之前的调整幅度与持续时间也相对缺乏规律，本轮回调目前幅度略小于以往的市场中期下跌，但持续时间已相对较长。
市场见底有较多的参考信号，但最为关键的可能是引发市场调整的因素出现转向或边际改善。历史上市场见顶初期往往出现全面或局部估值泡沫，宏观政策或监管转向引发市场估值回调，而随后基本面进入下行周期中，市场整体跌幅继续加大，此外若伴随海外环境的恶化，同样可能对市场造成一定调整压力。最终市场企稳回升也往往与前期引发市场回调的因素转向或边际预期改善有关，通常表现为如政策发力改善对基本面的预期，或者盈利周期已出现见底回升拐点的迹象，抑或压制市场表现的外生变量发生逆转，即使2020年3月由海外环境引发的调整，最终市场企稳也是在国内外流动性环境明显缓解之后；若压制基本面预期的因素未发生根本改变，市场更多表现为调整周期中的阶段反弹。
　　“政策底—情绪底—增长底”为市场常见的“见底”模式。在周期下行阶段，基本面走弱至一定阶段后往往对应政策开始进行逆周期调节，而且调节的力度往往在周期下行的中后期逐步加大，即“政策底”在逐步确认；但投资者对基本面下行的谨慎预期可能难以马上改变，在政策发力并未明显改善需求阶段市场情绪难有较大改观，伴随交易层面的特征，历史上往往出现在调整末期跌幅加大，直到政策发力逐步见效带来投资者预期边际改善，市场的“情绪底”也逐步形成；政策供给往往对应未来需求，在增长企稳前可能“稳增长”政策仍将继续发力，最终“增长底”滞后于“政策底”出现。虽然是常见的周期见底模式，但三类底部的时间间隔可能存在不确定性，历史上“政策底”与“增长底”的间隔多为2-3个季度。
　　估值、资金和市场情绪等方面的信号具有一定参考意义，主要用于上述关键因素变化后的辅助参考。虽然历次阶段性底部市场估值较低，但历次底部估值的下限往往差异较大，尤其在增长预期恶化阶段判断估值低点难度较高，但是在前述关键因素改善或出现转向后，估值对于市场底的判断有重要作用。同理，反映市场情绪的成交指标、产业资本增持或重要投资者的增持行为以及异常的投资者行为指标，也同样可作为辅助判断的信号。

图表1：历次市场底部特征梳理：引发市场调整的因素出现转向或者预期边际改善

del01

图表2：A股历史上六次阶段性底部的见底过程

del01

图表3：长周期的指数表现、市场风格、经济增长和宏观政策的叠加

del01

疑问：非A金融盈利增速，数据怎么获得的？如果是各个公司的数据汇总的，那么怎么汇总计算的？隶属于财报中那些数据。同比：是啥
A股价值指数，A股成长指数，具体那个标的，或者筛选标准。
宽基指数：指“没有行业区分的多只股票形成的组合指数叫宽基指数,其反映了这些股票综合的走势。像上证指数、沪深300指数这种指数样本标的来自不同的行业的指数称为宽基指数。如果多只股票都属于同一个行业,那组而成的指数就叫做窄基指数,也可以成为某个行业的指数。”

市场阶段性见底的信号梳理#

基本面信号#

阶段性底部通常对应周期中的盈利增长整体或结构性触底回升。除了2014年的阶段性底部以外，历次阶段性底部均对应基本面的企稳回升，通常市场见底领先盈利增长回升约1-2个季度，或者基本同时出现，即便是2014年市场见底回升，也隐含了改革带来传统行业基本面改善的预期。而2012年仅有创业板见阶段性底部，与传统经济普遍产能过剩和经济复苏偏弱，而受益新产业趋势崛起的创业板盈利进入上行周期有关；同样在2016年中国经济全面见底，尤其是传统行业明显强劲复苏，而创业板盈利增长从高位回落，因此2016年仅有蓝筹板块见阶段性底部，而中小创企业所处盈利周期不利则表现相对较差。
2010年以后A股内部的盈利周期呈现结构分化，盈利弹性影响见底后的市场弹性。随着中国经济结构转型，以及新经济在市场中的占比权重提升，A股在2010年以后内部整体呈现新老经济盈利能力分化和周期异步，同时市场中新经济权重逐年提升，因此判断盈利周期底部可能需对产业有所区分，最终各部分盈利恢复程度可能影响底部的可靠性以及股市表现弹性。例如前述2012年和2016年以后的市场结构分化，同时2018年和2020年的市场阶段性底部事实上也反映盈利的结构性见底与全面见底的差异。
金融数据对实体经济增长具有领先性，但对于不同产业影响有差异。历史上金融数据增长对实体经济增长具有明显的领先性，主要是融资环境转松后，企业获取信贷增加固定资产投资，居民部门加杠杆推升房地产销售增长，进而带动实体经济中上游环节以及消费改善，金融数据增长传导至实体经济回升可能需要1-2个季度左右。虽然金融数据是经济增长预期的良好观测指标，但随着中国经济结构调整、转型升级也在逐步进入攻坚阶段，以及中国进入“后地产时代”中国要寻找增长新动力、寻求增速新均衡以后，传统信贷投放的“稳增长”手段带来的效果也在发生变化。除了总量层面，更要重视结构增长的变化趋势，尤其是房地产领域的修复弹性，以及科技创新和绿色发展等趋势的景气度变化。
图表4：市场阶段性底部出现时间通常接近于整体或结构盈利增长拐点

资料来源：万得资讯，中金公司研究部
图表5：三大产业对中国GDP的贡献

资料来源：万得资讯，中金公司研究部
图表6：全部中国上市公司板块市值占比

资料来源：万得资讯，中金公司研究部
图表7：宽信用是经济增长预期回升的前瞻指标，新增社融拐点与市场拐点有一定关联性

资料来源：万得资讯，中金公司研究部
图表8：信贷脉冲领先中国股市6个月左右

资料来源：万得资讯，中金公司研究部
图表9：信贷脉冲与国债利率反向变动，滞后2个月左右

资料来源：万得资讯，中金公司研究部
图表10：金融数据对企业盈利具有领先性，但金融数据本身的弹性也在减弱

资料来源：万得资讯，中金公司研究部
图表11：新老经济成分的盈利周期异步，可能是不同板块底部出现异步的原因

资料来源：万得资讯，中金公司研究部

政策信号#

历史上在市场阶段性底部出现的政策支持信号同样具有重要的意义，一方面政策发力可能对前期市场担忧因素进行针对性解决和扭转，另一方面政策持续加力可能逐渐改善经济基本面下行的预期。
政策发力到市场企稳回升通常存在时滞。历次经济周期下行和市场下跌过程中，由于政策内生于经济形势，“稳增长”政策的力度往往是伴随增长下行压力增加而加大，在政策发力初期，往往难以立即对周期下行产生立竿见影的效果，市场情绪在政策信号初现时期往往仍较为低迷。但随着政策发力逐步见到成效，周期下行的预期开始逐渐扭转，市场也将伴随预期差逐渐企稳。例如2008年、2012年、2016年、2018年等市场底部均明显呈现为政策底领先增长底1-2个季度的现象，2014年相关政策虽然并未带来经济增长企稳，但针对房地产市场偏弱和传统经济改革等重点问题的政策力度相对较大，同样逐步促进市场企稳回升。
此外，历史上相关监管政策支持也是市场调整至低位后的常见信号，如放开制度限制（如2014年放宽创业板再融资）、鼓励各类资金增持上市公司股票等，近年随着市场机制逐步成熟，监管政策在形式上也有动态调整。
历史来看，维稳措施是否有助于化解市场调整核心矛盾，也是市场能否阶段性见底的关键。历史上股市大幅调整后为维护资本市场的稳定发展，政策层可能出台部分有利于市场稳定的政策，政策发力往往会起到良好的效果，尤其是有助于改善市场调整主要矛盾的相关政策，对于投资者情绪会有较明显的改善支持。例如2018年底政策层定调支持民企发展，出台措施支持民营中小企业融资，信用风险问题逐步化解后，市场逐步企稳。
图表12：2018年四季度政策持续加力，市场的悲观预期逐步扭转并见底回升

资料来源：万得资讯，新华网，中国证券报，中金公司研究部
图表13： 2018年央行先后多次降准

资料来源：万得资讯，中金公司研究部
图表14：信用风险溢价回落与市场拐点基本同步

资料来源：万得资讯，中金公司研究部
图表15：2008年在系列维稳措施作用下，市场逐步企稳

资料来源：万得资讯，新华网，中国证券报，中金公司研究部
图表16：2014年多项改革扭转市场对于老经济的悲观预期，市场在一系列政策催化下见底回升

资料来源：万得资讯，新华网，中国证券报，中金公司研究部

估值信号#

历史上的阶段性底部往往对应市场较为悲观的情绪，估值较为充分甚至过度反映盈利预期下行。主要宽基指数的历次估值底部的绝对水平高低存在差异。估值虽非市场调整见底的决定因素，尤其在宏观层面因素仍有较大不确定性或者面临流动性风险的背景之下，很难简单依据历史估值低点判断底部，但估值位置对市场具备较强参考价值，且中长期来看，估值位置和长期持股收益率具有较强相关性，市场低估值往往意味着中长期投资价值显现。
部分估值相关指标具有均值回归特征，也具备一定的参考意义。如沪深300的股权风险溢价具有一定的均值回归特征，历史上阶段性底部的股权风险溢价基本都位于均值上方一倍标准差左右。
在历史阶段性底部区域，往往机构重仓的成长蓝筹估值也被压缩至较低水平。虽然A股机构重仓的成长蓝筹历史估值相对较高，且相比市场整体表现更有韧性，但是在市场对未来盈利悲观且情绪不佳的阶段，这一类成长蓝筹最终在下跌后期也难免补跌并压缩估值。我们所构造的外资持仓前100的龙头公司市盈率指标，历史上在均值（18.8X）和均值下方一倍标准差（13.6X）的位置值得重点关注。
综上，我们认为历史上股权风险溢价与未来股市收益率有高度正相关关系，股权风险溢价高位所对应未来6个月取得正收益的概率相对较高，极低的估值虽然无法单独判断市场是否见底，但是可能对应未来取得高收益的概率提升。而且，当估值逐步进入历史低位水平，基本面因素的边际好转可能给市场带来更大的修复弹性。
图表17：宽基指数历次估值底部的水平均有差异

资料来源：朝阳永续，中金公司研究部
图表18：沪深300非金融具备一定估值中枢

资料来源：朝阳永续，中金公司研究部
图表19：股权风险溢价均值上方1倍标准差是较好的底部监测指标

资料来源：朝阳永续，中金公司研究部
图表20：机构投资者重仓的成长蓝筹历史上阶段性底部的估值较为接近

资料来源：FactSet，中金公司研究部
图表21：历史上阶段性底部的个股市盈率情况分布

资料来源：万得资讯，中金公司研究部
图表22：历史上股权风险溢价高位所对应未来6个月取得正收益的概率相对较高

资料来源：朝阳永续，万得资讯，中金公司研究部

资金信号#

A股阶段性底部区域往往出现产业资本增持明显增加或净减持下降。大股东和公司高管对于企业价值的认知可能更为充分，因此在历史上产业资本较集中的增持行为往往成为阶段性底部判断的重要参考，若结合市场成交额看，2012、2014、2016和2018年的四次阶段性底部均出现阶段产业资本增持/A股成交额超过0.3%，以及净减持金额明显下降。而2019年以来随着市场明显扩容，投资者结构多元化和估值中枢抬升，产业资本增持规模整体下降，且净减持整体增加，因此该指标并未再度触碰过阈值，如果考虑到部分股东2019年以后选择通过股票回购来支持股价，将上市公司增持与回购加总所统计的指标整体也低于以往平均水平，指标有效性可能在下降。
市场阶段性底部区域往往出现情绪明显降温。市场在阶段性底部出现时或者前后短时期内往往出现区间内较低的换手率，背后逻辑是市场调整到一定水平后多空双方力量相对平衡，抛压力量被消耗殆尽，导致交易情绪充分降温。以自由流通市值计算的换手率为基准，1.5%以下往往是较为可靠区域，但如果前期成交较为活跃可能对应未来换手率低点也难以降至如此低的水平，经验上阶段性底部的换手率通常相比前期成交高点萎缩 60%以上。此外，偏股型公募基金发行规模、交易所新增开户数对于衡量市场情绪也有较好效果，例如公募基金新成立份额连续数周处于冰点以及新增开户数相比前期减半等，但需要注意交易情绪充分降温对于阶段性底部而言同样并非充分条件，而是作为辅助判断指标，非历史底部区域也可能出现交易情绪明显降温。
图表23：产业资本增持潮在历史上对辅助底部判断有一定效果

资料来源：万得资讯，中金公司研究部
图表24：2019年以前临近阶段性底部，资本净减占比往往明显收窄甚至转正

资料来源：万得资讯，中金公司研究部
图表25：A股上市公司股票回购对判断底部的有效性有限

资料来源：万得资讯，中金公司研究部
图表26：2020年以来上市公司（增持+回购）/市场成交额整体低于以往

资料来源：万得资讯，中金公司研究部
图表27：历史阶段性底部往往对应情绪明显降温，市场换手率降至阶段较低水平

资料来源：万得资讯，中金公司研究部
图表28：公募基金发行规模在历史底部区域均出现明显降温

资料来源：万得资讯，中金公司研究部
图表29：市场新增开户数往往在市场底部区域降至较低水平，以往经验相比阶段高点降低约一半

资料来源：万得资讯，中金公司研究部

行为信号#

强势板块或者强势股补跌历史上也是调整末期的常见行为信号。与市场临近顶部前常出现的落后板块或缺乏逻辑的板块补涨相反，市场临近底部时常出现无差异调整，前期相对抗跌或有逻辑支撑的板块出现调整，或者热门的机构重仓股出现补跌。背后的逻辑是在市场调整末期，场内部分前期配置相对灵活的资金由于持有强势板块和强势股前期受损相对较小，但随着股票和板块估值分化到一定程度，导致这部分资金出现调仓需求，但市场情绪悲观可能导致场外几乎没有增量资金入场，最终场内资金的调仓换股往往导致前期强势股出现较大的跌幅。前述阶段性底部在最后下跌阶段均出现过前期热门板块最后阶段领跌的现象（如图表30）。
图表30：强势板块或者强势股补跌也可能是调整末期的重要行为信号

资料来源：万得资讯，中金公司研究部

阶段性底部信号的综合梳理#

引发市场下跌的基本面因素反转是历史阶段性底部的重要信号，尤其是盈利和政策信号。市场在大幅调整过程中，可能出于政策事件，或者流动性支持而出现阶段性反弹，但如果引发市场调整的基本面主要矛盾未发生根本改变或边际改善，盈利预期不佳将持续压制市场估值。从历史上阶段性底部的复盘看，最终市场企稳回升的过程，通常表现为政策发力逐步扭转基本面预期，并最终改善盈利周期，或者是新的驱动盈利周期上行的因素出现。
估值、资金和行为层面的信号有辅助判断的作用。从历史底部经验看，历史上估值绝对水平高低相对缺乏规律，资金和行为信号可能在调整过程中可能多次出现，需要合理使用辅助信号，在重要信号出现好转迹象后，结合辅助信号可能加大阶段性底部印证的概率。尤其是估值信号，当市场估值接近历史极低水平后，基本面因素的边际好转往往能带来更大的市场弹性。
要根据实际基本面情况动态调整判断市场阶段性底部的盈利和政策信号。中国经济层面和资本市场的基本面近10年以来发生了较多变化，经济层面“后地产时代”中国要寻找增长新动力、寻求增速新均衡，中国经济结构调整、转型升级也在逐步进入攻坚阶段，传统稳增长政策对于经济增长质量的改善作用可能也在发生变化；资本市场中，新老经济持续分化，新经济占比逐年提升且市值占比逐步超过老经济，市场结构与经济结构差异变大，新产业趋势对于市场盈利的结构性影响加大，判断市场底部除了基于传统宏观经济指标以外，同样需要关注新产业趋势的盈利周期。
外部因素对国内市场影响可能加大。经济基本面层面，百年一遇疫情叠加百年未有之大变局，供应链及地缘风险冲击时有发生，大国之间的竞争也在增加，中国在全球经济中的占比逐年提升，外围环境对中国经济的影响可能更加复杂；市场层面，外资逐渐成为中国市场重要的投资者，外围风险扰动对国内市场的影响也在加大。从2018年和2020年的两次阶段性底部看，市场的止跌企稳均与外围因素有关，在讨论市场底部经验时同样需要考虑外部变量对基本面的影响。
历史上阶段性底部低点出现后的市场特征
历史上阶段性底部低点出现后的3个月内常出现磨底期。阶段性底部出现之前往往伴随负面因素集中暴露，投资者情绪较为悲观，因此在市场出现政策利好或者前期引发调整的因素边际好转过程中，投资者往往需要反复确认或通过数据验证，市场也会因为交易惯性而容易出现反复。因此在低点第一次出现后市场经常出现一段时间的磨底期，历史来看多在3个月内，随后引发脱离底部区域的因素较多是来自市场担忧因素进一步明朗和化解。例如2008年、2018年和2020年市场均在社融和信贷数据明显超预期扩张，市场担忧因素逐步化解后加快上涨和脱离底部。
超跌反弹主线并非领涨行业，而是基本面逻辑最清晰的板块。虽然一般前期可能已有较多稳定市场或基本面的政策出台，市场在临近阶段性底部初期，由于情绪仍然相对脆弱，市场反弹主线往往是基本面逻辑最清晰的板块，而非前期跌幅最大的板块，我们将历次市场初次见低点后3个月的行业表现进行梳理，也发现类似特征。例如2008年10月市场见低点后，率先企稳回升的是受益政府加大投资力度的建材和电力设备新能源等基建领域，而非同受政策大力度支持但仍面临风险的金融和房地产；2014年市场见低点后的三个月内涨幅最大的仍是前期高景气的TMT板块，而非老经济和金融；2020年疫情期间，领涨市场的是受损相对较小或有所受益的必选消费和医药。
图表31：历史阶段性底部区域中，多数在见底后3个月内继续磨底，市场偏离底部幅度多在10%以内

资料来源：万得资讯，中金公司研究部
图表32：新增社融明显增长常成为底部区域市场扭转市场悲观预期的催化剂

资料来源：万得资讯，中金公司研究部
图表33：市场见低点后3个月，领涨的行业与前期超跌关联度不高，而可能是基本面逻辑最清晰的行业

资料来源：万得资讯，中金公司研究部

本轮市场调整至今出现了哪些底部信号？#

年初市场调整原因简析
年初至2月上旬的调整更多来自国内增长环境，外部有边际影响，具体原因包括：1）市场担忧稳增长政策力度面临较多约束，经济增长压力较大，高频数据反映房地产销售相对较弱且缺乏起色，信用风险挥之不去。2）2021年较为强势的“制造成长”领域，股价及估值处于相对高位、仓位不低，短期缺乏催化剂。3）随着美国通胀压力加大，美联储加息预期升温，与此同时美债利率大幅上升，美股回调。4）中美关系方面，美国商务部将部分中国单位列入“未经核实名单（UVL）”引发市场担忧，相关的生物医药、科技硬件和新能源汽车产业链受此影响较大。
3月以来市场调整的主要矛盾和前期有所变化，海外和国内多重超预期因素主导市场回调，北上资金大幅流出。主要海外因素包括：1）俄乌局势进一步演绎，以原油和农产品(6.000, 0.00, 0.00%)为代表的商品价格大涨，市场担心供应风险可能进一步演绎甚至逐步带来增长压力，中期“滞胀”情形的概率可能在加大。2）美国对俄罗斯展开制裁，2022年还有较多国家举行大选，地缘政治风险上升。3）前期SEC对中概股监管收紧，引发中概股退市的担忧导致中概股和港股调整，北上资金曾7个交易日累计净流出670亿元。国内因素包括：1）疫情最近在局地出现反复且影响范围加大。2）市场对于“稳增长”的政策力度仍有较多担忧，2月金融数据低于预期反映信贷需求仍然相对疲弱，而且外围局势复杂，给“稳增长”带来更大的挑战。3）投资者普遍担忧产业监管范围的扩大。4）连续的回调之后可能也有投资者止损或有资金赎回，导致负向反馈出现。
图表34：年初以来公募基金收益率整体不佳，尤其是重仓制造成长和消费领域的基金

资料来源：万得资讯，中金公司研究部
图表35：年初以来仅煤炭上涨，去年涨幅较大的制造成长明显回调

资料来源：万得资讯，中金公司研究部

当前市场出现哪些见底信号？#

经历年初以来市场大幅度的调整后，市场是否见底成为焦点问题，我们基于前述维度梳理当前市场各维度所出现的信号特征（图表36）。
当前政策信号明确且有针对性，基本面信号尚待改善。目前市场基本面仍面临部分压力，尤其是结构层面大宗商品涨价对中下游利润率的挤压，房地产投资和销售偏弱叠加疫情影响对于住房产业链以及整个消费行业的压制，基本面信号在结构层面仍然不够清晰。当前政策层面信号较为明确，并且较前期更有针对性，除了应对总量增长偏弱的一系列稳增长政策以外，对房地产领域的支持政策相比前期更为积极，疫情的管控也在发生积极的调整，对于市场担忧的中概股和平台经济问题，金融委会议也做出积极回应。目前引发市场调整的部分因素得到政策层面的积极化解，但基本面信号仍然偏弱，潜在拐点可能仍然需要等待政策发挥效力以及周期自身运行到位后出现。
辅助信号中目前估值信号在逐步提供支撑。当前市场估值回调虽然从各维度相比其它历史阶段性底部仍有部分空间，但已接近历史估值低位或价值区域，估值层面的中期风险已得到较为充分释放。而且随着未来基本面信号拐点进一步明确，当前估值充分回调也将为市场回升创造更大的弹性和空间。资金层面和行为层面信号目前仍不明显。
图表36：当前关于市场历史底部信号的最新情况梳理

资料来源：万得资讯，中金公司研究部

未来市场潜在转机#

综合来看，虽然短期判断底部有较大不确定性，但我们基于前述分析认为市场担忧因素部分得到政策积极化解，尚有基本面担忧因素在改善过程之中，市场短线仍可能有反复，但类似前期大幅下跌的阶段可能已经结束，后续市场可能逐步进入磨底阶段，经验上成交量可能会有所萎缩。中期来看，结合中国市场从去年2月见顶回调时间已经达到13个月，是中国股市历史上较长的调整期之一，累计调整幅度也不小；另一方面，市场估值也达到了历史上相对偏低的水平，且累积消化内外部负面因素已经较多，我们认为中期的角度机会与风险相比，可能更偏向机会。未来市场重点关注以下压制市场基本面的因素出现潜在转机：
1）俄乌局势和全球通胀压力缓解。针对近期俄乌地缘风险带来供应风险加大，以及当前全球通胀问题，我们在《“滞胀”复盘及对当下的启示》报告指出海外“滞胀”情形概率可能在加大，是从1970年代的经验看，通胀预期可能是判断市场节奏的关键因素，市场表现可能与通胀预期反向变化，即使在中期期滞胀环境下，短周期通胀预期回落改善基本面和政策面，市场整体尤其是中下游行业仍然会迎来转机。对于当前而言，俄乌局势演绎仍具有较高的不确定性，短期大宗商品价格和通胀预期对市场仍有一定压制作用，若未来地缘风险形势进一步明朗，大宗商品价格逐步接近高点并回落，中国市场尤其是中下游行业可能逐步迎来转机。
2）“稳增长”逐步见效，尤其是目前担忧较多的领域。从去年底中央经济工作会议以来，“稳增长”基调明确且政策逐渐加力，但随着中国经济结构调整和转型升级进入攻坚期，逐步进入“后地产时代”，叠加外围供应风险冲击，新阶段的稳增长政策面临更为复杂的局面。年初以来，房地产市场销售偏弱且信用风险仍在化解之中，居民消费需求依然不强等特征也反映了传统稳增长模式可能面临较多约束和挑战，而这可能意味着前期政策发力到见效的时滞拉长，随着稳增长政策在市场担忧的房地产和消费问题逐步发挥作用，经济总量和结构层面的下行压力均有望得到缓解。
3）国内疫情逐步得到控制，对经济活动的限制减轻。近期国内多地疫情快速上升，疫情影响所涉及省份占全国经济体量较大，为整体增长尤其是消费领域的复苏带来一定挑战。但是从近期抗原检测的批准、治疗方案的变化以及特效药的推进，均有较为积极的进展，而且根据海外国家以及中国香港的抗疫经验，我们预计疫情高点出现的时间可能不会太远，如果未来国内疫情逐步得到缓解和对经济活动限制减轻，也有助于经济基本面恢复。
4）中美关系边际趋稳，中概股问题相对明确等。近期金融委会议对该问题有积极表态，中美两国元首的视频通话也释放相对积极信号。
结构上，当前“稳增长”主线可能依然有配置价值，但我们预期中期随着增长逐步趋于稳定，宏观风险逐步化解，并且传统盈利增长弹性可能在下降，市场可能仍将聚焦更可持续增长的领域，可能对于成长风格相对有利，维持高景气度的科技创新和制造升级等相关领域可能相对占优。并且考虑到新经济领域在资本市场中占比已明显提升，科技创新产业未来增长的持续性和弹性对于市场中期转机也较为重要。

底部特征_02市场底部特征理论篇

Thu, 28 Apr 2022 00:00:00 GMT

主要参考文章：
研究中进行市场底部特征分析:https://www.joinquant.com/view/community/detail/376c92456d4c71e6c80e991b0edefaa1?type=1
【华创金工】市场底部特征研究:https://mp.weixin.qq.com/s/sXGUJ3DXk_iIlsiVjXQ3Fg

价格类#

低价股比例#

逻辑是牛市消灭仙股，熊市产生仙股
原理：牛市消灭仙股，熊市产生仙股，仙股原意是指价格已经低于1元的股票，这里放大了仙股价格区间，设定为小于2元的股票，统计了从07年开始，低价股数量占比的时间序列。可是，考虑到时间跨度超过10年，那是当年可以买碗牛肉拉面的两块钱，为了抵消通货膨胀的影响，所以这里做了些改动，将条件按每年4%的无风险收益进行增长，到目前，这个低价格的阈值已经是3.2元。
图示：

del01

1
  #返回股价低于2元的股票个数占比
2
  def f1(self,date_list):
3
      bei = len(date_list)//13
4
      se_price_2 = []
5
      for i in range(1,13):
6
          e = date_list[i*bei]
7
          s = date_list[(i-1)*bei]
8
          if i == 0:
9
              s = date_list[0]
10
          elif i == 12:
11
              e = date_list[-1]
12
          all_stock = list(get_all_securities(types='stock',date=e).index)
13
          def f1_1(x):
14
              x=x.dropna(axis=0)
15
              return sum(x)
16
          df = get_price(all_stock,start_date=s,end_date=e,fields=['close'],fq=None)['close']
17
          df_1 = df<=2*(1.04)**i
18
          #print(2*(1.04)**i)
19
          se1 = df_1.apply(f1_1,axis=1)
20
          l2 = [len(get_all_securities(types='stock',date=i)) for i in se1.index ]
21
          se2 = pd.Series(l2,index=se1.index)
22
          #se2 = df_1.apply(f1_1[1],axis=1)
23
          se_price_2.append(se1/se2)
24
      return pd.concat(se_price_2)

展开收起

破净股比例#

打折促销，领先指标。
原理：破净是指股价跌破净资产值，破净股具体就是指股票的每股市场价格低于它每股净资产价格，破净的特点和逻辑，和低价股类似。这一点从下面的图中看确实如此，从历史走势来看，破净股数据的变化情况，与股票市场的顶底区域是同步的。针对这个问题，我们找出市场中对应的几个位置特别位置和该指标数据进行对比，这里是2018年2月9号的具体表现
图示：

del01

注意到，这个指标和低价股是强相关的，曲线非常类似，个人觉得这个可解释性更佳！

1
  #返回破净股比例
2
  def f2(self,date_list):
3
      pb = []
4
      for d in date_list:
5
          df_temp = get_fundamentals(query(valuation.code,valuation.pb_ratio,valuation.circulating_market_cap,valuation.pe_ratio),date=d)
6
          a = len(df_temp)
7
          b = len(df_temp[df_temp['pb_ratio']<=1])
8
          #b = len(df_temp[(df_temp['pb_ratio']<=1)&amp;(df_temp['pb_ratio']>=0)])
9
          pb.append(b/a)
10
      df_2 = pd.DataFrame(pb,index=date_list,columns=['pb_ratio'])
11
      return df_2['pb_ratio']

流动性类#

全市交易额有没有触底？全市场人气。#

“大底时全市成交额，是高点全市成交额的10%。目前已经符合大底的标准。”
下面的图是将沪深两市每日成交额进行合计，惊奇的发现，2015年市场成交额数据竟然如此高不可攀，直逼2万亿，达到所有历史行情之最，让人不得不感慨这2015年杠杆牛的威力，明处券商两融业务做得风生水起，暗处场外配资遍地开花。虽然点数没有突破历史，但是成交金额却创下了历史记录。
将近几年的成交额数据放大，可以发现近期成交额基本处于15年以来成交额2千多万的底线水平，占最高点成交额的11%

del01

1
    #全市场成交额
2
    #输出两个市场成交额数据变化
3
    def f5(self,date_list):
4
        s,e = date_list[0],date_list[-1]
5
        pl = get_price(['399001.XSHE','000001.XSHG'],start_date=s,end_date=e,fields=['money'])['money']
6
        pl['money'] = pl['399001.XSHE']+pl['000001.XSHG']
7
        return pl['money']

个股流动性有没有触底？大底中大部分个股流动性枯竭。#

市场整体热度不够，个股自然不会好到哪里。目前从图中看到，个股的成交已经是在上次股灾值附近
这里以100万/天的成交额作为判断标准，来衡量市场个股是否冷淡。同样，由于时间跨度较大，也要考虑到市场整体的上涨对该判断带来的影响，不过这里是以M2增速的标准进行处理，我们也参考这个标准进行处理：
M2在2005年6月底数据为275,785.53，到2018年6月底数据为1,770,200.00，按复利增长计算，基本上是每年14%的速度上升，将该速度套用在2008年每天100万成交额的基础上，得出了2018年418万成交额的条件。图中看到貌似目前还未能满足该条件，未做比例统计

del01

1
 #个股成交的冷淡
2
  #返回个股成交金额
3
  def f6(self,date_list):
4
      l_money_mean = []
5
      for i in date_list:
6
          all_stock = list(get_all_securities(types='stock',date=i).index)
7
          df_money = get_price(all_stock,end_date=i,count=1)['money']
8
          df_money = df_money.dropna(axis=1)
9
          money_mean = sum(df_money.T)/df_money.shape[1]
10
          l_money_mean.append(money_mean.values)
11
      df_money_mean = pd.DataFrame(l_money_mean,index=date_list,columns=['money_mean'])
12
      return df_money_mean

动量类#

个股区间最大跌幅中位数#

大底是跌出来的，大底的水准是高点腰斩，在腰斩。
下面的图是沪深300的成分股最大回撤中位数数据，可以看到，在2008年创下了最高纪录73%，与原文提到的74.44%相当接近，2014年牛市启动之前曾达到58%，最近的一次高点，也就是在2016年2月股灾2.0时，该数据达到了54.48%，而现在该值在54%左右徘徊，已经符合该底部特征的条件。

del01

1
  #个股区间最大跌幅中位数
2
  def f7(self,date_list):
3
      date = date_list[-1]
4
      #all_stock = list(get_all_securities(types='stock',date=date).index)
5
      all_stock = get_index_stocks('000300.XSHG')
6
      df_temp = get_price(all_stock,start_date='2005-4-1',end_date=date,fields=['close'])['close']
7
      se_l = []
8
      for i in date_list:
9
          df_temp_1 = df_temp[df_temp.index<i]
10
          #回撤
11
          se = 1-df_temp_1[-1:]/df_temp_1.max()
12
          #格式为series
13
          se_l.append(se.T.quantile(0.5))
14
      return pd.concat(se_l)

外部类#

M2/总市值中位数#

相当于每一元的市值，有多少M2支撑和刺激？可以理解为“施肥率”。
M2（广义货币）= 流通中的现金（即流通于银行体系之外的现金）+企业活期存款+准货币（定期存款+居民储蓄存款+其他存款+证券公司客户保证金）
简单粗暴的来讲就是指现金+活期存款+定期存款，M2越大越有钱，有了钱就可以大胆的买买买了，买酒、买药、买榨菜、买面条…M2被比作市场的肥料，这里将M2/总市值中位数进行了指标构建，相当于每平方米的施肥率。而选择中位数却不用总市值，是想弱化权重股对这个指标的过度影响，这里也是可以理解，毕竟中小盘股的参与度要高于超级大盘股。

del01

1
  def f3_1(self,date_list):
2
      M2_date = pd.read_excel('M2.xls')
3
      M2_date = M2_date[(M2_date['time']>date_list[0]) &amp; (M2_date['time']<date_list[-1])]
4
      M2_date.index = M2_date['time'].values
5
      date_list_new = M2_date.time
6
      market = []
7
      for d in date_list_new:
8
          df_temp = get_fundamentals(query(valuation.code,valuation.circulating_market_cap),date=d)
9
          c = df_temp['circulating_market_cap'].quantile(0.5)
10
          market.append(c)
11
      df_3 = pd.DataFrame(market,index=date_list_new,columns=['market_50%'])
12
      df_3['m2'] = M2_date['M2']
13
      df_3['M2/总市值中位数'] = df_3['m2']/df_3['market_50%']
14
      df_3 = df_3.sort_index(ascending=1)
15
      return df_3#['M2/总市值中位数']

展开收起

PE中位数和十年国债收益率倒数#

比较股票和国债收益率的高低，经典的股债轮动指标。
先说说国债收益率和股市的关系，国债作为固收类产品，其收益率就是我们常说的无风险收益率，稳赚不赔，国债收益率较高的时候，会吸引资金从高风险领域不断流入低风险的国债，造成流动性紧张，其他资产价格就会下跌；国债利率低，就会导致更多资金流入高风险领域，如间接持有股票型基金，或直接入市等，导致市场热度上升，这就是股债轮动存在的依据。
下图就是市场PE中位数和十年国债收益率倒数的走势情况。
“第一、就是PE中位数随着小盘股占比越来越高，PE中位数也水涨船高。现在的PE中位数和08年PE中位数，内涵已经差了很多。” 目前，看到PE中位数已经接近前低，假设PE是以线性增长的话很明显已经跌破了之前两次低点的连线，PE中位数和国债收益倒数非常接近，但还未产生交叉
“第二、蓝色线和灰色线的交叉，注意，通常不止一次。”
前几次的数据曲线中我们看到，红线（PE中位数）几次下跌都是在熊市中下穿蓝线（10年国债收益率倒数），在市场回暖的过程中红线势必突破蓝线，我们可以看到一轮完整的牛熊市切换貌似都要触及一次蓝线，构成市场的左侧信息和右侧信号，中间即是买票上车的时间。

del01

1
#PE中位数和十年国债收益率倒数的比较
2
def f4_1(self,date_list):
3
  deb_date = pd.read_excel('10年国债数据.xls')
4
  deb_date = deb_date[(deb_date['time']>date_list[0]) &amp; (deb_date['time']<date_list[-1])]
5
  deb_date.index = deb_date['time'].values
6
  date_list_new = deb_date.time
7
  pe = []
8
  cir_market_ratio = []
9
  for d in date_list_new:
10
      df_temp = get_fundamentals(query(valuation.code,valuation.pe_ratio,valuation.circulating_market_cap),date=d)
11
      a = len(df_temp)
12
      b = len(df_temp[df_temp['circulating_market_cap']<45])
13
      #print(df_temp['circulating_market_cap'].quantile(0.5))
14
      c = df_temp['pe_ratio'].quantile(0.5)
15
      cir_market_ratio.append(b/a)
16
      pe.append(c)
17
  df_4 = pd.DataFrame(pe,index=date_list_new,columns=['pe_50%'])
18
  df_4['returns'] = deb_date['returns']
19
  df_4['1/returns'] = 100/deb_date['returns']
20
  df_4['cir_market_ratio'] = cir_market_ratio
21
  #df_4['pe中位数/10年国债收益倒数'] = df_4['pe_50%']/df_4['1/returns']
22
  return df_4[['pe_50%','1/returns','cir_market_ratio']]

展开收起

人气指标：次新股的破发率。#

除了全市场的估值低，各个行业也一片惨淡，几无例外。
次新股，一般是指上市一年以内的股票，可以通过以下代码获取近一年上市的所有股票，共计241只，占全市场股票6.8%,取出全市场换手率最高的前100只股票，其中次新股却有57只，对广大股民来讲，次新确实有着绝对的人气。
下面是次新股和全市场股票的PE中位数的数据，就最近一次的牛市行情来看，次新是不一样的，在2015股灾之后，依然走出了一波行情，直到2016年年底才开始跳水，这与IPO加速都有着直接的关系。数据往前推几年，牛熊交替的过程中我们看到，市场好的时候，大家各有各的花样，市场不好的时候，看起来都是一个样。最低点时次新股与全市场估值接近，就是所谓通杀。就目前来看，次新还是有着自己的想法。

del01

1
import datetime
2
#获取所有的股票信息
3
df = get_all_securities()
4
#筛选出近一年的股票
5
df[df['start_date']>datetime.date(2017,7,20)]
6

7

8
#获取次新股和全市场股票的PE中位数
9
  def f8(self,date_list):
10
      sec_new_pe = []
11
      pe = []
12
      p_ratio_l = []
13
      all_stock = get_all_securities(types='stock',date=date_list[-1])
14
      all_stock['fir_open'] = [get_price(stock,end_date=all_stock.loc[stock]['start_date'],count=1,fields=['open'])['open'].values[0] for stock in all_stock.index]
15
      for d in date_list:
16
          df_temp = get_price('000001.XSHG',end_date=d,count=252)
17
          year_1,month_1,day_1 = int(str(df_temp.index[0])[:4]), int(str(df_temp.index[0])[5:7]), int(str(df_temp.index[0])[8:10])
18
          year,month,day = int(str(df_temp.index[-1])[:4]), int(str(df_temp.index[-1])[5:7]), int(str(df_temp.index[-1])[8:10])
19
          sec_new_stock_df = all_stock[(all_stock['start_date']>datetime.date(year_1,month_1,day_1)) &amp; (all_stock['start_date']<datetime.date(year,month,day))]
20
          sec_new_stock = sec_new_stock_df.index
21
          df_temp = get_fundamentals(query(valuation.code,valuation.pe_ratio).filter(valuation.code.in_(sec_new_stock)),date=d)
22
          df_temp_1 = get_fundamentals(query(valuation.code,valuation.pe_ratio),date=d)
23
          pe_sec = df_temp['pe_ratio'].quantile(0.5)
24
          pe_all = df_temp_1['pe_ratio'].quantile(0.5)
25
          sec_new_pe.append(pe_sec)
26
          pe.append(pe_all)
27
          #获取次新股当前价格
28
          sec_new_price = get_price(list(sec_new_stock),end_date=d,fields=['close'],count=1)['close'].T
29
          sec_new_price.columns=['fir_open']
30
          p_ratio = sec_new_price['fir_open']/all_stock.loc[sec_new_price.index,:]['fir_open']
31
          po_ratio = len(p_ratio[p_ratio<1])/len(p_ratio)
32
          p_ratio_l.append(po_ratio)
33
      df_pe = pd.DataFrame(sec_new_pe,index=date_list,columns=['sec_pe'])
34
      df_pe['pe'] = pe
35
      df_pe['p_ratio'] = p_ratio_l
36
      return df_pe

展开收起

市场大底，行业一片惨淡，无一例外#

关于股票估值有很多的说法，就结果而言，至少到目前为止并没有一个可靠的办法，都是试图无限接近真实价值，但是结果本身甚至都不具收敛性，只能是挖掘相对好一点的方法。
比较常见的方法会以每股收益为基础，估计价格，以股票当前的价格比上每股收益，得出市盈率，其中每股收益是公司本身决定的，是个确定的值，而股票价格，就是参与者来决定的随机值，根据经验，我们可以找出历史的PE值在牛熊市、特定行业中的表现，pe = p/e转换为p=pe*e,从而得到估计的值，对当前价格进行指导。
在熊市的时候，大部分行业集中低估，行业估值的80%分位数，和全市场估值水平差不多。这一特征，这里并没有进行详细的数据演示，下面展示的是不同市值、不同板块的指数成分股50%分位数的时间序列，行业的话可以参考前面的代码，把股票池更换成行业成分股即可，调整下中位数刻度，进行对比验证了。

del01

1
a = f()
2
#由于部分指数上市较晚，这里开始时间从2015年开始
3
date_list = a.get_tradeday_list('2015-7-17','2018-7-17')
4
df9 = a.f9(date_list)
5
df9 = df9.sort_index(ascending=1)
6
df9.plot(figsize=(10,7))
7
9.png
8
  #市场大底，行业一片惨淡，无一例外
9
  #行业PE估值
10
  def f9(self,date_list):
11
      #指数用成分股，pe值做市值加权处理
12
      index_list = ['000001.XSHG','000300.XSHG','000016.XSHG','000905.XSHG','000852.XSHG','399006.XSHE','399678.XSHE','399005.XSHE']
13
      index_name = ['上证','沪深300','上证50','中证500','中证1000','创业板','次新股','中小板']
14
      pe_fin = []
15
      for i in date_list:
16
          pe_index = []
17
          for j in index_list:
18
              stock_list = get_index_stocks(j,i)
19
              df_temp = get_fundamentals(query(valuation.code,valuation.pe_ratio).filter(valuation.code.in_(stock_list)),date=i)
20
              pe = df_temp['pe_ratio'].quantile(0.5)
21
              pe_index.append(pe)
22
          pe_fin.append(pe_index)
23
      pe_df = pd.DataFrame(pe_fin,index=date_list,columns=index_name)
24
      return pe_df

展开收起

todo#

板块分化#

可以进一步分析板块信息，比如下跌，龙头板块的下跌幅度，可能更具有代表性，毕竟部分板块可能一直不温不火，即使大跌，可能也没跌多少。可能导致数据失真，偏差。比如每次下跌，龙头板块下跌2/3，才到近似底部等结论。

定投_01基本原理和加权定投

Thu, 07 Oct 2021 00:00:00 GMT

文章大多摘录自：量化定投，工薪族逆袭之路，原文过于冗长，且和代码交织在一起。重新提炼了下重点内容。
需要详细了解代码的，参考原文。

定投原理#

市场下跌时，随着定投的进行，你的平均持仓成本不断降低，等到市场回暖，很快就会超过你的平均成本，账户就有了浮盈。
需要注意的是浮盈不等于盈利，完整的定投策略需要包含买入和卖出。只有买入的方法不构成交易策略。

定投的好处是什么#

绕过了择时这个大难题。
我们都清楚，如果谁能准确地预测第二天某只股票或者基金会上涨，那么即使只上涨1%，只要你投入足够的本金，也能在这一次投资中实现财富极大增大。然而难就难在谁都不敢打包票一定会涨，谁也不能确定哪一天就是最适合进场的时机。所以，与其去猜测和跟风，不如踏踏实实地采用定投的方式。
注意，定投不是没有风险，而是在长期的区间内，降低因股市波动造成投资者心理压力大、跟风投资、高买低卖等导致的亏损风险。

基金定期定额投资具有类似长期储蓄的特点，能积少成多，平摊投资成本，降低整体风险。它有自动逢低加码，逢高减码的功能。

定投的内因：行情的波动与周期#

社会环境的经济会以衰退－萧条－复苏－繁荣四种形式往复呈现。
经济周期曲线图：

del04

由于不同国家的国情不尽相同，这种周而复始的周期曲线表现得并不完美。
对应到A股票上，上证指数1990年12月19号成立，之后的经历了4次牛市，分别1993年2月、2001年6月、2007年10月、2015年6月。

del05

通过观察得到如下结论：
01，指数的起伏是好像有一定的周期性规律。
02，各牛市间的时间间隔并不匀称。
那问题来了，各牛市顶点的时间间隔大概在什么样的取值范围呢？未来大盘的趋势是否会符合某种规律呢？接下来我们计算一下各牛顶时间节点的平均间隔时间与偏差。
直接抛结论：

1
牛顶平均间隔时间： ['3042 days', '2313 days', '2800 days']
2
平均时间间隔 2718.33 天，即 7.45 年
3
平均时间间隔偏差 303.16 天，即 0.83 年
4
下个牛顶时间范围 2022年1月 ~ 2023年9月

通过上面的统计与可视化，可得出以下结论：
01，一轮牛熊的平均时间间隔为7.5年左右；
02，4轮牛熊的时间偏差在0.8年左右；
03，依此估算的下个牛顶的时间范围在2022年1月 ~ 2023年9月之间。

行情的趋势：整体向上#

上证指数的价格整体趋势是向上的。

del06

无脑定投收益情况：正收益高回撤#

构建一个以定期定额方式投资指数的模型，看看最终的投资效果如何。

得到结论如下：
01，累计收入大于0，所以整体正收益为正（毕竟大行情趋势向上）。
02，目前离历史资产最高点差距颇大（2008年最高点，组合收益取得最大值），最近12年基本上没有超过。
说明什么？
01，定投长期看（10年级别，不考虑在最高点买入的情况），是不亏钱的，整体持续正收益。
02，无脑定投，可能出现长期的大幅度回撤。比如08年最高点买入，那么现在依然赔本，（十多年了，想想有多惨吧，而且是在这么些年都来，还得保持持续加仓状态）

择时波段定投：PE和PB#

简单来说就是评估当前处于高位还是低位。高位时以卖出为主，低位时已买入为主。
评估依据：PE,PB
可视化PE/PB曲线图
将PE/PB趋势与指数趋势一起展示，以作观察

首先注意到：
01，PE，PB正相关的

del03

02，观察二者分布，可以看到
a，PE 与 PB 有两个峰值，PE 的值主要集中在 2439 倍区间，PB 的值主要集中在 2.13.6 倍之间。
b，牛市顶时对就的 PE 与 PB 值数量相当少，并且与中间区间的值的距离相对比较远，以至于在箱线图上成为了离群点。通过这一点可以说明牛市顶一闪而过，时间非常短，产生的数据量也非常少。

刻画PE整体趋势的中等分位区间（40%~60%）

del03

PE 40 到 60 的估值范围为 32.811 ~ 49.856 之间，这里我们设定此区间为适中估值区间。

择时波段定投，简单低买高卖#

模型的描述如下：
01，当 PE 处于适中估值区间时，不做任何操作；当月准备的定投金归入回收资金中。
02，当 PE 低于适中估值区间时，持续定投。
03，当 PE 高于适中估值区间时，持续卖出；卖出的金额与当月准备的定投金归入回收资金中。

del03

累计投入: 133000元
累计收益: 49155.86259384008元
最终本息累积: 182155.86259384008元
绝对收益率为: 36.95929518333841%

各年投入金额

del03

各年的收益

从上面的模型来看，整个投资区间，回收资金过少，即不能很好的在市场上涨的时候将钱落袋为安。由于买入与卖出都是按一个基准来操作的，因此，这里设想，是否可以越跌则买的越多，而越涨越卖出得越多呢？

择时波段定投，杠杆低买高卖#

当 PE 处于适中估值区间时，不做任何操作；当月准备的定投金归入回收资金中。
当 PE 低于适中估值区间时，持续定投；每低一个10%分位，则增加一倍倍投入。
当 PE 高于适中估值区间时，每高一个10%分位，则增加一倍卖出。在上面分析过程中发现低估值区间是高估值区间的11倍左右，因此，这里还在卖出的原倍数上乘以11.

del03

累计投入: 319000元
累计收益: 288684.23619299044元
最终本息累积: 607684.2361929904元
绝对收益率为: 90.49662576582772%
各年投入金额

del03

各年的收益

模型有了很大的进步，总体说来**，资金的增长主要靠的是持续的定投与高位的加倍卖出举动**。
但该模型在使用了从过支到当下计算的估值区间，我们期望可以使用一种动态追踪的估值数字，来指导我们做定投。
设想：将表态的pe按照近一段时间，来评估当下pe占过去历史百分位的高度，此区间随着时间的移动，一来可以发生动态变化，二来可以不受太旧历史数据的影响。
那这个历史区间设置多久呢？在上面的计算中，我们发现一个牛熊的运动大概在7.5年左右。因此，我们在这里设置这个时间区间为7.5年。

pe动态分位图与指数高低位的比较

模型描述：
以近7.5年的pe分位来指导定投操作；
当分位值低于适中估值区间时，按倍增法买入；
当分位值处于适中估值区间时，不做任何操作；
当分位值高于适中估值区间时，按照立方指数数倍卖出。

各年投入金额

各年的收益

del03

结论#

01，定投策略买入上看，属于放弃择时的买入。纯粹的无脑买入可以大概率做到不亏本（持有够久，同时避免在最高点入场），得益于我国的牛短熊长特征，这一点大概率成立。同时熊市期间，资产回撤比较严重。
02，定投做一定优化，比如，根据PE，PB分位判断牛熊，然后牛市卖，熊市买，可以取得比无脑更好的效果。具体程度视策略细节而定。
第二种方式最大问题时，统计的数据基于过于，未来未必适用。包括市场整体向上，这个目前成立的，但也未必是真理，没人给打包票。

参考#

基金定投原理（第②篇）价值研习所：https://zhuanlan.zhihu.com/p/113334488
基金定投的原理：https://zhidao.baidu.com/question/83460022.html
量化定投，工薪族逆袭之路(附定投模型）：https://www.joinquant.com/view/community/detail/9f42d389791cc9dbd186c9f4a99c6cf4?type=1

定投_02HS300定投有效性和归因分析(jq)

Tue, 28 Sep 2021 00:00:00 GMT

一般理财入门书籍都会推荐采用定投方式投资，如果不知道什么是定投可以自行百度下。
现在有了quant平台，可以通过的历史数据对其进行验证核实。
本文课题：定投盈利来源归因，定投收益率和时间成正比？
如果对代码不感兴趣，可直接阅读结论部分。贴出代码主要为了让某些读者方便的进行修改回测。

获取月初价格和定投收益信息#

代码:

1
import pandas as pd
2
pd.set_option('display.max_columns', None)
3
pd.set_option('display.max_rows', None)
4

5
# 获取价格信息
6
debug = True
7
price_df = get_price('510300.XSHG', start_date='2015-01-30',end_date='2021-10-30',frequency='daily', fields=['close'])
8
debug and print('get price_df:\n',price_df.head(5))
9

10
# 获取月初价格（模拟按月定投，此处模拟每月初，买入一次）
11
price_df=price_df.reset_index()
12
price_df['yestday']=price_df['index'].shift(periods=1)
13
price_df=price_df.dropna()
14

15
# 判断是否月初（月份发生变化说明是月初）
16
def change_month(date1,date2):
17
    return not (date1.replace('-','')[4:6]==date2.replace('-','')[4:6])
18
debug and change_month('2015-02-02','2015-01-30')
19
price_df['month_firstday']=price_df[['index','yestday']].apply(lambda x: change_month(str(x['index']),str(x['yestday'])),axis=1)
20
price_df=price_df[price_df['month_firstday']].drop(columns=['yestday','month_firstday'])
21
debug and print('keep month_firstday:\n',price_df.head())
22

23
# 每个月入金1w元
24
price_df['incash']=10000
25
# 入金转换为基金份额
26
price_df['fundshare']=price_df['incash']/price_df['close']
27
# 累计本金
28
price_df['incash_cumsum']=price_df['incash'].cumsum()
29
# 累计基金份额
30
price_df['fundshare_cumsum']=price_df['fundshare'].cumsum()
31
# 总资产=累计份额*收盘价
32
price_df['total_asset']=price_df['fundshare_cumsum']*price_df['close']
33
# 净利润=总资产-总入金
34
price_df['profit']=price_df['total_asset']-price_df['incash_cumsum']
35
# 净收益率 = 净利润/总入金=（总资产-总入金）/总入金
36
price_df['profit_rate']=price_df['profit']/price_df['incash_cumsum']
37
# 0轴，参考线
38
price_df['zero']=0
39
# 绘图，总资产，总入金，尽利润，0轴参考
40
debug and print('price_df:\n',price_df.head(5))
41
price_df[['total_asset','incash_cumsum','profit','zero']].plot()

展开收起

输出:

1
get price_df:
2
             close
3
2015-01-30  3.126
4
2015-02-02  3.056
5
2015-02-03  3.128
6
2015-02-04  3.092
7
2015-02-05  3.056
8
keep month_firstday:
9
         index  close
10
1  2015-02-02  3.056
11
16 2015-03-02  3.278
12
38 2015-04-01  3.744
13
59 2015-05-04  4.354
14
79 2015-06-01  4.633
15
price_df:
16
         index  close  incash    fundshare  incash_cumsum  fundshare_cumsum  total_asset        profit  profit_rate  zero
17
1  2015-02-02  3.056   10000  3272.251309          10000       3272.251309   10000.000000      0.000000     0.000000     0
18
16 2015-03-02  3.278   10000  3050.640635          20000       6322.891943   20726.439791    726.439791     0.036322     0
19
38 2015-04-01  3.744   10000  2670.940171          30000       8993.832114   33672.907436   3672.907436     0.122430     0
20
59 2015-05-04  4.354   10000  2296.738631          40000      11290.570746   49159.145026   9159.145026     0.228979     0
21
79 2015-06-01  4.633   10000  2158.428664          50000      13448.999409   62309.214264  12309.214264     0.246184     0
22

23
字段解释：
24
index：日期，每月第一个交易日加仓
25
close：当日收盘价，
26
incash：当日汇入现金（定投增加本金）
27
fundshare：基金总份额
28
incash_cumsum：累计汇入现金（定投的总投资额，定投金额*定投期数）
29
total_asset：总资产，就是总份额*基金当前净值
30
profit：总利润，总资产-总入金
31
profit_rate：收益率，（总资产-总入金）/总入金

展开收起

总资产，总入金，总收益对比图:

先解释这张图含义：
总资产：最上面的蓝线：总资产，看起来很诱人，45度向上，诱人的主要原因是不断追加的资金（橙线的45度直线，那代表总投入资金线）。
总入金(定投资金)：次之的橙线，由于不断投入的总资金，固定斜率斜线（固定资金定投）。
总盈利：红线，总资产-总投入=盈利部分。
底部0轴：盈亏平衡轴，轴上部表示盈利，下部表示亏损（主要为了上下好比对）。

结论：定投hs300，从15年到今年，整体上是盈利的。

在补充一张图，这张图是沪深300的定投收益率图
回测区间：start_date=‘2007-06-30’,end_date=‘2022-06-09’
收益率：相对当时总投入本金收益率
总体来看，正收益没毛病，但早期有高达40%的回撤幅度，哪怕在横轴右侧1/5处，相比开始定投，已经过了12年了，小孩都可以打酱油了，还位于盈亏平衡点上。意味着那几天资金和总投入资金相等（相比存银行的话，等价于亏本了）。这是相当凄惨的情况，相当于12年资金免费让人家用了。当然这是比较极端的例子，意思就是别把定投当做灵丹妙药。

del03

定投盈亏归因分析#

那么定投盈利主要来源来自哪里？得益于最近几个月行情大涨？还是几年前的某一笔英明的投资？
代码:

1
# 盈亏归因分析
2
price_df['close'].plot()
3
# 01，笔视图，各笔交易盈亏图
4
# 每笔盈利=最新价格*购买份额-成本
5
new_price=price_df['close'].values[-1]
6
price_df['deal_profit']=new_price*price_df['fundshare']-10000
7
price_df[['deal_profit','zero']].plot()
8

9
# 02，时间视图，各月份盈利图
10
# 各月份盈亏情况=总资产.diff(1)
11
price_df['total_asset_diff']=price_df['total_asset'].diff(1)
12
price_df[['total_asset_diff','zero']].plot()

输出:
基础行情曲线

每一笔角度的投资收益视图：从左到右的每一个点，表示当时那一笔投资到今天的收益

del01

各个时间的投资收益视图（类似各月的涨跌情况）:

结论:
第一图，从每一笔交易的视角来看，买入价格越低越好（废话，不解释），所以远期的买入价还是有点重要的。每笔交易视角：盈亏=当前点价格-买入点价格。
第二图，从时间的视角来看，越往后价值波动范围越大，由于持有份额增大了，所以同样的基础标的价格变化，导致资产变动更大。
结论：对定投组合价值影响最大的是当下价格，其次是远期价格。

宏观上看，定投类似时间加权的买入策略，时间在哪个价格（区间）停留最多，持股成本就最接近那个价格。如果把行情线看做铁丝的话，那么定投成本类似铁丝的质心。
从这个角度，我们可以大概预估定投的收益情况，不需要复杂的模拟，对一段行情的定投收益有大致预估。
显然对于不断下跌的行情，由于持续下跌，持续加仓，整体质心持续位于当前行情的上部，会持续保持亏损，且亏损额会原来越大。

收益率正比时间？#

那么大家耳熟能详的，定投适用于长期投资，投资期间越长收益越高，正确吗？
不妨统计下，投资时长和定投收益是否正相关。

1
# 全量分析
2

3
price_df=price_df.set_index('index')
4
profit_df=pd.DataFrame(columns=price_df.index.values)
5
for start_date in price_df.index.values.copy():
6
    # 累计本金
7
    price_df['incash_cumsum']=price_df['incash'].cumsum()
8
    # 累计基金份额
9
    price_df['fundshare_cumsum']=price_df['fundshare'].cumsum()
10
    # 总资产=累计份额*收盘价
11
    price_df['total_asset']=price_df['fundshare_cumsum']*price_df['close']
12
    # 净利润=总资产-总入金
13
    price_df['profit']=price_df['total_asset']-price_df['incash_cumsum']
14
    # 净收益率 = 净利润/总入金=（总资产-总入金）/总入金
15
    price_df['profit_rate']=price_df['profit']/price_df['incash_cumsum']
16
    # change01:profit=>profit_rate
17
    profit_df.loc[start_date]=price_df['profit']
18
    # profit_df.loc[start_date]=price_df['profit_rate']
19
    price_df.drop([start_date], axis=0,inplace=True)

展开收起

代码

1
profit_df

输出:

这是一个81行81列的大表格，纵轴：定投开始时间
横轴：定投结束时间
中间的数值：从“定投开始时间”到”定投结束时间”期间的 总收益。
暂不关注具体盈亏金额细节，只关注盈亏是否和时间正相关，以及持有多久盈利概率最大，最长持续亏损时间等。
代码:

1
# 统计各个定投时间对应的收益情况
2
periodic_profit=[set() for i in range(profit_df.shape[0])]
3
# 将profit_df中的value填充到periodic_profit对应定投时长的set集合中
4
for x in range(profit_df.shape[0]):
5
    for y in range(x+1,profit_df.shape[1]):
6
        periodic_profit[y-x].add(profit_df.iloc[x,y])

代码

1
periodic_profit[1]

输出:

1
{-1722.4260738182602,
2
 -1671.8266253869951,
3
 -1221.590909090908,
4
 -1181.929181929183,
5
 -989.3114591101184,
6
 -910.2402022756032,
7
 -883.0880311024739,
8
 -821.3820078226818,
9
 -746.6943220119283,
10
 -646.8842729970347,,,,,}

为了使用seaborn绘图，对periodic_profit的数据呈现方式做转换，转成pandas的数据比如:

1
periodic_profit=[set(),set(1.1,1.2,1.3),set(1.6.1,7)]
2
=>
3
dataframe
4
1,1.1
5
1,1.2
6
1,1.3
7
2,1.6
8
2,1.7

代码

1
# change01:profit=>profit_rate
2
periodic_profit_df=pd.DataFrame(columns=['priod','profit'])
3
# periodic_profit_df=pd.DataFrame(columns=['priod','profit_rate'])
4
for i in range(len(periodic_profit)):
5
    if periodic_profit[i]:
6
        for x in periodic_profit[i]:
7
            periodic_profit_df.loc[len(periodic_profit_df)] = [int(i),x]
8
periodic_profit_df.tail()

输出

1
priod  profit
2
3235   78.0  297937.758369
3
3236   78.0  282156.112183
4
3237   79.0  285189.085626
5
3238   79.0  288350.483911
6
3239   80.0  291429.268872

代码

1
import seaborn as sns
2
# change01:profit=>profit_rate
3
sns.boxplot(x = 'priod', y= 'profit', data = periodic_profit_df)
4
# sns.boxplot(x = 'priod', y= 'profit_rate', data = periodic_profit_df)

输出：

图片说明：
x轴是定投的周期数，月为单位（1表示定投一个周期(月)，20表示定投20个周期(月)）
y轴是一个收益金额的分布

1
为何是分布，因为定投一个月的，和定投20个月的都对应了一个收益集合，比如第1月开始定投，到第21月结束会得到1个收益率数据。从第2月开始到第22月结束，也会得到1个收益率数据。所以对于每个x轴数据，都对应了一连串的收益率数据（当然，x越小对应的收益率数据越多，x越大，比如80，就只有第1个月开始和第81个月结束的收益数据，只有1份数据）

这个角度来看，乍一看，好像是成立的，随着时间增加，收益均值在增大。
但是别忘了，随着时间增大，定投总金额在增加，所以总收益增大是正常的。我们需要考虑的是相对总本金的收益率，这个漏洞在change01中将修复。
而且还要留意，越长期的统计，远期由于数量不足，计算进来的权重越小，比如，70个月的，只会有：从第1月到第70个月，第2月到第71个月等这些组合。
一方面样本偏少，统计意义较低。
另一方面，由于近期表现好(且远期表现够差)，所以70月，71月等都较高，使得长期统计结果退化为近期行情表现（当然是相对远期，如果远期更强势，目前依然负值，但近期表现整体占高影响力不变，毕竟总资金量是越来越大的）

change01:改为收益率#

profit_rate 代替profit
change01=>profit_rate
结果图:

结论：宏观结果上看是正确的（定投时长和收益成正比），但由于标的本身是宏观上涨的标的。所以基本上持有型策略都会录得较好表现。可以说明在整体趋势向上，或者当前价格较高时，定投收益和时间成正比。但对于整体行情下跌的行情，这个大概率是不成立的。这个结果个人觉得体现不出定投的优越性。
定投本质而言，时间角度是放弃了择时（由于按时间定投的）。另一方面，由于越后期总资金越多，所以最终收益受近期行情的影响较高（这里的近期也是相对的，比如2年的定投，可能近半年都算近期了）。我们重点是有这个概念，定投的卖出点尤为重要。这个不在解释。找到高点跑路,否则一旦跌下来，可能之前定投浮盈全部作废了。但那个才算是高点呢？所以定投也未必就是懒人策略，如果挣点小钱钱，可以设定目标，比如年化10%就跑路也行。总之有明确目标，不能持有不动，一旦牛市来临，兑现目标就立场。等下一个漫漫熊市再建仓。 本质上近似看做一个抄底型策略，低买高卖的波动策略。

结论#

定投盈利来源归因：从权重来看，近期价格影响力更大，当然，远期价格也很重要。当前价格相对行情曲线质心位置，也就是说现价占了很大权重。定投收益率和时间成正比：行情趋势向上时成立（废话对吧），如果行情水平宽幅震荡，原始的定投无法产生额外收益（后面突破了就是另一回事了）。

定投只是省事了而已（相对网格等策略，定投更简单。同时，也避免了单次买入并持有面临的买入纠结问题（本质是：买入并持有策略中，买入时点非常重要，而定投通过分散买入点解决了这个问题，或者说缓解了这个问题）），并没有传说中的那么神奇，既无法保证高额收益，也无法保证一定会盈利（行情稳定向上时可以保证，但简单的买入并持有一样能保证）。

说明定投本身适合问稳定向上的标的（听起来向废话），避免高波动标的，所以本身更适合基金等标的（不会破产倒闭）。
最大优势，在于定投符合现实中现金流，尤其打工人的。
综合结论，适合（短期不确定，但）长期看好的标的，比如2年前的黄金（当前已涨上去了，不赶趟了），当前的粮食（气候极端化）等。选择低波动性标的，没有倒闭清盘风险的标的。

其他定投文章#

定投真的有效吗？沪深300定投15年测试：https://www.joinquant.com/view/community/detail/6eba65eb8c5406580978ec040b100de4?type=1
总结经典的傻瓜定投确实不太聪明
只买不卖是不行滴展望
好的定投并非是无脑买的，而应该是越低越买，越高越卖（波动行情这样有额外优势，单边行情这样会完蛋，除非资金无限大并且标的不能归零）
成于时间，败于资金，量化模型揭开基金定投的真相:https://www.joinquant.com/view/community/detail/a4479781568585f70e2cf82d71d47693?type=1
基金定投理论的前提条件，一是时间足够长，二是资金足够多。
基金定投是时间给我们的承诺，但是并没有承诺这段时间有多长。如果在定投的过程中，无法再继续投入资金而中断，就可能出现上面的情况。红色箭头就是投资中断的时间点，后面价格下跌拉低成本的机会，完全享受不到，但是下跌带来的资金回撤可是一分钱没少地承受着。而这种情况下，在绿线下面的任何一个时间点投入，都是跑赢定投方式的。资金意外的出现，让定投的盈利价值大幅缩水，而且还用大幅回撤考验我们的心理承受能力。在后面的8个月时间内，遗憾地止损退场，也是有可能发生的。
因此，如果没有足够多的钱，基金定投很可能不那么美好。

基金定投完全不考虑择时问题，可以无脑定投的，并不是一个客观的观点。这个结论存在的前提还是资金，你有足够的资金，不需要考虑流动性的资金。最后，请大家体会下面几句话。
基金定投是我们和时间签下的契约，但是并没有约定期限
时间给我们盈利的承诺，时间也带给我们风险
只有足够的资金才能抵抗这个风险

基金定投的真相-收益与风险:https://www.joinquant.com/view/community/detail/d1adceb39b045a15f2ec119cfeedbb9c?type=1
结论:
定投的收益不如直接持有，这和前文的逐年结果是一致的
定投的波动和回撤都明显小于直接持有
从夏普角度看，除了13和14年外，定投的效果没有显著优于直接持有指数
定投的频率对结果影响不是特别大，以每月以下的频率定投为佳

博文04_新浪财经期货行情新查询接口API

Thu, 02 Jan 2020 00:00:00 GMT

旧接口地址:http://hq.sinajs.cn/list=TICKER
字段含义:

1
这个字符串由许多数据拼接在一起，不同含义的数据用逗号隔开了，按照程序员的思路，顺序号从0开始。
2
0：豆粕连续，名字
3
1：145958，不明数字（难道是数据提供商代码？）
4
2：3170，开盘价
5
3：3190，最高价
6
4：3145，最低价
7
5：3178，昨日收盘价 （2013年6月27日）
8
6：3153，买价，即“买一”报价
9
7：3154，卖价，即“卖一”报价
10
8：3154，最新价，即收盘价
11
9：3162，结算价
12
10：3169，昨结算
13
11：1325，买 量
14
12：223，卖 量
15
13：1371608，持仓量
16
14：1611074，成交量
17
15：连，大连商品交易所简称
18
16：豆粕，品种名简称
19
17：2013-06-28，日期

展开收起

参考帖子:新浪期货接口:https://blog.csdn.net/qq_37193537/article/details/89359425

但旧接口已经不再维护了,部分品种旧接口无法查询到数据(结果空,比如NR,20号胶)
新接口地址:https://hq.sinajs.cn/list=nf_NR2003(相比旧接口,品种代码前多了nf_前缀)
响应数据含义:

1
var hq_str_nf_NR2003=
2
0,20号胶2003
3
1,112959
4
2,10780.000,开盘价
5
3,10930.000,最高
6
4,10710.000,最低价
7
5,0.000,结算价
8
6,10700.000,买价
9
7,10715.000,卖价
10
8,10710.000,最新价
11
9,0.000,不明确
12
10,10815.000,昨结价
13
11,3,买量
14
12,3,卖量
15
13,17793.000,持仓量
16
14,2718,成交量
17
15,沪,所属市场
18
16,20号胶,品种名称
19
17,2020-01-02,日期
20
18,0,不明确
21
2x,_,,,,,,间隔很多个的结尾数字,不明确

展开收起

博文03_主流量化平台整理201912

Mon, 02 Dec 2019 00:00:00 GMT

概况图:

公司	版本	股票	债券	期货	期权	数字	回测	模拟	实盘
米框	在线	A股1m	1m	1m	1m(权限)	无	是	是	否
米框	RQData	A股1m	1m	1m	1m(权限)	无	否	否	否
优矿	在线	A股1m港股1d	无	1m	1d	无	是	是	否
聚宽	在线	A股1m	无	1m	1m(实1d)	无	是	是	是
聚宽	jqdatasdk	A股1m	无	1m	1m(实1d)	无	否	否	否
天勤	tqsdk	A股1m	无	1m	1m	无	是	是	是
掘金	本地sdk	A股1m	无	1m	无	无	是	未	是
发明者	在线	A股1m	1m	1m	未	1m	是	是	是
发明者	本地sdk	A股1m	1m	1m	未	1m	是	否	是
说明:
RQ回测里面很多研究平台可用查询在回测时无法使用.比如获取期权某日可用列表.感觉研究和回测平台是分离开的
权限：需要额外权限
实1d：实际是1天的

米框#

在线分析，回测。提供sdk，可分析，无法回测

1
A股，期货的１min
2
支持机构实盘，不支持个人

优矿#

在线版

1
股票：沪深交易所股票的基本信息以及日/分钟级别的股票行情
2
港股：香港交易所股票基本信息以及日级别的股票行情。
3
期货：国内四大期货交易所期货合约的基本信息，日/分钟/tick级别的期货行情，以及国债期货的转换因子等信息。
4
期权：上交所期权合约的基本信息，日/分钟/tick级别的期权行情，以及每日盘前静态数据等信息。是日k线
5
期权实际只有日行情.

聚宽#

在线研究，在线回测。提供本地sdk（需要授权）.查询行情（也就是说支持分析，但无法回测）

1
股票，期货１分钟起
2

3
实盘：期货目前支持长江期货账户、中信期货账户、银河期货账户和光大期货账户进行期货实盘；
4
其中50ETF期权从2017-01-01开始，商品期权从2019-12-02开始。(期权分钟价格数据有错误，按日查询则是对的)
5

6
（2）jqdata是在官网调用数据时需要引用的包，import jqdata 或 from jqdata import *,具体使用方法见官网API：https://www.joinquant.com/help/api/help?name=api
7
（3）jqdata和jqdatasdk中的数据略有不同，主要区别在于jqdatasdk目前不支持聚源数据，而官网可以输入from jqdata import jy调用聚源数据 。

天勤(开源TqSdk)，据说期货期权行情都有#

官方说明：https://doc.shinnytech.com/tqsdk/latest/intro.html
提供当前所有可交易合约从上市开始的全部Tick数据和K线数据
支持数十家期货公司的实盘交易
支持模拟交易
支持 Tick级和K线级回测, 支持复杂策略回测
无强制框架结构, 支持任意复杂度的策略, 在一个交易策略程序中使用多个品种的K线/实时行情并交易多个品种

掘金#

本地SDK模式，支持本地分析（需token），本地回测，期货，股票
支持对接实盘

1
股票行情
2
A股日线数据：              2005年1月1日起至今
3
1分钟线数据：              2015年1月1日起至今
4
Tick数据：                 最近2个月
5
大于1分钟任何频度Bar:       2015年1月1日起至今
6
小于1分钟任何频度Bar:       最近2个月
7

8
期货行情
9
日线数据：              全部原始合约的完整数据；全部主力合约和连续合约完整数据
10
1分钟线数据：           2015年6月1日起至今
11
Tick数据：              最近2个月
12
大于1分钟任何频度Bar:    2015年6月1日起至今
13
小于1分钟任何频度Bar:    最近2个月
14

15
实盘：支持，联系商务沟通

展开收起

发明者#

支持在线分析，在线回测，本地回测
支持实盘

1
支持tick数据
2
商品期货  Futures_CTP, 支持国内所有期货公司
3
外盘易盛  Futures_Esunny
4
数字货币现货

bigquant#

1
A股，期权，期货的１min
2
期权是日数据

果仁#

1
A股，日

京东量化#

1
京东量化平台免费提供了可靠的沪深股市数据，数据包含沪深股市行情，以及指数行情信息，三大财务报表及业务绩预告数据。京东量化平台提供的分钟级别的历史行情数据，目前从2011年1月1日开始至当前日期， 提供的历史财务数据从1989年12月31日开始。

同花顺的MindGo#

1
股票数据  分钟行情  2010-01-04  2019-07-26 20:00:01  历史分钟数据每日17:30后更新一次,实时数据即时同步行情端
2
日线行情  2005-01-04  2019-07-27 17:32:38  每日00:30后更新
3
财务数据  2005-01-04  2019-07-27 03:00:00  每日20:00后更新
4
资金数据  2007-01-04  2019-07-27 05:50:17  日数据每日00:00后更新,分钟数据实时同步行情端
5
指数数据  分钟行情  2010-01-04  2019-07-26 20:00:01  历史分钟数据每日17:30后更新一次,实时数据即时同步行情端
6
日线行情  2005-01-04  2019-07-27 17:32:38  每日00:30后更新
7
期货数据  分钟行情  2016-01-04  2019-07-27 02:21:45  次日09:00后更新(包含夜盘)
8
日线行情  2005-01-04  2019-07-27 06:30:00  每日00:30后更新
9
期权，分钟，查询非常慢
10
只有金融期权，没有商品期权数据

windquant#

1
我们有顶级金融信息服务商 Wind 提供数据支持，涉及国内外全市场股票、债券、基金、商品、指数、外汇、期权等7个品种的历史日线、Tick、分钟、实时行情数据，上市公司财务数据，以及中国市场所有品种的专题统计报表、中国及海外股票板块数据、宏观经济数据，此外还整理了针对多因子选股研究的 point-in-time 量化因子库。
2
有期权分钟，但是有权限限制,普通用户无法查看

雷矿#

1
A股分钟
2
我们拥有2012至今A股数据。
3
当日的16:00更新完毕最新数据。

真格量化#

1
真格量化提供哪些数据？
2
期货：国内五大商品期货交易所期货合约的基本信息、日/分钟/tick级别的期货行情、品种成交持仓排名、合约成交持仓排名、仓单日报表、以及国债期货的转换因子等信息。
3
期权：股票期权和期货期权合约的基本信息、日/分钟/tick级别的期权行情、最痛点位、以及每日盘前静态数据等信息。
4
期权下载下来，压缩包无法解压，无密码
5
支持实盘

国泰君安量化交易系统#

1
期权数据好像是jqdata,存在鬼数据
2
get_price('M2005-C-2700.XDCE', start_date='2020-03-19', end_date='2020-03-21', frequency='1m', fields=None, skip_paused=False, count=None)
3

4
get_price('M2005-C-2700.XDCE', start_date='2020-03-19', end_date='2020-03-21', frequency='1m', fields=None, skip_paused=False, count=None)

第一个结果

第二个结果

同一个期权，同一天，价格还不同

vnpy实战03_vnpy穿透认证

Sun, 02 Jun 2019 00:00:00 GMT

1，申请券商模拟盘帐号（提交模拟帐号和appid）
2，填写测试申请表，填写后券商邮件回复中包含有终端认证码:终端认证码xxx
3，结合模拟帐号，密码，appid和终端认证码以及券商接口信息，使用ctptest接口对接。

1
譬如东航
2
IP 地址：210.13.65.102 交易端口：43205 行情端口：43213
3
BrokerID：7070
4
API 版本号：API_6.3.13_T4

4，截图，登录图，下单图，异常信息图，填写测试反馈表和承诺书，提交给券商。
5，券商通过后则终端认证码就是正式终端认证码了。可对接正式使用了。
6，参考

1
https://www.vnpy.com/forum/topic/603-kan-wan-zhe-pian-che-di-gao-ding-qi-huo-chuan-tou-shi-ctp-apijie-ru

7，可以官方提供so里面函数直接读取

1
libtest = cdll.LoadLibrary('/home/john/下载/v6.3.13_20181119_tradeapi/v6.3.13_20181119_api_clientdatacollectdll_linux64/LinuxDataCollect.so')
2
//_Z28CTP_GetSystemInfoUnAesEncodePcRi
3
//_Z17CTP_GetSystemInfoPcRi
4
//_Z21CTP_GetRealSystemInfoPcRi
5
func = getattr(libtest, '_Z21CTP_GetRealSystemInfoPcRi')
6
a=create_string_buffer(264)
7
b=c_int()
8
print (func(a, byref(b)))
9
print (a.value)
10
print (b)
11

12
b'2@2019-07-16 18:47:37@172.16.0.154@@aced5cf6d10a@@john-P95-@4.15.@AA00000000000000@E9060900FFFBEBBF@Not'
13
c_int(103)
14

15
大概是2@2019-07-16 18:47:37[当前时间]@172.16.0.154[本机ＩＰ]@@aced5cf6d10a[MAC地址]@@john-P95-[机器名]@4.15.@AA00000000000000@E9060900FFFBEBBF@Not

展开收起

vnpy学习05_onTradeOnOrderOnStopOrder区别

Sun, 02 Jun 2019 00:00:00 GMT

ontrade#

1
cataEngine:
2
processTradeEvent
3
 self.eventEngine.register(EVENT_TRADE, self.processTradeEvent)
4

5
backtesting
6
def crossLimitOrder(self):
7
def crossStopOrder(self):

onOrder#

1
cataEngine:
2
processOrderEvent
3
self.eventEngine.register(EVENT_ORDER, self.processOrderEvent)
4

5
backtesting
6
def cancelOrder(self, vtOrderID):
7
def crossLimitOrder(self):
8
def crossStopOrder(self):

onStopOrder#

1
cataEngine:
2
def cancelStopOrder(self, stopOrderID):
3
def processStopOrder(self, tick):
4
def sendStopOrder(self, vtSymbol, orderType, price, volume, strategy):
5

6
backtesting
7
def cancelStopOrder(self, stopOrderID):
8
def crossStopOrder(self):

特殊注意#

1
so.status = STOPORDER_TRIGGERED
2
so.strategy.onStopOrder(so)

停止单被触发和停止单被执行，并不完全相同，触发是发送个券商，执行才是真正完成。

vnpy实战24_增加测试评估指标

Thu, 02 May 2019 00:00:00 GMT

阅读<海龟交易法则>时,对其评估指标部分,非常认同.其实自己之前在做股票量化时也注意到这个问题,就是起始日期对回撤影响大,尤其是在上证50上做测试时,相差一天结果可能天壤之别.书中提到的一些指标,个人还是比较认同的,所以想在vnpy中实现下,自己回测过程中也可以留意下是否真的更客观的反映策略优劣.

海龟交易法则12.4:回归年度回报率:#

定义:线形回归线和它所代表的回报率为我们提供了一个新指标，我称之为RAR (regressed annual return,回归年度回报率）。这个指标对测试期起止日的变化远不像CAGR那样敏感。从图12 - 2中可以看到，当RAR的测试起止日改变时，回归线斜率的变化要小得多。

实际:书中X轴采用的年度,y轴是累积年回报.
笔者使用vnpy主要是计划做日内或CTA所以x轴采用日相对合理.
那么rar可以看做是日角度的回归斜率.但如果是全局斜率的化(比如最近1年)可能受到远期数据干扰较大,所以计划使用20日滚动斜率代替,得到的序列的均值作为整个时间区间的衡量(同时,方差信息也是有用的,不过直接采用 20日斜率的均值/方差,担心高方差使得拉低整体取值,所以暂只考虑均值,不考虑方差)

海龟交易法则12.5立方：一个新的风险回报比指标#

定义:平均最大衰落就是5次最大衰落幅度的平均值。长度调整就是将这5个衰落期的平均天数除以365天，然后用这个结果乘以平均最大衰落。平均衰落天数的计算原理与平均衰落幅度相同，也就是将5次衰落期的天数相加再除以5。因此，如果RAR是50%,平均最大衰落是25%,而平均衰落长度是1年，也就是365天，那么R 立方就等于2.0——也就是50%/ (25% X365/365)。作为一个风险-回报比指标，R立方从程度和时间这两个角度考虑了风险问题。
实际:这个指标核心在于和RAR正比,和最大回撤反比和最大回撤持续时间反比,其中最大回撤持续时间这个因素个人并不认同.个人认为这个因子作用不大

1
 第一,如果最大回撤10%,持续1周,之后恢复而实际操作过程中,如果有一天回撤2%基本策略就停止了,不可能让他真正的运行一周.
2
 第二,回撤如果是行情风格转换造成的,那么更希望回撤是平缓回撤,持续时间长短我们并不关心,更希望避免的突然的回撤,慢慢的回撤当积累到一定程度自然会被其他策略给替代掉.

所以个人理解较好处理是RAR/最大回撤.

海龟交易法则12.6:稳健夏普比率#

定义:稳健夏普比率就是RAR除以年度化的月度回报标准差。这个指标对数据变化的敏感度较低，
实际:使用日回报标准差代替月度回报标准差

其他信息#

20日相关信息

1
'近20日的最大回撤'
2
'近20日总收益%'
3
'近20日收益标准差%'
4
'近20日最大单日跌率%'
5
'近20日下跌天数'

vnpy实战04_模拟环境的对接启动

Thu, 02 May 2019 00:00:00 GMT

本机界面环境启动回测#

01,有界面的启动:

1
cd vnpy/examples/VnTrader$ python run.py

02,系统-连接CTP
03,人工操作：功能->CTA策略->加载策略，启动策略
策略配置位置/examples/VnTrader/cta_setting.json

本机无界面环境启动回测#

参考#

Ubuntu 16.04 + VNPY 1.9.2,半自动环境搭建脚本分享:http://www.vnpie.com/forum.php?mod=viewthread&tid=3175
为远程主机安装图形界面,还是用teamview进行远程的
Ubuntu环境安装:https://github.com/vnpy/vnpy/wiki/Ubuntu%E7%8E%AF%E5%A2%83%E5%AE%89%E8%A3%85
为远程主机安装图形界面,以及用xrdp进行远程桌面
阿里云 ECS 建立 vnpy 环境:http://www.vnpie.com/forum.php?mod=viewthread&tid=2537
阿里云服务器安装vn.py（Ubuntu 16.04 LTS）:https://github.com/vnpy/vnpy/wiki/%E9%98%BF%E9%87%8C%E4%BA%91%E6%9C%8D%E5%8A%A1%E5%99%A8%E5%AE%89%E8%A3%85vn.py%EF%BC%88Ubuntu-16.04-LTS%EF%BC%89
使用阿里云的vnc安装方式实现远程桌面
Ubuntu 16.04下vnpy的安装:https://xingjian.space/Quant/vnpy/installing-vnpy-on-ubuntu16.04/

vnpy实战02_虚拟云主机安装vnpy19

Thu, 02 May 2019 00:00:00 GMT

01,常规软件安装#

1
1，
2
先修改默认编辑器为vim（默认为nano）：
3
sudo update-alternatives --config editor
4
2，pip
5
sudo apt install python-pip -y
6

7
3，vim,git，aria2
8
apt-get install vim
9
sudo apt install git -y
10
apt-get -y install aria2
11

12
4，安装Anaconda
13
参考：Linux系统安装Anaconda：https://blog.csdn.net/teeyohuang/article/details/79076239
14
wget https://repo.anaconda.com/archive/Anaconda3-2019.03-Linux-x86_64.sh
15
bash bash Anaconda3-2019.03-Linux-x86_64.sh
16
一般都是yes
17
留意：Do you wish the installer to initialize Anaconda3
18
这个推荐no，最好也写yes，yes后不需要手动修改bashrc了
19

20
vim ~/.bashrc
21
最后一行添加 ：export PATH="/home/Teeyo/anaconda3/bin:$PATH"
22
source .bashrc
23
执行：python，提示信息中有anaconda就说明使用anaconda的python，可以认为成功了。

展开收起

02,vnpy安装整体流程#

参考：ubuntu18下vnpy的安装_第五次安装，目标v1.9（ok）
主要参考：https://github.com/vnpy/vnpy/wiki/Ubuntu环境安装
1，创建conda环境
conda create -n vnpy27 python=2.7
source activate vnpy27

2，env下安装
pip install future

3，切换到系统下面安装（非env环境），系统默认其实也是ana的环境，是ana就ana吧
sudo apt-get install git
sudo apt-get install mongodb -y
sudo apt-get install libboost-all-dev
sudo apt-get install cmake
sudo apt-get install libsnappy-dev
sudo apt-get install python-snappy

4,系统环境下安装
sudo apt-get install build-essential
sudo apt-get install python-dev

5，env下安装
source activate vnpy27
mkdir PYTHON
cd PYTHON
git clone https://github.com/vnpy/vnpy.git
cd vnpy
git checkout v1.9.2-LTS
bash install.sh
中间有些报错：
Failed building wheel for ta-lib等
暂时不理会

执行脚本:
cd examples/VnTrader/
python run.py

1
报错：qtpy.PythonQtError: No Qt bindings could be found
2
    执行：conda install pyqt
3
    执行python
4
    import qtpy
5
    成功！
6
    貌似这个也需要安装conda install qtpy
7

8
python run.py
9
报错：
10
File "/home/john/anaconda3/envs/vnpy27/lib/python2.7/site-packages/vnpy-1.9.2-py2.7.egg/vnpy/api/rest/RestClient.py", line 11, in
11
from enum import Enum
12
ImportError: No module named enum
13
pip install enum
14
成功！
15

16
cd ~/PYTHON/vnpy/examples/VnTrader
17
python run.py
18
报错：
19
File "/home/john/anaconda3/envs/vnpy27/lib/python2.7/site-packages/vnpy-1.9.2-py2.7.egg/vnpy/api/rest/RestClient.py", line 12, in
20
from typing import Any, Callable, Optional
21
ImportError: No module named typing
22
pip install typing
23
成功
24

25
python run.py
26
报错：
27
File "/home/john/anaconda3/envs/vnpy27/lib/python2.7/site-packages/vnpy-1.9.2-py2.7.egg/vnpy/rpc/vnrpc.py", line 7, in
28
import zmq
29
ImportError: No module named zmq
30
执行：pip install zmq
31

32
python run.py
33
报错：
34
QXcbConnection: Could not connect to display
35
Aborted
36
2中可能
37
第一种：之前自己本机跑时也需要注释掉一段代码，现在还没注释
38
    注释掉xtpGateway
39
第二种，图形终端必须在vnc中python run.py才能启动，否则无法调用渲染
40
按照第二种处理，在vnc中打开终端，然后终端执行python run.py
41
vnc打开终端，没反应。
42
    网上资料，有人说组件没安装完整
43
    补充安装：
44
    sudo apt-get install x-window-system-core
45
    sudo apt-get install ubuntu-desktop gnome-panel gnome-settings-daemon metacity nautilus gnome-terminal
46
    目测上面都是已有的，完整的
47
本地终端启动（环境vnpy27中启动）：
48
依然不行
49
QXcbConnection: Could not connect to display
50
Aborted
51
    解决方案01:export DISPLAY=':0.0'
52
    不行。
53
    如何得知虚拟机机器的display呢？
54
    由于我们已经连接到远程桌面上了，虽然没有terminal终端但有个xtearm一样东西可以执行命令
55
    执行：
56
    echo ${DISPLAY}
57
    :1
58
    修该远程主机的display参数
59
    export DISPLAY=':1.0'
60
    执行python run.py
61
    ok了，不过字符乱码了

展开收起

6，env下安装jqdatasdk
pip install jqdatasdk

03,字符乱码问题#

参考：
01:https://www.simongong.net/vpskaiqivncfuwubingjiejuezhongwenluanmadefangfaubuntuxitong/
02:https://www.centos.bz/2017/12/%E8%A7%A3%E5%86%B3ubuntu%E7%9A%84%E4%B8%AD%E6%96%87%E4%B9%B1%E7%A0%81%E9%97%AE%E9%A2%98/

1
参考文章01，
2
（没有的文件未添加）
3
追加：sudo vim /etc/environment
4
    LANG="zh_CN.UTF-8"
5
    LANGUAGE="zh_CN:zh:en_US:en"
6
    LC_CTYPE="zh_CN.UTF-8"
7

8
追加：sudo vi /etc/default/locale
9
    LANG="zh_CN.UTF-8"
10
    LANGUAGE="zh_CN:zh"
11
    LC_NUMERIC="zh_CN.UTF-8"
12
    LC_TIME="zh_CN.UTF-8"
13
    LC_MONETARY="zh_CN.UTF-8"
14
    LC_PAPER="zh_CN.UTF-8"
15
    LC_NAME="zh_CN.UTF-8"
16
    LC_ADDRESS="zh_CN.UTF-8"
17
    LC_TELEPHONE="zh_CN.UTF-8"
18
    LC_MEASUREMENT="zh_CN.UTF-8"
19
    LC_IDENTIFICATION="zh_CN.UTF-8"
20

21
执行：sudo locale-gen
22
执行：sudo reboot
23

24
依然乱码。
25

26
参考文章02（文中提到没有文件需要添加）
27
执行（base和vnpy27）：sudo apt-get install language-pack-zh-hans
28
追加：/etc/environment
29
    LANG="zh_CN.UTF-8"
30
    LANGUAGE="zh_CN:zh:en_US:en"
31
新建，追加：/var/lib/locales/supported.d/local(没有这个文件就新建，同样在末尾追加)：
32
    en_US.UTF-8 UTF-8
33
    zh_CN.UTF-8 UTF-8
34
    zh_CN.GBK GBK
35
    zh_CN GB2312
36
执行（双环境base，vnpy27）：sudo locale-gen
37
执行（base）：sudo apt-get install fonts-droid-fallback ttf-wqy-zenhei ttf-wqy-microhei fonts-arphic-ukai fonts-arphic-uming
38
ok

展开收起

04,分辨率问题#

01，启动vnc添加参数：
vncserver -geometry 1600x900
02，修改配置文件/root/.vnc/xstartup
xterm -geometry 1600x900+0+0
这个数字x修改为设定窗口大小。后边两个加号的数字是窗口左上角的坐标，即设定窗口位置的。
重启vncserver 即可。
参考：https://bbs.csdn.net/topics/390978948

05,安装jqdatasdk#

1
pip install jqdatasdk

06,执行JQ的download下载数据#

numpy版本问题

1
your numpy version is 1.11.3.
2
Please upgrade numpy to >= 1.12.0 to use this pandas version
3

4
conda install numpy=1.12
5

6
由于安装时卸载了talib，所以需要重新安装talib
7

8
sudo chmod -R 777 anaconda3
9
conda install -chttps://conda.anaconda.org/quantopian ta-lib
10
这种方式会将numpy又变回到4.11版本
11

12
参考官网提供方式：
13
conda install -c jaikumarm ta-lib
14
地址：https://anaconda.org/jaikumarm/ta-lib
15
报错：ImportError: libta_lib.so.0: cannot open shared object file: No such file or directory
16
    强制升级TA-Lib
17
    pip install --upgrade --force-reinstall TA-Lib
18
    安装numpy
19
    conda install numpy
20
执行：
21
python downloadData.py
22

23
报错
24
01，ImportError: libta_lib.so.0: cannot open shared object file: No such file or directory
25
    处理问题01，同类问题
26
    进入python
27
    >>> import talib
28
    Traceback (most recent call last):
29
      File "<stdin>", line 1, in <module>
30
      File "/root/anaconda3/envs/vnpy27/lib/python2.7/site-packages/talib/__init__.py", line 4, in <module>
31
        from . import common
32
    ImportError: libta_lib.so.0: cannot open shared object file: No such file or directory
33
    所以根源在talib的问题，改到06继续讨论
34
02，UnicodeEncodeError: 'ascii' codec can't encode character u'\uff08' in position 13: ordinal not in range(128)
35
    处理问题02添加：
36
    import sys
37
    reload(sys)
38
    sys.setdefaultencoding('utf-8')
39
    推送到github
40
    不行，
41

42
    新建文件：sitecustomize.py
43
    参考：https://www.cnblogs.com/kevingrace/p/5893121.html
44
    不行
45

46
    参考：https://oomake.com/question/281941
47
    终端执行：
48
    export PYTHONIOENCODING=utf-8
49
    ok，
50
    可打印出中文
51
    将其配置到~/.bashrc文件中

展开收起

07,tablib问题#

import talib报错

1
>>> import talib
2
Traceback (most recent call last):
3
  File "<stdin>", line 1, in <module>
4
  File "/root/anaconda3/envs/vnpy27/lib/python2.7/site-packages/talib/__init__.py", line 4, in <module>
5
    from . import common
6
ImportError: libta_lib.so.0: cannot open shared object file: No such file or directory
7
所以根源在talib的问题，改到06继续讨论

先卸载

1
conda uninstall ta-lib
2
卸载掉的是4.9

conda安装

1
sudo chmod -R 777 anaconda3
2
conda install -c quantopian ta-lib
3
安装的版本4.6.11
4
同时numpy被降级，从1.13.1降低到1.11.3
5
问题是降级后pandas不就好使了。

numpy安装特定版本1.12

1
pip install numpy==1.12.0
2
提示：
3
Installing collected packages: numpy
4
  Found existing installation: numpy 1.16.2
5
    Uninstalling numpy-1.16.2:
6
      Successfully uninstalled numpy-1.16.2
7
Successfully installed numpy-1.12.0
8

9
conda刚刚降为11，但是pip视角看为1.16.2版本

08,mongo问题#

安装mongo3.6版本否则空间不够用
参考：https://blog.csdn.net/gaoyan2011/article/details/79420034
mongo旧版用mongodump导出数据出来，然后mondorestore恢复
新版安装试用apt-get的阿里云源，可以安装3.6版本，之后如果直接使用mongod启动（不带其他参数）则数据文件必须放在/data/db种，mkdir这个路径就行了，否则无法启动，然后恢复数据mongorestore
添加自动启动

1
vim /etc/profile
2
追加
3
/usr/bin/mongod --dbpath /var/lib/mongodb/ --logpath /var/log/mongodb/mongodb.log --logappend  &

vnpy实战25_CTA评价指标的缺陷

Tue, 02 Apr 2019 00:00:00 GMT

之前自己对CTA一直很好奇，原因之一是其回测曲线形态非常诱人，基本都是是单调上涨的，今天阅读了vnpy的源代码才弄明白，原来其回测曲线是基于交易次数，而非交易时间的，也就是说x轴表示次数。这样的的话就很好解释为何其形态表现好了。但这么评价也存在较大风险或漏洞。

问题1：忽视基础资产在这个区间表现#

大部分cta都是基于趋势的（或者通道突破）都差不多，这种行情下，策略表现优劣极大程度由行情本身决定的，比如，赶上一个小牛市，那么大部分标的的行情都是存在明显趋势的，cta表现就很好。策略表现很大程度取决于行情而非策略本身。换句话来说，即使一个差策略，总能找到一些标的在一些时间上回测结果较好（或者通过严苛的开仓条件进行优化，分钟线基础上即使开仓严苛也会有较多信号产生）。
比较合理的做法是将策略的净值曲线和基础资产曲线都表示出来，如果基础资产上涨10%，考虑高杠杆因素，如果策略涨幅超过10%*10杠杆，那么认为极好的。如果低于10%*10杠杆，但是波动率非常低，也可以认为不错，如果低于10%*10，但波动率又很高，即使回测曲线笔笔挣钱，也很难说明策略优秀。
举个例子，双均线在小时级别k线角度的回测上变现一般不大好，原因是开仓频率过低，比如长期60-120均线，一般大牛市都能捕捉到（结合止损策略，回撤也可以做小），但是由于开仓阈值太高，导致大部分行情都是空仓，最终效果可能比不过基准标的。但是如果用cta的交易次数衡量的化，其效益一样会比较诱人。这里意思并非cta的次数衡量不好，而是说其丢失了一部分信息，而这部分信息其实是比较重要的。就是收益从那种很那个行情形态中获取的。采用时序-收益图，行情虽然不太完美，但可以较明显的看出特定行情对特定策略的收益关联性，实际对于我们跑实盘是有很大参考意义的。

问题2：按照交易终止的配对来判断交易盈亏#

（暂时不考虑其隐含了先进先出的交易配对规则，以及当日平仓操作的低手续费）（同样隐含了忽略时间价值的问题）。
每一笔交易都以exittrade作为结算点，

1
比如：（样例，价格是元）
2
0101：买入3单位，价格3元
3
0103：卖出1单位，价格4元,
4
0107：卖出2单位，价格5元

那么对应tradelist-pair：

1
0101,0103,1单位,1元，总收益1*1=1：第一个1是2-1,个单位，第二个1是价格4-3，
2
0101,0107,2单位,2元，总收益2*2=4：

那么反映到收益图上其实是

1
0103：1（盈利）
2
0107：4（盈利）
3
总收益5

虽然理论上也是对的，按照这个操作方式的确可以取得这个收益，但是这个可以作为评价策略的指标么？
不妨再补充下行情

1
0101：价格3，这里买3
2
0102：价格8
3
0103：价格4，这里卖1
4
0104：价格7
5
0105：价格11
6
0106：价格7
7
 0107：价格5，这里卖2

如图：

从交易次数角度，胜率100%，无亏损，非常不错的策略了。但从图上可见，实际策略卖在局部最低价，卖点是极差的。其优化潜力非常大，用交易次数-收益视图，却无法看出（还有一种理解，换用不同的配对策略，先进先出和后进先出等，总盈利不影响，盈亏比和收益曲线会受到影响）。
这表明用传统的次数型评价是有缺陷的。
如果用时间-资产角度的评估，则问题1和2都可以解决。对于1，可以观察到何种行情就会给策略带来较好表现，对于2也可以看出策略潜力。

vnpy实战23_回测结果可视化改进

Tue, 02 Apr 2019 00:00:00 GMT

对vnpy原始的策略评估方法做了调整，去掉部分不重要或虽重要但从图中可以看出的冗余信息（比如最大回撤），没必要专用一图绘制表达.
策略：vnpy的样例策略strategyAtrRsi
回测信息：

1
2019-04-07 20:17:45.237743  开始载入数据
2
2019-04-07 20:17:45.298343  载入完成，数据量：132026
3
2019-04-07 20:17:45.298398  开始回测
4
2019-04-07 20:17:45.380278  策略初始化完成
5
2019-04-07 20:17:45.380334  策略启动完成
6
2019-04-07 20:17:45.380345  开始回放数据
7
2019-04-07 20:18:01.712193  数据回放结束
8
2019-04-07 20:18:01.712272  计算回测结果
9
2019-04-07 20:18:01.810235  ------------------------------
10
2019-04-07 20:18:01.810293  第一笔交易：  2014-01-13 10:30:00
11
2019-04-07 20:18:01.810320  最后一笔交易：  2015-12-31 15:15:00
12
2019-04-07 20:18:01.810373  总交易次数：  2,103.0
13
2019-04-07 20:18:01.810397  总盈亏：  845,985.78
14
2019-04-07 20:18:01.810418  最大回撤:   -164,071.12
15
2019-04-07 20:18:01.810438  平均每笔盈利：  402.28
16
2019-04-07 20:18:01.810456  平均每笔滑点：  120.0
17
2019-04-07 20:18:01.810475  平均每笔佣金：  65.11
18
2019-04-07 20:18:01.810493  胜率    37.9%
19
2019-04-07 20:18:01.810512  盈利交易平均值  9,815.46
20
2019-04-07 20:18:01.810531  亏损交易平均值  -5,342.22
21
2019-04-07 20:18:01.810549  盈亏比：  1.84
22
2019-04-07 20:18:07.159576  计算按日统计结果
23
2019-04-07 20:18:07.932968  ------------------------------
24
2019-04-07 20:18:07.933012  首个交易日：  2014-01-13
25
2019-04-07 20:18:07.933033  最后交易日：  2015-12-31
26
2019-04-07 20:18:07.933048  总交易日：  482
27
2019-04-07 20:18:07.933063  盈利交易日  247
28
2019-04-07 20:18:07.933076  亏损交易日：  235
29
2019-04-07 20:18:07.933090  起始资金：  1000000
30
2019-04-07 20:18:07.933114  结束资金：  1,846,078.7
31
2019-04-07 20:18:07.933133  总收益率：  84.61%
32
2019-04-07 20:18:07.933151  年化收益：  32.7%
33
2019-04-07 20:18:07.933169  总盈亏：  846,078.7
34
2019-04-07 20:18:07.933187  最大回撤:   -142,187.16
35
2019-04-07 20:18:07.933205  百分比最大回撤: -8.62%
36
2019-04-07 20:18:07.933223  总手续费：  136,901.3
37
2019-04-07 20:18:07.933240  总滑点：  252,300.0
38
2019-04-07 20:18:07.933258  总成交金额：  4,563,376,620.0
39
2019-04-07 20:18:07.933276  总成交笔数：  4,205.0
40
2019-04-07 20:18:07.933294  日均盈亏：  1,755.35
41
2019-04-07 20:18:07.933311  日均手续费：  284.03
42
2019-04-07 20:18:07.933328  日均滑点：  523.44
43
2019-04-07 20:18:07.933346  日均成交金额：  9,467,586.35
44
2019-04-07 20:18:07.933363  日均成交笔数：  8.72
45
2019-04-07 20:18:07.933381  日均收益率：  0.14%
46
2019-04-07 20:18:07.933398  收益标准差：  1.34%
47
2019-04-07 20:18:07.933415  Sharpe Ratio：  1.57
48
2019-04-07 20:18:09.036527  ------------------------------
49
2019-04-07 20:18:09.036648  首个交易bar：  2014-01-13 09:16:00
50
2019-04-07 20:18:09.036726  最后交易bar：  2015-12-31 15:15:00
51
2019-04-07 20:18:09.036746  总交易bar：  130136
52
2019-04-07 20:18:09.036781  盈利交易bar  55358
53
2019-04-07 20:18:09.036817  亏损交易bar：  56905
54
2019-04-07 20:18:09.036851  bar均盈亏：  6.5
55
2019-04-07 20:18:09.036872  bar均手续费：  1.05
56
2019-04-07 20:18:09.036891  bar均滑点：  1.94
57
2019-04-07 20:18:09.036910  bar均成交金额：  35,066.21
58
2019-04-07 20:18:09.036928  bar均成交笔数：  0.03
59
2019-04-07 20:18:09.036948  bar均收益率：  0.0%
60
2019-04-07 20:18:09.036966  收益标准差：  0.08%

展开收起

回测的结果可视化

说明：
图1：vnpy原始收益图，基于交易次数的，x轴是时间轴。无法和标的直接比对，因为交易次数在时间上是非均匀的，所以头部水平线看起来很短，实际却对应了很长的时间，不过由于区间震荡时，产生交易信号少，所以看起来被压缩了（x轴代表次数，所以被压缩了）。
图2：原始标的的价格信息，用于和策略收益比对，可观察策略对行情的偏好（哪种行情下表现较好）（x轴代表时间）。
图3：时间角度的资产收益，相对交易次数更合理一些，和标的行情直接比对，看出策略真实表现（x轴代表时间）。
图4：交易频率图，图1和图2-3的x轴不同，虽都是时间但图1基于交易次数的，比如图1的左侧靠下部的行情很短，但是图2-3就比较长，如何解释？就是通过图4，图示可以看到到12月10日前，交易频率比较低，所以如果从交易次数视角，这一段时间会被压缩07月20日附件，频率非常高，说明这段时间放到交易次数图上会被拉长。
通过这4张图，这样既可以得到交易次数的策略评估，也可以得到策略对特定行情之间的偏好关系。

vnpy学习06_常见的坑

Tue, 02 Apr 2019 00:00:00 GMT

模板TargetPosTemplate的cancelAll()隐患#

在阅读vnpy的样例代码可以发现，其主要逻辑都是在onbar(or ontick）中实现，这个和大部分基于股票回测的类似zipline等基本类似。但稍有差异的是onbar中首先会清空之前订单，也即是调用self.cancelAll()方法。
但是，在使用模板TargetPosTemplate时，系统提供样例MultiSignalStrategy却没做相同处理，看了下其实是在

1
calculateTargetPos()
2
    self.setTargetPos(targetPos)
3
        self.trade()
4
            self.cancelAll()

但这么做其实有风险的，大部分时候如果仓位没变化不会调用这个方法的。但对于止损单来说，若采用随止损时却需要实时以最高价百分比下止损单，所以需要每个bar都调用cancelAll()进行旧止损订单清理。

数据初始化的几个小坑#

self.am = ArrayManager(size=100)
在系统样例中，可能会忽略，采用的都是默认值100，但如果回测时间需要很长的化就需要修改这个取值。
这个值会影响那些地方呢？
在样例策略中，有这么个共同点

1
onbar():
2
    if not am.inited:
3
      return

这里的am.inited就是指am中填充的数据是否足够，而足够就是由size=100来定义的。在初始化的数据填充足够后inited会变为True。

另外一个需要注意的地方是:
initData = self.loadBar(self.initDays)
这里的self.initDays是天数，在bar为分钟等时，需要留意下，除240后填充到这里，避免初始化过多数据。

还有就是在BacktestingEngine

1
  self.strategy.inited = True
2
  self.output(u'策略初始化完成')
3
  self.strategy.trading = True

当am.inited被设置为True之后，如果self.strategy.trading=True会正常下单，否则虽然onbar执行逻辑正常，但是订单却不会被撮合。
理想的情况是我们需要240个分钟bar，则size=240，然后数据出事成功后，恰好am.inited=True，and ，trading = True但是实际可能不会那么凑巧。
建议回测时将initday设置偏小，比如需要360分钟bar，initday取(360/240)=1.5->1，然后初始结束后am.inited=False，回测引擎会继续执行后续的onbar填充am，直到am达到360才会执行onbar的后续业务相关逻辑。
这么做虽然会跳过一段时间，但是整体业务是顺的，不会出现应该下单的却找不到下单到哪里的诡异问题。
纠正错误
上面思路没错，但会引起另一个问题，实盘时如果按照上面的思路回导致时间段跳过的问题，比如设定需要300个bar，那么由于initday设置的是1天，1天只有240个分钟bar，导致新的一天，60个bar用来积累数据了。
所以可能还是按照超额设定initday合理一些，避免实盘错过时间段。

撮合规则#

撮合普通限价单推送2条信息

1
 self.strategy.onTrade(trade)
2
 self.strategy.onOrder(order)

撮合止损单推送3条信息

1
self.strategy.onStopOrder(so)
2
self.strategy.onOrder(order)
3
self.strategy.onTrade(trade)

如果需要在止损单触发时执行一段逻辑,最好在onStopOrder里面做修改,并且留意以订单的状态(所有止损单都会通知这里,包括新增订单,撤销订单和订单成交等)

停止单的orderid#

并且对于停止单而言，下单成功后返回的

1
order_ids = self.cover（xxx,True）

这里的order_ids是list，里面每个元素大概长这样“CtaStopOrder.26”，以CtaStopOrder开头的。而非常规数字id
在回调函数中onStopOrder的so入参对应onStopOrder.stopOrderID变量

行情的时间为bar开始时间(vnpy19)#

比如9.00-9.01的行情时间戳为9.00的,
这个不同平台规则不同,有些会算到9.01上,在数据导入时需要留意,保持一致
如果不一致会有什么问题?
vnpy19在组合bar为am时(barCircle),会采用(分钟+1)%barCircle的整除判断,所以收到14.59(此时时间时间为9.00的第一个tick(或夜盘的第一个tick))的bar时就会凑整,推送新am,进而产生信号.
所以如果导入的数据以15.00结尾,由于尚且处于回放阶段(ontrade=false)所以,虽然触发了发单操作(有信号的化)但被trading状态阻止,所以无法发出,只有在9.30时才追触发新发单操作.

上海能源所(INE)平今问题#

上海期货所一般都知道,平今和平昨需要指令区分,其实能源所INE一样的,vnpy20并未考虑到.需要手工修改,修改点并不多,
搜索Exchange.SHFE,if xx==Exchange.SHFE.
改为Exchange.SHFE,if xx in [Exchange.SHFE.Exchange.INE]

其他异常or报错#

1，UnicodeDecodeError: ‘ascii’ codec can’t decode byte 0xe5 in position 0: ordinal not in range(128)

1
import sys
2
reload(sys)
3
sys.setdefaultencoding('utf-8')

vnpy学习02_功能和目录分析

Sat, 02 Mar 2019 00:00:00 GMT

功能#

参考项目wiki:
1. 全功能量化交易平台（vny.trader），整合了多种交易接口，并针对具体策略算法和功能开发提供了简洁易用的API，用于快速构建交易员所需的量化交易应用。
* 覆盖国内外所有交易品种（股票、期货、期权、外汇、外盘、CFD、数字货币）的交易接口：
* 国内市场
* CTP(ctpGateway)
* 飞马(femasGateway)
* 中泰证券XTP(xtpGateway)
。。。
* 海外市场
* 富途证券(futuGateway)
* 上海直达期货(shzdGateway)
* Interactive Brokers(ibGateway)
* 福汇(fxcmGateway)
* 数字货币
* OKEX(okexGateway)
* OKEX合约(okexfGateway)
* 经过开源社区大量用户实盘检验，做到开箱即用的各类量化策略交易应用（包括逻辑层和界面层）：
* CtaStrategy：CTA策略引擎模块，在保持易用性的同时，允许用户针对CTA类策略运行过程中委托的报撤行为进行细粒度控制（降低交易滑点、实现高频策略）
* SpreadTrading：价差交易模块，根据用户的配置自动实现价差组合的深度行情以及持仓变化计算，同时内置的交易算法SniperAlgo可以满足大部分到价成交策略的需求，用户也可以基于AlgoTemplate开发更复杂的价差算法
* OptionMaster：期权交易模块，强大的期权投资组合管理功能，结合基于Cython开发的高效期权定价模型，支持毫秒级别的整体希腊值持仓风险计算，用户可以基于期权交易引擎OmEngine快速开发各类复杂期权交易应用
* AlgoTrading：算法交易模块，提供多种常用的智能交易算法：TWAP、Sniper、BestLimit、Iceberg、Arbitrage等等，支持数据库配置保存、CSV文件加载启动以及RPC跨进程算法交易服务
* TradeCopy：复制交易模块，用户可以通过发布者Provider进程来对外提供交易策略信号（手动、策略均可），订阅者Subscriber进程根据收到的信号自动执行同步交易，简洁快速得实现一拖多账户交易功能
* RiskManager：事前风控模块，负责在交易系统将任何交易请求发出到柜台前的一系列标准检查操作，支持用户自定义风控规则的扩展
* DataRecorder：实盘行情记录，支持Tick和K线数据的落地，用于策略开发回测以及实盘运行初始化
* RpcService：RPC跨进程调用服务，基于MainEngineProxy组件，用户可以如同开发单一进程应用搬开发多进程架构的复杂交易应用
* RtdService：EXCEL RTD服务组件，通过pyxll模块提供EXCEL表格系统对VN Trader系统内所有数据的访问
2. Python交易API接口封装（vnpy.api），提供上述交易接口的底层对接实现
3. 简洁易用的事件驱动引擎（vnpy.event），作为事件驱动型交易程序的核心
4. 支持服务器端数据推送的RPC框架（vnpy.rpc），用于实现多进程分布式架构的交易系统
5. 数据相关的API接口（vnpy.data），用于构建和更新历史行情数据库，目前包括：
* 上海中期历史行情服务（shcifco）
6. 关于vn.py项目的应用演示（examples），对于新手而言可以从这里开始学习vn.py项目的使用方式

目录分析#

粗略来看代码很多的样子，实际没那么复杂

先对各目录大功能有个概览吧

1
├── beta：无用
2
│   ├── gateway
3
│   └── UML
4
├── build：无用
5
│   ├── bdist.linux-x86_64
6
│   └── lib
7
├── dist：无用
8
├── docker：虚拟环境，和vnpy关系不大
9
│   ├── gui
10
│   ├── vnc
11
│   └── web
12
├── docs：文档，看代码之前可以先扫一眼
13
├── examples：样例程序。官方文档说法“ 关于vn.py项目的应用演示（examples），对于新手而言可以从这里开始学习vn.py项目的使用方式”，但并未找到类似双均线之类可以之间跑起来或者参考的策略，有点像策略模板Or回测模板，不考虑json文件的化，代码结构非常类似。从命名上看更像是各模块的调用演示，而非策略样例。（子文件夹：TurtleStrategy下面的turtleStrategy是策略样例）
14
│   ├── CryptoTrader
15
│   ├── CtaBacktesting
16
│   ├── CtaTrading
17
│   ├── DataRecording
18
│   ├── DataService
19
│   ├── FutuTrader
20
│   ├── OptionMaster
21
│   ├── RQData
22
│   ├── ServerClient
23
│   ├── TurtleStrategy
24
│   ├── VnTrader
25
│   └── WebTrader
26
├── tests：没太多东西，暂时不理会
27
│   └── api
28
├── vnpy：核心代码，真正vnpy代码是在这里面
29
│   ├── api：
30
│   ├── data
31
│   ├── event
32
│   ├── pricing
33
│   ├── rpc
34
│   └── trader：
35
└── vnpy.egg-info

展开收起

从一大堆代码总，定位到真正需要学习的一小部分。

vnpy学习03_各文件功能梳理

Sat, 02 Mar 2019 00:00:00 GMT

先推荐一片vnpy专栏教程：
钱塘小甲子：https://blog.csdn.net/qtlyx/column/info/30705
他写的也比较不错
他基本是按照”先深遍历”的思路阅读的，每个代码块追究比较细致，

我个人喜欢先易后难，否则代码太多，看起来容易灰心，先把容易的清理干净，在追溯代码。

vnpy文件夹结构

1
├── api                    #很多dll文件和so文件，结合之前wiki中的说明应该是 各个“外部对接接口”的实现了。飞鼠，数字货币等，可以先不看
2
│   ├── bigone
3
│   ├── binance
4
│  。。。。。。。
5
│   ├── xspeed
6
│   └── xtp
7
├── data                # reademe提示：shcifco：上海中期接口，可先不看
8
│   ├── \_\_init\_\_.py
9
│   ├── README.md
10
│   └── shcifco
11
├── event
12
│   ├── eventEngine.py    #TODO 重点学习
13
│   ├── eventType.py    #定义变量EVENT_TIMER，以及test()函数
14
│   └── \_\_init\_\_.py
15
├── \_\_init\_\_.py
16
├── \_\_init\_\_.pyc
17
├── pricing                #期权相关，可不看
18
│   ├── black.py        #Black76期权定价
19
│   ├── bsCython
20
│   ├── bsCython.pyd
21
│   ├── bs.py            #bs期权定价公式
22
│   ├── crrCython
23
│   ├── crrCython.pyd
24
│   ├── crr.py            #期权工具类，二叉树计算价格，计算dot等
25
│   ├── \_\_init\_\_.py
26
│   └── README.md
27
├── rpc                    #rpc相关工具类，核心无关
28
│   ├── \_\_init\_\_.py
29
│   ├── README.md
30
│   ├── testClient.py
31
│   ├── testServer.py
32
│   └── vnrpc.py
33
└── trader
34
    ├── app                    #TODO 重点学习
35
    ├── gateway
36
    ├── ico                    #图标，忽略
37
    ├── \_\_init\_\_.py
38
    ├── language            #中英文的静态变量，显示用
39

40
    ├── uiBasicWidget.py
41
    ├── uiMainWindow.py
42
    ├── uiQt.py
43
                            #以上3个是显示或界面相关的
44
    ├── vtConstant.py        #和vtText，读入constant.py中变量，到d中
45
    ├── vtEngine.py            #主引导,TODO 重点学习
46
    ├── vtEvent.py            #EVENT\_TICK，EVENT\_TIMER，EVENT_LOG等 EVENT开头的类枚举固定标识串的赋值
47
    ├── vtFunction.py        #工具类，方法函数，getJsonPath，loadJsonSetting
48
    ├── vtGateway.py        #TODO 重点学习
49
    ├── vtGlobal.py            #读取配置文件VT_setting.json
50
    ├── vtObject.py            #定义实体类，VtBaseData，VtTickData，VtBarData，VtTradeData等
51
    ├── VT_setting.json        #字体，mongo密码等配置
52
    ├── vtText.py            #读入text.py的配置文件，存到变量d中
53
    └── vtUtility.py        #工具类，class BarGenerator方法updateBar，updateTick。
54
                                  class ArrayManager方法updateBar，up，down，cci，rsi等技术指标的计算

展开收起

第一步：先把容易看的代码消灭了，如上

第二步：需要细看的其实就4个文件(夹)

1
trader    /vtEngine.py
2
        /vtGateway.py
3
        /app/
4

5
event    /eventEngine.py

第三步：先从例子入手：
TurtleStrategy下的run的ipy

1
from turtleEngine import BacktestingEngine
2
engine = BacktestingEngine()
3
engine.setPeriod(datetime(2014, 1, 1), datetime(2018, 12, 30))
4
engine.initPortfolio('setting.csv', 10000000)
5

6
engine.loadData()
7
engine.runBacktesting()
8
engine.showResult()

代码比较容易理解
执行流程：
初始变量，load数据，跑回测，显示结果

vnpy学习01_现有资料整理

Sat, 02 Mar 2019 00:00:00 GMT

本来是打算花大时间，好好的学习vnpy的，后续作为自己主要开发工具（冲着可实盘）。
但这两天扫了遍代码，发现还是挺轻量级的，如果当做主要开发工具，需要补充还是挺多的（只支持单标的以及缺少分钟数据源。多标的需要另外定制模板类，有些复杂，对个人玩家，真没精力在平台上花大力气折腾，公司来做比较合适，而且任何改动都需要完整的测试，否则就是真金白银的损失），后续更倾向于将其当做对接实盘的中介使用。开发，回测，模拟都还在米框上进行（赞下米框，最新也支持期货的模拟盘了）。
整理下当前vnpy的相对较好资料，后面想学习的化可以参考着来，少走弯路了。

官方wiki#

https://github.com/vnpy/vnpy/wiki

知乎专栏#

https://zhuanlan.zhihu.com/vn-pz

博客钱塘小甲子#

https://blog.csdn.net/qtlyx/column/info/30705
一系列的教程，适合用过类似开源框架的，米框，优矿等。完全没基础可能看不懂。不过这篇文章的几个模块大多都是“业务性”模块，缺乏逻辑性梳理代码（例：A的所有方法都转调用C实现，个人称之为“业务性”代码，实际执行的C里面算“干货代码”,业务性代码容易阅读，但不容易理解“它究竟干了啥”）。可以先扫一眼，然后细读代码后在回来看可能更好些

博客天辉I#

VNPY- VnTrader基本使用;https://blog.csdn.net/IAlexanderI/article/details/81513652
VNPY - CTA策略模块策略开发:https://blog.csdn.net/IAlexanderI/article/details/81459430
VNPY_ 价差交易模块:https://blog.csdn.net/IAlexanderI/article/details/81627267

VNPY软件架构分析#

地址：https://blog.csdn.net/u011331731/article/details/88946794
没看太懂，可能比较旧了和代码对应不起来。

vnpy导图集合#

太多，参考网址：https://www.vnpy.com/forum/topic/16-vnpyde-si-wei-dao-tu-jia-gou

VNPY架构设计文档#

https://www.cnblogs.com/xiaoxuebiye/p/9876106.html

VNPY回测流程#

地址:https://blog.csdn.net/u011331731/article/details/88946847
回测各步骤工作文字化了，无基础的用户可以看下（等价于回测函数的注释）

视频教程：2017年最新VN.PY打造专属量化交易系统6天量化交易实战#

闲鱼有售，百度理论上应该也能找到，适合完全没基础的学习，从python到vnpy结构到策略开发都有。（不过最好的了解vnpy方式还是自己读源代码）

一张图看懂VnTrader的数据流#

地址：https://blog.csdn.net/u011331731/article/details/88946916
这篇文章不错，建议第一遍草读代码后可以看下，帮助较大。vnpy目前版本相对靠后，迭代次数也听多了。
这种软件很多代码都是”业务性“代码，也就是很多方法都是啥都没干转调用别人，
好处是代码整体阅读会比较顺，第一遍可以不管实现，光看方法名就晓得干么，后面在细看。
坏处阅读代码时需要层层追溯才知道具体操作了那些实体0。
比如：很多方法在很多地方都出现过比如on——bar，on——trade等，导致很容易搞混，看着看着就弄不清这个具体在干么。

这篇文章讲的就比较好（主要是后面的文字部分），但里面有些小错误需要注意下（其实是过时的类等，最新版已经没了或改名了）比如：回调推送端
4，ctpGateway.onTick函数将VtTickData对象包装成类型为EVENT_TICK的行情事件对象Event，并调用eventEngine.put函数，放入事件引擎的缓冲队列
这个ctpGateway，目前是一个包名，逻辑上对应新的vtGateway，vtGateway.onTick,将会把时间推送个eventEngine

博文02_主流量化平台整理201705

Tue, 02 May 2017 00:00:00 GMT

RiceQuant米筐量化交易平台#

地址：https://www.ricequant.com/
语言：python，java
方式：云端
品种：股票，基金
特点：口碑较好，据说较人性化

优矿#

地址：https://uqer.io/home/
语言：python
方式：云端
品种：股票，基金，期货
特点：支持外部数据的购买，数据较多，有聚源等提供的，较靠谱

Joinquant聚宽#

地址：https://www.joinquant.com/
语言：python
方式：云端
品种：股票，基金
特点：可订阅别人策略和看到别人策略回测图

BotVS量化平台#

地址：https://www.botvs.com/
语言：JS
方式：云端
品种：期货，股票，数字货币
特点：支持数字货币，比如比特币

Bigquant人工智能量化#

地址：https://bigquant.com/
语言：python
方式：云端
品种：股票
其他：目前网站只有架子，很多栏目是空的，突出了人工智能，但没看到具体策略。

果仁#

地址：https://guorn.com/
语言：python
方式：云端
品种：股票，基金，组合。
特点：口碑较好，支持策略跟随

掘金量化交易平台V2.0#

地址：http://www.myquant.cn/
语言：C++、C#、Python、MATLAB还有Delphi
方式：本机
品种：股票，期货

其他的较小众，等有空了再整理，也欢迎有时间的兄弟帮忙补充，整理，完善^_^

补充:

镭矿#

地址：http://www.raquant.com/

京东量化#

地址：https://quant.jd.com/

同花顺量化#

地址：http://quant.10jqka.com.cn/platform/html/home.html

美国的collective2#

地址：https://www.collective2.cn/#signup

点宽网#

地址：http://www.digquant.com.cn/quant/

诸葛量化#

地址：https://www.gpxtrade.com/index.html

数库（人工智能驱动金融创新）#

http://www.chinascope.com/index/ai.html

免费开源python财经数据接口包#

地址：http://tushare.org/index.html
特点：只有数据，非量化策略平台

博文01_金融类证书小整理

Thu, 02 Feb 2017 00:00:00 GMT

结合网络帖子，做了简单整理

1特许金融分析师 CFA#

简介：“全球金融第一考”。
语言：英语
科目：三级
①职业标准和操守；
②财务报表分析；
③量化分析；
④经济学；
⑤固定收益投资分析；
⑥股权分析；
⑦投资组合管理
⑧企业金融；
⑨衍生工具；
⑩其他投资分析
条件：
学士学位或相当的专业水准以上
必须从LevelⅠ、LevelⅡ、LevelⅢ依次报考。
费用：1.1万人民币

2注册会计师 CPA#

简介：证书难度很大，甚至超过CFA
语言：中文
科目：总共六科，可分开考，一门门通过。
专业阶段考试和综合阶段考试。考生在通过专业阶段考试的全部科目后，才能参加综合阶段考试。
专业阶段考试科目：《审计》、《财务成本管理》、《经济法》、《会计》、《公司战略与风险管理》、《税法》；
综合阶段考试科目：《职业能力综合测试（试卷一）》、《职业能力综合测试（试卷二）》。
条件：高等专科以上学校毕业学历
费用：低廉

3注册国际投资分析师 CIIA#

简介：科目和CF类似，难度比CFA小，可理解为欧系CFA。受中国证券业协会认可的，由中国证券业协会组织考试
语言：中文。
科目：两级
试卷一包括公司财务、经济学、财务会计和报表分析、股票估值评价与分析；
试卷二包括固定收益证券估值与分析、衍生产品估值与分析、投资组合管理。
费用：考试报名费为2500元/卷完成终级考试费用合计：800+2500*2= 5800 RMB (含教材)

4国际注册内部审计师 CIA#

简介：目前国际审计界唯一公认的职业资格。
语言：中文
科目：
第1科：内部审计基础
第2科：内部审计实务
第3科：内部审计知识要素
条件：
1、具有本科及本科以上学历；
2、具有中级及中级以上专业技术资格；
3、持有注册会计师证书或非执业注册会计师证书；
费用：

5金融风险管理师 FRM#

简介：从事金融机构中从事风险管理工作的从业者
语言：中文
科目：两级
一级考试科目包括：风险管理基础、数量分析、金融市场与金融产品、风险建模。
二级考试科目包括：市场风险管理与测量、信用风险管理与测量、操作及综合风险管理、投资风险管理、
费用：一万元左右的费用。每年五月和十一月各有一次考试

6本土化金融风险管理师 CFRM#

简介：CFRM（香港注册金融风险管理师）认证是本土化、专业化的认证。

7数据分析师等级认证考试 CDA#

简介：国内数据分析发展阶段权威、专业的标准规范，
语言：中文
科目：
Level Ⅰ：客观题（单选+多选）
Level Ⅱ：客观+案例分析（选择+案例分析）
条件：本科学历或相当的专业水准（工作经验）
费用：
CDA LEVEL Ⅰ： 1000元（CDA学员由论坛补贴400元）
CDA LEVEL Ⅱ： 1500元（CDA学员由论坛补贴500元）

8北美保险精算师 SOA#

简介：美国的北美精算师协会认证的考试
语言：英文
科目：
第一阶段均为客观题。第二阶段有客观题和主观题。
条件：本科（国家承认同等学历）以上学历～
费用：单门起步价100美刀，共计3697美元，复印资料费大概500，预估2万多人民币。

9保险精算师 CAA#

简介：基本保险精算实务
科目：考试课程共设9门，均为必考。
精算师考试课程共10门，其中3门必考课程，7门选考课程，考生必须通过3门必考课程
2门选考课程的考试。3门必考课程内容主要涉及保险公司运营管理、
财务、投资以及中国保险业法规、税收、财务制度等。2门选考课程则为保险业务的不同方向。
费用：准精算师科目每门次考试报名费用为100元,精算师科目每门次报名费为200元。

10证券从业人员资格证#

简介：“入门”考试，跟高大上的薪酬待遇没关系，是从事证券职业的第一道关口
语言：中文
科目：5门，
必考《证券市场基本法律法规》和《金融市场基础知识》。
入门资格考试两科合格后，可以报考专业资格考试和管理资质测试考试。
专业资格考试：《投资银行业务》、《发布证券研究报告业务》和《证券投资顾问业务》。
管理资质考试：《证券公司高级管理人员资质测试》、《证券评级业务高级管理人员资质测试》和《证券公司合规管理人员胜任能力测试》
费用：61*5=305人民币

参考链接#

金融类考试难度分析（FRM、CFA、CFP、CIIA、CPA、ACCA）：http://www.cfa.so/cfa/267.html
CIIA 与 CFA 客观比较：https://tieba.baidu.com/p/2247927520
金融专业考证大军，证你考对了吗？：http://www.sohu.com/a/57177435_116182