A backteszt egy kereskedési szabály alkalmazása történelmi árfolyamadatokon annak vizsgálatára, hogyan viselkedett volna. A szabály belső logikáját és az adatok minőségét teszteli, nem a jövőt. Bármely szám, amelyet előállít, hipotetikus eredmény, hiszen soha nem ment ki megbízás a piacra.
Minek kell teljesülnie ahhoz, hogy az eredmény jelentsen valamit
A legtöbb backteszt a bemeneteken bukik el, nem a logikáján.
- Költségek a teszten belül. A spread, a jutalék és az overnight finanszírozás minden piacon lévő pozíciót terhel, tehát a teszt számításába tartoznak. A középárakon tesztelt szabály olyan árakon tesztelt szabály, amelyeken senki sem köt.
- Adatfelbontás. A gyertyaadat gyertyánként négy árat rögzít, és semmit sem mond a köztük vezető útról. Ha egy szabály egyetlen gyertyán belül elérheti a védelmi szintjét és a célját is, a gyertyaadatból nem derül ki, melyik jött előbb; a tickadatból igen, de csak arra az időszakra, amelyet a tickelőzmény lefed.
- Az időszak hossza és lefedettsége. Az ablaknak egynél több piaci állapotot kell tartalmaznia — trendelőt és oldalazót, nyugodtat és volatilisat, legalább egy monetáris politikai ciklust. Az egyetlen állapoton tesztelt szabályt egyszer tesztelték, nem sokszor.
- Elkülönített adat. Az egyik időszakon kiválasztott paramétereket olyan időszakon kell megvizsgálni, amelyet nem használtak a kiválasztásukhoz. E szétválasztás nélkül nem lehet megkülönböztetni az illesztést a felfedezéstől.
Négy szokásos hiba
Görbeillesztés. A paramétereket addig hangolják, amíg a történelmi kimenet a lehető legjobban nem fest. Minden további paraméter újabb módot ad a múlt pontos leírására; ez a leírás azután ahhoz a mintához tartozik, és semmi máshoz. A kevesebb paraméter és a szomszédos értékeken is stabil viselkedés többet ér egyetlen hízelgő beállításnál.
Előretekintési torzítás. A teszt olyan információt használ, amely a döntés pillanatában nem állt rendelkezésre: záróárat abban a gyertyában, amelyet lezár, revideált gazdasági számot az első közlés helyett, mai állapotú indexösszetételt. A szabály látszólag olyasmit tud, amit nem tudhatott.
Túlélési torzítás. Az instrumentumlista csak azt tartalmazza, ami még létezik. A kivezetett részvények, a megszüntetett kontraktusok és az újrarögzített vagy feladott devizák kiesnek a mintából, így a minta a túlélőket írja le.
Figyelmen kívül hagyott végrehajtás. A teljesülést a kért áron feltételezik. A valódi piaci és stop megbízások a következő elérhető áron teljesülnek, a rések teljesen átugorják a szinteket, az újraárazások pedig teljesítetlenül hagyják a szándékolt ügyleteket.
Miért nem vihető át a történelmi eredmény előre
Az (EU) 2017/565 felhatalmazáson alapuló rendelet 44. cikk (5) bekezdése szerint a backteszt szimulált múltbeli teljesítmény, a 44. cikk (6) bekezdés a) pontja pedig tiltja, hogy a jövőbeli teljesítményre vonatkozó információ szimulált múltbeli teljesítményen alapuljon vagy arra hivatkozzon. Ezért itt nem szerepelnek teljesítményszámok.
A lényeg azonban nem szabályozási. A backteszt egyetlen szabályt mér egyetlen rögzített, már megtörtént árfolyamsorozathoz, egyetlen költségszerkezet és egyetlen végrehajtási feltevés mellett. A volatilitási rezsimek változnak, a spreadek és a swapkamatok változnak, az adott órában érvényes likviditási viszonyok változnak, és azok az összefüggések, amelyekre a szabály épít, nem a piac stabil tulajdonságai. A tiszta teszt azt mondja meg, hogy a szabály helyesen lett megvalósítva és túlélt egy széles mintát; nem viszi át a minta eredményét olyan időszakra, amelyet a piac még nem hozott létre. A kimenetet szűrőnek tekintse, amely kiejti a hibás szabályokat, nem előrejelzésnek.
