F4 · Convalide: finestre che avanzano, K-fold purgato combinatorio, DSR, PBO; registro delle prove #35

Closed
opened 2026-11-09 11:56:06 +01:00 by Alby96 · 1 comment
Owner

Fase 4 — Backtest e laboratorio · Specifica: docs/SPEC.md §12.2

Obiettivo

Il protocollo anti-illusioni implementato in casa e provato su casi noti.

Passi

  • Finestre che avanzano e K-fold purgato combinatorio con embargo
  • Deflated Sharpe Ratio e PBO scritti in casa, testati sugli esempi di Bailey e López de Prado e su serie sintetiche (rumore → PBO ≈ 0,5)
  • Registro di ogni prova con piano scritto prima dei risultati
  • Soglie predefinite: netto positivo a costi doppi, DSR ≥ 0,90, PBO ≤ 0,40, calo massimo ≤ 25%

Criteri di accettazione della fase a cui contribuisce

  • DSR e PBO riproducono i casi noti di 12.2

Valgono sempre le sezioni 2, 16 e 19 della specifica, lo stack dell'ADR 0003 (al posto della sezione 3), i soli componenti esterni dell'ADR 0004 e le regole di docs/SVILUPPO.md.

**Fase 4 — Backtest e laboratorio** · Specifica: `docs/SPEC.md` §12.2 ### Obiettivo Il protocollo anti-illusioni implementato in casa e provato su casi noti. ### Passi - [ ] Finestre che avanzano e K-fold purgato combinatorio con embargo - [ ] Deflated Sharpe Ratio e PBO scritti in casa, testati sugli esempi di Bailey e López de Prado e su serie sintetiche (rumore → PBO ≈ 0,5) - [ ] Registro di ogni prova con piano scritto prima dei risultati - [ ] Soglie predefinite: netto positivo a costi doppi, DSR ≥ 0,90, PBO ≤ 0,40, calo massimo ≤ 25% ### Criteri di accettazione della fase a cui contribuisce - DSR e PBO riproducono i casi noti di 12.2 --- Valgono sempre le sezioni 2, 16 e 19 della specifica, lo stack dell'ADR 0003 (al posto della sezione 3), i soli componenti esterni dell'ADR 0004 e le regole di `docs/SVILUPPO.md`.
Alby96 added this to the Fase 4 — Backtest e laboratorio milestone 2026-11-09 11:56:06 +01:00
Alby96 added the Kind/FeatureKind/Testing
Priority
High
2
Area/Strategie
labels 2026-11-09 11:56:06 +01:00
Author
Owner

Fatto (commit ccb9602, 5efb149; correzioni della revisione in f278ff4).

  • Statistica scritta in casa, nessuna libreria esterna:
    • funzione normale e quantile (TheNormalDistributionMatchesItsTables);
    • momenti (MomentsOfANormalSampleAreThoseOfTheNormal).
  • Deflated Sharpe Ratio: riproduce l'esempio di Bailey e López de Prado, soglia 0,1132 e DSR 0,9004 (TheDeflatedSharpeRatioReproducesTheExampleOfTheArticle).
  • PBO con il metodo CSCV, su tre casi:
    • circa 0,5 sul rumore puro (OnPureNoiseThePbOIsAboutOneHalf);
    • 0 con una variante costruita per dominare (WithAVariantBuiltToDominateThePbOFallsToZero);
    • 1 quando la migliore nel campione perde sempre fuori (WhenTheInSampleWinnerAlwaysLosesOutOfSampleThePbOIsOne).
  • K-fold purgato combinatorio con purga ed embargo: 6 gruppi, 2 in prova, 15 divisioni e 5 percorsi (PurgedCrossValidationBuildsFifteenSplitsAndFivePaths).
  • Finestre che avanzano: scelgono solo sul passato e vengono giudicate sul seguito (WalkForwardChoosesOnThePastAndIsJudgedOnWhatFollows).
  • Regola dell'altopiano: preferisce una collina larga a un picco isolato (ThePlateauRulePrefersABroadHillToALonelyPeak).
  • Registro delle prove (backtest_trials, migrazione 0004):
    • piano in JSON e impronta SHA-256 scritti prima dei risultati e mai modificati (APlanIsWrittenBeforeTheResultsAndNeverChanges);
    • dopo la revisione, un piano che non corrisponde più alla sua impronta non parte;
    • il DSR conta le varianti di tutte le prove concluse della stessa strategia.
  • Soglie fissate nel piano:
    • netto positivo a costi doppi;
    • DSR ≥ 0,90;
    • PBO ≤ 0,40 (non si applica con una sola variante);
    • calo massimo ≤ 25%;
    • nessuna decisione cambiata dai dati futuri.

Scelte nell'ADR 0010, punti 6–10.

Fatto (commit ccb9602, 5efb149; correzioni della revisione in f278ff4). - **Statistica scritta in casa**, nessuna libreria esterna: - funzione normale e quantile (`TheNormalDistributionMatchesItsTables`); - momenti (`MomentsOfANormalSampleAreThoseOfTheNormal`). - **Deflated Sharpe Ratio:** riproduce l'esempio di Bailey e López de Prado, soglia 0,1132 e DSR 0,9004 (`TheDeflatedSharpeRatioReproducesTheExampleOfTheArticle`). - **PBO con il metodo CSCV**, su tre casi: - circa 0,5 sul rumore puro (`OnPureNoiseThePbOIsAboutOneHalf`); - 0 con una variante costruita per dominare (`WithAVariantBuiltToDominateThePbOFallsToZero`); - 1 quando la migliore nel campione perde sempre fuori (`WhenTheInSampleWinnerAlwaysLosesOutOfSampleThePbOIsOne`). - **K-fold purgato combinatorio** con purga ed embargo: 6 gruppi, 2 in prova, 15 divisioni e 5 percorsi (`PurgedCrossValidationBuildsFifteenSplitsAndFivePaths`). - **Finestre che avanzano:** scelgono solo sul passato e vengono giudicate sul seguito (`WalkForwardChoosesOnThePastAndIsJudgedOnWhatFollows`). - **Regola dell'altopiano:** preferisce una collina larga a un picco isolato (`ThePlateauRulePrefersABroadHillToALonelyPeak`). - **Registro delle prove** (`backtest_trials`, migrazione 0004): - piano in JSON e impronta SHA-256 scritti prima dei risultati e mai modificati (`APlanIsWrittenBeforeTheResultsAndNeverChanges`); - dopo la revisione, un piano che non corrisponde più alla sua impronta non parte; - il DSR conta le varianti di tutte le prove concluse della stessa strategia. - **Soglie fissate nel piano:** - netto positivo a costi doppi; - DSR ≥ 0,90; - PBO ≤ 0,40 (non si applica con una sola variante); - calo massimo ≤ 25%; - nessuna decisione cambiata dai dati futuri. Scelte nell'ADR 0010, punti 6–10.
Sign in to join this conversation.
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: BalboSoft/Anubis#35