F2 · Importatori: archivi Binance e CSV dell'utente verso lo storico di ricerca #21

Closed
opened 2026-11-09 11:54:15 +01:00 by Alby96 · 1 comment
Owner

Fase 2 — Dati di mercato · Specifica: docs/SPEC.md §3, 6.6, 4.4

Obiettivo

Storico per la ricerca in file .csv.gz sotto /data/research (ADR 0003).

Passi

  • Importatore di data.binance.vision (candele a 1 minuto e giornaliere dal 2017)
  • Importatore generico di CSV da /data/import con mappatura configurabile delle colonne
  • Un file .csv.gz per strumento e per anno, letto e scritto con GZipStream; test di andata e ritorno senza perdita di decimali

Criteri di accettazione della fase a cui contribuisce

  • Storico giornaliero delle crypto dall'inizio disponibile (coppie in EUR di OKX, più gli archivi Binance dal 2017) e delle azioni dal 2016

Valgono sempre le sezioni 2, 16 e 19 della specifica, lo stack dell'ADR 0003 (al posto della sezione 3), i soli componenti esterni dell'ADR 0004 e le regole di docs/SVILUPPO.md.

**Fase 2 — Dati di mercato** · Specifica: `docs/SPEC.md` §3, 6.6, 4.4 ### Obiettivo Storico per la ricerca in file `.csv.gz` sotto `/data/research` (ADR 0003). ### Passi - [ ] Importatore di `data.binance.vision` (candele a 1 minuto e giornaliere dal 2017) - [ ] Importatore generico di CSV da `/data/import` con mappatura configurabile delle colonne - [ ] Un file `.csv.gz` per strumento e per anno, letto e scritto con `GZipStream`; test di andata e ritorno senza perdita di decimali ### Criteri di accettazione della fase a cui contribuisce - Storico giornaliero delle crypto dall'inizio disponibile (coppie in EUR di OKX, più gli archivi Binance dal 2017) e delle azioni dal 2016 --- Valgono sempre le sezioni 2, 16 e 19 della specifica, lo stack dell'ADR 0003 (al posto della sezione 3), i soli componenti esterni dell'ADR 0004 e le regole di `docs/SVILUPPO.md`.
Alby96 added this to the Fase 2 — Dati di mercato milestone 2026-11-09 11:54:15 +01:00
Alby96 added the Kind/Feature
Priority
Medium
3
Area/Dati
labels 2026-11-09 11:54:15 +01:00
Alby96 changed title from F2 · Importatori: archivi Binance e CSV dell'utente verso Parquet to F2 · Importatori: archivi Binance e CSV dell'utente verso lo storico di ricerca 2026-11-09 13:06:13 +01:00
Author
Owner

Fatto (commit 3b13a42, b3fb69e, aa2766f)

  • Importatore di data.binance.vision: archivi mensili giornalieri e a 1 minuto, controllo SHA-256 di ogni zip, timestamp in millisecondi e microsecondi (dal 2025). Si ferma al primo mese non ancora pubblicato. Comando: anubis data binance SIMBOLO 1d|1m AAAA-MM.
  • Importatore CSV da /data/import con mappatura in un file .mapping.json (colonne, formato dell'orario, fuso, separatori, virgola decimale). Comando: anubis data csv file.csv. Riporta righe illeggibili e buchi.
  • Un file .csv.gz per strumento, intervallo e anno con GZipStream. I prezzi restano nel testo decimale della fonte; scrittura su un nome temporaneo e poi spostamento.

Prove

  • ResearchFilesRoundTripWithoutLosingDecimals, BinanceArchivesReadMillisecondsAndMicrosecondsAndCheckTheirFingerprint, BinanceImporterChecksEachArchiveAndStopsAtTheFirstMissingMonth, CsvImporterFollowsTheMappingAndReportsWhatItCouldNotRead.
  • Prova reale: BTCUSDT 1d, 3.363 giorni dal 17/08/2017 al 31/10/2026, 10 file annuali da 4–14 KB; novembre 2026 non ancora pubblicato.
  • CI run 180 verde.
**Fatto** (commit 3b13a42, b3fb69e, aa2766f) - Importatore di `data.binance.vision`: archivi mensili giornalieri e a 1 minuto, controllo SHA-256 di ogni zip, timestamp in millisecondi e microsecondi (dal 2025). Si ferma al primo mese non ancora pubblicato. Comando: `anubis data binance SIMBOLO 1d|1m AAAA-MM`. - Importatore CSV da `/data/import` con mappatura in un file `.mapping.json` (colonne, formato dell'orario, fuso, separatori, virgola decimale). Comando: `anubis data csv file.csv`. Riporta righe illeggibili e buchi. - Un file `.csv.gz` per strumento, intervallo e anno con `GZipStream`. I prezzi restano nel testo decimale della fonte; scrittura su un nome temporaneo e poi spostamento. **Prove** - `ResearchFilesRoundTripWithoutLosingDecimals`, `BinanceArchivesReadMillisecondsAndMicrosecondsAndCheckTheirFingerprint`, `BinanceImporterChecksEachArchiveAndStopsAtTheFirstMissingMonth`, `CsvImporterFollowsTheMappingAndReportsWhatItCouldNotRead`. - Prova reale: BTCUSDT 1d, 3.363 giorni dal 17/08/2017 al 31/10/2026, 10 file annuali da 4–14 KB; novembre 2026 non ancora pubblicato. - CI run 180 verde.
Sign in to join this conversation.
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: BalboSoft/Anubis#21