Files
Febe/tools/Febe.Sonda/Program.cs
T
Alby96andClaude Opus 5.5 31bbbf8bb7
verifica / controlli (push) Successful in 2m10s
verifica / prove (push) Successful in 26m16s
verifica / installatore (push) Successful in 5m39s
verifica / immagine (push) Successful in 28m39s
Instagram: Febe legge le risposte vere (campioni dal HAR del 21/10)
Febe non estraeva nulla da Instagram per due motivi. Instagram manda i
dati di storie e raccolte (GraphQL) come text/javascript, e la cattura
leggeva solo le risposte dichiarate JSON: le scartava tutte. E i file di
Instagram (lettori, bersagli) erano scheletri, quindi le ricette si
rifiutavano di girare.

Alberto ha mandato un HAR del suo browser e una guida. La guida descrive
richieste costruite a mano, vietate dalle regole 2-4, e un formato che
nel HAR non compare: non si usa. Dal HAR si è letta solo la forma; le
risposte utili sono diventate campioni grezzi fuori dal repository,
ripuliti e verificati con febe-sonda (tests/Febe.Tests/campioni/instagram).

Che cosa cambia:
- la cattura legge le risposte text/javascript chieste dalla pagina (mai
  gli script) e ogni blocco JSON incorporato nel documento della pagina,
  e avvisa quando un corpo atteso non arriverà;
- le risposte che non parlano di contenuti (promozioni, «storia vista»)
  si ignorano invece di valere come formato non riconosciuto;
- lettori.instagram.json è confermato, con sole chiavi presenti nei
  campioni; identificativi delle raccolte nella forma dell'indirizzo;
- bersagli.instagram.json ha le pagine viste nel traffico vero; i
  bersagli restano vuoti (H11): storie, raccolte, Taggati e Reel
  aspettano lo script tools/bersagli/raccogli-bersagli.js;
- le ricette del profilo reggono dati in risposte diverse e prendono la
  paginazione solo dalla risposta che porta i loro post; l'elenco dei
  seguiti scarta i profili suggeriti; «Tu» si riconosce anche dal solo
  identificativo dell'account collegato;
- il visualizzatore delle raccolte conta i contenuti (l'indirizzo non
  cambia), chiede il permesso prima di ogni contenuto e si chiude sempre;
- una ricetta che la configurazione non lascia girare è «Da configurare»:
  non è un guasto, non si sospende, non si pianifica; le sospensioni
  dovute ai file vecchi si azzerano una volta al cambio dei file;
- la barra laterale dice «Collegato» dal cookie di sessione; i «Post
  singolo» per gli indirizzi scaduti non vengono più annullati;
- febe-sonda da-har; la ripulitura tiene latest_reel_media e mette un
  riempitivo neutro sotto le chiavi simili a segreti (gitleaks).

Prove su Windows: 783 superate, 76 saltate (Chromium e Xvfb, nella CI).
Nulla è stato provato contro Instagram. Dettagli e decisioni in
docs/stato.md e docs/decisioni.md (righe del 25 ottobre).

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-25 14:22:16 +01:00

212 lines
9.1 KiB
C#

using System.Globalization;
using Febe.Browser.Diagnostics;
using Febe.Browser.Hosting;
using Febe.Core.Abstractions;
using Febe.Core.Collection;
using Febe.Sonda;
// Passive probe of M0 (spec §14.5).
// febe-sonda registra --cartella <fuori dal repository> [--display :0 | --xvfb] [--porta 9333] [--chromium <file>] [--no-sandbox]
// [--sito <host> --cdn <host>] (solo per provarla sul sito di prova)
// febe-sonda ripulisci --da <grezzi> --a <ripuliti> [--ammessi <ripulitura.json>] [--sito <host> --cdn <host>]
// febe-sonda verifica --grezzi <grezzi> --ripuliti <ripuliti> [--ammessi <ripulitura.json>]
// febe-sonda da-har --har <file .har> --a <cartella nuova fuori dal repository> [--sito <host> --cdn <host>]
return args.Length == 0 ? Usage() : args[0] switch
{
"registra" => await RecordAsync(args[1..]),
"da-har" => FromHar(args[1..]),
"ripulisci" => Sanitize(args[1..]),
"verifica" => Verify(args[1..]),
_ => Usage(),
};
static int Usage()
{
Console.Error.WriteLine("""
Uso:
febe-sonda registra --cartella <cartella fuori dal repository> [--display :0 | --xvfb] [--porta 9333] [--chromium <file>] [--no-sandbox]
febe-sonda ripulisci --da <campioni grezzi> --a <campioni ripuliti> [--ammessi <ripulitura.json>]
febe-sonda verifica --grezzi <campioni grezzi> --ripuliti <campioni ripuliti> [--ammessi <ripulitura.json>]
febe-sonda da-har --har <file .har esportato dal browser> --a <cartella nuova fuori dal repository>
La sonda è passiva: apre il browser e registra ciò che la pagina riceve mentre navighi tu. Non compie gesti.
«da-har» converte nello stesso formato grezzo un file HAR esportato dagli strumenti per sviluppatori del browser:
tiene le sole risposte di dati del sito e i dati incorporati nelle pagine; mai intestazioni, cookie, parametri
degli indirizzi o corpi delle richieste. Poi si usano «ripulisci» e «verifica» come per la sonda.
""");
return 2;
}
static async Task<int> RecordAsync(string[] args)
{
var folder = Option(args, "--cartella");
if (string.IsNullOrWhiteSpace(folder))
{
Console.Error.WriteLine("Indicare --cartella <cartella fuori dal repository>.");
return 2;
}
try
{
RepositoryGuard.EnsureOutside(folder);
}
catch (InvalidOperationException ex)
{
Console.Error.WriteLine(ex.Message);
return 3;
}
var log = new DelegateBrowserLog((level, message, _) =>
{
if (level >= BrowserLogLevel.Warning)
{
Console.Error.WriteLine(message);
}
});
XvfbProcess? xvfb = null;
var display = Option(args, "--display");
if (args.Contains("--xvfb"))
{
display = XvfbProcess.FindFreeDisplay() ?? throw new InvalidOperationException("Nessun display libero per Xvfb.");
xvfb = new XvfbProcess(display, 1280, 900, log: log);
await xvfb.StartAsync(CancellationToken.None);
Console.WriteLine($"Xvfb avviato su {display}: il browser non è visibile da qui (serve la vista remota di Febe o un display vero con --display).");
}
var hosts = Hosts(args);
var profile = Path.Combine(Path.GetFullPath(folder), SampleSanitizer.BrowserProfileFolder);
var host = new ChromiumProcessHost(new ChromiumLaunchOptions { NoSandbox = args.Contains("--no-sandbox") }, log: log);
try
{
await host.StartAsync(
new BrowserOptions(profile, 1280, 900, int.TryParse(Option(args, "--porta"), NumberStyles.Integer, CultureInfo.InvariantCulture, out var port) ? port : 9333, Option(args, "--chromium"), display),
CancellationToken.None);
await using var recorder = new ProbeRecorder(host.Cdp, hosts, folder);
await recorder.StartAsync();
Console.WriteLine($"""
Sonda in ascolto. Campioni grezzi in: {recorder.Folder}
Accedi e naviga a mano nella finestra del browser seguendo docs/prove-dal-vivo.md.
La sonda non compie gesti e non apre pagine da sola. Premi Invio (o Ctrl+C) per terminare.
""");
var stop = new TaskCompletionSource();
Console.CancelKeyPress += (_, e) =>
{
e.Cancel = true;
stop.TrySetResult();
};
_ = Task.Run(() =>
{
Console.ReadLine();
stop.TrySetResult();
});
await stop.Task;
await recorder.StopAsync();
var stats = recorder.Stats;
Console.WriteLine($"Registrate {stats.Responses} risposte, {stats.Navigations} navigazioni, {stats.Interactions} interazioni.");
Console.WriteLine("Ora: febe-sonda ripulisci --da <cartella> --a <copia ripulita>, poi febe-sonda verifica.");
return 0;
}
finally
{
await host.DisposeAsync();
if (xvfb is not null)
{
await xvfb.DisposeAsync();
}
}
}
static int FromHar(string[] args)
{
var har = Option(args, "--har");
var to = Option(args, "--a");
if (string.IsNullOrWhiteSpace(har) || string.IsNullOrWhiteSpace(to))
{
Console.Error.WriteLine("Indicare --har <file .har> e --a <cartella nuova fuori dal repository>.");
return 2;
}
HarImportReport report;
try
{
report = HarImporter.Import(har, to, Hosts(args));
}
catch (Exception ex) when (ex is InvalidOperationException or InvalidDataException or FileNotFoundException)
{
Console.Error.WriteLine(ex.Message);
return 3;
}
// Counts only: what the answers contain stays on this machine.
Console.WriteLine($"Lette {report.Entries} voci del file HAR; scritti {report.Written} campioni grezzi: {report.DataResponses} risposte di dati del sito, {report.DocumentBlocks} blocchi di dati incorporati in {report.Documents} pagine.");
Console.WriteLine($"Lasciate fuori: {report.OtherHosts} di altri indirizzi (CDN, altri siti), {report.NotData} che non sono dati (file, immagini, script...), {report.WithoutBody} senza corpo, {report.NotJson} non JSON, {report.DocumentsWithoutData} pagine senza dati incorporati.");
if (report.Written == 0 && report.WithoutBody > 0)
{
Console.WriteLine("Il file HAR non contiene i corpi delle risposte: esportalo di nuovo dal pannello Rete con le risposte incluse.");
}
Console.WriteLine($"Campioni grezzi in: {Path.GetFullPath(to)}");
Console.WriteLine("Ora: febe-sonda ripulisci --da <cartella> --a <copia ripulita>, poi febe-sonda verifica.");
return report.Written > 0 ? 0 : 1;
}
static int Sanitize(string[] args)
{
var from = Option(args, "--da");
var to = Option(args, "--a");
if (string.IsNullOrWhiteSpace(from) || string.IsNullOrWhiteSpace(to))
{
Console.Error.WriteLine("Indicare --da <campioni grezzi> e --a <campioni ripuliti>.");
return 2;
}
var allowlist = Option(args, "--ammessi") is { } path ? SanitizerAllowlist.Load(path) : SanitizerAllowlist.Default;
var report = new SampleSanitizer(allowlist, Hosts(args)).SanitizeFolder(from, to);
Console.WriteLine($"Ripuliti {report.Files} file ({report.Lines} righe): {report.ReplacedStrings} testi, {report.ReplacedNumbers} numeri, {report.ReplacedKeys} chiavi, {report.Addresses} indirizzi sostituiti.");
var verify = SampleVerifier.Verify(from, to, allowlist);
Console.WriteLine(verify.Passed ? "Verifica superata." : $"Verifica NON superata: {verify.Leaks.Count} frammenti sopravvissuti.");
return verify.Passed ? 0 : 1;
}
static int Verify(string[] args)
{
var raw = Option(args, "--grezzi");
var clean = Option(args, "--ripuliti");
if (string.IsNullOrWhiteSpace(raw) || string.IsNullOrWhiteSpace(clean))
{
Console.Error.WriteLine("Indicare --grezzi <campioni grezzi> e --ripuliti <campioni ripuliti>.");
return 2;
}
var allowlist = Option(args, "--ammessi") is { } path ? SanitizerAllowlist.Load(path) : SanitizerAllowlist.Default;
var report = SampleVerifier.Verify(raw, clean, allowlist);
Console.WriteLine($"Grezzi: {report.RawFiles} file; ripuliti: {report.CleanFiles}; frammenti controllati: {report.CheckedTokens}.");
foreach (var missing in report.MissingCleanFiles)
{
Console.WriteLine($"Manca la copia ripulita di {missing}.");
}
foreach (var leak in report.Leaks)
{
// Where, never what: the value itself stays on this machine.
Console.WriteLine($"Sopravvive un frammento di {leak.Length} {leak.Kind} in {leak.CleanFile}.");
}
Console.WriteLine(report.Passed ? "Verifica superata: nessun valore dei grezzi sopravvive fuori dall'elenco ammesso." : "Verifica NON superata.");
return report.Passed ? 0 : 1;
}
static HostClassifier Hosts(string[] args)
{
var site = Option(args, "--sito");
var cdn = Option(args, "--cdn");
return site is null && cdn is null
? HostClassifier.Instagram
: new HostClassifier((site ?? string.Empty).Split(',', StringSplitOptions.RemoveEmptyEntries), (cdn ?? string.Empty).Split(',', StringSplitOptions.RemoveEmptyEntries));
}
static string? Option(string[] args, string name)
{
var index = Array.IndexOf(args, name);
return index >= 0 && index + 1 < args.Length ? args[index + 1] : null;
}