Febe non estraeva nulla da Instagram per due motivi. Instagram manda i dati di storie e raccolte (GraphQL) come text/javascript, e la cattura leggeva solo le risposte dichiarate JSON: le scartava tutte. E i file di Instagram (lettori, bersagli) erano scheletri, quindi le ricette si rifiutavano di girare. Alberto ha mandato un HAR del suo browser e una guida. La guida descrive richieste costruite a mano, vietate dalle regole 2-4, e un formato che nel HAR non compare: non si usa. Dal HAR si è letta solo la forma; le risposte utili sono diventate campioni grezzi fuori dal repository, ripuliti e verificati con febe-sonda (tests/Febe.Tests/campioni/instagram). Che cosa cambia: - la cattura legge le risposte text/javascript chieste dalla pagina (mai gli script) e ogni blocco JSON incorporato nel documento della pagina, e avvisa quando un corpo atteso non arriverà; - le risposte che non parlano di contenuti (promozioni, «storia vista») si ignorano invece di valere come formato non riconosciuto; - lettori.instagram.json è confermato, con sole chiavi presenti nei campioni; identificativi delle raccolte nella forma dell'indirizzo; - bersagli.instagram.json ha le pagine viste nel traffico vero; i bersagli restano vuoti (H11): storie, raccolte, Taggati e Reel aspettano lo script tools/bersagli/raccogli-bersagli.js; - le ricette del profilo reggono dati in risposte diverse e prendono la paginazione solo dalla risposta che porta i loro post; l'elenco dei seguiti scarta i profili suggeriti; «Tu» si riconosce anche dal solo identificativo dell'account collegato; - il visualizzatore delle raccolte conta i contenuti (l'indirizzo non cambia), chiede il permesso prima di ogni contenuto e si chiude sempre; - una ricetta che la configurazione non lascia girare è «Da configurare»: non è un guasto, non si sospende, non si pianifica; le sospensioni dovute ai file vecchi si azzerano una volta al cambio dei file; - la barra laterale dice «Collegato» dal cookie di sessione; i «Post singolo» per gli indirizzi scaduti non vengono più annullati; - febe-sonda da-har; la ripulitura tiene latest_reel_media e mette un riempitivo neutro sotto le chiavi simili a segreti (gitleaks). Prove su Windows: 783 superate, 76 saltate (Chromium e Xvfb, nella CI). Nulla è stato provato contro Instagram. Dettagli e decisioni in docs/stato.md e docs/decisioni.md (righe del 25 ottobre). Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
212 lines
9.1 KiB
C#
212 lines
9.1 KiB
C#
using System.Globalization;
|
|
using Febe.Browser.Diagnostics;
|
|
using Febe.Browser.Hosting;
|
|
using Febe.Core.Abstractions;
|
|
using Febe.Core.Collection;
|
|
using Febe.Sonda;
|
|
|
|
// Passive probe of M0 (spec §14.5).
|
|
// febe-sonda registra --cartella <fuori dal repository> [--display :0 | --xvfb] [--porta 9333] [--chromium <file>] [--no-sandbox]
|
|
// [--sito <host> --cdn <host>] (solo per provarla sul sito di prova)
|
|
// febe-sonda ripulisci --da <grezzi> --a <ripuliti> [--ammessi <ripulitura.json>] [--sito <host> --cdn <host>]
|
|
// febe-sonda verifica --grezzi <grezzi> --ripuliti <ripuliti> [--ammessi <ripulitura.json>]
|
|
// febe-sonda da-har --har <file .har> --a <cartella nuova fuori dal repository> [--sito <host> --cdn <host>]
|
|
return args.Length == 0 ? Usage() : args[0] switch
|
|
{
|
|
"registra" => await RecordAsync(args[1..]),
|
|
"da-har" => FromHar(args[1..]),
|
|
"ripulisci" => Sanitize(args[1..]),
|
|
"verifica" => Verify(args[1..]),
|
|
_ => Usage(),
|
|
};
|
|
|
|
static int Usage()
|
|
{
|
|
Console.Error.WriteLine("""
|
|
Uso:
|
|
febe-sonda registra --cartella <cartella fuori dal repository> [--display :0 | --xvfb] [--porta 9333] [--chromium <file>] [--no-sandbox]
|
|
febe-sonda ripulisci --da <campioni grezzi> --a <campioni ripuliti> [--ammessi <ripulitura.json>]
|
|
febe-sonda verifica --grezzi <campioni grezzi> --ripuliti <campioni ripuliti> [--ammessi <ripulitura.json>]
|
|
febe-sonda da-har --har <file .har esportato dal browser> --a <cartella nuova fuori dal repository>
|
|
La sonda è passiva: apre il browser e registra ciò che la pagina riceve mentre navighi tu. Non compie gesti.
|
|
«da-har» converte nello stesso formato grezzo un file HAR esportato dagli strumenti per sviluppatori del browser:
|
|
tiene le sole risposte di dati del sito e i dati incorporati nelle pagine; mai intestazioni, cookie, parametri
|
|
degli indirizzi o corpi delle richieste. Poi si usano «ripulisci» e «verifica» come per la sonda.
|
|
""");
|
|
return 2;
|
|
}
|
|
|
|
static async Task<int> RecordAsync(string[] args)
|
|
{
|
|
var folder = Option(args, "--cartella");
|
|
if (string.IsNullOrWhiteSpace(folder))
|
|
{
|
|
Console.Error.WriteLine("Indicare --cartella <cartella fuori dal repository>.");
|
|
return 2;
|
|
}
|
|
|
|
try
|
|
{
|
|
RepositoryGuard.EnsureOutside(folder);
|
|
}
|
|
catch (InvalidOperationException ex)
|
|
{
|
|
Console.Error.WriteLine(ex.Message);
|
|
return 3;
|
|
}
|
|
|
|
var log = new DelegateBrowserLog((level, message, _) =>
|
|
{
|
|
if (level >= BrowserLogLevel.Warning)
|
|
{
|
|
Console.Error.WriteLine(message);
|
|
}
|
|
});
|
|
XvfbProcess? xvfb = null;
|
|
var display = Option(args, "--display");
|
|
if (args.Contains("--xvfb"))
|
|
{
|
|
display = XvfbProcess.FindFreeDisplay() ?? throw new InvalidOperationException("Nessun display libero per Xvfb.");
|
|
xvfb = new XvfbProcess(display, 1280, 900, log: log);
|
|
await xvfb.StartAsync(CancellationToken.None);
|
|
Console.WriteLine($"Xvfb avviato su {display}: il browser non è visibile da qui (serve la vista remota di Febe o un display vero con --display).");
|
|
}
|
|
|
|
var hosts = Hosts(args);
|
|
var profile = Path.Combine(Path.GetFullPath(folder), SampleSanitizer.BrowserProfileFolder);
|
|
var host = new ChromiumProcessHost(new ChromiumLaunchOptions { NoSandbox = args.Contains("--no-sandbox") }, log: log);
|
|
try
|
|
{
|
|
await host.StartAsync(
|
|
new BrowserOptions(profile, 1280, 900, int.TryParse(Option(args, "--porta"), NumberStyles.Integer, CultureInfo.InvariantCulture, out var port) ? port : 9333, Option(args, "--chromium"), display),
|
|
CancellationToken.None);
|
|
await using var recorder = new ProbeRecorder(host.Cdp, hosts, folder);
|
|
await recorder.StartAsync();
|
|
Console.WriteLine($"""
|
|
Sonda in ascolto. Campioni grezzi in: {recorder.Folder}
|
|
Accedi e naviga a mano nella finestra del browser seguendo docs/prove-dal-vivo.md.
|
|
La sonda non compie gesti e non apre pagine da sola. Premi Invio (o Ctrl+C) per terminare.
|
|
""");
|
|
var stop = new TaskCompletionSource();
|
|
Console.CancelKeyPress += (_, e) =>
|
|
{
|
|
e.Cancel = true;
|
|
stop.TrySetResult();
|
|
};
|
|
_ = Task.Run(() =>
|
|
{
|
|
Console.ReadLine();
|
|
stop.TrySetResult();
|
|
});
|
|
await stop.Task;
|
|
await recorder.StopAsync();
|
|
var stats = recorder.Stats;
|
|
Console.WriteLine($"Registrate {stats.Responses} risposte, {stats.Navigations} navigazioni, {stats.Interactions} interazioni.");
|
|
Console.WriteLine("Ora: febe-sonda ripulisci --da <cartella> --a <copia ripulita>, poi febe-sonda verifica.");
|
|
return 0;
|
|
}
|
|
finally
|
|
{
|
|
await host.DisposeAsync();
|
|
if (xvfb is not null)
|
|
{
|
|
await xvfb.DisposeAsync();
|
|
}
|
|
}
|
|
}
|
|
|
|
static int FromHar(string[] args)
|
|
{
|
|
var har = Option(args, "--har");
|
|
var to = Option(args, "--a");
|
|
if (string.IsNullOrWhiteSpace(har) || string.IsNullOrWhiteSpace(to))
|
|
{
|
|
Console.Error.WriteLine("Indicare --har <file .har> e --a <cartella nuova fuori dal repository>.");
|
|
return 2;
|
|
}
|
|
|
|
HarImportReport report;
|
|
try
|
|
{
|
|
report = HarImporter.Import(har, to, Hosts(args));
|
|
}
|
|
catch (Exception ex) when (ex is InvalidOperationException or InvalidDataException or FileNotFoundException)
|
|
{
|
|
Console.Error.WriteLine(ex.Message);
|
|
return 3;
|
|
}
|
|
|
|
// Counts only: what the answers contain stays on this machine.
|
|
Console.WriteLine($"Lette {report.Entries} voci del file HAR; scritti {report.Written} campioni grezzi: {report.DataResponses} risposte di dati del sito, {report.DocumentBlocks} blocchi di dati incorporati in {report.Documents} pagine.");
|
|
Console.WriteLine($"Lasciate fuori: {report.OtherHosts} di altri indirizzi (CDN, altri siti), {report.NotData} che non sono dati (file, immagini, script...), {report.WithoutBody} senza corpo, {report.NotJson} non JSON, {report.DocumentsWithoutData} pagine senza dati incorporati.");
|
|
if (report.Written == 0 && report.WithoutBody > 0)
|
|
{
|
|
Console.WriteLine("Il file HAR non contiene i corpi delle risposte: esportalo di nuovo dal pannello Rete con le risposte incluse.");
|
|
}
|
|
|
|
Console.WriteLine($"Campioni grezzi in: {Path.GetFullPath(to)}");
|
|
Console.WriteLine("Ora: febe-sonda ripulisci --da <cartella> --a <copia ripulita>, poi febe-sonda verifica.");
|
|
return report.Written > 0 ? 0 : 1;
|
|
}
|
|
|
|
static int Sanitize(string[] args)
|
|
{
|
|
var from = Option(args, "--da");
|
|
var to = Option(args, "--a");
|
|
if (string.IsNullOrWhiteSpace(from) || string.IsNullOrWhiteSpace(to))
|
|
{
|
|
Console.Error.WriteLine("Indicare --da <campioni grezzi> e --a <campioni ripuliti>.");
|
|
return 2;
|
|
}
|
|
|
|
var allowlist = Option(args, "--ammessi") is { } path ? SanitizerAllowlist.Load(path) : SanitizerAllowlist.Default;
|
|
var report = new SampleSanitizer(allowlist, Hosts(args)).SanitizeFolder(from, to);
|
|
Console.WriteLine($"Ripuliti {report.Files} file ({report.Lines} righe): {report.ReplacedStrings} testi, {report.ReplacedNumbers} numeri, {report.ReplacedKeys} chiavi, {report.Addresses} indirizzi sostituiti.");
|
|
var verify = SampleVerifier.Verify(from, to, allowlist);
|
|
Console.WriteLine(verify.Passed ? "Verifica superata." : $"Verifica NON superata: {verify.Leaks.Count} frammenti sopravvissuti.");
|
|
return verify.Passed ? 0 : 1;
|
|
}
|
|
|
|
static int Verify(string[] args)
|
|
{
|
|
var raw = Option(args, "--grezzi");
|
|
var clean = Option(args, "--ripuliti");
|
|
if (string.IsNullOrWhiteSpace(raw) || string.IsNullOrWhiteSpace(clean))
|
|
{
|
|
Console.Error.WriteLine("Indicare --grezzi <campioni grezzi> e --ripuliti <campioni ripuliti>.");
|
|
return 2;
|
|
}
|
|
|
|
var allowlist = Option(args, "--ammessi") is { } path ? SanitizerAllowlist.Load(path) : SanitizerAllowlist.Default;
|
|
var report = SampleVerifier.Verify(raw, clean, allowlist);
|
|
Console.WriteLine($"Grezzi: {report.RawFiles} file; ripuliti: {report.CleanFiles}; frammenti controllati: {report.CheckedTokens}.");
|
|
foreach (var missing in report.MissingCleanFiles)
|
|
{
|
|
Console.WriteLine($"Manca la copia ripulita di {missing}.");
|
|
}
|
|
|
|
foreach (var leak in report.Leaks)
|
|
{
|
|
// Where, never what: the value itself stays on this machine.
|
|
Console.WriteLine($"Sopravvive un frammento di {leak.Length} {leak.Kind} in {leak.CleanFile}.");
|
|
}
|
|
|
|
Console.WriteLine(report.Passed ? "Verifica superata: nessun valore dei grezzi sopravvive fuori dall'elenco ammesso." : "Verifica NON superata.");
|
|
return report.Passed ? 0 : 1;
|
|
}
|
|
|
|
static HostClassifier Hosts(string[] args)
|
|
{
|
|
var site = Option(args, "--sito");
|
|
var cdn = Option(args, "--cdn");
|
|
return site is null && cdn is null
|
|
? HostClassifier.Instagram
|
|
: new HostClassifier((site ?? string.Empty).Split(',', StringSplitOptions.RemoveEmptyEntries), (cdn ?? string.Empty).Split(',', StringSplitOptions.RemoveEmptyEntries));
|
|
}
|
|
|
|
static string? Option(string[] args, string name)
|
|
{
|
|
var index = Array.IndexOf(args, name);
|
|
return index >= 0 && index + 1 < args.Length ? args[index + 1] : null;
|
|
}
|