Web Fetch (advanced)

action_web_fetch_advanced · action · Utility · Disponibile · v1.0.0

Descrizione

Fetch HTTP enterprise-grade per web scraping LEGITTIMO (monitoraggio propri siti, news aggregation, price comparison sui tuoi prodotti, integrazione siti aziendali). Differenze vs HTTP Request standard: header preset browser-like (un click per "Chrome desktop"/"iPhone Safari"), Referer/Origin auto-derivati, cookie jar persistente, retry exponential su 408/429/5xx, response format auto-detect (HTML/JSON/Binary). NON USARE per: scraping siti di terzi senza autorizzazione, evasione paywall, accumulazione contenuti copyright. Block-list domini noti pirateria attiva. Tutti i request loggati in audit_log.

⚙️ Parametri di configurazione

Campi mostrati nell’editor quando si configura il nodo. Generati direttamente dal NodeDefconfigFields.

Campo	Tipo	Required	Default	Descrizione
`url` URL	`string`	si	— https://miosito.com/api/data oppure {{$node.previous.json.url}}	URL completo. Supporta {{espressioni}} per pezzi dinamici. SSRF block: indirizzi interni (127.0.0.1, 10.x, 192.168.x) bloccati di default.
`method` Metodo HTTP	`enum` `GETPOSTPUTPATCHDELETEHEADOPTIONS`	no	`GET`	GET = leggi (default scraping). POST = form / API call. HEAD = solo headers (check esistenza/redirect).
`userAgentPreset` User-Agent preset	`enum` `flowforge-botchrome-desktopchrome-macsafari-iphonefirefox-desktop`	no	`flowforge-bot`	flowforge-bot = identifica FlowForge (consigliato, RFC-compliant). Gli altri preset simulano browser reali — USA SOLO per test su PROPRI siti.
`userAgentCustom` User-Agent custom (override)	`string`	no	— Lascia vuoto per usare il preset	Override completo. Se vuoto usa il preset sopra. Esempio: "MyCompanyMonitor/2.0 ([email protected])".
`headerPreset` Preset Headers	`enum` `browser-documentbrowser-embedapi-jsonminimal`	no	`browser-document`	browser-document = navigazione pagina (Sec-Fetch-Mode navigate, Accept HTML). browser-embed = iframe/embed (Sec-Fetch-Dest iframe). api-json = API REST (Accept JSON). minimal = solo Accept /.
`extraHeaders` Headers extra	`key-value`	no	—	Coppie nome-valore extra (es. Authorization: Bearer xyz). Sovrascrivono il preset.
`referer` Referer (esplicito)	`string`	no	— Lascia vuoto per auto-derive dall'URL	Header Referer della richiesta. Cruciale per molti siti anti-scraping. Se vuoto, viene derivato dall'URL (auto).
`origin` Origin (esplicito)	`string`	no	— Lascia vuoto per auto-derive (https://host)	Header Origin. Usato dai CORS check. Auto se vuoto.
`autoOrigin` Auto-derive Referer + Origin dall'URL	`boolean`	no	`true`	Se ON e Referer/Origin sono vuoti, vengono settati a "<scheme>://<host>/".
`cookies` Cookies (Cookie header)	`string (multiline)`	no	— session=abc123; language=it; cf_clearance=xyz	Stringa Cookie completa. Usa il nodo Cloudflare Solver per ottenere cf_clearance automaticamente.
`bodyType` Tipo body	`enum` `nonejsonform-urlencodedraw-text`	no	`none`	Per GET/HEAD lasciare "none". JSON = Content-Type application/json. form-urlencoded = key=value&...
`body` Body	`code`	no	— {"key": "value"}	Per json: JSON valido. Per form-urlencoded: key=value&... Per raw-text: testo libero.
`timeoutMs` Timeout (ms)	`number`	no	`30000`	Default 30s. Min 1s, max 120s.
`maxRedirects` Max redirects	`number`	no	`5`	Default 5. Redirect oltre questo numero → errore.
`maxRetries` Max retries	`number`	no	`3`	Numero di retry su errori transient (timeout, 429, 5xx). 0 = nessun retry. Max 8.
`retryInitialDelayMs` Retry: delay iniziale (ms)	`number`	no	`500`	Attesa prima del primo retry. Successivi: delay × factor^attempt.
`retryFactor` Retry: backoff factor	`number`	no	`2`	Moltiplicatore esponenziale. 2 = 500ms, 1s, 2s, 4s... 1 = lineare.
`retryStatusCodes` Retry: status codes	`chip-list`	no	—	Codici HTTP che triggerano retry. Default: 408, 429, 500, 502, 503, 504.
`responseFormat` Formato risposta	`enum` `autotextjsonbase64`	no	`auto`	auto = sniffa Content-Type (json → parse, image → base64, altro → text). text/json/base64 = forza.

⬆️ Output del nodo

Campi disponibili nei nodi successivi via $node.<alias>.json.<field>:

status
statusText
url
headers
setCookie
body
attempt
ok

💡 Esempio configurazione

Snippet JSON del nodo come compare nel workflow. I valori sono derivati daidefaultValue e dai parametri required.

{
  "id": "node-action_web_fetch_advanced-1",
  "defId": "action_web_fetch_advanced",
  "label": "Web Fetch (advanced)",
  "config": {
    "url": "https://miosito.com/api/data oppure {{$node.previous.json.url}}",
    "method": "GET",
    "userAgentPreset": "flowforge-bot",
    "headerPreset": "browser-document",
    "autoOrigin": true,
    "bodyType": "none",
    "timeoutMs": 30000,
    "maxRedirects": 5,
    "maxRetries": 3,
    "retryInitialDelayMs": 500,
    "retryFactor": 2,
    "responseFormat": "auto"
  }
}

🔗 Nodi correlati nella stessa categoria

Pronto a usare Web Fetch (advanced)?

Disponibile da subito in tutti i piani FlowForge. Provalo gratis senza carta di credito.

Inizia gratis Sfoglia tutti i nodi