action_asset_batch_download · action · Utility · Available · v1.0.0
Download an array of binary URLs (images, PDF, video, CSS, JS) in parallel and save them preserving the site path tree. SHA-256 dedup with resume, atomic tmp+rename writes, bounded worker pool — the companion of the Recursive Spider for offline mirrors.
Fields shown in the editor when configuring the node. Generated directly from the NodeDefconfigFields.
| Field | Type | Required | Default | Description |
|---|---|---|---|---|
itemsURL da scaricare | string | yes | — https://x.com/img/a.png https://x.com/img/b.jpg — OR — JSON [{"url":"...","savePath":"img/a.png"}] | Uno per riga o virgola-separati. In alternativa JSON array di {url, savePath?}. savePath è relativo a basePath; se omesso, derivato da URL.pathname. |
basePathDirectory base (assoluta) | string | yes | — /opt/zeliai/shared/mirror/zelistore.it | Directory dove salvare. DEVE essere assoluta. Verrà creata se non esiste. Tutti i file finiscono dentro questa cartella (traversal-safe). |
concurrencyConcorrenza download | number | no | 4 | Numero di download paralleli. Default 4. Max 16. Più alto = più veloce ma più aggressivo sul server. |
perHostMinDelayMsDelay minimo per host (ms) | number | no | 100 | Pausa minima tra request allo stesso host. Asset = file statici servibili da CDN, default 100ms basso. |
timeoutMsTimeout per asset (ms) | number | no | 30000 | Timeout sulla singola download. Default 30s. Aumenta per video grandi. |
maxAssetsMax asset per run | number | no | 1000 | Hard cap sul numero di asset scaricati. Default 1000, max 50000. |
maxTotalBytesMax bytes totali | number | no | 1073741824 | Hard cap sui bytes totali scaricati nella run. Default 1 GiB. Quando raggiunto, gli asset rimanenti vengono marcati "skipped-cap". |
maxPerAssetBytesMax bytes per asset | number | no | 52428800 | Hard cap sulla singola download. Default 50 MiB. Asset più grandi vengono marcati "skipped-cap". |
resumeOnSha256MatchResume su SHA256 esistente | boolean | no | true | Se ON e il file esiste già su disco, calcola SHA-256 locale e skippa la fetch (risparmia banda). Spegnere per forzare re-download. |
refererReferer (esplicito) | string | no | — https://x.com/ | Header Referer da inviare. Alcuni CDN bloccano hotlink senza Referer corretto. |
userAgentUser-Agent | string | no | FlowForge-AssetFetch/1.0 | User-Agent dichiarato. Default RFC-compliant. |
JSON snippet of the node as it appears in the workflow. Values are derived fromdefaultValue and from required parameters.
{
"id": "node-action_asset_batch_download-1",
"defId": "action_asset_batch_download",
"label": "Asset Batch Download",
"config": {
"items": "https://x.com/img/a.png\nhttps://x.com/img/b.jpg\n— OR — JSON [{\"url\":\"...\",\"savePath\":\"img/a.png\"}]",
"basePath": "/opt/zeliai/shared/mirror/zelistore.it",
"concurrency": 4,
"perHostMinDelayMs": 100,
"timeoutMs": 30000,
"maxAssets": 1000,
"maxTotalBytes": 1073741824,
"maxPerAssetBytes": 52428800,
"resumeOnSha256Match": true,
"userAgent": "FlowForge-AssetFetch/1.0"
}
}Available now on all FlowForge plans. Try it free without a credit card.
Start freeBrowse all nodes