Video Summarizer (Whisper + Vision)

Descrizione

Pipeline multimodale video → summary strutturato: ffmpeg extract frames+audio → Whisper ASR transcript con timestamp → Vision Qwen2.5-VL describe scenes (scene-change detection) → Liara LLM fonde transcript+scenes in TL;DR + bullets + chapters timestamped. Backend self-hosted Hetzner (no costi per-token, GDPR-compliant). Output: { transcript, scenes[], summary: {tldr, bullets[], chapters[]}, durationSec }. Use case: indicizzazione media library (corsi/webinar/meeting), highlight reel automatico per social, accessibility (caption + audio description WCAG 2.2), search-in-video tramite scene timestamps, briefing post-meeting con chapter cliccabili.

⚙️ Parametri di configurazione

Campi mostrati nell’editor quando si configura il nodo. Generati direttamente dal NodeDefconfigFields.

💡 Esempio configurazione

Snippet JSON del nodo come compare nel workflow. I valori sono derivati daidefaultValue e dai parametri required.

{
  "id": "node-agent_video_summarizer-1",
  "defId": "agent_video_summarizer",
  "label": "Video Summarizer (Whisper + Vision)",
  "config": {
    "videoUrl": "https://... .mp4 o {{input.url}}",
    "frameIntervalSec": 5,
    "enableTranscription": false,
    "whisperEndpoint": "http://host.docker.internal:5005",
    "visionEndpoint": "http://host.docker.internal:5004",
    "summaryLanguage": "auto",
    "maxDurationSec": 1800
  }
}

🔗 Nodi correlati nella stessa categoria