Convertir des pages web en Markdown et extraire leurs liens
Vous voulez faire lire à un LLM le contenu de pages web, sans balises HTML ? Il lit les URL d'une base de données, envoie chaque page à l'API Firecrawl et récupère le contenu en Markdown, avec les liens de la page. Les notes du template indiquent une limite de 10 requêtes par minute, et le workflow traite les URL par lots pour la respecter. Prévoyez une source qui contient une colonne Page et une destination pour les résultats, par exemple Airtable.
- Déclencheur
- Lancement manuel
- Taille
- 10 nœuds
- Outils
- Requêtes HTTP (API)
Comment fonctionne ce workflow
- 1
Le déclenchement se fait à la main, avec le bouton Execute workflow de n8n.
- 2
Les URL viennent de votre base, dans la colonne Page, ou du tableau défini dans le nœud Example fields from data source.
- 3
Le nœud Split Out crée une ligne par URL à partir de la colonne Page.
- 4
Loop Over Items groupe les URL en lots, et le nœud Limit en borne le nombre traité.
- 5
HTTP Request appelle l'API Firecrawl pour chaque URL, avec votre clé dans l'en-tête Authorization.
- 6
Edit Fields met en forme les champs renvoyés par Firecrawl, puis Wait marque une pause avant le lot suivant.
- 7
Les résultats sont écrits dans la destination que vous avez branchée, par exemple Airtable.
Quand l'utiliser
- Préparer le contenu de pages produits ou d'articles pour une analyse par un LLM.
- Récupérer les liens d'un ensemble de pages pour contrôler leur maillage.
- Alimenter une base de connaissances à partir d'une liste d'URL publiques.
À préparer avant l'import
- Un compte Firecrawl.dev et sa clé API.
- Un identifiant Header Auth dans n8n : nom Authorization, valeur votre clé API.
- Une source de données contenant une colonne Page, avec une URL par ligne.
- Une destination pour les résultats, par exemple Airtable.
Bon à savoir
Commencez par le nœud HTTP Request : mettez votre clé Firecrawl dans l'en-tête Authorization. Les notes donnent 40 URL par lot comme limite mémoire sur le serveur de l'auteur : ajustez la taille des lots au vôtre.
Installer ce template dans n8n
- Téléchargez le fichier JSON avec le bouton en haut de la page.
- Dans n8n, ouvrez le menu d'un workflow vide, choisissez « Import from File » et sélectionnez le fichier.
- Reliez vos propres identifiants à chaque nœud qui en demande un, lancez un test, puis activez le workflow.
Ce template fonctionne sur n8n auto-hébergé comme sur n8n Cloud. Les nœuds IA demandent une version récente de n8n.
Autres templates : Extraction & Scraping
- Filtrer les subventions IA déjà vues et alerter l'équipe par e-mailRécupère les subventions IA publiées sur grants.gov, écarte les doublons, évalue l'éligibilité et envoie une newsletter à l'équipe.
- Extraire et résumer le contenu d'une page de marque avec Bright DataRécupère une page de marque via Bright Data, en extrait le texte, puis en tire une analyse de sentiment structurée et un résumé.
- Analyser les commentaires YouTube avec un agent IAUn agent de chat qui interroge les commentaires YouTube, les transcriptions et les miniatures, avec OpenAI et PostgreSQL.
- Extraire des données structurées d'une image avec GeminiEnvoyez l'URL d'une image, recevez en JSON les champs demandés, extraits par Gemini.
- Surveiller Product Hunt et alerter sur SlackSurveille Product Hunt à intervalle régulier et envoie les lancements retenus dans un canal Slack.
- Extraire des données de pages Etsy avec Bright Data et GeminiRécupère les pages de résultats Etsy via Bright Data, puis en extrait les données structurées avec Gemini.
Vous voulez ce workflow branché sur vos outils ?
Ce template est un point de départ. Nous l'adaptons à vos règles, à vos comptes et à votre hébergement, puis nous le maintenons.
Voir notre accompagnement n8n