Scraper des données web avec Bright Data et un agent Gemini
Un agent IA s'appuie sur Google Gemini pour interpréter une demande de scraping, puis appelle l'outil MCP de Bright Data qui convient. La réponse sert à déclencher un appel webhook et à être écrite sur le disque pour un usage ultérieur. Le template ne fonctionne que sur une instance n8n self-hosted, car il utilise le nœud communautaire MCP Client.
- Déclencheur
- Lancement manuel
- Taille
- 15 nœuds
- Outils
- Agent IA, Serveur MCP, Requêtes HTTP (API), Google Gemini
Comment fonctionne ce workflow
- 1
Le déclencheur Lancement manuel démarre l'exécution à la demande.
- 2
Le nœud Edit Fields prépare les champs transmis à l'agent.
- 3
L'agent IA interroge Google Gemini pour comprendre la demande, avec une mémoire Window Buffer Memory.
- 4
Le nœud MCP Client Tool appelle le serveur MCP de Bright Data pour exécuter le scraping.
- 5
Le nœud HTTP Request envoie la réponse de l'agent à un webhook.
- 6
Le nœud Read/Write Files from Disk enregistre la réponse sur le disque.
Quand l'utiliser
- Relever le prix ou la fiche d'un produit sur un site marchand, à la demande.
- Récupérer le contenu d'une page d'actualité pour le transmettre à un autre système par webhook.
- Conserver sur disque les résultats de scraping pour les consulter plus tard.
À préparer avant l'import
- Une instance n8n self-hosted, seule configuration où le nœud communautaire MCP Client fonctionne.
- Le nœud communautaire MCP Client installé sur cette instance.
- Un compte Bright Data et sa clé d'API pour le serveur MCP.
- Une clé d'API Google Gemini, déclarée comme identifiant dans n8n.
- Une URL de webhook de destination pour le nœud HTTP Request.
Bon à savoir
Avant le premier test, vérifiez l'identifiant Bright Data dans le nœud MCP Client, sans quoi l'appel au serveur MCP échoue dès la première exécution.
Installer ce template dans n8n
- Téléchargez le fichier JSON avec le bouton en haut de la page.
- Dans n8n, ouvrez le menu d'un workflow vide, choisissez « Import from File » et sélectionnez le fichier.
- Reliez vos propres identifiants à chaque nœud qui en demande un, lancez un test, puis activez le workflow.
Ce template demande n8n auto-hébergé : Serveur MCP (nœud communautaire), Read Write File ne fonctionnent pas sur n8n Cloud. Les nœuds IA demandent une version récente de n8n.
Autres templates : Extraction & Scraping
- Extraire des données Google Trends avec Bright Data et GeminiExtrait des données structurées d'une page Google Trends via Bright Data, puis en rédige un résumé avec Gemini.
- Résumer l'actualité crypto et son sentiment via TelegramUn bot Telegram qui renvoie un résumé de l'actualité crypto sur le mot-clé envoyé, avec le sentiment du marché.
- Extraire les entités d'une page web avec Google NLPEnvoie une URL à un webhook et reçoit en retour les entités nommées de la page, avec leur type et leur score de saillance.
- Extraire et résumer les actualités d'un site sans RSSExtrait chaque semaine les actualités récentes d'un site sans RSS et les résume avec OpenAI.
- Convertir des pages web en Markdown et extraire leurs liensConvertit en Markdown les pages d'une liste d'URL, via Firecrawl, et extrait leurs liens.
- Filtrer les subventions IA déjà vues et alerter l'équipe par e-mailRécupère les subventions IA publiées sur grants.gov, écarte les doublons, évalue l'éligibilité et envoie une newsletter à l'équipe.
Vous voulez ce workflow branché sur vos outils ?
Ce template est un point de départ. Nous l'adaptons à vos règles, à vos comptes et à votre hébergement, puis nous le maintenons.
Voir notre accompagnement n8n