Tous les projets

IA & données

Scraping DB

Un outil Node.js qui collecte des résultats de recherche via SerpApi, les stocke localement et les exporte en Excel, CSV et JSON.

  • Projet individuel
Voir le code sur GitHub En parler avec moi
formats d’export
3
modes : ligne de commande et web
2
modules séparés
4

01Le point de départ

Contexte & mission

Le problème

Copier des résultats de recherche à la main dans un tableur est lent et source d’erreurs.

La mission

Automatiser la collecte et produire des jeux de données directement exploitables.

Mon rôle

Projet conçu et développé seul.

02Réalisation

Ce que j’ai fait

  1. Collecte

    Résultats récupérés via l’API SerpApi.

  2. Stockage local

    Données persistées par une couche base de données dédiée.

  3. Exports

    Jeux de données exportés en Excel, CSV et JSON.

  4. Deux façons de l’utiliser

    En ligne de commande ou via une petite interface web ; modules séparés pour l’API, le stockage, les arguments et l’export.

03Conception

Architecture

Le flux de données
  1. CLI ou web
  2. SerpApiserpapi.js
  3. Traitement
  4. Stockagedb.js
  5. ExportXLSX · CSV · JSON

04Impact

Résultats

  • Une collecte automatisée, de la requête au fichier exploitable.

05Bilan

Ce que j’en retiens

Ce que ce projet démontre

Que je découpe même un petit outil en modules clairs, chacun avec une seule responsabilité.

06Technologies

Stack complète

  • Node.js
  • JavaScript
  • SerpApi
  • Excel
  • CSV
  • JSON

À découvrir aussi