Aide-mémoire : les données réelles

Où trouver de vraies données scientifiques à analyser - les sources du projet 3 et au-delà

astronomie (projet 3) climat & environnement société & open data vie & santé généralistes choisir & récupérer

Astronomie - les sources du projet 3

Ce sont les bases de données réelles derrière les jeux fournis dans le projet 3 (exoplanètes, astéroïdes, étoiles, galaxies, cratères). Toutes sont ouvertes et accessibles depuis Python.

NASA Exoplanet Archive

CSV · JSON · TSV · VOTable (interface TAP)

Toutes les exoplanètes confirmées : rayon, masse, période orbitale, étoile hôte. La base de référence pour la relation masse-rayon.

exoplanetarchive.ipac.caltech.edu

JPL Small-Body Database

JSON (sbdb_query.api)

Astéroïdes et comètes : diamètre, période de rotation, classe orbitale, géocroiseurs. Gérée par le Jet Propulsion Laboratory de la NASA.

ssd-api.jpl.nasa.gov

ESA Gaia Archive

ADQL / TAP - CSV · JSON · VOTable

Plus d'un milliard d'étoiles cartographiées : température, magnitude, parallaxe (donc distance). Le diagramme de Hertzsprung-Russell à portée de requête.

gea.esac.esa.int/archive

SDSS SkyServer

SQL - CSV · JSON · XML

Galaxies et leur décalage vers le rouge (redshift) : de quoi reconstruire la loi de Hubble et l'expansion de l'Univers.

skyserver.sdss.org

VizieR (CDS)

TAP / ADQL - CSV · JSON · VOTable

Des milliers de catalogues astronomiques publiés dans les revues, rassemblés au Centre de données de Strasbourg. On y retrouve presque tout article.

vizier.cds.unistra.fr

HYG Database

CSV brut (raw) sur GitHub

Les étoiles visibles du ciel : position, magnitude, distance, couleur. Un seul fichier CSV, idéal pour débuter sans API.

github.com/astronexus/HYG-Database

USGS Astrogeology

CSV

Surfaces planétaires : la base des cratères lunaires (Robbins 2018), Mars, etc. Diamètre et position de centaines de milliers de cratères.

astrogeology.usgs.gov

MAST - Hubble, JWST, Kepler, TESS

API / portail · CSV · FITS

Les archives des grands télescopes spatiaux. Surtout : les courbes de lumière Kepler et TESS, où l'on voit chuter la lumière d'une étoile quand une exoplanète passe devant (un transit). En plein coeur du projet 3.

archive.stsci.edu

NASA Open APIs

JSON (clé gratuite)

La porte d'entrée la plus ludique : photo astronomique du jour (APOD), astéroïdes géocroiseurs (NeoWs), photos des rovers sur Mars. Parfait pour une toute première requête d'API.

api.nasa.gov

SIMBAD (CDS)

TAP / ADQL · script

La fiche d'identité de presque tout objet nommé du ciel : coordonnées, type, mesures publiées. Le compagnon de VizieR, au Centre de données de Strasbourg.

simbad.cds.unistra.fr

L'astuce des bases astro (TAP/ADQL) : la même requête est offerte en plusieurs formats. Dans l'URL, il suffit de remplacer format=votable par format=csv (ou json) pour obtenir un fichier que pandas lit directement. C'est exactement ce que montre le diaporama des sources du projet 3.

👉 Démarreur du projet 3 : les requêtes prêtes à copier dans Colab - une recette pandas par source ci-dessus.

Climat & environnement

Des données sur la planète, le climat et les écosystèmes - dont une source québécoise pour le Saint-Laurent.

Our World in Data

CSV téléchargeable (licence CC-BY)

CO2, températures, énergie, population, pauvreté... des centaines de sujets, chaque graphique offrant son CSV en téléchargement. Parfait pour un projet libre.

ourworldindata.org

OGSL - Observatoire du Saint-Laurent

CSV · API · cartes

Données ouvertes sur le Saint-Laurent : marées et niveaux d'eau, température et salinité, observations de mammifères marins, biodiversité. Une mine locale et concrète.

ogsl.ca

NASA - observation de la Terre

CSV · API (GISS, Earthdata)

Températures globales (GISTEMP), niveau des mers, glace, atmosphère. Les séries de référence sur le réchauffement climatique.

data.giss.nasa.gov/gistemp

Ouranos

portail & rapports (Québec)

Scénarios climatiques régionalisés pour le Québec : projections de température et de précipitations. Le centre québécois sur l'adaptation au climat.

ouranos.ca

Open-Meteo

JSON · API (sans clé)

Météo passée et prévisions partout sur la planète, sans inscription ni clé. La source la plus simple pour un premier projet : température, vent, précipitations heure par heure.

open-meteo.com

Climat - Environnement Canada

CSV · API (GeoMet)

Les données climatiques officielles du Canada : stations météo, historiques de température et de précipitations, par ville et par jour. Tout proche de toi.

climate.weather.gc.ca

NOAA / NCEI

CSV · API

La grande agence américaine de l'océan et de l'atmosphère : températures mondiales, ouragans, océans, paléoclimat. Une référence climatique majeure, complémentaire de la NASA.

ncei.noaa.gov

USGS - séismes en temps réel

CSV · GeoJSON (flux)

Tous les tremblements de terre de la planète, mis à jour en continu : magnitude, profondeur, position, heure. Spectaculaire et très facile à charger en direct.

earthquake.usgs.gov

Société & open data

Les portails de données ouvertes des gouvernements : économie, population, transport, santé publique. Souvent en CSV et JSON, libres de réutilisation.

Données Québec

CSV · JSON · API

Le portail de données ouvertes du gouvernement du Québec et des villes : transport, environnement, éducation, santé. Très proche de ta réalité.

donneesquebec.ca

Statistique Canada

CSV · API

Recensement, économie, démographie, santé du Canada. Chaque tableau s'exporte en CSV. Des données solides et bien documentées.

statcan.gc.ca

Banque mondiale

CSV · API (data.worldbank.org)

Des indicateurs pour tous les pays sur des décennies : PIB, espérance de vie, éducation, énergie. Idéal pour comparer des pays dans le temps.

data.worldbank.org

data.gouv.fr

CSV · JSON

Le portail de données ouvertes de la France : utile quand un sujet européen ou francophone t'intéresse et que Données Québec n'a rien.

data.gouv.fr

Ouvert Canada

CSV · JSON · API

Le portail fédéral de données ouvertes du Canada : des dizaines de milliers de jeux (transport, environnement, économie), distinct de Statistique Canada et de Données Québec.

ouvert.canada.ca

Données Montréal

CSV · JSON · API

Le portail de données ouvertes de la Ville de Montréal : pistes cyclables, arbres, qualité de l'air, déneigement. Hyperlocal et concret.

donnees.montreal.ca

Vie & santé

Biodiversité, espèces et santé mondiale - de vraies observations collectées sur le terrain et par les agences de santé.

GBIF - biodiversité

CSV · API

Des centaines de millions d'observations d'espèces partout dans le monde : où et quand chaque plante ou animal a été observé.

gbif.org

OMS - Global Health Observatory

CSV · API

Santé mondiale : maladies, vaccination, espérance de vie, par pays et par année. Les chiffres officiels de l'Organisation mondiale de la santé.

who.int/data/gho

eBird

jeux de données · API

Les observations d'oiseaux du monde entier, par la science citoyenne (Cornell Lab). Migrations, abondance, répartition au fil des saisons.

ebird.org/data

iNaturalist

API · export CSV

Science citoyenne mondiale : des millions d'observations d'espèces avec photo, position et date, vérifiées par la communauté. Très visuel, et il alimente GBIF.

inaturalist.org

Pour trouver un jeu de données (généralistes)

Quand tu cherches un sujet sans savoir où regarder : ces plateformes rassemblent des jeux de données de tous les domaines.

Kaggle Datasets

CSV (surtout)

Des dizaines de milliers de jeux de données prêts à l'emploi, classés par thème, avec souvent des exemples d'analyse. Inscription gratuite.

kaggle.com/datasets

UCI ML Repository

CSV

Les jeux de données classiques de l'apprentissage (iris, vins, qualité de l'air...). Petits, propres, parfaits pour s'exercer.

archive.ics.uci.edu

Zenodo

tous formats (avec DOI)

Le dépôt de données scientifiques du CERN : les chercheurs y publient les données de leurs articles, citables par un DOI permanent.

zenodo.org

Google Dataset Search

moteur de recherche

Le « Google » des jeux de données : tu tapes un sujet, il liste les jeux disponibles ailleurs sur le web, avec leur source d'origine.

datasetsearch.research.google.com

Bien choisir une source

Toutes les données ne se valent pas. Avant de t'engager dans un jeu de données, pose-toi ces cinq questions.

CritèreLa question à se poser
Licence ouverteAs-tu le droit de réutiliser ces données (open data, Creative Commons) ? Cite toujours ta source.
FormatCSV et JSON se lisent directement en Python ; un PDF ou une image, non. Privilégie le format brut.
Colonnes documentéesSait-on ce que chaque colonne mesure, et dans quelle unité ? Sans dictionnaire des champs, l'analyse est risquée.
TailleQuelques centaines à quelques milliers de lignes suffisent pour commencer. Inutile de viser des millions.
URL stableL'adresse répondra-t-elle encore le jour de la remise ? Au moindre doute, télécharge une copie locale.

Comment récupérer ces données

Une fois la source choisie, deux chemins : lire l'URL directement, ou télécharger le fichier puis le lire en local.

import pandas as pd # Beaucoup de bases offrent la requete en CSV : il suffit de le demander. url = "https://exoplanetarchive.ipac.caltech.edu/TAP/sync?query=...&format=csv" donnees = pd.read_csv(url) # telecharge ET range en tableau print(donnees.head())

Deux options selon la fiabilité du réseau : lire l'URL en direct (pratique, mais dépend du serveur le jour J), ou télécharger le fichier une fois et lire la copie locale (plus sûr pour une remise ou un examen). Détails dans les aide-mémoire Données à distance et Fichiers.

Raccourci par paquet : certaines familles de sources ont un paquet Python qui évite d'écrire l'URL à la main. En astronomie, astroquery interroge la plupart des bases ci-dessus (Gaia, SIMBAD, VizieR, MAST) en quelques lignes : pip install astroquery dans Colab.

En savoir plus : les données pour s'amuser et explorer

Au-delà des sciences naturelles : des sources addictives pour une première requête (pays, Pokémon, Station spatiale) et des horizons nouveaux - finance, crypto, texte et intelligence artificielle.

Ouvrir la page « pour s'amuser et explorer » →