Hier : quelques mesures, a l'encre, dans un carnet#
Pendant des siecles, faire de la science voulait dire noter a la main. Un astronome pointait le ciel et inscrivait une position sur une page. Un naturaliste mesurait une feuille et l'ecrivait dans son carnet de terrain. Chaque donnee coutait du temps, de l'attention, de l'encre.
Tycho Brahe, a la fin des annees 1500, a passe plus de 20 ans a noter la position des astres a l'oeil nu, nuit apres nuit. Le resultat de toute une vie tenait dans quelques cahiers. C'est pourtant a partir de ces pages que Kepler a decouvert que les planetes tournent en ellipses.
Ces donnees etaient si peu nombreuses qu'un humain pouvait les relire, les verifier, les additionner lui-meme. Pas besoin d'ordinateur : un crayon et de la patience suffisaient.
La bascule : le capteur qui ne dort jamais#
Tout a change avec le capteur electronique branche sur un petit ordinateur. Une carte Arduino ou un Raspberry Pi qui coute quelques dizaines de dollars peut lire un capteur de temperature chaque seconde, jour et nuit, sans jamais se fatiguer.
Et on ne met pas qu'un seul capteur. On en seme des dizaines dans une foret, un champ, une riviere, une serre. Chacun mesure en continu et envoie ses chiffres. Voici une foret instrumentee : clique sur un capteur pour le suivre, et regarde le flux de mesures s'accumuler en direct.
Foret instrumentee - flux de capteurs en direct
0
Six capteurs qui relevent une valeur toutes les secondes, c'est deja plus de 500 000 mesures par jour. Aucun carnet, aucun humain ne peut suivre ce rythme. Il faut un programme pour enregistrer, ranger et analyser tout ca - exactement ce que tu apprends.
Plus haut : sondes spatiales et grands instruments#
Si une carte a quelques dollars produit deja un torrent de donnees, imagine les instruments scientifiques geants. Les ordres de grandeur deviennent vertigineux.
| Instrument | Ce qu'il produit (ordre de grandeur) |
|---|---|
| Sonde Voyager (1977, toujours active) | Un filet de donnees : a peine ~160 bits par seconde depuis les confins du systeme solaire. Lent, mais inestimable. |
| Rovers martiens (Curiosity, Perseverance) | Des centaines de megaoctets par jour : photos, analyses de roches, meteo martienne. |
| Telescope spatial James Webb | De l'ordre de 57 gigaoctets par jour d'images de l'univers lointain. |
| Observatoire Vera Rubin (releve du ciel) | Environ 20 teraoctets chaque nuit, et des millions d'alertes automatiques sur ce qui a change dans le ciel. |
| Collisionneur LHC (CERN) | Pres d'1 petaoctet par seconde de donnees brutes. Des filtres en jettent presque tout sur-le-champ : un humain ne pourrait jamais regarder ca. |
Ces machines ne pourraient pas exister sans programmes pour trier en direct ce qui merite d'etre garde. La premiere competence du scientifique moderne n'est plus de noter la donnee, mais de la filtrer, ranger et faire parler.
Le compteur de donnees : du carnet a la sonde#
Choisis une source de donnees et regarde le compteur grimper en temps reel, comme si tu venais de la brancher. Les chiffres sont des ordres de grandeur, mais l'ecart entre les sources, lui, est bien reel.
Le meme code Python qui lit 3 lignes d'un carnet sait en lire 3 milliards. C'est toute la magie : la machine ne se fatigue pas, et un programme bien ecrit traite 10 lignes ou 10 millions sans broncher.
Pourquoi ca te concerne directement#
Le deluge de donnees explique pourquoi ce cours existe. Quand les donnees etaient rares, un carnet suffisait. Maintenant qu'elles arrivent par millions, il faut des outils - et ce sont exactement ceux que tu apprends :
| Le defi du deluge | L'outil du cours |
|---|---|
| Faire survivre les mesures hors de la memoire | Les fichiers (CSV, JSON) - jour des fichiers |
| Retrouver et relier des millions de lignes | Les bases de donnees et SQL |
| Repeter le meme traitement sur chaque mesure | Les boucles et les listes |
| Voir une tendance dans le bruit | Les graphiques (matplotlib) |
| Laisser la machine reconnaitre des motifs seule | L'intelligence artificielle, batie sur tout ce qui precede |