Une salle de contrôle satellite, celle qu'on imagine avec des grands écrans et des ingénieurs en blouse, Clément Igonet en a monté une version perso qui tient sur un seul serveur. Son projet Overwatch affiche 23 satellites qui défilent en temps réel sur un globe. Vous cliquez sur n'importe lequel pour lire, en direct, sa tension de batterie, ses températures et ses courants. Le tout à partir de données 100% ouvertes.

Et il y a deux trucs vraiment sympas à regarder ! D'abord, la batterie de chaque satellite monte et descend selon qu'il passe au soleil ou dans l'ombre de la Terre, et ça se voit direct sur le graphe. Ensuite, pour chaque engin, une carte montre quelles stations au sol l'ont capté : tel satellite entendu depuis Kitakyushu, Buenos Aires et un jardin en Bavière. C'est une vraie photo vivante du réseau de radioamateurs qui écoutent le ciel !

Les positions des engins viennent de CelesTrak, la télémétrie de SatNOGS, le réseau mondial de stations tenues par des radioamateurs bénévoles, et le fond de carte, c'est de l'imagerie Sentinel-2 de Copernicus. C'est un peu comme ce globe temps réel qui agrège avions, navires et radios , sauf qu'ici on écoute des satellites.

Un truc qui m'a surpris, d'ailleurs c'est que sur environ 1700 satellites encore vivants, seulement 23 émettent en clair ET sont vraiment entendus par une antenne. C'est ça l'état réel de la télémétrie satellite ouverte aujourd'hui. J'avais déjà parlé d'un radioamateur qui décode le signal d'une sonde chinoise , et ici c'est la même idée, mais servie sur un joli globe.

Le tout est open source sous licence AGPL, auto-hébergé en Europe, dans la même logique que la stack privacy européenne dont je vous parlais .

La démo est juste ici , amusez-vous bien à cliquer sur tous ces satellites !

Vous avez déjà tous joué avec Flightradar pour pister un vol, ou cliqué au pif sur un globe terrestre pour écouter une radio FM brésilienne . Hé bien Pocket World , c'est un peu tout ça en même temps, plus la météo, les séismes, les bases militaires, les câbles sous-marins, les volcans en éruption, les indices boursiers et la qualité de l'air. Tout ça, accessible sur un seul globe 3D dans votre navigateur !

Vous chargez la page (C'est du Three.js et Globe.gl pour les curieux) et vous atterrissez sur la Terre. Une barre vous liste les couches activables : avions civils, cargos, militaires, navires en mer ou en rivière, satellites (le catalogue en affiche plus de 17 000), foudre en direct via Blitzortung, séismes via l'USGS, fusées qui partent dans la semaine.

Flight Radar gratuit

La force du truc, c'est que l'agrégation est super propre. Les vols viennent d'OpenSky Network et d'ADSB.lol, les navires d'AISStream et d'AIShub, la météo d'Open-Meteo, les satellites de CelesTrak, les radios de Radio Browser, la télé d'IPTV-org. Bref, que des sources publiques bien connues des bidouilleurs, sans scraping crado ni API obscure.

Côté espace, vous suivez l'ISS, les passages Starlink au-dessus de votre tête, les lancements à venir via Launch Library 2, et même les alertes éruptions solaires du NOAA SWPC.

Il y a 55 milliardaires en France

Et il y a des couches franchement originales pour un simple globe trackeur comme les ressources minières par pays (lithium, terres rares, uranium, cobalt), les pipelines et terminaux GNL, les data centers, les zones de sanctions, les navires sous pavillon piraté, ou la dette publique en pourcentage du PIB.

Maintenant, j'ai aucune idée de qui est derrière puisqu'il n'y a pas de page "team", ni de GitHub mais sachez que si ça vous plait, le site accepte les donations en Bitcoin, Ethereum, USDT et TON.

Les lancements de fusées

Bref, à garder en favoris pour la prochaine pause-café où vous voulez regarder ce qui se passe sur la planète.

Et merci j0j0b4rj0 pour le lien !

Et encore un article un peu technique pour finir la journée en beauté ! Si je vous disais que votre serveur Linux pouvait gérer 10 exaoctets de données sans broncher ? Vous ne me croiriez pas je pense… D’ailleurs c’est quoi 10 exaoctets ?? Et bien ça correspond à 10 millions de To. C’est pas mal hein ?

Hé bien c’est exactement ce que permet de gérer TernFS, le système de fichiers qu’XTX Markets vient de libérer après trois ans d’utilisation intensive. XTX Markets est une boîte d’algo-trading qui brasse 250 milliards de dollars par jour et j’avoue que c’est un joli cadeau de presque-Noël qu’elle vient de nous faire…

D’après ce qu’ils expliquent sur leur site , NFS et les autres solutions classiques ne tenaient plus la charge face à leurs 650 pétaoctets de données utilisées leur machine learning. Alors ils ont fait ce que font les vrais geeks, ils ont codé leur propre solution… et après trois ans de production sans perdre “un seul octet”, ils ont tout balancé en en open source sur GitHub .

Le truc génial avec TernFS, c’est qu’il a été pensé pour les fichiers immuables, vous savez, ces gros datasets de plusieurs gigaoctets qu’on écrit une fois et qu’on relit des milliers de fois pour entraîner des modèles. Pas de modification après création, pas de prise de tête avec les locks et la cohérence. C’est simple et efficace.

L’architecture repose sur quatre composants principaux qui bossent ensemble : les metadata shards (256 shards logiques pour gérer les métadonnées), le CDC (Cross-Directory Coordinator) pour les opérations entre répertoires, les block services pour stocker les données, et un registry pour orchestrer tout ce petit monde. Le tout communique en UDP/TCP avec du Reed-Solomon pour l’erasure coding et du CRC32-C pour vérifier l’intégrité. Bref, ça semble être du solide.

Et les chiffres qu’ils donnent sur leur production sont assez dingues. Ils parlent de 500+ pétaoctets répartis sur 30 000 disques durs et 10 000 SSD, dans 3 datacenters différents, avec des débits qui montent à plusieurs téraoctets par seconde en vitesse de pointe. Et leur système gère ça tranquille, avec du multi-région natif et une tolérance aux pannes qui ferait pâlir d’envie n’importe quel admin sys.

Si ça vous chauffe, pour installer TernFS, c’est du classique. Vous clonez le repo, vous lancez ./build.sh alpine ou ./build.sh ubuntu selon votre distrib, et c’est parti. Il y a un module kernel Linux pour gratter les perfs maximales et toucher les étoiles, mais vous pouvez aussi utiliser FUSE si vous préférez rester en userspace. Ils ont même implémenté une API S3 pour ceux qui veulent migrer depuis AWS sans tout réécrire.

git clone https://github.com/XTXMarkets/ternfs
cd ternfs
./build.sh alpine
# Et pour tester en local
./scripts/ternrun

On est là en train de chiller dans une bonne journée bien normale quand SOUDAIN alerte rouge internationale, on apprend qu’il y a une faille critique CVSS 10 dans Apache Parquet, et que tout le monde panique bien évidemment !!

Vous, admin système ou développeur, vous vous précipitez sur votre téléphone qui n’arrête pas de sonner pendant que les experts du CERT vous bombardent de mails d’alerte… et au milieu de ce chaos, vous vous grattez la tête (ou autre chose) en vous demandant : “Mais est-ce que je suis vraiment concerné, ou c’est encore une tempête dans un verre d’eau ?”

Saviez vous que les fichiers Parquet se prenaient pour des bombes ? Alors pas des bombes latines mais plutôt des bombes zip.

Alors, pour ceux qui débarquent de la planète Mars, il faut savoir que Parquet est devenu le format de prédilection pour échanger des données tabulaires. Très utilisé dans tout ce qui est Big Data et qui met une claque à ce bon vieux CSV tout pourri, Parquet, c’est binaire, c’est colonnaire, c’est compressé, c’est top !

Mais attention, derrière cette apparente perfection se cache un danger mortel pour vos disques durs et autres SSD ! En effet, même un fichier Parquet parfaitement valide peut mettre un sacré bordel et faire planter tous vos services.

Comment ? Et bien simplement avec ce fichier de seulement 42 Ko qui contient… tenez-vous bien… plus de 4 PÉTAOCTETS de données !! Oui, on parle bien de 4 millions de gigaoctets dans un malheureux fichier de 42 Ko, fallait oser.

On appelle ça une bombe de décompression ! Alors comment ça fonctionne ?

Eh bien c’est grâce à un petit tour de passe-passe démoniaque appelé « encodage par dictionnaire« . En gros, on lui donne un dictionnaire avec une seule valeur, et ensuite on fait référence à cette valeur en boucle, environ 2 milliards de fois. Résultat, on obtient un fichier minuscule car compressable au maximum mais qui une fois dézippé représente une table monstrueusement gigantesque.

C’est subtil… mais c’est vicieux ! 😈

Imaginez un peu le carnage si vous balancez ce fichier innocent dans votre pipeline Big Data sans faire gaffe… Boom ! 💥 Plantage général, crash systémique, apocalypse nucléaire ! Vos services vont tenter de lire ce fichier en pensant que c’est un gentil petit fichier Parquet de rien du tout, et là… Surprise ! C’est le chaos total. Votre cluster va fondre comme neige au soleil en essayant d’avaler ces pétaoctets de données.

Morale de l’histoire, faites attention à tout, même à ce que vous dézippez.

Et si vous avez un peu de place sur votre disque dur, vous pouvez toujours tenter l’aventure en téléchargeant 42.zip ici. (NON, NE DEZIPPEZ PAS CE TRUC !! MAUVAISE IDEE !!) (le mot de passe du zip est : 42)

Source