Données

Apache Parquet : stocker et échanger des données analytiques dans un format ouvert en colonnes.

Apache Cassandra est une base NoSQL distribuée pour stocker et interroger de grands volumes de données sur plusieurs nœuds.

Apache Solr : indexer des documents et déployer un service de recherche distribuée avec facettes.

Apache Spark exécute des traitements distribués de données, des requêtes SQL et des flux structurés. Le site regroupe les guides et les API.

Apache Superset : exploration de données, graphiques et tableaux de bord pour les analyses.

Apache Hadoop : stocker et traiter de grands volumes de données sur plusieurs machines avec l’écosystème Hadoop.

Apache Airflow planifie et supervise des chaînes de traitement définies en Python. Sa documentation couvre les DAG, les opérateurs et les déploiements.

Préparer l’archivage numérique pérenne avec le programme interministériel Vitam.

Organiser la collecte et la consultation des observations naturalistes avec GeoNature.

Créer des cartes thématiques à partir de données géographiques ou statistiques avec Magrit.

Apache Druid : interroger rapidement des données événementielles dans une base analytique distribuée.

Intégrer et synchroniser des données entre de multiples systèmes et formats.

Développer et administrer des applications de traitement de flux de données.

Apache UIMA : assembler des composants d’analyse pour extraire des informations de textes et autres données non structurées.

Apache Jena : créer et interroger des données sémantiques RDF et développer des applications de données liées en Java.

Apache Pig : décrire et exécuter des analyses sur de grands jeux de données avec le langage Pig Latin.

Apache SINGA : système distribué d’apprentissage profond et ressources de développement pour les modèles d’IA.

Apache Zeppelin : analyser des données et partager des résultats dans des carnets interactifs accessibles sur le web.

Apache Livy : soumettre et gérer des sessions et traitements Apache Spark à partir d’une API REST.

Collecter, transmettre et intégrer des flux de données depuis plusieurs systèmes.

Découvrir les composants Apache consacrés à l’accès aux bases de données depuis des applications.

Apache Gravitino : gérer les métadonnées et fédérer les catalogues de plusieurs systèmes de données.

Apache Beam : définir des traitements par lots et par flux, puis les exécuter sur des moteurs compatibles.

Explorer les outils de calcul distribué et d’apprentissage automatique proposés par Apache Mahout.

Apache Celeborn : externaliser le transfert des données intermédiaires entre les étapes d’un calcul distribué.

Apache Daffodil : décrire et convertir des formats de données binaires ou textuels au moyen de schémas DFDL.

Apache Pinot : analyser à faible latence des flux de données et des événements dans un système OLAP distribué.

Apache Kyuubi : fournir une passerelle de requêtes SQL multi-utilisateurs vers des entrepôts et lacs de données.

Apache HBase : lire et écrire des données à grande échelle dans une base distribuée à colonnes.

Apache Kvrocks : déployer une base à clés et valeurs persistante compatible avec les structures de données de Redis.

Apache Tez : exécuter des chaînes de traitement distribuées modélisées sous forme de graphes de tâches.

Apache DolphinScheduler : créer et superviser des workflows distribués à l’aide d’un éditeur visuel de dépendances.

Apache DataFu : utiliser des bibliothèques de traitement pour des tâches récurrentes dans les systèmes de calcul distribué.

Apache Calcite : intégrer l’analyse et l’optimisation de requêtes SQL à des systèmes de gestion de données.

Apache CouchDB : stocker des documents JSON, les interroger et les répliquer au moyen d’une API HTTP.

Apache AsterixDB : stocker et interroger des ensembles de données semi-structurées à grande échelle.

Mettre à jour des tables d’un lac de données et suivre les changements sous forme de flux incrémentaux.

Apache HugeGraph : stocker et interroger des graphes avec une base de données compatible avec Apache TinkerPop.

Apache SIS : manipuler des données spatiales et des systèmes de coordonnées dans des applications Java.

Stocker et interroger des séries temporelles produites par des équipements et des capteurs connectés.

Apache Kudu : stocker et interroger des données en colonnes avec des mises à jour et des lectures analytiques.

Apache CarbonData : utiliser un format de stockage en colonnes indexé pour accélérer les analyses sur de grands volumes.

Apache ShardingSphere : distribuer des données et gérer les accès SQL entre plusieurs bases relationnelles.

Apache Uniffle : déployer un service distant de redistribution des données intermédiaires pour le calcul distribué.

Préparer des modèles analytiques et accélérer des requêtes OLAP sur de grands volumes de données.

Apache Tika : identifier les formats de documents et extraire leur texte et leurs métadonnées.

Apache NiFi : créer et surveiller des flux de collecte, de transformation et de distribution de données.

Apache DataSketches : estimer efficacement des statistiques comme les cardinalités et les quantiles sur des flux de données.

Apache Phoenix : interroger en SQL les données stockées dans Apache HBase.

Apache Rya : stocker et interroger de grands volumes de données RDF dans une architecture distribuée.

Stocker des tables dans un format en colonnes conçu pour les traitements analytiques.

Apache Samza : construire des applications de traitement continu de données distribuées.

Accélérer les requêtes de moteurs d’analyse de données grâce à une exécution native vectorisée.

Apache Storm : exécuter des calculs et des transformations en temps réel sur des flux distribués.

Extraire des informations structurées de textes cliniques avec des outils de traitement automatique du langage.

Apache Geode : gérer des données en mémoire et des caches distribués avec des opérations à faible latence.

Apache SDAP : préparer et analyser de grands ensembles de données scientifiques, notamment géospatiales.

Apache Accumulo : stocker de grands ensembles de données dans une base distribuée à clés ordonnées, avec des contrôles d’accès par cellule.

Apache TsFile : stocker des séries temporelles dans un format de fichiers en colonnes.

Apache Gobblin : automatiser l’ingestion, la conversion et le transfert de données entre sources et destinations.

Apache Hive : décrire et interroger des tables analytiques dans un entrepôt de données avec une interface SQL.

Apache Ignite : traiter et distribuer des données en mémoire avec des fonctions de cache et de requête.

Apache Gluten : accélérer des traitements Spark SQL en utilisant des moteurs d’exécution vectorisés natifs.

Apache Polaris : gérer un catalogue de tables pour les lacs de données et contrôler l’accès à leurs métadonnées.

Apache TinkerPop : interroger et traiter des graphes au moyen de bibliothèques et du langage Gremlin.

Apache OpenDAL : accéder à différents services de stockage de données avec une interface logicielle commune.

Apache Doris : interroger et agréger des données analytiques avec un entrepôt SQL distribué.

Analyser et transformer des données géographiques au sein d’un moteur de calcul distribué.

Apache Iceberg : gérer de grandes tables analytiques et leurs versions dans un format ouvert pour les lacs de données.

Apache TVM : compiler et optimiser des modèles d’apprentissage automatique pour différents matériels.

Apache StreamPipes : connecter des équipements industriels et créer des chaînes visuelles de traitement de données.

Apache Flink : traiter en continu des flux de données et exécuter des calculs avec état dans des applications distribuées.

Apache DevLake : rassembler les données des outils de développement et analyser les processus de livraison logicielle.

Apache Arrow : échanger et traiter des données analytiques en mémoire dans un format en colonnes utilisable par plusieurs langages.

Apache Hop : préparer et transformer des données à l’aide de pipelines visuels et de workflows automatisés.

Définir des traitements de données et les exécuter avec plusieurs moteurs de calcul.

Apache ManifoldCF : connecter des sources documentaires à des moteurs d’indexation et de recherche.

Apache AGE : interroger des graphes dans PostgreSQL tout en conservant l’accès aux données relationnelles.

Apache Impala : interroger de grands ensembles de données en SQL avec un moteur distribué.

Apache Avro : sérialiser des données avec des schémas évolutifs et les échanger entre outils et langages.

Relier des applications et des services à des moteurs de calcul et de traitement des données.

Apache Drill : interroger des fichiers et des bases hétérogènes en SQL sans définir leur schéma à l’avance.

Apache Fluss : stocker des données en flux pour des traitements analytiques en temps réel dans une architecture de type lakehouse.

Drasi : détection de changements dans des sources de données et déclenchement de réactions.

TiKV : base de données distribuée à clés et valeurs conçue pour des accès à faible latence.

CloudEvents : spécification commune pour décrire et échanger des événements entre services.

Tremor : système de traitement d’événements avec filtrage et reconnaissance de motifs.

Vitess propose une documentation dans ce domaine : gestion et exploitation de données dans un système de base de données.

CloudNativePG : opérateur Kubernetes pour administrer le cycle de vie de grappes PostgreSQL répliquées.

Strimzi : opérateurs et configurations pour déployer Apache Kafka sur Kubernetes.

SchemaHero : outil de migration déclarative des schémas de bases de données à partir de YAML.

Apicurio Registry : registre de schémas de données et de définitions d’API comme OpenAPI ou Avro.

NATS : infrastructure de messagerie pour applications et systèmes distribués.

openGemini propose une documentation dans ce domaine : gestion et exploitation de données dans un système de base de données.

Datashim : accès aux jeux de données depuis des applications Kubernetes.

LocationTech GeoWave : stockage et analyse de grands ensembles géographiques.

VAREN : analyse LiDAR des réseaux électriques aériens.

Documentation officielle de Eclipse StatET pour ce domaine : développement et analyse statistique dans le langage R.

Consulter le projet Unity Catalog et ses ressources sur le catalogage et le contrôle d’accès aux données et artefacts analytiques.

OpenSTEF : prévision à court terme de la production et de la consommation électriques.