La course à l’intelligence artificielle généralisée (IAG) soulève de telles questions ! Après Elon Musk qui demandait un moratoire, voilà Sam Altman, le PDG d’OpenAI de réclamer de la régulation…
Hier le gaz était très cher voilà que le prix revient au plus bas !
L’adaptabilité, une qualité qu’il faut avoir.
Si la donnée doit être entre toutes les mains, les organisations n’ont toujours pas la boule magique pour faire leur choix de solutions. Les avancées de solutions de gestion de données, les offres toujours plus nombreuses, des pratiques nouvelles, un marché toujours sous tension (les licenciements touchent nos startups françaises), autant de points qui génèrent de l’incertitude dans le choix technologiques des organisations.
Dans un pareil contexte, l’Open Data Lakehouse devient un choix sûr.
Tel un examen de conscience, il est éclairant de s’arrêter quelques instants pour voir ce que pense des personnalités qui ont bâti les fondations du marché de la données.
Vous serez très surpris de vous rendre compte comment Bill Inmon, l’un des pères du data warehouse, évoque “le marché de la Data”. A un âge avancé, il garde un regard très affûté. Il dit ainsi que le secteur de la donnée reste très “immature” ! Il fait référence à la méconnaissance de nombreux acteurs qui interviennent sur les projets de données ; acteurs qui écartent trop souvent la complexité métier et l’intégration de données.
A l’heure où Google Cloud introduit GPT dans Bigquery, à l’heure où Salesforce Tableau introduit GPT dans sa plateforme de gestion et de visualisation de données, c’est le patron de Fivetran qui répond à une interview en commençant par “La mort, les taxes, l’ETL : sont des choses juste inévitables”.
Et ça y est, Talend fait partie de Qlik.
Stocker les données dans des formats ouverts à même un stockage objet et peu cher, y adjoindre une couche de métadonnées, interroger les données avec le langage SQL devient l’architecture de gestion des données ! Le Lakehouse.
C’est au tour de Microsoft de proposer son Lakehouse : OneLake ! Il en profite pour rationaliser son approche en une nouvelle offre qui réunit sa suite d’outils de gestion de données, d’analyse et d’apprentissage automatique en une seule : Microsoft Fabric !
Plutôt dans le mois c’est Confluent qui a introduit Kora, un nouveau moteur pour Apache Kafka dans le Cloud ! La performance, la réduction de coût, mais surtout un moteur plus cloud native !
Airbyte aussi veut être de la partie ! Bill Inmon nous rappelait plus haut combien l’intégration de données est cruciale pour les organisations. Airbyte veut donc avoir un nombre de connecteurs de plus en plus importants pour toucher de plus en plus d’organisations face à la variété d’applications existantes. Airbyte, pourra mieux alimenter le Lakehouse. Il facilite la création de composants avec Airbyte No-Code Builder.
CCORBA, EDI (Odette, Galia), SOAP sont des normes d’échanges de données qui ont facilité les échanges de données entre systèmes, entre des applications !
Aujourd’hui, tel le mouvement de l’alphabétisation, la data littératie est en marche ; l’industrie cherche des pratiques communes telles que Data Mesh et des standards pour faciliter sa mise en œuvre.
Des initiatives de plus en plus nombreuses mettent en avant Data Product. Certainement que peu connaissent le Common Warehouse Model de l’OMG ! Une vision standardisée des métadonnées d’un système décisionnel.
Il a toujours été que les métiers s’échangent de la donnée ! La notion de jeux de données prend une place toute particulière désormais. A y regarder de plus près, avec Data Mesh, Data Product, Data Contract, l’industrie veut mettre un peu d’ordre dans des pratiques existantes. Effectivement, il n’est pas question de freiner la collaboration autour des données. Par contre, il est question de responsabilité, de traçabilité, de cohérence… Éviter que chacun ait son propre chiffre !
Rien que ce mois, plusieurs organisations ont partagées des modèles pour décrire le Data Product. La qualité des données, du jeux de données est aussi au centre des débats.
Logiciels
Bâtir des planning cohérent avec les trop nombreuses contraintes… Une tâche très ardue. Timefold est un fork d’OptaPlanner ! Il est forké par son propre créateur.
Surtout Timefold aide dans la construction de planning qui doivent tenir compte d’un très grand nombre de contraintes ! Si vous devez organiser des tournées avec de nombreux arrêts fréquents, Timefold sera votre ami.
Rationaliser vos déploiements d’application dans le cloud et optimiser vos coûts… Timefold pourrait bien vous aider encore…
Apache Camel est le langage d’intégration de données, c’est un vrai standard. Trop peu le connaissent ! Il est à la base de Talend ESB, des solutions de Red Hat Data Integration et de Mulesoft !
Une communauté commence à partir de deux, trois ? Trois ingénieures du développement, ayant toutes les trois une fine connaissance d’Apache Camel ont mis sur pied une solution Low-Code, Kaoto pour Apache Camel. Construire les routes d’intégration de données va connaître une nouvelle jeunesse !
Talend Open Studio for DI, Talend Open Studio for ESB, Talend Open Studio for Big Data sont diffusés sous licence Apache 2.
Synaltic propose une distribution de Talend Open Studio correspond aux versions « en amont » (Upstream) des produits open source Talend, dont le code est disponible sur https://github.com/Talend.
Les studio open source étant de moins en moins accessibles, nous les mettons à disposition afin d’en promouvoir l’utilisation et l’appropriation.