évolution des bases de données sur les 10 à 15 dernières années
 Nous sommes 15 ans après la sortie du papier qui détaille Dremel, un système de gestionnaire de données reposant sur la désagrégation du calcul et de stockage. Dremel venait montrer en pleine vague NoSQL que SQL pouvait être le langage pour gérer une base de données distribuée et qui sait passer à l’échelle. C’est ainsi que naît Google Bigquery. Déjà 5 ans que les chercheurs de Google ont rejoué le film des 10 premières années de Dremel ou plutôt de Bigquery. Cette année c’est l’équipe de Michael Stonebraker qui analyse ce que deviennent les bases de données ! Savez-vous qui est ce monsieur ? C’est ni plus ni moins le fondateur de plusieurs projets de bases de données, dont Ingres, Vertica, VoltDB, (et bien d’autres) mais est surtout connu pour être le créateur du système de bases de données PostgreSQL qu’il a développé à partir de 1986. Il a aujourd’hui 82 ans… Et il continue avec DBOS… Dans ce nouveau papier, alors que l’on avait en tête la mémoire, le disque comme facteur limitant, on apprend que le frein actuel des bases de données est le réseau. Pourtant, voilà que les parents de Deepseek agence une version distribuée – à travers le réseau – de DuckDB ! Beaucoup ont salué cette manière pour DuckDB de traiter plus de données en mode “scale out” et savoir passer à l’échelle. Ce qui est plus notable, c’est surtout le système de fichiers inhérent à cette nouvelle plateforme. En effet, le 3FS, comme il a été nommé, présente de telle performance pour ce qui est des débits en lecture / écriture qu’il est certain que ce système de fichiers pourrait devenir une nouvelle norme.
De là, il n’y a qu’un pas pour imaginer que les lakehouses puissent bénéficier de tel débit ! 6To / seconde en lecture !
|