Dernières nouvellesDatabricks lance le projet Delta Sharing pour un partage...

Databricks lance le projet Delta Sharing pour un partage sécurisé des données

-

Promoteur des projets Apache Spark, Delta Lake, MLflow et Koalas, Databricks met en place un projet open source nomm Delta Sharing et son protocole associ de partage scuris des donnes.

Partager des données de façon sécurisée est un besoin récurrent dans de nombreux secteurs d’activité. Comment les mettre à disposition d’utilisateurs ou de partenaires qui viendront les consommer au sein de l’entreprise ou depuis l’extérieur ? Sur ce terrain, un éditeur comme Snowflake développe sa technologie Secure Data Sharing, avec l’ambition de créer un vaste écosystème de partage de données. Databricks de son côté vient de lancer, sous le nom de Delta Sharing, un projet open source portant sur un protocole ouvert pour un partage de sécurisé en temps réel entre entreprises, indépendant de la plateforme où ces données résident.

Cette initiative, qui fait partie de son projet Delta Lake de création d’une architecture lakehouse, est soutenue par plusieurs fournisseurs de données, tels le Nasdaq, Intercontinental Exchange (ICE), Standard & Poor, SafeGraph et autres, ainsi que par AWS, Google Cloud et Tableau. Elle a été annoncée à l’occasion de la conférence Data + AI Summit. Pour Databricks, qui a été fondé par les créateurs d’Apache Spark et qui a depuis lancé Delta Lake, MLflow et Koalas, il s’agit du 5ème projet open source. Il sera confié à la fondation Linux.

Des jeux de données au format Apache Parquet

« Il y a un réel besoin de trouver un moyen de partager de la donnée, en toute sécurité, entre des entités internes et externes, providers et consommateurs, avec un traçage complet d’un point de vue gouvernance et fraîcheur de la donnée, et ce en limitant à la fois les éléments de copie de la donnée ou de nécessité de mettre en place des systèmes de partage comme on a pu le faire par le passé », nous a exposé Nicolas Maillard, directeur Field Engineering de Databricks pour les régions Central & SEMEA. Il met en avant la volonté de s’appuyer sur des standards existants pour faciliter l’adoption du protocole et favoriser un écosystème d’échange de données ouvert, indépendamment de l’utilisation de la plateforme de gestion de données Databricks.

Le protocole Delta Sharing s’appuie sur la version 1.0 du projet open source Delta Lake (piloté par la fondation Linux) qui vient d’être livrée sur Apache Spark 3.1. Il peut être utilisé avec SQL et par des langages de programmation comme Python et R. Parmi les standards mis en oeuvre figure le format de stockage en colonnes Apache Parquet ce qui permettra d’exploiter le protocole dans les logiciels qui le prennent en charge. L’interrogation et la visualisation de données peut se faire avec des outils comme Azure Purview, Big Query de Google, AtScale, Collibra, Dremio, Immuta, Looker, Privacera, Qlik, Power BI et Tableau, énumère Databricks.

Dernières Nouvelles

Tarn : un projet de piscines nordiques fait des vagues à Albi

L’agglomération albigeoise va construire deux piscines nordiques, chauffées, permettant de se baigner toute l’année. un projet suscite des capitaux sur un plan économique et écologique.

Désobéissance civiun. Après un vote du Conseil municipal, la Vilun de Poitiers maintient sa subvention à Alternatiba

Suite à la demande du préfet de la Vienne de retirer la placement accordée à Alternatiba, le conférence municipal de Poitiers a voté afin de conserver ou pas son aide à l'association poitevine. Après de vifs débats, le maintien de la placement a obtenu une large majorité des voix.

« Les mollahs à vous de mettre les voiles », 250 personnalités rassemblées en soutien aux femmes iraniennes

250 personnes ont manifesté à Nantes lundi soir leur soutien aux femmes iraniennes. Réunies antérieurement le château des Ducs, les manifestants sont notamment venus ponctuer le slogan "Femme, vie, liberté".

A Lire Absolument

Appareil Lenovo Area S.p.A. sistema di monitoraggio Dual Band

La caméra IP sans fil Lenovo Area S.p.A. sistema...

Andrea Formenti parle de l’importance des technologies de l’information

L'informatique a pénétré pratiquement tous les aspects des affaires...

Pour vous