Databricks lanceert vier nieuwe productinnovaties die zijn Lakehouse-platform en mogelijkheden voor machine learning (ML) verbeteren. De eerste vernieuwing, Delta Live Tables, versimpelt de ontwikkeling en het beheer van betrouwbare data pipelines met Delta Lake. De tweede, Unity Catalog, is een nieuwe, verenigde datacatalogus die het makkelijk maakt om alle data assets van een organisatie te beheren en biedt een compleet overzicht van alle data binnen de verschillende clouds en bestaande catalogi in gebruik.
De Unity Catalog wordt ondersteund door Delta Sharing, een nieuw open source-protocol van Databricks. Tenslotte lanceert het bedrijf Databricks Machine Learning, een nieuw, data-native platform dat is gebouwd op een open lakehouse-architectuur. Dit platform biedt ML-engineers alles wat ze nodig hebben om de volledige ML-levenscyclus te beheren, en komt met twee gloednieuwe features: AutoML, dat veel van het handwerk in de opzet van ML-modellen automatiseert zonder in te boeten op controle en transparantie, en Feature Store, die verbeterde vindbaarheid, governance en betrouwbaarheid van model-features biedt.
Delta Live Tables: bouw de fundering van een lakehouse met betrouwbare data pipelines
Delta Live Tables is een cloudservice die ETL-werk (Extract, Transform en Load) simpeler en betrouwbaarder maakt binnen Delta Lake om ervoor te zorgen dat gegevens opgeschoond en consistent zijn wanneer ze worden gebruikt voor analytics en ML. Dit gebeurt bijvoorbeeld door veel handwerk in de opzet en het beheer van pipelines te automatiseren.
Delta Live Tables is als preview beschikbaar voor Databricks-klanten.
Unity Catalog: versimpeld beheer van data en AI in meerdere cloudplatforms
Unity Catalog verbetert data governance in multi-cloud- en multi-format-omgevingen door één interface te bieden voor governance van alle data assets, zowel gestructureerd als ongestructureerd en in alle gebruikte cloud data lakes. Dit maakt het voor ondernemingen eenvoudiger om hun data te verenigen op het Lakehouse-platform. Unity Catalog integreert ook met bestaande catalogi, zodat organisaties kunnen voortbouwen op wat er al staat en een toekomstbestendig en gecentraliseerd governancemodel kunnen opzetten zonder dure migratiekosten.
