Blogs

Nieuws & Inzichten

Nieuws, inzichten & verhalen van het Understanding Data-team

Data Warehouse - Data Lake - Data Lakehouse
Blog

Data Warehouse vs Data Lake

“Wij hebben net een data warehouse gebouwd… en nu starten we met een data lake.” Waarom eigenlijk? Een data warehouse en een data lake dienen gelijkaardige doelen maar doen dat op een andere manier. In deze blog duiken we in de verschillen en de technologie achter beide oplossingen. Van datawarehouse tot data lakehouse. Het concept van een data warehouse ontstond al in de jaren ’80. Begin jaren ‘90 beschreven Bill Inmon en Ralph Kimball hoe transactionele systemen vooral gebouwd zijn om dagelijkse processen te ondersteunen, terwijl bedrijven data willen gebruiken voor rapportering, analyse en inzichten. Rond 2011 kwam big data op en won het concept van een data lake aan populariteit. Later evolueerde dit verder naar het data lakehouse: een technische architectuur die de flexibiliteit van een data lake combineert met de structuur en performantie van een data warehouse.

Verder lezen
What's a snapshot
Blog

Hoe een ontbijtsessie een perfecte les in snapshots werd

Vorige week organiseerden we bij Understanding Data een ontbijtsessie. Zoals het hoort lagen er koffiekoeken klaar. Veel koffiekoeken. Tijdens de sessie maakten we enkele foto’s van de tafel. Op het eerste gezicht zijn dit gewoon leuke sfeerbeelden. Maar eigenlijk tonen die foto’s perfect wat een snapshot is in de datawereld. Wat is een snapshot? Een snapshot is een momentopname van data op een specifiek tijdstip. Net zoals een foto vastlegt hoeveel koffiekoeken er om 8u30 op tafel lagen, bewaart een snapshot hoe een dataset eruitzag op een bepaald moment. Dat lijkt eenvoudig, maar het is enorm waardevol. Want zonder snapshots zie je enkel de huidige situatie, niet hoe je daar bent geraakt.

Verder lezen
data documentation by using dbt Doc Blocks
Blog

DRY data documentation met dbt doc blocks

Het gebruik van dbt doc blocks maakt DRY (Don’t Repeat Yourself) documentatie mogelijk door veldbeschrijvingen centraal in Markdown-bestanden te definiëren. Dit verbetert de consistentie en het onderhoud naarmate projecten groeien. Deze aanpak voorkomt dat je velden in meerdere YAML-bestanden opnieuw moet definiëren en maakt dat aanpassingen direct worden doorgevoerd in alle onderliggende modellen. De verborgen kost van gebrekkige documentatie Documentatie is vaak één van de meest over het hoofd geziene aspecten van datawerk. We bouwen pipelines, structureren onze modellen en maken dashboards. De mensen die er bij betrokken zijn, begrijpen wat er gebeurt, maar wat als er iemand nieuw bij komt? Zonder duidelijke documentatie wordt het voor hen moeilijk om er wijs uit te worden. Met de opkomst van AI wordt dit probleem alleen maar groter.

Verder lezen
Blog

Geheimen

“Secrets” zijn geheimen in computersystemen. Secrets zijn bijvoorbeeld: * De toegangscode van je database * De gebruikersnaam van je SaaS systeem Secrets horen bij je software, maar wil je liefst op een andere plek bijhouden. Je wilt de sleutel van je kluis ook niet op de kluis laten zitten. Wat wel interessant kan zijn is dat je de sleutel van je kluis in 100 stukken knipt en tóch bij je kluis legt. Op deze manier heb je in ieder geval je sleutel dichtbij, je moet alleen weten hoe je hem moet samenvoegen.

Verder lezen
News

Behind the scenes

Bij Understanding Data draait het meestal om cijfers, inzichten en dashboards. Deze keer stond er iets anders op de planning: een fotoshoot. Samen met het team van Bunqer legden we vast wie we zijn en waar we voor staan. Niet alleen als dataspecialisten, maar als mensen achter de analyses en projecten. Het was een fijn moment om even uit de dagelijkse flow van data analytics te stappen en stil te staan bij onze groei als team. In één jaar tijd zijn we geëvolueerd naar een sterk team van gedreven experten.

Verder lezen