Mit duckdb einfach Daten analysieren - im Notebook und der Anwendung

Um was gehts?
duckdb ist gestartet als embedded Datenbank wie sqlite, nur für analytische Abfragen. Dabei kann es auch größere Datenmengen verarbeiten, ohne schwergewichtig zu sein, wie viele der “Big-Data” Tools.

Inzwischen ist duckdb aber weit mehr: eine unfassbar schnelle Query Engine die fast überall läuft und vielfältig einsetzbar ist:

• Daten, gespeichert auf der eigenen Festplatte, im Browser mit SQL analysieren? Kein Problem
• Schnell mal die ganzen JSON Dateien in S3 per SQL checken? Nichts leichter als das
• Eine riesige parquet Datei, größer als mein Arbeitsspeicher. Und ich muss sie jetzt lokal analysieren. Easy!
• csv vom Blob Storage lesen, verarbeiten und in einer Postgres Datenbank speichern. Nur ein Kommando
• Eine Web-Anwendung im Browser, um Daten zu analysieren - powered by duckdb!

Zudem entwickelt sich auch das Ecosystem weiter: mit ducklake als Format für Data Lakes und Catalogs und Quack als optionales Client-Server Protokoll - duckdb beschränkt sich nicht mehr auf das embedded Modell.

duckdb und das dazugehörige Ecosystem entwickelt sich immer mehr zum Universalwerkzeug für den Zugriff auf und die Analyse von Daten. In diesem Talk zeige ich mit wenigen Slides und viel Live-Demo warum es so populär ist und es auch in den Werkzeugkoffers eines jeden Entwicklers gehört. Egal ob Java, Node oder Python.

Agenda
17:30 - 18:00 Uhr: Get together
18:00 - ca. 20:00 Uhr: Talks (mit Pausen)
20:00 - 22:00: Get together

Das Meetup wird vor Ort in unserem Office in Solingen stattfinden.
Für Essen und Getränke ist gesorgt: wenn das Wetter mitspielt wird wieder auf der Feuerschale gegrillt, andernfalls sorgen wir bei einem Lieferdienst für Umsatz. 🍕