Die neueste Version von Crunchy Bridge bietet verbesserte räumliche Analysen

Crunchy Data hat kürzlich die neueste Version von Crunchy Bridge für Analysen veröffentlicht, die eine Vielzahl von neuen Funktionen und Verbesserungen für die Verarbeitung und Analyse von Daten bereitstellt. Diese Version, die im Juli 2024 veröffentlicht wurde, zielt darauf ab, die Leistungsfähigkeit von PostgreSQL für analytische Anwendungen erheblich zu steigern.

Einführung in Crunchy Bridge für Analysen

Crunchy Bridge für Analysen ist eine verwaltete PostgreSQL-Option, die es Benutzern ermöglicht, Daten aus verschiedenen Quellen, einschließlich Cloud-Speichern wie Amazon S3, schnell und effizient abzufragen. Die ursprüngliche Veröffentlichung konzentrierte sich darauf, eine solide Grundlage für leistungsstarke Analysen in PostgreSQL zu schaffen. Die aktuelle Version baut auf diesem Fundament auf und bietet umfassende Funktionen, die die Analyse komplexer Datensätze erleichtern.

Wichtige Verbesserungen in der neuesten Version

Die Version 1.1 von Crunchy Bridge bringt mehrere wesentliche Verbesserungen mit sich:

• Unterstützung für die Abfrage von Iceberg-Tabellen
• Vollständiger SQL-Pushdown, der Fensterfunktionen, CTEs, Unterabfragen und komplexe Joins beschleunigt
• Unterstützung für verschachtelte Parquet-Typen für Strukturen, Arrays und Karten
• Automatische Auswahl der S3-Region
• Write-Through-Caching, das neue Dateien, die mit COPY generiert werden, an ein lokales NVMe-Laufwerk und Amazon S3 sendet
• Auflisten von Dateien in S3
• Daten von Hugging Face-URLs und offenen Datensätzen lesen

Abfragen von Iceberg-Tabellen

Ein zentrales Merkmal dieser Version ist die Möglichkeit, Iceberg-Tabellen direkt aus PostgreSQL abzufragen. Iceberg ist ein hochleistungsfähiges Dateiformat, das für die effiziente Verwaltung großer analytischer Tabellen entwickelt wurde. Die Verwendung von Iceberg ermöglicht es Benutzern, Daten in einem strukturierten Format zu speichern, das eine präzise Beschreibung des Schemas sowie Statistiken zu den Daten bietet. Dies erleichtert die Abfrage und Analyse von Daten, die in Cloud-Speichern wie Amazon S3 gespeichert sind.

Vollständiger SQL-Pushdown

Ein weiteres bedeutendes Upgrade ist die Implementierung des vollständigen SQL-Pushdowns. Diese Funktion ermöglicht es, komplexe Abfragen, die nur analytische Tabellen und unterstützte Funktionen betreffen, vollständig an DuckDB zu delegieren. Dies führt zu einer erheblichen Beschleunigung der Abfrageverarbeitung. Bisher wurden Filter, Projektionen, Aggregationen und Sortierungen unterstützt, aber jetzt können auch Fensterfunktionen, Gruppierungssets, CTEs, Unterabfragen und komplexe Joins beschleunigt werden.

Integration von PostgreSQL-Funktionen

Die Integration von Crunchy Bridge mit PostgreSQL ermöglicht es Benutzern, die Vielseitigkeit der PostgreSQL-Funktionen, -Erweiterungen und -Werkzeuge zu nutzen, um komplexe Analyse-Pipelines zu erstellen. Die Benutzer können Materialized Views erstellen, die Daten in S3 (einschließlich Parquet und Iceberg) abfragen und diese regelmäßig im Hintergrund aktualisieren.

Fazit

Die neueste Version von Crunchy Bridge für Analysen stellt einen bedeutenden Fortschritt in der Nutzung von PostgreSQL für analytische Anwendungen dar. Mit der Unterstützung für Iceberg-Tabellen und den erweiterten Abfragefunktionen bietet Crunchy Bridge eine leistungsstarke Lösung für Unternehmen, die große Datenmengen effizient verwalten und analysieren möchten. Die Möglichkeit, Daten direkt dort abzufragen, wo sie gespeichert sind, ohne sie in eine separate analytische Plattform zu verschieben, ist ein wichtiger Schritt in Richtung einer nahtlosen Integration von operationalen und analytischen Systemen.

Die neuen Funktionen von Crunchy Bridge für Analysen sind ab sofort verfügbar, und Benutzer können ihre Crunchy Bridge-Konten nutzen, um die neuen Cluster bereitzustellen und von den erweiterten Analysefähigkeiten zu profitieren.

Für weitere Informationen über Crunchy Bridge für Analysen und um zu erfahren, wie Sie starten können, besuchen Sie die offizielle Website von Crunchy Data.

Quellen: - Crunchy Data Blog - Datanami