Kecerdasan Buatan (AI) & Analitik Real-Time Jadi Solusi yang Bikin Data Mengalir Lebih Cerdas di Era Multicloud

“Pelanggan ingin memanfaatkan data real-time mereka dengan lebih optimal, tetapi penggunaan antara streaming dan analitik selalu menghambat mereka,” ujarnya. “Dengan Tableflow, kami menutup celah tersebut dan memudahkan koneksi langsung antara Kafka dan lakehouse yang terkelola,” tutur Shaun Clowes, Chief Product Officer Confluent.

Hadirnya GA ini membawa sejumlah peningkatan yang difokuskan pada keandalan dan konsistensi data. Beberapa kemampuan kunci meliputi:

1. Dukungan Delta Lake (GA) yang memungkinkan topik Kafka dikonversi otomatis menjadi tabel Delta Lake di Amazon S3 atau Azure Data Lake Storage. Format Delta Lake dan Iceberg kini bisa aktif bersamaan dalam satu topik.
2. Integrasi Databricks Unity Catalog (GA) yang mensinkronisasi metadata, skema, dan kebijakan akses, sehingga tata kelola data lebih konsisten.
3. Dead Letter Queue untuk menangani data yang rusak tanpa mengganggu aliran data utama.
4. Fungsi upsert otomatis yang menjaga konsistensi data tanpa intervensi manual.
Bring Your Own Key (BYOK) yang memperluas kontrol enkripsi pada pelanggan.

Tableflow juga memperkuat integrasi dengan Apache Iceberg, AWS Glue, dan Snowflake Open Catalog, menjadikannya fondasi end-to-end bagi tim yang membutuhkan data tangguh dan siap analisis secara instan.

“Confluent Tableflow memungkinkan kami mengubah topik Kafka kunci menjadi tabel yang dapat diandalkan dan siap untuk analisis. Data berkualitas tinggi ini kini mendukung analisis, model machine learning (ML) dan aplikasi AI generatif,” ujar David Kinney dari Attune.

“Akses ke data real-time sangat penting bagi pelanggan untuk mengambil keputusan dengan cepat dan akurat,” ujar Dipti Borkar dari Microsoft.

Tableflow kini tersedia dalam Early Access di Azure dan terintegrasi dengan Microsoft OneLake. Pembaruan ini membantu perusahaan yang menggunakan Azure Databricks maupun Microsoft Fabric untuk mengelola pipeline real-time hingga lakehouse Azure secara lebih mulus.

Beberapa manfaat utama bagi organisasi di antaranya, wawasan lebih cepat, dengan konversi instan dari Kafka ke tabel terbuka OneLake tanpa ETL manual, pengurangan biaya operasional, melalui otomatisasi pemetaan skema dan pemeliharaan tabel, dan Integrasi langsung dengan layanan analitik Azure melalui OneLake Table APIs. (udn)