Le aziende possono ora trasformare il data streaming in tabelle strutturate e pronte per l’analytics, grazie alle integrazioni con Delta Lake e Databricks Unity Catalog
Confluent, pioniere nel data streaming, annuncia oggi la disponibilità generale (GA) delle integrazioni con Delta Lake e Databricks Unity Catalog all’interno di Confluent Tableflow, insieme alla disponibilità in Early Access (EA) su Microsoft OneLake. I miglioramenti rendono Tableflow una soluzione end-to-end completamente gestita, capace di connettere sistemi operativi, analitici e di intelligenza artificiale (AI) in ambienti ibridi e multicloud. Confluent consente ora di trasferire i topic Apache Kafka® direttamente in tabelle Delta Lake o Apache Iceberg™, con controlli di qualità automatizzati, sincronizzazione dei cataloghi e sicurezza di livello enterprise.
Tableflow ha sin da subito rivoluzionato il modo in cui le organizzazioni beneficiano di dati in streaming pronti per l’analytics, eliminando i fragili processi ETL e le integrazioni manuali, con i Lakehouse che rallentano i team. Grazie alle integrazioni Delta Lake e Unity Catalog e al nuovo supporto Tableflow per OneLake, Confluent amplia ulteriormente la propria presenza multicloud. Questi aggiornamenti offrono una soluzione unificata che collega i dati in tempo reale con quelli analitici, garantendo al contempo una governance di livello enterprise. In questo modo diventa ancora più semplice creare analytics e applicazioni AI in tempo reale, capaci di dare un vantaggio competitivo alle aziende.
“I clienti desiderano sfruttare al meglio i propri dati in tempo reale, ma il divario tra streaming e analytics li ha sempre frenati”, afferma Shaun Clowes, Chief Product Officer di Confluent. “Con Tableflow colmiamo finalmente questa differenza, rendendo semplice collegare Kafka direttamente ai lakehouse governati. Il risultato sono dati di alta qualità, pronti per l’analytics e l’intelligenza artificiale, dal momento della loro creazione.”
Pronto per la produzione su scala enterprise
La release introduce nuove funzionalità di livello enterprise che fanno di Tableflow una delle soluzioni stream-to-table più complete, affidabili e sicure oggi disponibili, consentendo alle organizzazioni di:
- Semplificare l’analytics. Il supporto a Delta Lake (GA) converte i topic Kafka direttamente in tabelle Delta Lake archiviate in cloud object storage (Amazon S3 o Azure Data Lake Storage). È possibile abilitare contemporaneamente i formati Delta Lake e Iceberg per singolo topic, garantendo analytics flessibili e cross-format.
- Unificare la governance. Il supporto a Unity Catalog (GA) sincronizza automaticamente metadati, schemi e policy di accesso tra Tableflow e Databricks Unity Catalog, assicurando una governance centralizzata e una gestione coerente dei dati.
- Aumentare l’affidabilità. Dead Letter Queue cattura e isola i record danneggiati senza interrompere il flusso dei dati. Questo sistema di gestione degli errori, basato su schema, offre trasparenza, recupero rapido e qualità dei dati costante.
- Ridurre tempi e complessità. La funzionalità Upsert aggiorna e inserisce automaticamente i record al variare dei dati, mantenendo le tabelle Delta Lake e Iceberg coerenti, deduplicate e sempre pronte per l’analytics, senza bisogno di manutenzione manuale.
- Rafforzare la sicurezza. Bring Your Own Key estende a Tableflow le chiavi di cifratura gestite dal cliente, offrendo pieno controllo sui dati a riposo. Questo garantisce compliance per settori regolamentati come servizi finanziari, sanità e pubblica amministrazione.
Oltre alle funzionalità già presenti – come l’evoluzione degli schemi, la compattazione, la manutenzione automatica delle tabelle e le integrazioni con Apache Iceberg, AWS Glue e Snowflake Open Catalog – Tableflow rappresenta una base completa per i team che necessitano di dati in streaming immediatamente pronti per l’analytics, governati e resilienti.
“In Attune, il centro della nostra missione è fornire insight in tempo reale dai dati IoT degli smart building”, racconta David Kinney, Principal Solutions Architect di Attune. “Con pochi clic, Confluent Tableflow ci permette di trasformare i topic Kafka più importanti in tabelle affidabili e pronte per l’analitycs, garantendoci una visione precisa del coinvolgimento dei clienti e del comportamento dei dispositivi. Questi dataset di alta qualità alimentano analytics, modelli di machine learning e applicazioni di intelligenza artificiale generativa, tutti costruiti su una base dati solida. Tableflow ha semplificato la nostra architettura dati e aperto nuove possibilità di valorizzazione dei dati stessi.”
Ora disponibile su Microsoft OneLake
Tableflow è ora disponibile in EA su Azure, integrato con Microsoft OneLake, ampliando la sua presenza e offrendo ai clienti maggiore flessibilità nei deployment multicloud. Una novità particolarmente rilevante per le organizzazioni che utilizzano Azure Databricks e Microsoft Fabric, dove le integrazioni con Delta Lake e Unity Catalog sono ora pienamente supportate. Insieme, offrono un’esperienza di analytics governata e senza soluzione di continuità, dai flussi di dati in tempo reale ai lakehouse nel cloud.
Oggi i clienti possono:
- Accelerare il time-to-insight. Materializzare istantaneamente i topic Kafka come tabelle aperte in Microsoft OneLake e interrogarle da Microsoft Fabric o da qualsiasi altro strumento tramite le API OneLake Table, senza ETL o gestione manuale degli schemi.
- Eliminare complessità e costi operativi. Automatizzare la mappatura degli schemi, la type conversion e la manutenzione delle tabelle per i dati in streaming, garantendo governance e affidabilità nei flussi di lavoro analytics nativi di Azure.
- Abilitare AI e analytics su Azure. Integrarsi facilmente con i servizi di analytics e intelligenza artificiale di Azure tramite le API OneLake Table, per ottenere insight in tempo reale e gestire i deployment con semplicità attraverso Confluent Cloud UI, CLI o Terraform.
La release EA rappresenta una tappa cruciale nell’espansione della presenza multicloud di Tableflow e nel rafforzamento della collaborazione tra Confluent, Microsoft e Databricks.
“L’accesso ai dati real-time è essenziale per permettere ai clienti di prendere decisioni rapide e accurate”, sottolinea Dipti Borkar, Vice President and GM, Microsoft OneLake and ISV Ecosystem. “Con Tableflow di Confluent ora disponibile su Microsoft Azure, i clienti possono trasmettere eventi Kafka a OneLake come tabelle Apache Iceberg o Delta Lake e interrogarle istantaneamente tramite Microsoft Fabric e i principali motori di terze parti, grazie alle API OneLake Table. Un approccio che riduce la complessità e accelera il processo decisionale.”
