Perché Snowflake ha cambiato le regole del data warehousing
Quando è arrivato sul mercato, Snowflake ha introdotto un’idea che oggi sembra ovvia ma che all’epoca era una novità radicale: separare completamente lo storage dal calcolo. Nei data warehouse tradizionali, per avere più potenza di calcolo bisognava acquistare anche più storage, e viceversa. Con Snowflake ciascuno dei due scala in modo indipendente e il calcolo si può accendere e spegnere in pochi secondi.
Questa architettura trasforma alla radice il modello economico del data warehousing: si paga ciò che si usa, non l’intera capacità predisposta.
L’architettura di Snowflake: i concetti chiave
Separazione tra calcolo e storage: i dati sono archiviati in formato colonnare compresso su object storage cloud (S3, Azure Blob o GCS, a seconda del cloud scelto). I virtual warehouse sono cluster di calcolo indipendenti che leggono quei dati senza interferire tra loro.
Virtual warehouse: ogni team o carico di lavoro può disporre di un proprio virtual warehouse della dimensione adeguata. Il team marketing usa un XS per le interrogazioni abituali, il team di data science usa un L per le trasformazioni pesanti, ed entrambi lavorano sugli stessi dati senza bloccarsi a vicenda.
Multi-cloud e multi-regione: Snowflake è disponibile su AWS, Azure e GCP e consente di replicare i dati tra regioni e cloud per ridondanza e conformità normativa. L’architettura è la stessa, qualunque sia il cloud sottostante.
Time Travel: Snowflake permette di interrogare lo stato dei dati in qualsiasi momento entro un periodo configurabile (fino a 90 giorni nelle edizioni Enterprise), il che facilita il ripristino in caso di errori e l’analisi storica.
Snowflake Data Marketplace
Una delle funzionalità più distintive di Snowflake è il Data Marketplace: un ecosistema di dati di terze parti che le aziende possono integrare direttamente nel proprio account Snowflake, senza doverli spostare né elaborare. Dati meteorologici e demografici, indici finanziari, dati macroeconomici e migliaia di altri dataset sono disponibili per arricchire i dati aziendali senza infrastruttura aggiuntiva.
Per le aziende di settori come assicurazioni, finanza o retail, l’accesso a dati esterni di qualità può costituire un vantaggio competitivo significativo.
Snowpark: il machine learning direttamente in Snowflake
Snowpark è l’API di Snowflake che consente ai data scientist di eseguire codice Python, Java o Scala direttamente all’interno dell’ambiente Snowflake, sfruttandone la capacità di calcolo senza estrarre i dati verso un ambiente esterno. Questo riduce gli spostamenti di dati, semplifica l’architettura di machine learning e facilita il rilascio dei modelli direttamente in Snowflake.
Snowflake, Databricks o BigQuery: quando scegliere ciascuno
Snowflake è la scelta migliore quando:
- Il team è composto soprattutto da analisti SQL e team di BI, non da ingegneri Spark.
- Occorre condividere dati in modo sicuro con partner o fornitori esterni.
- Si vuole una piattaforma gestita con un carico operativo minimo.
- L’azienda opera su più cloud e ha bisogno di interoperabilità.
Databricks è preferibile quando:
- I carichi di machine learning e data engineering prevalgono sull’SQL analitico.
- Si elaborano volumi enormi di dati non strutturati.
- Il team ha esperienza con Spark e Python.
BigQuery è la scelta naturale quando:
- L’azienda è già profondamente integrata nell’ecosistema Google Cloud.
Implementazione per le aziende
Per i team con esperienza in SQL, l’adozione di Snowflake è relativamente semplice. Un’implementazione tipica comprende la progettazione del modello di dati in Snowflake, la configurazione delle pipeline di acquisizione (con strumenti come dbt per le trasformazioni), la definizione della politica dei virtual warehouse per team e l’integrazione con gli strumenti di BI esistenti, come Power BI o Tableau.
Aiutiamo le aziende a valutare se Snowflake sia la piattaforma adatta alle loro esigenze, a progettare l’architettura più efficace e a gestire in sicurezza la migrazione dai sistemi esistenti.
Domande frequenti
Come si tengono sotto controllo i costi in Snowflake? Snowflake fattura i crediti di calcolo consumati e lo storage. I costi si controllano con la sospensione automatica dei virtual warehouse, il corretto dimensionamento di ciascun warehouse per il suo caso d’uso, l’uso di clustering key sulle tabelle di grandi dimensioni per ridurre i dati scansionati e il monitoraggio dei consumi con le viste Query History di Snowflake.
Si può usare Snowflake con Power BI? Sì. Power BI dispone di un connettore nativo per Snowflake che collega direttamente i report alle tabelle e alle viste di Snowflake, sia in modalità Import sia in modalità DirectQuery. È un’integrazione molto diffusa nelle aziende che vogliono mantenere Power BI come strumento di BI ma modernizzare il backend dei dati.
Snowflake è conforme al GDPR per le aziende europee? Sì. Snowflake dispone di regioni UE, tra le altre su AWS Francoforte e Azure Paesi Bassi. I dati possono essere configurati in modo da restare all’interno dello SEE. Snowflake è certificato SOC 2 Type II e ISO 27001, è conforme al GDPR e offre accordi sul trattamento dei dati (DPA) adeguati alla normativa europea.