Introduzione all'IA e al ML in BigQuery
BigQuery ML ti consente Creare ed eseguire modelli di machine learning (ML) utilizzando le query GoogleSQL. Ti permette inoltre di accedere Modelli Vertex AI e API Cloud AI per eseguire di machine learning (AI) come la generazione di testi una traduzione automatica. Gemini per Google Cloud offre inoltre soluzioni basate sull'AI assistenza per le attività di BigQuery. Per visualizzare un elenco di funzionalità basate sull'IA in BigQuery, consulta la panoramica di Gemini in BigQuery.
In genere, l'esecuzione di ML o IA su set di dati di grandi dimensioni richiede una vasta programmazione e conoscenza dei framework ML. Questi requisiti limitano lo sviluppo delle soluzioni a un gruppo molto ristretto di persone all'interno di ogni azienda ed escludendo i dati analisti che comprendono i dati ma hanno conoscenze e programmazione ML limitate competenza. Tuttavia, con BigQuery ML, i professionisti SQL possono usare le competenze e gli strumenti SQL esistenti per creare e valutare i modelli e generare da LLM e API di IA su Cloud.
Puoi lavorare con le funzionalità di BigQuery ML utilizzando seguenti:
- Nella console Google Cloud
- Lo strumento a riga di comando bq
- L'API REST BigQuery
- Notebook di Colab Enterprise integrati in BigQuery
- Strumenti esterni come un blocco note Jupyter o una piattaforma di business intelligence
Vantaggi di BigQuery ML
BigQuery ML offre diversi vantaggi rispetto ad altri approcci all'utilizzo di ML o AI con un data warehouse basato su cloud:
- BigQuery ML democratizza l'uso di ML e AI potenziando i dati gli analisti, i principali utenti di data warehouse, per creare ed eseguire modelli utilizzando fogli di lavoro e strumenti di business intelligence esistenti. L'analisi predittiva può guidare il processo decisionale aziendale in tutta l'organizzazione.
- Non è necessario programmare una soluzione ML o AI utilizzando Python o Java. Tu addestrare modelli e accedere alle risorse AI mediante SQL, familiari agli analisti di dati.
BigQuery ML aumenta la velocità di sviluppo dei modelli innovazione eliminando la necessità di spostare i dati dal data warehouse. BigQuery ML integra il machine learning nei dati, il che offre i seguenti vantaggi:
- Complessità ridotta in quanto sono necessari meno strumenti.
- Aumento della velocità di produzione perché non è necessario spostare e formattare grandi quantità di dati per i framework ML basati su Python per addestrare un modello in BigQuery.
Per ulteriori informazioni, guarda il video Come accelerare lo sviluppo del machine learning con BigQuery ML.
IA generativa e modelli preaddestrati
Puoi utilizzare modelli remoti per accedere ai modelli Vertex AI e alle API Cloud AI da BigQuery ML per eseguire le seguenti attività:
- IA generativa di testo Vertex AI o modello multimodale .
- Testo o incorporamento multimodale mediante i modelli di incorporamento di Vertex AI.
- Elaborazione del linguaggio naturale mediante l'API Cloud Natural Language.
- Traduzione automatica mediante l'API Cloud Translation.
- Elaborazione di documenti mediante l'API Document AI.
- Trascrizione audio mediante l'API Speech-to-Text.
- Visione artificiale utilizzando l'API Cloud Vision.
Modelli supportati
Un modello in BigQuery ML rappresenta ciò che un sistema ML ha appreso dai dati di addestramento. Le sezioni seguenti descrivono i tipi di modelli supportati da BigQuery ML.
Modelli addestrati internamente
I seguenti modelli sono integrati in BigQuery ML:
- Analisi del contributo (Anteprima) serve a determinare l'effetto di una o più dimensioni sul valore di una determinata metrica. Ad esempio, vedendo effetto della sede e della data di vendita sulle entrate in negozio. Per ulteriori informazioni le informazioni, vedi Panoramica dell'analisi del contributo.
- Regressione lineare per le previsioni. Ad esempio, questo modello prevede le vendite di un articolo su un dato giorno. Le etichette sono di tipo reale, il che significa che non possono essere infinito positivo o infinito negativo o NaN (Not a Number).
- La regressione logistica è utilizzata per la classificazione di due o più valori possibili, ad esempio se un input è
low-value
,medium-value
ohigh-value
. Le etichette possono avere fino a 50 valori univoci. - Cluster K-means riguarda la segmentazione dei dati. Ad esempio, questo modello identifica segmenti. K-means è una tecnica di apprendimento non supervisionato, quindi non richiede etichette né la suddivisione dei dati per l'addestramento o la valutazione.
- Fattorizzazione matriciale è la creazione di sistemi di suggerimenti sui prodotti. Puoi creare prodotti suggerimenti sulla base di dati storici su comportamento dei clienti, transazioni e prodotti le tue valutazioni, poi usa questi consigli per creare ed esperienze variegate.
- Analisi delle componenti principali (PCA) il processo di calcolo delle componenti principali e il loro utilizzo eseguire un cambio di base sui dati. È comunemente usato per la dimensionalità di riduzione del traffico proiettando ogni punto dati solo sulle prime entità per ottenere dati a bassa dimensionalità preservando la maggior parte dei la variazione dei dati.
- Serie temporali consente di eseguire previsioni di serie temporali. Puoi usare questa funzionalità per creare milioni di modelli di serie temporali e utilizzarli per effettuare previsioni. Il modello gestisce automaticamente anomalie, stagionalità e festività.
Puoi eseguire una prova sulla
Istruzioni CREATE MODEL
per i modelli addestrati internamente per ottenere una stima
e la quantità di dati che elaboreranno
se li esegui.
Modelli addestrati esternamente
I seguenti modelli sono esterni a BigQuery ML e sono addestrati in Vertex AI -
- La rete neurale profonda (DNN) è utilizzata per creare reti neurali profonde basate su TensorFlow per i modelli di classificazione e regressione.
- Grandangolare e Profondo è utile per problemi generici di regressione e classificazione su larga scala con input sparsi (caratteristiche categoriche con un gran numero di possibili valori per le caratteristiche), come il motore per suggerimenti sistemi, ricerca e ranking.
- Codificatore automatico è la creazione di modelli basati su TensorFlow, con il supporto di rappresentazioni di dati sparsi. Puoi utilizzare i modelli in BigQuery ML per attività come il rilevamento non supervisionato di anomalie e la riduzione della dimensionalità non lineare.
- Albero potenziato è quello di creare modelli di classificazione e regressione basati su XGBoost.
- La foresta casuale consente di costruire alberi decisionali con più metodi di apprendimento per la classificazione, la regressione e altre attività durante l'addestramento.
- AutoML è un servizio ML supervisionato che crea ed esegue il deployment di regressione lineare su dati tabulari ad alta velocità e scalabilità.
Non puoi eseguire una prova sulla
Istruzioni CREATE MODEL
per i modelli addestrati esternamente per ottenere una stima
e la quantità di dati che elaboreranno
se li esegui.
Modelli remoti
Puoi creare
modelli remoti
e BigQuery che utilizzano modelli di cui è stato eseguito il deployment in Vertex AI.
Per fare riferimento al modello di cui hai eseguito il deployment, devi specificare
Endpoint HTTPS
nell'istruzione CREATE MODEL
del modello remoto.
Le istruzioni CREATE MODEL
per i modelli remoti non elaborano alcun byte,
non comportano addebiti per BigQuery.
Modelli importati
BigQuery ML ti consente di importare modelli personalizzati addestrati al di fuori di BigQuery ed eseguire previsioni al suo interno. Puoi importare i seguenti modelli in: BigQuery da Cloud Storage
- ONNX (Open Neural Network Exchange) è un formato standard aperto per la rappresentazione dei modelli ML. Utilizzo ONNX, puoi creare modelli addestrati con i framework ML più diffusi come PyTorch e scikit-learn, disponibili in BigQuery ML.
- TensorFlow è una libreria software open source gratuita per ML e intelligenza artificiale. Puoi utilizzare TensorFlow per una serie di attività, ma è incentrato in modo particolare sull'addestramento e sull'inferenza delle reti neurali profonde. Puoi caricare file addestrati in precedenza i modelli TensorFlow vengono trasferiti in BigQuery modelli BigQuery ML ed eseguire la previsione in BigQuery ML.
- TensorFlow Lite è una versione leggera di TensorFlow per il deployment su dispositivi mobili, microcontroller e altri dispositivi edge. TensorFlow ottimizza i modelli TensorFlow esistenti per ridurre le dimensioni dei modelli un'inferenza più veloce.
- XGBoost è una libreria di potenziamento del gradiente distribuito ottimizzata, progettata per essere efficienti, flessibili e portabili. Implementa algoritmi di ML nel framework di boosting del gradiente.
Le istruzioni CREATE MODEL
per i modelli importati non elaborano alcun byte e
non comportano addebiti per BigQuery.
In BigQuery ML, puoi utilizzare un modello con dati provenienti da più Set di dati BigQuery per l'addestramento e la previsione.
Guida alla selezione del modello
Scarica l'albero decisionale per la selezione del modello.
BigQuery ML e Vertex AI
BigQuery ML si integra con Vertex AI, che è una piattaforma end-to-end per AI e ML in Google Cloud. Puoi registrare i tuoi modelli BigQuery ML in Model Registry per eseguirne il deployment negli endpoint per le previsioni online. Per ulteriori informazioni, consulta quanto segue:
- Per saperne di più sull'uso di BigQuery ML con Vertex AI, consulta Gestire i modelli BigQuery ML con Vertex AI.
- Se non hai dimestichezza con Vertex AI e vuoi saperne di più su come si integra con BigQuery ML, consulta Vertex AI per gli utenti di BigQuery.
- Guarda il video Come semplificare i modelli di IA con Vertex AI e BigQuery ML.
BigQuery ML e Colab Enterprise
Ora puoi usare i blocchi note Colab Enterprise per eseguire attività di ML flussi di lavoro in BigQuery. I notebook ti consentono di utilizzare SQL, Python e altri linguaggi e librerie di uso comune per svolgere le tue attività di ML. Per ulteriori informazioni, consulta la sezione Creare blocchi note.
Aree geografiche supportate
BigQuery ML è supportato nelle stesse regioni in in BigQuery. Per ulteriori informazioni, consulta Località di BigQuery ML.
Prezzi
I modelli BigQuery ML vengono archiviati in set di dati BigQuery come tabelle e viste. Per informazioni sui prezzi di BigQuery ML, vedi Prezzi di BigQuery ML.
Per i prezzi dell'archiviazione in BigQuery, vedi Prezzi dell'archiviazione.
Per i prezzi delle query in BigQuery ML, consulta Prezzi delle query.
Quote
Oltre a
Limiti specifici di BigQuery ML,
che usano le funzioni di BigQuery ML e CREATE MODEL
sono soggette alle quote e ai limiti di BigQuery
job di query.
Limitazioni
- BigQuery ML non è disponibile in Versione Standard.
- BigQuery ML non attiva slot con scalabilità automatica. Devi impostare un valore base di riferimento di slot per usare BigQuery ML con Versione di BigQuery. Questo limite si applica solo a: modelli addestrati esternamente, non modelli addestrati internamente. Per ulteriori informazioni sui tipi di modelli, consulta Modelli supportati.
Passaggi successivi
- Per iniziare a utilizzare BigQuery ML, consulta Creare modelli di machine learning in BigQuery ML.
- Per saperne di più sul machine learning e su BigQuery ML, consulta
seguenti risorse:
- Applicare il machine learning ai dati con Google Cloud corso presso Coursera
- Programma di formazione sull'analisi intelligente e sulla gestione dei dati
- Machine Learning Crash Course
- Glossario del machine learning
- Per saperne di più su MLOps con Model Registry, consulta Gestire i modelli BigQuery ML in Vertex AI.