Panoramica dell'AI generativa (original) (raw)

Questo documento descrive le funzioni di intelligenza artificiale (AI) generativa supportate da BigQuery. Queste funzioni accettano input in linguaggio naturale e utilizzano modelli Gemini Enterprise Agent Platform preaddestrati e modelli BigQuery integrati.

BigQuery offre una serie di funzioni AI per aiutarti in attività come le seguenti:

Le funzioni di AI sono raggruppate nelle seguenti categorie per aiutarti a svolgere queste attività:

Funzioni di AI per finalità generali

Le funzioni di AI generica ti offrono il pieno controllo e la massima trasparenza sulla scelta del modello, del prompt e dei parametri da utilizzare. Il loro output include informazioni dettagliate sulla chiamata al modello, tra cui lo stato e la risposta completa del modello, che potrebbe includere informazioni sulla classificazione di sicurezza o sulle citazioni.

Esegui l'inferenza LLM

La funzione AI.GENERATEè una funzione di inferenza flessibile che funziona inviando richieste a un modello Gemini di Gemini Enterprise Agent Platform e restituendo la risposta del modello. Puoi utilizzare questa funzione per analizzare dati di testo, immagini, audio, video o PDF. Ad esempio, potresti analizzare le immagini di arredamento per la casa per generare testo per una colonna design_type, in modo che lo SKU dell'arredamento abbia una descrizione associata, ad esempio mid-century modern o farmhouse.

Puoi eseguire attività di AI generativa utilizzando modelli remoti in BigQuery ML per fare riferimento a modelli di cui è stato eseguito il deployment o ospitati in Agent Platform con la funzione con valori di tabella AI.GENERATE_TEXT.Puoi utilizzare i seguenti tipi dimodelli remoti:

Utilizza i seguenti argomenti per provare la generazione di testo in BigQuery ML:

Per alcuni modelli, puoi scegliere facoltativamente di configurare l'ottimizzazione supervisionata, che ti consente di addestrare il modello sui tuoi dati per renderlo più adatto al tuo caso d'uso. Tutte le inferenze vengono eseguite in Agent Platform. I risultati vengono archiviati in BigQuery.

Generare dati strutturati

La generazione di dati strutturati è molto simile alla generazione di testo, tranne per il fatto che puoi formattare la risposta del modello specificando uno schema SQL. Ad esempio, potresti generare una tabella che contiene il nome, il numero di telefono, l'indirizzo, la richiesta e il preventivo di prezzo di un cliente a partire dalla trascrizione di una telefonata.

Puoi generare dati strutturati nei seguenti modi:

Genera embedding

Un incorporamento è un vettore numerico ad alta dimensione che rappresenta una determinata entità, come un testo o un file audio. La generazione di incorporamenti ti consente di acquisire la semantica dei tuoi dati in modo da semplificare il ragionamento e il confronto dei dati.

Di seguito sono riportati alcuni casi d'uso comuni per la generazione di incorporamenti:

Per saperne di più su come generare gli incorporamenti e utilizzarli per eseguire queste attività, consulta la Introduzione agli incorporamenti e alla ricerca vettoriale.

Funzioni di AI gestite

Le funzioni di AI gestita semplificano le attività di routine, come il filtraggio, la classificazione o l'aggregazione. Queste funzioni possono analizzare dati di testo, immagini, audio, video o PDF. Queste funzioni utilizzano Gemini e non richiedono personalizzazione. BigQuery utilizza l'ingegneria dei prompt e può selezionare il modello e i parametri appropriati da utilizzare per l'attività specifica per ottimizzare la qualità e la coerenza dei risultati. Ogni funzione restituisce un valore scalare, ad esempio BOOL, FLOAT64 o STRING, e non include ulteriori informazioni sullo stato del modello. Sono disponibili le seguenti funzioni di AI gestita:

Per un tutorial che mostra esempi di come utilizzare queste funzioni, consultaEseguire l'analisi semantica con le funzioni di AI gestite.

Per un tutorial sul notebook che mostra come utilizzare le funzioni AI gestite e generiche, consulta Analisi semantica con le funzioni AI.

Funzioni specifiche per le attività

Oltre alle funzioni più generali descritte nelle sezioni precedenti, puoi sviluppare soluzioni specifiche per le attività in BigQuery ML utilizzando le API Cloud AI. Le attività supportate includono:

Per saperne di più, consulta lapanoramica delle soluzioni specifiche per attività.

Località

Le località supportate per i modelli di generazione ed embedding di testo variano in base al tipo e alla versione del modello che utilizzi. Per ulteriori informazioni, consulta Località.

Prezzi

Ti vengono addebitate le risorse di calcolo che utilizzi per eseguire query sui modelli. I modelli remoti effettuano chiamate ai modelli Agent Platform, pertanto le query sui modelli remoti comportano anche addebiti da Agent Platform.

Per ulteriori informazioni, vediPrezzi di BigQuery ML.

Monitorare l'utilizzo dei token

Quando chiami una funzione AI generativa che utilizza un modello Gemini diverso da un modello di embedding, puoi visualizzare il numero totale di ogni tipo di token elaborato dalla query. Nel riquadroRisultati delle query, fai clic su Informazioni job. Vengono visualizzati i seguenti conteggi, suddivisi per modalità, se applicabile:

Monitorare i costi

Le funzioni di AI generativa in BigQuery funzionano inviando richieste alla piattaforma Gemini Enterprise Agent, che può comportare costi. Per stimare il numero di token di input prima di eseguire una query, utilizza lafunzione AI.COUNT_TOKENS. Per monitorare i costi di Agent Platform sostenuti da un job eseguito in BigQuery, segui questi passaggi:

  1. Visualizza i report sulla fatturazione in fatturazione Cloud.
  2. Utilizza i filtri per perfezionare i risultati.
    Per i servizi, seleziona Vertex AI.
  3. Per visualizzare gli addebiti per un job specifico,filtra per etichetta.
    Imposta la chiave su bigquery_job_id_prefix e il valore sull'ID offerta di lavoro della tua offerta di lavoro. Se l'ID job è più lungo di 63 caratteri, utilizza solo i primi 63 caratteri. Se il tuo ID lavoro contiene caratteri maiuscoli, convertili in minuscoli. In alternativa, puoiassociare i lavori a un'etichetta personalizzataper trovarli più facilmente in un secondo momento.

Potrebbero essere necessarie fino a 24 ore prima che alcuni addebiti vengano visualizzati in fatturazione Cloud.

Monitoraggio

Per comprendere meglio il comportamento delle funzioni di AI che chiami in BigQuery, puoi attivare la registrazione delle richieste e delle risposte. Per registrare l'intera richiesta e risposta inviata e ricevuta da Agent Platform, segui questi passaggi:

  1. Attiva i log di richiesta-rispostain Gemini Enterprise Agent Platform. I log vengono archiviati in BigQuery. Devi attivare separatamente il logging per ogni foundation model e regione diversi. Per registrare le query eseguite nella regione us, specifica la regione us-central1nella richiesta. Per registrare le query eseguite nella regione eu, specifica la regione europe-west4 nella richiesta.
  2. Esegui una query utilizzando una funzione AI che effettua una chiamata ad Agent Platform utilizzando il modello per cui hai attivato il logging nel passaggio precedente.
  3. Per visualizzare la richiesta e la risposta complete di Agent Platform, esegui una query nella tabella di logging per le righe in cui il campo labels.bigquery_job_id_prefix della colonna full_requestcorrisponde ai primi 63 caratteri del tuoID job. Se vuoi, puoiutilizzare un'etichetta di query personalizzataper facilitare la ricerca della query nei log.
    Ad esempio, puoi utilizzare una query simile alla seguente:
SELECT *  
FROM `my_project.my_dataset.request_response_logging`  
WHERE JSON_VALUE(full_request, '$.labels.bigquery_job_id_prefix') = 'bquxjob_123456...';

Gestione degli errori

Gli errori a livello di riga, come RESOURCE_EXHAUSTED, possono verificarsi se una funzione AI supera la quota o i limiti del servizio remoto. Quando si verifica un errore a livello di riga, la funzione restituisce NULL per quella riga, il che può comportare risultati della query incompleti.

Tutte le funzioni di AI possono riscontrare questi errori. Tuttavia, le funzioni di AI gestite (AI.IF, AI.CLASSIFY e AI.SCORE) supportano l'argomento max_error_ratioper aiutarti a gestirle. Utilizza questo argomento per impostare una soglia di errore che consente alla query di avere esito positivo nonostante gli errori a livello di riga.

Il valore predefinito di max_error_ratio è 1.0. Per ridurre la tolleranza agli errori, imposta un valore più piccolo (ad esempio 0.2) in modo che la query non vada a buon fine anziché riuscire con errori parziali. Per i dettagli sulla sintassi, consulta la documentazione di riferimento perAI.IF,AI.CLASSIFY, oAI.SCORE.

Se la query ha esito positivo con errori parziali, BigQuery restituisce un avviso. Per ulteriori informazioni sugli errori di funzione, controlla il campo Errori di funzione di AI generativa nella scheda Informazioni sul job dei risultati della query nella console Google Cloud .

Se la query include una clausola LIMIT, il limite viene applicato dopo che il modello elabora un batch di righe. Di conseguenza, la proporzione di valori NULL nel set di risultati finali potrebbe sembrare superiore al valore max_error_ratio specificato.

Ad esempio, supponiamo che la query abbia una clausola LIMIT 10 e un max_error_ratiodi 0.2. Il modello potrebbe elaborare 20 righe prima dell'applicazione del limite. Se 3 di queste 20 righe non vengono caricate, il tasso di errore è 0.15 (15%), che rientra nella soglia del 20%. Tuttavia, se il sottoinsieme di righe selezionato dalla clausola LIMIT include tutte e tre le righe non riuscite, l'output visibile conterrà il 30% di valori NULL.

Passaggi successivi