Dataflow ML (original) (raw)
Dataflow ML ti consente di utilizzare Dataflow per eseguire il deployment e gestire pipeline di machine learning (ML) complete. Utilizza i modelli ML per eseguire l'inferenza locale e remota con pipeline batch e in streaming. Utilizza gli strumenti di elaborazione dei dati per preparare i dati per l'addestramento del modello ed elaborare i risultati dei modelli.
Previsione e inferenza
Che tu voglia classificare le immagini in tempo reale, eseguire chiamate di inferenza remota o creare un gestore del modello personalizzato, puoi trovare esempi completi di ML di Dataflow.
Trattamento dati
Utilizza la classe MLTransform per pre-elaborare i dati per i flussi di lavoro di machine learning (ML). Combinando più trasformazioni di elaborazione dei dati in un'unica classe, MLTransform semplifica il processo di applicazione delle trasformazioni di elaborazione dei dati ML di Apache Beam al tuo flusso di lavoro.
Trasformazione RunInference
L'utilizzo di RunInference è semplice come aggiungere il codice di trasformazione alla pipeline. In questo esempio, MODEL_HANDLER è l'oggetto di configurazione del modello.
Codice MLTransform
Per preparare i dati per l'addestramento dei modelli di ML, utilizza MLTransform nella pipeline. MLTransform racchiude più trasformazioni di elaborazione dei dati in un'unica classe, consentendoti di utilizzare una classe per una serie di attività di preelaborazione.