Documentación de Dataflow | Google Cloud Documentation (original) (raw)
Dataflow es un servicio administrado que ejecuta una amplia variedad de patrones de procesamiento de datos. La documentación que se ofrece en este sitio muestra cómo implementar las canalizaciones de procesamiento de datos por lotes y de transmisión mediante Dataflow, y también incluyen instrucciones sobre el uso de las características del servicio.
El SDK de Apache Beam es un modelo de programación de código abierto que te permite desarrollar canalizaciones de transmisión y por lotes. Puedes crear tus canalizaciones con un programa de Apache Beam y, luego, ejecutarlas en el servicio de Dataflow. La documentación de Apache Beam proporciona información conceptual detallada y material de referencia sobre el modelo de programación de Apache Beam, los SDK y otros ejecutores.
Para conocer los conceptos básicos de Apache Beam, consulta el Recorrido de Beam y Beam Playground. El repositorio de guía de soluciones de Dataflow también proporciona canalizaciones listas para usar e independientes, y los casos de uso más comunes de Dataflow.
Apache, Apache Beam, Beam, el logotipo de Beam y la mascota de luciérnaga de Beam son marcas comerciales registradas de The Apache Software Foundation en Estados Unidos o en otros países.
Comienza tu prueba de concepto con un crédito gratis de $300
- Desarrolla con nuestros modelos y herramientas de IA generativa más recientes.
- Usa de manera gratuita más de 20 productos populares, incluidos Compute Engine y las APIs de IA.
- No tendrás cargos automáticos ni compromisos.
Sigue explorando con más de 20 productos siempre gratuitos.
Accede a más de 20 productos gratuitos para casos de uso comunes, incluidas las APIs de IA, las VMs, los almacenes de datos y mucho más.
Recursos de documentación
Encuentra guías de inicio rápido y otras guías, revisa las referencias clave y obtén ayuda con problemas habituales.
Guías
Referencia
Recursos
Explora la capacitación de autoaprendizaje, los casos de uso, las arquitecturas de referencia y las muestras de código con ejemplos de cómo usar y conectar los servicios de Google Cloud .
Caso de uso
Casos de uso
Ejecuta cargas de trabajo de HPC altamente paralelas
Con Dataflow, puedes ejecutar tus cargas de trabajo altamente paralelas en una sola canalización, lo que mejora la eficiencia y facilita la administración de tu flujo de trabajo.
Transmisión
Caso de uso
Casos de uso
Ejecuta la inferencia con Dataflow ML
Dataflow ML le permite usar Dataflow para implementar y administrar canalizaciones de aprendizaje automático (AA) completas. Usa modelos de AA para realizar inferencias locales y remotas con canalizaciones por lotes y de transmisión. Usa herramientas de procesamiento de datos a fin de preparar tus datos para el entrenamiento de modelos y para procesar los resultados de los modelos.
AA Transmisión
Caso de uso
Casos de uso
Crea una canalización de transmisión de comercio electrónico
Crea una aplicación de ejemplo de comercio electrónico de extremo a extremo que transmita datos de una tienda web a BigQuery y Bigtable. En la aplicación de muestra, se ilustran casos de uso comunes y prácticas recomendadas para implementar las estadísticas de datos de transmisión y la inteligencia artificial (IA) en tiempo real.
comercio electrónico Transmisión