Proyecto del curso Fundamentos de Apache Airflow en Platzi, creación de un Data Pipeline que provendrá de uno de los satélites de SpaceX.
Los equipos de analistas y marketing de Platzi necesitan datos de los estudiantes que han accedido al satélite e información del historial de eventos de Spacex, por lo tanto necesitamos ayuda para ejecutar las siguientes tareas:
- Esperar a que la NASA nos dé autorización para acceder a los datos del satélite.
- Recoger datos del satélite y dejarlos en un archivo.
- Recopile datos de la API de SpaceX y colóquelos en un archivo.
- Enviar un mensaje a los equipos de que los datos finales son disponible.
- Docker
- Python >= 3
Ingresa al archivo docker-compose y dentro de la siguiente sección volúmenes, agrega la siguiente línea:
- ./:/opt/airflow
Con esto al subir nuestro contenedor los archivos de configuración se moverán a la ruta donde esté nuestro proyecto más importante. airflow.cfg.
Edite el archivo airflow.cfg para agregar los detalles del servidor de correo. Es obligatorio crear una contraseña de aplicación de Google para tu cuenta de Gmail, sigue los siguientes pasos:
- Visite la página Contraseñas de aplicaciones. (https://security.google.com/settings/security/apppasswords)
- En la parte inferior, haga clic en Seleccionar aplicación y elija la aplicación que está utilizando.
- Haga clic en Seleccionar dispositivo y elija el dispositivo que está utilizando.
- Seleccione Generar.
- Siga las instrucciones para ingresar la Contraseña de la aplicación (el código de 16 caracteres) en su dispositivo.
- Seleccione Listo.
En airflow.cfg edite la sección [smtp] como se muestra a continuación:
your_email_address = Tu dirección de Gmail.
16_digit_app_password = La contraseña de la aplicación generada arriba.
$ docker-compose up
Entra en el sitio web: https://localhost:8081