Free cookie consent management tool by TermsFeed Policy Generator

#061 Cómo leer datos en formato JSON en Azure Synapse Analytics

Apresentamos nesse vídeo como obter os munícipios do Brasil utilizando o Azure Synapse Analytics com extração dos dados em formato JSON na internet e armazenando no Azure Datalake em format Parquet.

Aprenderemos las técnicas:Creación

de canalización con actividad de copia de datos
  1. :
    • En Azure Synapse Studio, cree una nueva canalización y agregue una actividad de copia de datos.

  2. Configurar los datos de origen (HTTP, JSON
  3. ): en
    • la canalización, agregue un origen de datos HTTP y configúrelo para leer los datos en formato JSON.

  4. Obtener la URL de los datos del sitio web del IBGE:
  5. Asignar el esquema de los datos de origen
  6. (IMPORT SCHEMA):

    • utilice la actividad de copia de datos para importar el esquema de los datos de origen.
  7. Configurar los datos de destino
  8. (DATALAKE, PARQUET):

    • agregue un paso de destino en la canalización configurando el destino como Data Lake y eligiendo el formato Parquet.
  9. Algunas razones para usar el formato Parquet
  10. :
    • El formato Parquet es eficiente en cuanto al almacenamiento y ofrece compresión, compatibilidad con esquemas y lectura eficiente para el procesamiento analítico.

  11. Desencadenador de ejecución y supervisión
  12. (TRIGGER):

    • configure y ejecute un desencadenador para iniciar la canalización y supervisar el estado de la ejecución.
  13. Identificación de los costos de ejecución de la canalización
  14. (EJECUTAR CONSUMO):

    • analice los costos asociados a la ejecución de la canalización mediante las herramientas de supervisión y consumo de Azure.
  15. Generar script para leer el archivo
  16. de

    formato PARQUET:

    • Si es necesario, genere un script para leer los datos del archivo Parquet en el entorno deseado (por ejemplo, con Apache Spark).
  17. Asignar las columnas de destino
  18. (MAPPING):

    en
    • la canalización, asigne las columnas de los datos de origen a las columnas de destino en formato Parquet en Data Lake.

Este contenido contiene
  • Conteúdo video
  • Idioma Português
  • Duración 10m 1s
  • Subtítulos Não

  • Tiempo de leer 1 min 30 seg

avatar
Fabio Santos

Científico de datos y consultor de soluciones digitales y analíticas


  • Compartir

Youtube Channel

@fabioms

Suscríbase ahora