Lectura de datos en formato JSON en Azure Synapse Analytics

• En Azure Synapse Studio, cree una nueva canalización y agregue una actividad de copia de datos.

• la canalización, agregue un origen de datos HTTP y configúrelo para leer los datos en formato JSON.

• Vaya al

  sitio web del IBGE

  (https://servicodados.ibge.gov.br/api/docs) para obtener la URL de los datos que se van a copiar.

(IMPORT SCHEMA):

• utilice la actividad de copia de datos para importar el esquema de los datos de origen.

(DATALAKE, PARQUET):

• agregue un paso de destino en la canalización configurando el destino como Data Lake y eligiendo el formato Parquet.

• El formato Parquet es eficiente en cuanto al almacenamiento y ofrece compresión, compatibilidad con esquemas y lectura eficiente para el procesamiento analítico.

(TRIGGER):

• configure y ejecute un desencadenador para iniciar la canalización y supervisar el estado de la ejecución.

(EJECUTAR CONSUMO):

• analice los costos asociados a la ejecución de la canalización mediante las herramientas de supervisión y consumo de Azure.

formato PARQUET:

• Si es necesario, genere un script para leer los datos del archivo Parquet en el entorno deseado (por ejemplo, con Apache Spark).

(MAPPING):

• la canalización, asigne las columnas de los datos de origen a las columnas de destino en formato Parquet en Data Lake.