Asignación de columnas dinámicas en Azure Data Factory

Azure Data Factory (ADF) es un servicio de orquestación de datos en la nube que permite crear, programar y administrar canalizaciones de datos. Vamos a cubrir cada uno de los temas mencionados:

1. Almacenamiento de archivos en Azure Data Lake:

• Tutorial:
  1. Acceso a Azure Data Lake Storage Gen2 en Azure Portal.
  2. Cree o seleccione un contenedor para almacenar los archivos.
  3. Cargue los archivos en el contenedor.

https://dadosabertos.mec.gov.br/pnp?start=0

• Ejemplo: Puede cargar archivos CSV, JSON, Parquet y otros archivos en Azure Data Lake Storage Gen2.

2. Establezca la matriz de variables de tipo de datos:

• Paso a paso:

  1. En el editor de canalizaciones de Azure Data Factory, haga clic en "Variables" en el menú lateral.
  2. Cree una nueva variable y establezca el tipo en "Matriz".
  3. Introduzca los valores deseados para la matriz.

• Ejemplo:

  {
      "name": "ArrayOfValues",
      "type": "Matriz",
      "valor": [
          "Valor1",
          "Valor2",
          "Valor3"
      ]
  }
  

3. Establecer parámetros en el conjunto de datos:

• Paso a paso:

  1. En el editor del conjunto de datos, haga clic en "Parámetros".
  2. Agregue los parámetros necesarios, como el nombre del archivo, la ruta, etc.

• Ejemplo:

  {
      "nombre": "nombreDeArchivo",
      "type": "Cadena"
  }
  

4. Extracción de datos de Azure Data Lake:

• Tutorial:

  1. en el editor de canalización, agregue una actividad de copia.
  2. Configure el origen como Azure Data Lake y el destino como desee.

• Ejemplo:

  "source": {
      "type": "AzureDataLakeStoreSource",
      "storeSettings": {
          "type": "AzureDataLakeStoreReadSettings",
          "recursivo": verdadero
      }
  }
  

5. Uso de la actividad de búsqueda de archivos JSON:

• paso a paso:

  1. agregue una actividad de lectura de datos a la canalización en Azure Data Factory.
  2. Configure el origen como Azure Data Lake Storage o Blob Storage, donde se encuentra el archivo JSON.
  3. Especifique el formato de archivo como JSON y proporcione la ruta de acceso al archivo JSON.
  4. Configure las propiedades de la actividad según sus necesidades, como el filtrado de datos, la proyección de columnas, etc.

• Ejemplo:

  "actividades": [
      {
          "name": "ReadJSONActivity",
          "type": "Copiar",
          "entradas": [
              {
                  "referenceName": "AzureDataLakeStorageLinkedService",
                  "type": "DatasetReference",
                  "parámetros": {
                      "fileName": "example.json"
                  }
              }
          ],
          "salidas": [
              {
                  "referenceName": "OutputDataset",
                  "type": "DatasetReference"
              }
          ],
          "typeProperties": {
              "fuente": {
                  "type": "JsonSource"
              },
              "fregadero": {
                  "type": "AzureBlobSink"
              },
              "enableStaging": false
          }
      }
  ]
  

6. Almacenamiento de datos en Azure SQL Database:

• Tutorial:

  1. Agregue una actividad de copia a la canalización.
  2. Configure el origen como desee y el destino como Azure SQL Database.

• Ejemplo:

  "sink": {
      "type": "SqlServerSink",
      "writeBatchSize": 10000,
      "writeBatchTimeout": "00:05:00"
  }
  

7. Asignar columnas mediante contenido dinámico:

• Paso a paso:

  1. Durante la configuración de la actividad de copia, asigne columnas mediante expresiones dinámicas.

• Ejemplo:

  {"type": "TabularTranslator",
  "asignaciones": [
    {"source": {"name": "Año"},"sink": {"name": "Año"}},
    {"source": {"name": "OU"},"sink": {"name": "OU"}},
    {"source": {"name": "Acción"},"sink": {"name": "Acción de Gobierno"}},
    {"source": {"name": "GND"},"sink": {"name": "GND"}},
    {"source": {"name": "Gastos liquidados"},"sink": {"name": "Liquidaciones totales"}}
  ]}
  

Estos pasos y ejemplos ilustran cómo realizar diversas operaciones con Azure Data Factory, desde el almacenamiento y la extracción de datos hasta la asignación de columnas y el uso de actividades específicas.