Conoceremos las técnicas:
1. Establecer el proceso aislado del análisis:
- la opción de proceso aislado de Azure Synapse Analytics permite ejecutar consultas en un nivel independiente y aislado, lo que garantiza recursos dedicados para el análisis crítico.
2. Defina el tipo de arquitectura y la cantidad de procesamiento de la instancia principal
(TAMAÑO DE NODO, MEMORIA OPTIMIZADA, HARDWARE ACELERADO): al elegir
el
- tamaño y la arquitectura de la instancia principal, se determina la cantidad de recursos informáticos disponibles para consultas y operaciones en Synapse Analytics. Las opciones incluyen optimización de memoria y aceleración de hardware.
3. Establecer el escalado automático (
AUTOSCALE): el
- escalado automático ajusta dinámicamente el número de unidades de procesamiento (grupos de SQL dedicados) en función de la carga de trabajo, lo que proporciona flexibilidad y optimización de costos.
4. Establecer el número de nodos (EJECUTORES
- ): cuando se configura el número de nodos (ejecutores) en una instancia de Apache Spark, se determina la capacidad de procesamiento distribuido para las cargas de trabajo de macrodatos.
5. Establecer PAUSA AUTOMÁTICA:
- La capacidad de pausar automáticamente la instancia cuando no está en uso ayuda a optimizar los costos al detener la facturación cuando no se necesitan recursos.
6. Establecer la versión de la instancia de Apache Spark
(VERSIÓN, VERSIÓN PRELIMINAR):
- especifique la versión de Apache Spark al crear una instancia para garantizar la compatibilidad y el acceso a las características más recientes.
7. Habilitar la instalación de paquetes de nivel de sesión
(ALLOW SESSION LEVEL PACKAGES
- ): permite instalar paquetes de Python en el nivel de sesión para personalizar el entorno de tiempo de ejecución en Spark.
8. Definir etiquetas (TAGS):
- Agregar etiquetas ayuda con la organización y la administración de recursos, lo que le permite clasificar e identificar instancias de manera más eficiente.
9. Ver y cambiar la configuración de la instancia
creada (SCALE SETTINGS):
- Acceso a la configuración de escalado, donde se puede ver y cambiar la configuración de la instancia.
10. Creación de un nuevo cuaderno mediante la conexión a la instancia de Apache Spark
(ATTACH TO):
- creación de un nuevo cuaderno en el entorno de Apache Spark, que permite ejecutar código interactivo de Spark.
11. Defina el lenguaje de programación del cuaderno (LANGUAGE):
- Especifique el lenguaje de programación del cuaderno, como Scala, Python o SQL, según la preferencia y la tarea.
12. Crear celdas de código y texto
enriquecido (CODE, MARKDOWN):
- organice el contenido del bloc de notas en celdas, donde las celdas de código contienen instrucciones ejecutables y las celdas Markdown permiten el formato de texto.
13. Ejecutar bloc de notas
(EJECUTAR TODO, INICIO DE SESIÓN): inicie
- la ejecución de todas las celdas del bloc de notas o inicie una nueva sesión para ejecutar el código de Spark.
14. Supervisión de la instancia de Apache Spark (núcleos virtuales asignados, memoria, aplicaciones activas):
- supervisión de los recursos asignados, el uso de memoria y las aplicaciones activas en la instancia de Spark.
15. Detener
la ejecución de
- la sesión: Detenga la ejecución de la sesión actual en el entorno de Apache Spark.
En estos pasos se proporciona información general sobre cómo configurar y usar Azure Synapse Analytics con la instancia de Apache Spark para el análisis de macrodatos. Asegúrese de consultar la documentación oficial para obtener detalles específicos y actualizaciones.