Machine Learning Hub y Notebooks
¿Qué es Machine Learning Hub?
La visión de TrendMiner de democratizar la analítica va más allá de dotar a los expertos en la materia de herramientas de autoservicio para incluir también una colaboración más estrecha entre los distintos expertos a la hora de resolver problemas. Algunos de los problemas más complejos requieren la introducción de científicos de datos que aporten técnicas especializadas que permitan a las empresas exprimir los conocimientos más profundos de los datos disponibles. Piense en las estadísticas avanzadas y los modelos de aprendizaje automático.
Con MLHub, los científicos de datos pueden acceder a los datos de TrendMiner (tanto en bruto como preprocesados y contextualizados en las vistas de TrendMiner) y validar hipótesis o crear/entrenar/desplegar modelos de aprendizaje automático en el nuevo entorno de Notebook, que otros usuarios pueden aplicar mediante tags de modelos de aprendizaje automático y visualizar en DashHub.
Cómo utilizar la vista del MLHub Notebook
Importante
Sólo se puede acceder al MLHub una vez configurada la gestión de accesos, para lo que es necesaria una licencia aparte. Para más detalles sobre la gestión de acceso, lea aquí. Póngase en contacto con nosotros en TrendMiner si necesita más información sobre las licencias.
En la esquina superior izquierda del entorno de TrendMiner encontrará el botón de selección de Hub. Aquí puede seleccionar hacia qué hub desea navegar.
Pulse el botón "MLHub". Para cerrar la pantalla de inicio y acceder a la vista de Notebook, haga clic en Notebook en la barra superior.
Justo debajo de la barra superior se encuentran los botones de acción de Notebook, para crear, cargar e importar blocs de notas.
En la parte izquierda de su área de pantalla encontrará fragmentos de Notebook. Se trata de bloques de código predefinidos para utilizar en sus cuadernos. Consulte "fragmentos de código" más abajo.
La funcionalidad Notebook de TrendMiner es una plataforma que permite a los usuarios crear y trabajar con herramientas avanzadas más allá de las sólidas capacidades incorporadas, dentro del entorno de TrendMiner.
Con los Notebooks integrados, podrá:
Cargue los datos de una vista de TrendHub que se haya preparado utilizando las capacidades típicas incorporadas de TrendMiner (seleccione un conjunto de tags interesantes, seleccione los marcos temporales de interés, por ejemplo, mediante búsquedas, ...).
Visualice y analice sus datos de formas diferentes que no son posibles con TrendMiner.
Lleve a cabo la automatización de los análisis mediante secuencias de comandos (por ejemplo, repita el análisis en una amplia gama de activos).
Cree tags (predictivos) utilizando modelos personalizados (por ejemplo, redes neuronales o agrupación) compatibles con las bibliotecas típicas de Notebook.
Puede hacer uso de las opciones de visualización más avanzadas que vienen incorporadas con el Notebook. El Notebook integrado viene con su propia Ventana de Notebook, de modo que también puede integrar su trabajo en un panel de DashHub y ponerlo a disposición de toda su organización.
Nota
Intérprete - El intérprete por defecto de los Notebooks es Python.
En la pestaña Notebook de MLHub, puede crear una nueva libreta, cargar o importar una existente. Un Notebook nuevo siempre estará vacío.
Entre en la pestaña Notebook de MLHub.
Pulse el botón "Nuevo" o la indicación "Crear Notebook". Aparecerá un panel a la derecha de la pantalla.
Rellene los campos abiertos y seleccione una carpeta del Organizador de trabajo para guardar su nueva nota.
Pulse el botón "Crear".
Seleccione la configuración del núcleo que desea lanzar.
Ofrecemos kernels que incluyen paquetes de visualización preinstalados. Le recomendamos que inicie con el núcleo "Python con bibliotecas de visualización en Kubernetes".
Confirme su selección pulsando "seleccionar".
Se abrirá un nuevo Notebook en el que podrá escribir su código python. Puede introducir nuestro código boiler-plate que carga los paquetes altamente recomendados, ya que lo necesitará para leer el contenido de TrendMiner. Puede añadir este código haciendo clic en el botón de fragmento "script de inicialización" del menú de fragmentos de la izquierda.
Entre en la pestaña Notebook de MLHub.
Pulse el botón "Cargar". Aparecerá un panel con el organizador de trabajo a la derecha de la pantalla.
Seleccione el Notebook que desea abrir.
Pulse el botón "cargar" en la parte inferior derecha.
Entre en la pestaña Notebook de MLHub.
Pulse el botón "Importar". Aparecerá un panel a la derecha de la pantalla.
Elija cargar un cuaderno con su sistema local de explorador de archivos o elija utilizar el organizador de trabajo. Sólo se admiten cuadernos Jupyter (extensión de archivo .ipynb).
Seleccione "importar".
Nota
A partir de la versión 2022.R2, sólo "Vistas de TrendHub" y "Vistas de ContextHub" están disponibles como contenido de TrendMiner. En versiones posteriores se introducirán más contenidos.
Puede cargar vistas de TrendHub o ContextHub, por ejemplo, de periodos de funcionamiento bueno y/o anormal y, a continuación, compararlas mediante análisis avanzados, añadirlas a su lista de CONTENIDOS DE TRENDMINER.
Pulse el botón azul "+". Aparecerá un panel lateral por la derecha.
Seleccione el elemento o elementos de vista guardados que desea añadir como conjunto de datos.
Pulse "Cargar".
Los elementos de la lista del menú de contenidos pueden abrirse o borrarse. Para borrar pulse la x en el menú situado a la derecha del Elemento a borrar.
Haga clic en el nuevo contenido para abrirlo. Esto añadirá el código Python correspondiente en una nueva celda al final del Notebook.
Puede obtener más información ejecutando el siguiente comando en el notebook:
help(trendminer.dataframes.data_frames)
load_view( ): Carga los datos de las series temporales de una vista TrendHub guardada en una lista de Pandas DataFrames.
Se devuelve un DataFrame por capa en la vista.
Cada DataFrame puede tener un conjunto diferente de Tags disponibles.
Los parámetros opcionales [layer_ids] le permiten cargar únicamente una lista especificada de capas (identificadas por los ids de capa, proporcionados por la función view_info).
view_info( ): Recopila información sobre una vista basándose en su ID. Esta información puede utilizarse para obtener datos de una vista: enumera todas las capas incluidas en la vista. Al obtener datos de la vista, puede seleccionar las capas que se incluirán en los datos.
Fragmentos de Código
Actualmente los fragmentos son aplicables en kernels de python para desplegar modelos de machine learning.
Si tiene una celda de salida de Notebook con un resultado interesante o una visualización que desea compartir, puede publicarla en un objeto pipeline de Notebook.
Pasos:
Pulse el botón "Publicar" en la esquina superior derecha.
Seleccione TODAS las celdas que sean relevantes para la salida que desea publicar, incluidas las sentencias "import" y las declaraciones de variables. Asegúrese de que la última celda seleccionada produce una salida válida. Puede seleccionar una celda haciendo clic en cualquier lugar de la misma, o utilizar las casillas de verificación de las esquinas superiores derechas.
Puede publicar las celdas seleccionadas del notebook como un nuevo pipeline o sobrescribir uno existente.
Al hacer clic en «Publicar en nuevo pipeline» se abrirá una ventana en la que podrá dar un nombre al pipeline y especificar una ubicación de almacenamiento en el Organizador de trabajo. Esto creará un objeto «pipeline», que es una especie de mini bloc de notas que contiene sólo las celdas seleccionadas. Las «pipelines» no tienen ninguna relación con sus notebooks de origen, son una entidad aparte. Si actualiza el notebook, tendrá que crear también un nuevo objeto «pipeline».
Si elige «Publicar al sobrescribir pipeline» , rellene la descripción opcional y elija un pipeline en el Organizador de trabajo que desee sobrescribir.
Pulse el botón "Publicar" en la parte inferior derecha.
DashHub permite mostrar cualquier salida de un Párrafo de Notebook en una Ventana de Dashboard de Notebook.
Creación de una Ventana de Notebook
Vaya a DashHub y cree un nuevo Dashboard o abra un Dashboard creado anteriormente.
Haga clic en el botón "Acciones". Aparecerá un menú desplegable.
Haga clic en "Añadir nueva Ventana". Aparecerá un panel lateral por la derecha.
Haga clic en la opción "Salida de Notebook".
Proporcione un título para la ventana del Dashboard.
Seleccione el objeto de pipeline del Organizador de trabajo.
Ajuste la tasa de refresco si es necesario.
Haga clic en "Añadir nueva Ventana".
Nota
Cuando se comparte una Ventana DashHub, también deben compartirse las vistas subyacentes y los objetos de pipeline del notebook.
Al compartir un Notebook se creará un enlace simbólico al notebook original. Esto significa que el creador sigue siendo el propietario de los datos maestros del notebook. Los cambios realizados en las celdas se guardan según el principio FIFO y sólo se actualizarán al refrescar la pantalla.
Los objetos de salida de los pipeline publicados ya no están vinculados a los notebooks originales. Una vez publicados, los cambios en el notebook no repercutirán automáticamente en el objeto pipeline del notebook existente. Esto permite a los usuarios ajustar con precisión las salidas de las celdas de los notebooks, sin afectar a otros usuarios/visualizadores.
Los Notebooks y las visualizaciones de los resultados de los Notebooks se ejecutan en función de sus permisos y privilegios. Eso significa que algunas fuentes de datos pueden estar bloqueadas, y que sólo podrá procesar datos en función de su función.