La indexación explicada.
TrendMiner utiliza un mecanismo de almacenamiento en caché (denominado indexación) para permitir una visualización y un análisis rápidos e interactivos de sus datos de series temporales, y se utiliza en todos los algoritmos (búsqueda, diagnóstico, monitorización y predicción). Cada vez que un usuario accede a un tag por primera vez en una configuración de TrendMiner (normalmente se hace añadiendo un tag a la lista de tags activos), el tag pasará por un proceso de indexación. Una vez que un Tag ha sido totalmente indexado, este índice está disponible para todos los usuarios dentro de la instalación de TrendMiner (por supuesto teniendo en cuenta los permisos de acceso a los datos). TrendMiner se asegurará de que estos índices se mantengan actualizados añadiendo datos al índice a intervalos regulares, sin requerir ninguna interacción por su parte. Esto le permitirá acceder rápidamente a datos recientes para su análisis.
Hay 2 parámetros importantes y configurables relacionados con la indexación:
la resolución del índice: determina lo granular que será su análisis.
el horizonte del índice: determina la fecha de inicio del índice que se creará.
Por defecto, la resolución del índice de una instalación de TrendMiner se establece en 1 minuto y el horizonte del índice se fija en el 1 de enero de 2015. Ambos parámetros pueden ser modificados por el administrador de TrendMiner.
Las imágenes siguientes ofrecen una explicación conceptual del proceso de indexación de un tag analógico y de cómo influye el ajuste de la resolución en el índice creado. En la primera imagen inferior, se visualizan los datos originales, tal y como están almacenados en la base de datos, para un periodo de 1 minuto. Cada punto azul representa un valor de la serie temporal que está almacenado en la base de datos (esto podría ser ya una compresión, en función de la configuración de almacenamiento de la base de datos).
La resolución de índice configurada definirá cuántos puntos de datos recibirá TrendMiner de la base de datos. Para una resolución de 10 segundos, TrendMiner solicita datos por intervalos de 10 segundos. Los conectores históricos de TrendMiner están diseñados para asegurarse de que obtiene los datos más significativos para estos intervalos. Para un conector Pi de Osisoft, esto significa que potencialmente recibirá 4 puntos de datos por intervalo (es decir, el valor inicial y final, y el valor máximo y mínimo dentro del intervalo).
Los grandes puntos rojos de las imágenes inferiores indican qué datos estarían finalmente disponibles en el índice de TrendMiner para una configuración de 10 segundos de resolución (gráfico superior) y una configuración de 1 minuto de resolución (gráfico inferior).
Tanto el rendimiento de las bases de datos subyacentes como la resolución de índice configurada influirán en la velocidad de indexación. Para una resolución de índice más alta, la base de datos necesita transferir más puntos de datos, por lo que el proceso de indexación llevará más tiempo. Definir una resolución es, por tanto, un compromiso entre la granularidad de los datos y el rendimiento.
La indexación inicial partirá siempre de la hora actual y avanzará hasta el horizonte configurado (esto se denomina indexación hacia atrás). Cuando muchos Tags estén indexando al mismo tiempo, los datos más recientes siempre tendrán prioridad. Esto garantiza que los usuarios concurrentes podrán iniciar sus análisis sobre los datos recientes de forma instantánea.
Como usuario, puede hacer un seguimiento del proceso de indexación comprobando el estado del índice en los detalles del tag de la lista de tags activos, o mirando la barra de contexto. La Barra de Contexto se traza exclusivamente a partir de los datos indexados.
Una vez que los Tags estén indexados hacia atrás, TrendMiner se asegurará de que estos índices se mantengan actualizados (es decir, indexados hacia adelante) añadiendo datos al índice a intervalos regulares, sin necesidad de interacción por parte del usuario final. Esto permitirá a los usuarios finales disponer siempre de un acceso rápido a datos recientes para su análisis.
Nota
Como administrador de TrendMiner, puede acceder a la página de Pantalla del gestor de índices para obtener una visión general de todas las Tags indexadas y su estado actual.
The created index of a tag allows a fast, interactive analysis of your data and is used in all algorithms.
Gráficos
A efectos de elaboración de gráficos de tendencias (gráfico de enfoque), se utilizarán los datos del índice para facilitar la visualización rápida de periodos de tiempo largos; más concretamente, siempre que el periodo visualizado sea superior a 300 veces la resolución del índice (es decir, 5 horas para una resolución del índice de 1 minuto). En otros casos, los datos indexados pueden ser demasiado largos y se solicitarán directamente a la base de datos para garantizar una representación lo más precisa posible. Cuando los datos indexados aún no estén disponibles, también se solicitarán directamente al historiador.
Las búsquedas se ejecutarán únicamente en los datos indexados.
La duración mínima de un resultado de búsqueda dependerá de la resolución del índice y del algoritmo de búsqueda que se esté utilizando.
Para las búsquedas basadas en valores, por pasos digitales y por áreas, la duración mínima es 2 veces la resolución del índice, por lo tanto 2 minutos para una configuración por defecto con una resolución de 1 minuto. Para periodos inferiores a la duración mínima, TrendMiner no dispone de datos suficientes para evaluar los criterios de búsqueda, por lo que TrendMiner no puede recuperar periodos más cortos. Definir una resolución es, por tanto, un compromiso entre la granularidad de la búsqueda y el rendimiento. Dado que las búsquedas se realizan en bloques de datos del índice, las duraciones de los resultados de la búsqueda siempre serán múltiplos de la resolución del índice.
Para las búsquedas de similitudes, la longitud de la consulta de búsqueda debe ser al menos 4 veces la resolución del índice. Además, para las búsquedas de similitudes, sólo se utilizarán los datos indexados para comprobar la similitud. El resultado es un análisis rápido.
Para periodos muy cortos, los resultados de la Búsqueda de similitudes pueden parecer inexactos. El algoritmo de búsqueda encontrará resultados para los que los datos del índice se correspondan bien con los datos del índice del periodo de consulta. Sin embargo, al trazar periodos tan pequeños, TrendMiner recuperará los datos directamente del historiador. Si este Tag es de alta resolución, se visualizarán muchos más puntos de datos que los utilizados en el algoritmo de búsqueda, lo que explica la desviación observada.
The index of all calculated tags is built up by performing calculations on top of the index of the underlying tags.
When charting these tags for periods smaller than 300 times the index resolution, tags will be queried directly from the database and the calculated tags will be evaluated "on the fly".
Los algoritmos de diagnóstico también utilizan datos indexados para evaluar la correlación y las desviaciones de las huellas.
Paralelamente a la observación para las búsquedas de similitudes, esto significa que el análisis de correlación cruzada puede arrojar cifras de correlación elevadas en periodos de tiempo muy cortos (es decir, periodos que son aproximadamente iguales a la resolución del índice), aunque los datos brutos visualizados no mostrarán ninguna correlación o sólo una correlación leve.
Los Monitoreos se construyen sobre las búsquedas y permiten a los usuarios operacionalizar sus búsquedas. Por lo tanto, los Monitoreos utilizan los mismos datos que las búsquedas.
Al trazar estas etiquetas para periodos inferiores a 300 veces la resolución del índice, las etiquetas se consultarán directamente desde la base de datos y las etiquetas calculadas se evaluarán "sobre la marcha".