Cada vez es más factible poder realizar análisis OLAP sobre entornos Big Data, gracias a Apache Kylin, con visualización con Tableau, Pentaho, etc.... Si quieres saber más, pincha estos posts: OLAP for Big Data. It´s possible? y Analysis Big Data OLAP sobre Hadoop con Apache Kylin que hemos publicado recientemente
Hoy os traemos las novedades que para comienzos de este 2017 nos presentan (puedes preguntar a nuestros amigos especialistas de Stratebi para cualquier duda):Principales características comunes de KAP
- Interfaz gráfica: Modelado, construcción y consulta SQL del cubo a través de una interfaz web simplificada.
- Soporte para la extensión mediante plugins
- Despliegue no intrusivo: La instalación es totalmente independiente del clúster Hadoop y se comunica con dicho clúster a través de una API.
- KyAnalyzer: Herramienta de análisis OLAP basada en Saiku Server que se incluye con Kyligence.
- Integración con las principales herramientas de Business Intelligence: Gracias al soporte para conexiones ODBC/JDBC y una API rest, es posible conectar con herramientas como Tableu, Microsoft PowerBI, Apache Zeppelin, Saiku Server o Pentaho & STPivot.
- Compatibilidad con las distintas versiones de Hadoop:
o Apache Hadoop (Open Source Stack)
o Distribuciones:
§ Hortonworks HDP
§ Cloudera CDH
o Nube SaaS
§ Microsoft HDInsight
§ AWS EMR
- KyStorage (Solo en versión Enterprise Plus): La versión Enterprise Plus utiliza un motor de almacenamiento propio, que sustituye a HBase. Características principales:
o Rendimientos 12x más rápidos y una reducción del 50% del espacio de almacenamiento.
Permite hacer consultas sobre los datos en bruto (sin transformar a un esquema estrella, raw data). Esto facilita la exploración de los datos para el descubrimiento iterativo del modelo.
Comparativa de características de las versiones Enterprise y Enterprise Plus de KAP (Kyligence Analytic Platform) frente a Apache Kylin:
| Apache Kylin | KAP | KAP Plus |
| | |
Posicionamiento | Soporte para OLAP en Hadoop | Data Warehouse en Hadoop | Data Warehouse en Hadoop |
Núcleo | Apache Kylin | Apache Kylin | Apache Kylin |
Rendimiento de las consultas | Latencias de consulta inferiores al segundo | Latencias de consulta inferiores al segundo | En 3 y 40 veces más rápido que Apache Kylin |
Parallel Computing | Haciendo uso del Co - procesador de HBase | Haciendo uso del Co - procesador de HBase | Spark |
Storage Engine | HBase | HBase | KyStorage: Motor de almacenamiento columnar propietario |
Raw Data Query | Limitado | Limitado | Soporte Eficiente |
Security | Limitado | LDAP/Kerberos/cell level access control | LDAP/Kerberos/cell level access control |
BI Tool | No incluye herramienta de BI native, pero puede conectar con las principales herramientas BI del mercado: Tableu, Microsoft PowerBI, Apache Zeppelin, Saiku Server o Pentaho & STPivot | KyAnalyzer: Herramienta BI con integración nativa | KyAnalyzer: Herramienta BI con integración nativa |
Technical Support | Comunidad Open Source | Soporte 5*8 o 7*24 | Soporte5*8 o 7*24 |
KyBot Self-Service | No incluido, pero se puede comprar por separado | Incluido | Incluido |
Pila de productos de Kyligence Analytic Platform
Todos los productos de Kyligence hacen uso del núcleo Open Source de Apache Kylin. Sobre esta base han desarrollado 3 productos.
- Apache Kylin: Núcleo de Kyligence. Sobre el núcleo añaden las últimas actualizaciones y bug fixes sobre la versión Enterprise.
o Nota: Kyligence está formado por 6 PMC (Miembros del comité de proyecto) de Apache Kylin Open Source de un total de 13 PMC. De esta forma, muchos de los bug fixes van a llegar antes a KAP que a Kylin.
- KyStorage & Plugin: Sobre el núcleo de Kylin se añaden las siguientes características
o Características mejoradas de seguridad. Apache Kylin (Open Source) soporta la integración con LDAP y seguridad a nivel de modelo de dato (a nivel de cubo), añadiéndose las siguientes:
§ Integración con Kerberos
§ Seguridad a nivel de datos (celda)
o Soporte para consultas OLAP sobre datos en Hive sin transformar (raw data): En Apache Kylin y KAP Enterprise es posible añadiendo subqueries de Hive a las queries principales sobre el cubo.
§ KAP Enterpise Plus: Soporte y eficiencia mejorada para el procesamiento de datos en bruto.
o Almacenamiento columnar propio (solo en KAP Enterprise Plus): Apache Kylin y KAP Enterprise usan HBase para almacenar el cubo que se construye a partir de los datos en Hive/HDFS.
§ KAP Enterprise Plus utiliza un motor de almacenamiento propio, que sustituye a HBase, prometiendo rendimientos 12x más rápidos y una reducción del 50% del espacio de almacenamiento.
- KyAnalyzer: Herramienta BI OLAP basada en Saiku Server que integra de forma nativa con KAP Enterprise y KAP Enterprise Plus. Es un Saiku Server personalizado que incluye la versión de Mondrian y el driver JDBC necesarios para la conexión con Kyligence.
- KyBot: Herramienta de diagnóstico y soporte automatizado incluida en KAP Enterprise y Enterprise Plus. También es posible adquirirla por separado para usarla con Kylin Open Source. Incluye las siguientes características:
o Cuadro de mando que nos permite analizar de un vistazo:
§ Estado del clúster Kylin
§ Rendimiento
§ Almacenamiento
o Optimización: El sistema detecta automáticamente los problemas de rendimiento y propone optimizaciones para el diseño del modelo del cubo y el diseño/ejecución de las consultas sobre dicho cubo.
o Documentación y guía para la resolución de problemas
o Soporte: Incorpora herramientas para comunicarse con los expertos de Kylin y desarrolladores.