Quienes están familiarizados con el mundo de la ciberseguridad conocen bien la tríada de seguridad de la información de confidencialidad, integridad y disponibilidad (la “tríada CIA”). La confidencialidad y la integridad reciben toda la atención y el reconocimiento, y queda bastante claro cómo Huntress Managed Endpoint Detection and Response (EDR) protege la confidencialidad de los datos y la integridad general de los sistemas de nuestros clientes, desde estaciones de trabajo hasta servidores.
Pero es importante notar que la disponibilidad también importa.
Por qué importa la disponibilidad
Lo que a veces se pasa por alto es el aspecto de "disponibilidad" de la tríada. Sabemos que mantener tus sistemas en línea es fundamental para tu negocio y tus usuarios finales. Si nuestro agente de EDR no puede mantener su disponibilidad, no logra cumplir sus objetivos generales de seguridad. Por eso, para que Huntress proteja la disponibilidad de nuestros clientes, necesitamos invertir continuamente en la disponibilidad y estabilidad de nuestro propio agente de EDR.
Lograr este objetivo a la escala de millones de endpoints que generan miles de millones de puntos de datos por día, manteniendo al mismo tiempo la eficiencia de costos, no es una tarea sencilla. Si bien durante mucho tiempo hemos contado con diversas perspectivas de la observabilidad usando herramientas comerciales habituales, sabíamos que necesitábamos invertir más a fondo en una herramienta interna de la observabilidad que permitiera una granularidad y una cardinalidad generales que no son posibles con herramientas o servicios de terceros.
La decisión de usar ClickHouse
Para lograr la amplitud y profundidad que requiere nuestra observabilidad detallada y evaluar a fondo la salud y estabilidad de nuestro agente de EDR a gran escala, decidimos usar ClickHouse. En el pasado, hemos hablado sobre cómo usamos ClickHouse para crear nuestro nuevo producto Managed Security Information and Event Management (SIEM). En general, es excelente para ingerir grandes cantidades de datos y ofrecer consultas ultrarrápidas.
Quedó bastante claro que ClickHouse también sería una gran opción para nuestras necesidades internas de la observabilidad, ya que permite tanto una observabilidad a nivel global de la salud general de nuestro agente como información granular y detallada hasta el nivel de cada endpoint.
Captura de pantalla de nuestro panel de Grafana para monitorear nuestro indicador interno de nivel de servicio para la recolección de datos de EDR tanto en Windows como en macOS
Como con cualquier sistema de analítica o de la observabilidad, contamos, promediamos o agregamos estadísticamente de otra forma las mediciones que obtenemos de cómo interactúa nuestro agente con el endpoint y con nuestra API de backend. El AggregatingMergeTree de ClickHouse es una excelente opción para este caso de uso. Estas tablas de fusión te permiten definir columnas con funciones de agregación que mantienen un estado de agregación en segundo plano. ClickHouse ofrece todas las funciones de agregación estándar que esperarías de cualquier sistema de gestión de bases de datos, además de todo un conjunto de funciones más avanzadas.
Con una combinación de tablas AggregatingMergeTree y vistas materializadas, podemos agregar fácilmente los datos de la observabilidad en intervalos horarios y diarios. Para facilitar el análisis y la detección de tendencias, también usamos la estructura Map de ClickHouse para permitir el etiquetado arbitrario de los datos de la observabilidad. Por lo general, etiquetamos nuestras observaciones con versiones, información del sistema operativo y arquitectura del endpoint, y otra información de configuración que podría afectar el rendimiento y la estabilidad generales. Al ordenar esta estructura Map antes de almacenarla, podemos agrupar por diversas etiquetas de observación y agregar por distintas características del agente y del endpoint. También logramos niveles de compresión impresionantes en los datos de etiquetas ordenados, y ClickHouse puede tomar automáticamente terabytes de datos y comprimirlos a solo unas pocas decenas de gigabytes.
Captura de pantalla de un panel de Grafana que muestra desgloses por percentiles del tiempo que toma completar las tareas de investigaciones y remediaciones de nuestro agente de EDR
Mirando hacia adelante
Aprovechando nuestros ricos datos internos de la observabilidad, buscamos mostrar nuevas perspectivas directamente a nuestros clientes con un panel de EDR totalmente rediseñado que llegará más adelante este año. También buscamos priorizar ciertos problemas del entorno, como poco espacio en disco o problemas de red, que podrían afectar la disponibilidad de nuestro agente y, por lo tanto, la seguridad general de nuestros clientes.
Huntress está comprometido con ofrecer un producto de EDR de primer nivel, y seguimos invirtiendo constantemente en nuestra tecnología interna y externa para alcanzar el nivel de seguridad que nuestros clientes necesitan.
