Arquitectura Lambda en Big Data

Publicado el 17 abril, 2024 por Rodrigo Ricardo

Big Data

Saciar nuestra sed

Tenemos sed de conocimiento. Es como nuestro dulce favorito, sentimos una necesidad incesante de él. A medida que ese anhelo continúa creciendo, se multiplica en profundidad y amplitud. Queremos el pronóstico del tiempo de 24 horas del día anterior, queremos que nos devuelvan los reembolsos del impuesto sobre la renta al día siguiente y queremos saber dónde se producirá un terremoto con la mayor antelación posible. Todo esto requiere datos, muchos datos. De hecho, en muchos casos, hay más datos de los que podemos manejar por medios tradicionales. Tiene sentido entonces que se deban crear nuevos métodos para manejar estas situaciones. Actualmente se está trabajando para abordar la idea de Big Data y crear arquitecturas como Lambda para trabajar con él.

¿Qué son los grandes datos?

Como sugiere el nombre, Big Data es el área que se ocupa de grandes conjuntos de información. Por grande nos referimos a conjuntos de información que no pueden manejarse de la forma habitual. Normalmente, dependeríamos de paquetes como Microsoft Access y Excel, u ofertas similares de otros proveedores, para realizar las manipulaciones que necesitamos. Pero eso se está volviendo cada vez más difícil a medida que el tamaño de los conjuntos de información traspasa los límites. Por ejemplo, piense en la cantidad de información que el Servicio de Impuestos Internos (EE. UU.) o el Servicio de Impuestos de Canadá deben procesar al momento de declarar impuestos. La necesidad de memoria, potencia de procesamiento y almacenamiento aumenta constantemente y seguirá haciéndolo en el futuro previsible.

¿Qué es la Arquitectura Lambda?

La Arquitectura Lambda es una plantilla o modelo genérico, creado por Nathan Marz, cuyo objetivo es proporcionar una forma de pensar en Big Data y las aplicaciones asociadas. Tiene 4 características principales:

Tolerante a fallos: se recupera de fallos de hardware y software.
Soporte de casos de uso: permite el uso de muchas maneras diferentes.
Escalable: puede agregar fácilmente recursos informáticos adicionales.
Fácilmente ampliable: se pueden agregar nuevas características y capacidades con facilidad.

En términos de estructura, la arquitectura consta de tres capas: lote, servicio y velocidad, y dos fuentes de entrada: nuevos datos y consultas. Desde una perspectiva general, se ve así:

A continuación se muestra una descripción de cada pieza:

Capa por lotes: contiene el conjunto de información y no se puede modificar excepto para agregar información.
Capa de servicio: proporciona acceso rápido a la información del lote a través de una serie de índices.
Capa de velocidad: las cachés suelen utilizar información de la capa de servicio para una recuperación rápida.
Nuevos datos: datos de entrada destinados a actualizar o aumentar la capa por lotes.
Consultas – solicitudes de información por parte de los usuarios del sistema.

¿Dónde se utiliza la arquitectura Lambda?

Debido a que Lambda es una arquitectura, más que un paquete de software, no lo verá como un producto específico. En cambio, varias empresas están adoptando los méritos de la arquitectura y ofreciendo productos que implementan estas ideas. Los ejemplos incluyen MapR y su plataforma de datos convergentes, Cloudera y su oferta de código abierto Oryx, y Ericsson con su análisis de movilidad humana (rtHMA) en tiempo real. En cada caso, estos proveedores se basan en las ideas presentadas por Nathan Marz y brindan ejemplos (Ericsson) que demuestran la efectividad y plataformas (MapR y Cloudera) que otros pueden ampliar aún más. Sin duda, escucharás más sobre esta arquitectura y los avances logrados a medida que avance el trabajo.

Resumen de la lección

En resumen, Big Data es el término utilizado para describir conjuntos de información que son demasiado grandes para manejarlos por medios convencionales. La Arquitectura Lambda es una idea o plantilla genérica que se utiliza para describir una forma de trabajar con Big Data. La arquitectura tiene cuatro características principales: tolerancia a fallas, soporte de casos de uso, escalabilidad y fácil extensión. Hay cinco piezas principales en la arquitectura: una capa por lotes, una capa de servicio, una capa de velocidad, nueva entrada de datos y consultas.

Etiquetas:arquitectura data