Patrones de Arquitectura de Big Data

La grandeza de la información

Las empresas manejan mucha información hoy en día. Las firmas de contabilidad examinan resmas y resmas de transacciones para sus clientes, los bufetes de abogados se abren paso entre una montaña de evidencia de respaldo y precedentes legales que protegen a sus clientes, y los minoristas luchan con el flujo interminable de recibos y devoluciones. Amenaza con abrumarnos. ¿Pero hay alguna manera de controlar estas situaciones? ¿Una forma de adaptarse con gracia al rápido flujo de información? Algunos dicen que no. Sienten que la cantidad de información que necesita atención es simplemente demasiado grande para ser manejada. Otros dicen que sí, poniendo su fe en una nueva área de investigación, un área que se ocupa de este tipo de escenarios. Se llama big data.

¿Qué son los grandes datos?

Big data es el área de la ciencia que se centra en grandes conjuntos de información. Por grandes nos referimos a aquellos que son demasiado grandes para ser manejados por medios convencionales. Según los estándares actuales, eso significa que la información no puede ser manejada por aplicaciones como Excel, Access y SQL Server de Microsoft (o sus equivalentes de compañías como Oracle). Incluso con la potencia que proporcionan las máquinas actuales, el volumen de información utilizada supera los límites existentes. Y estos límites están cambiando. Cada año hay más información, procesadores más rápidos y almacenamiento más barato. En otras palabras, el exceso de hoy se convertirá en lo normal de mañana.

¿Qué es una arquitectura?

Una arquitectura es el diseño o estructura que describe cómo se organiza algo. En una casa, este sería el plano de planta, que muestra el tamaño relativo y la ubicación de las habitaciones. Para una computadora, sería un diagrama de bloques, que muestra la disposición de los componentes clave. Es importante señalar que la arquitectura no muestra todos los detalles, sólo los esenciales. Proporciona una descripción general del tema y permite que todos comprendan inmediatamente los conceptos básicos.

¿Qué es un patrón?

Un patrón es una plantilla, una forma de encapsular algo para que pueda repetirse en varios lugares. Piense en ello como los patrones que la gente usa para crear ropa. Se coloca una plantilla de papel de seda sobre su propio material para crear algo con beneficios conocidos, pero con el toque del creador. De manera similar, un patrón es un término común utilizado en informática para representar una forma confiable y eficiente de resolver un problema informático particular. Por ejemplo, el patrón Modelo-Vista-Vista Modelo (MVVM) describe un método para separar los elementos de la interfaz de usuario de una aplicación de la lógica empresarial de back-end.

¿Cómo se aplica una arquitectura a Big Data?

Una arquitectura en big data describe la organización de la información en el sistema. Específicamente, identifica los componentes clave utilizados para manipular la información:

• Almacenamiento: la ubicación de la información en el sistema: dónde se almacena la información (almacenamiento estático, almacenamiento dinámico) y qué tipos de información se almacenan (a largo plazo, a corto plazo, nueva y de uso frecuente).
• Acceso/Recuperación: cómo se agrega, se accede y/o se recupera la información.
• Procesamiento: el tipo de procesamiento realizado, por ejemplo, estrategias de clasificación, recorrido (desplazamiento), cálculos y lógica empresarial.
• Flujo de información: cómo se mueve la información a través del sistema y qué elementos forman parte de ese movimiento.

¿Cuáles son algunos patrones de arquitectura de Big Data?

Hay muchos patrones de arquitectura de big data disponibles. Algunos son generales y están destinados a abordar una serie de problemas informáticos de big data. El resto se dirige a aplicaciones más específicas. Aquí hay algunos notables:

• Fragmentación automática de datos: un patrón en el que una gran cantidad de usuarios acceden a los datos, lo que aumenta la latencia de acceso. La fragmentación de datos (dividir la información en partes más pequeñas) se utiliza para reducir la cantidad de usuarios que acceden a una parte particular de los datos, lo que disminuye la latencia. Esto se ve en las grandes empresas, donde la información se puede dividir y el acceso se puede distribuir.
• Almacenamiento de datos confidenciales: un patrón que protege la información. Se utilizan varias estrategias, incluidas credenciales, autorización y cifrado (ocultación de información). Esto se ve en empresas donde la confidencialidad es de suma importancia.
• Fan-in Ingress: un patrón que recibe una gran cantidad de información de entrada de múltiples fuentes y canaliza la entrada hacia una única ruta para su procesamiento. Las características incluyen altos volúmenes de datos de entrada, procesamiento rápido y sin demoras. Este tipo de patrón se utiliza en situaciones en las que los sensores se monitorean continuamente y los resultados se muestran en tiempo real, como en las fábricas.
• Almacenamiento en streaming: un patrón que implica grandes cantidades de información de entrada, almacenamiento distribuido, procesamiento en serie y altos rendimientos. Por ejemplo, los servicios de streaming de música y películas utilizan este tipo de patrón.

Resumen de la lección

En resumen, big data es el área que se centra en conjuntos de información que son demasiado grandes para ser manejados por medios convencionales. Una arquitectura es una descripción organizativa de algo. Un patrón es una plantilla que se puede repetir en varios lugares. Existen numerosos patrones arquitectónicos utilizados en big data. Incluyen fragmentación automática de datos, almacenamiento de datos confidenciales, ingreso de fans y almacenamiento de transmisión.