foto perfil

Big Data: desafíos de integración

Publicado el 18 abril, 2024

Consumo de datos

Seamos realistas, consumimos mucha información. Reflexionamos sobre el clima durante el desayuno, recopilamos información financiera para completar nuestros impuestos y nos entretenemos con la información digital de la última película de gran éxito. Es un milagro que no engordemos. Por lo tanto, no sorprenderá que el problema sea aún más pronunciado cuando se lo considera desde una perspectiva empresarial. Entonces, ¿cómo se las arreglan? ¿Cómo pueden mantenerse al tanto del exceso cada vez mayor? Algunos simplemente lo ignoran, esperando que desaparezca. No es particularmente efectivo ni eficiente. El resto está tomando medidas para abordar el problema. Su área de enfoque, big data.

¿Qué son los grandes datos?

En pocas palabras, big data es un gran conjunto de información y las tecnologías utilizadas para manipularlo y mantenerlo. Cuando decimos grande, nos referimos a lo suficientemente grande como para causar problemas a los sistemas actuales. En la lengua vernácula actual, esto equivale a aplicaciones como Microsoft Excel, Google Sheets y PostgreSQL (o sus competidores). Incluso con las potentes máquinas actuales, el gran volumen de información pone de rodillas a estas aplicaciones. Y los límites se están moviendo a medida que la información sigue llegando. Lo que hoy es excepcional, mañana será común. Los macrodatos representan un cambio monumental en la forma en que pensamos sobre la información.

¿Qué es la integración de datos?

La integración de datos es el proceso de fusionar datos nuevos o entrantes con datos existentes. Piensa en tu última compra de música para tu celular. Se realiza la selección y se descarga su elección. La música consta de información digital que se fusiona o integra con las otras canciones de su teléfono. La mayor parte de la operación es transparente y se maneja entre bastidores. Pero no es poca cosa cuando se habla de big data, como veremos en la siguiente sección.

¿Cuáles son los desafíos de la integración de Big Data?

Los desafíos para la integración de big data son numerosos. La mayoría tiene que ver con la arquitectura o estructura adoptada para el sistema de big data. Pero hay un par que son fundamentales y comunes a todos. Ellos son:

  • Poder de procesamiento: cualquier sistema en particular solo puede procesar una cantidad limitada de información a la vez. Puede convertirse en un cuello de botella. Las estrategias actuales distribuyen el procesamiento entre múltiples procesadores para aumentar el rendimiento.
  • Memoria: un sistema necesita memoria para realizar cualquier manipulación con los datos. El volumen de información dicta que no se puede guardar todo en la memoria a la vez. Las estrategias actuales dividen la información en fragmentos y la cargan de forma secuencial.
  • Almacenamiento: la información debe almacenarse en algún lugar. Éste es quizás el problema más inmediato. Afortunadamente, con los precios del almacenamiento en constante caída, las estrategias actuales simplemente compran más almacenamiento. El truco consiste en equilibrar los costos del almacenamiento estático económico (discos duros tradicionales) y las versiones de estado sólido (SSD) más rápidas.
  • Latencia: incluso con las estrategias de procesamiento y memoria mencionadas anteriormente, todavía hay un retraso desde el momento en que se procesa la primera información hasta que finaliza la última. Las estrategias actuales intentan reducir este tiempo dedicando más procesador al problema y poniendo la información a disposición de los usuarios tan pronto como esté lista. Incluso antes de que se procese el último dato.

Resumen de la lección

En resumen, big data se refiere a grandes conjuntos de información y las tecnologías utilizadas para manipularlos y mantenerlos. La integración de datos es el proceso de combinar información nueva con información existente. Hay algunos desafíos asociados con este proceso. Incluyen potencia de procesamiento, memoria, almacenamiento y latencia.

Articulos relacionados