Entropía en el aprendizaje automático

¿Qué es la entropía?

La entropía , en lo que respecta al aprendizaje automático, es una medida de la aleatoriedad en la información que se procesa. Cuanto mayor sea la entropía, más difícil será sacar conclusiones de esa información. Lanzar una moneda al aire es un ejemplo de una acción que proporciona información aleatoria. Para una moneda que no tiene afinidad por cara o cruz, el resultado de cualquier número de lanzamientos es difícil de predecir. ¿Por qué? Porque no hay relación entre el cambio y el resultado. Ésta es la esencia de la entropía.

¿Qué es el aprendizaje automático?

El aprendizaje automático es la rama de la informática que se ocupa del reconocimiento de patrones, el cálculo y la predicción de resultados a partir de los datos recopilados. Su propósito es sacar con precisión conclusiones que no se conocían previamente sobre los datos en cuestión. Normalmente, el conjunto de datos es muy grande. Esto hace que sea difícil de manejar para una persona e ideal para una máquina. Este es un tema candente en las noticias en estos días, particularmente en áreas como el gasto del consumidor y la gestión de la cadena de suministro.

Veamos un par de ejemplos. Empresas como Walmart están constantemente interesadas en los hábitos de gasto de los consumidores. Si pueden predecir qué comprará la gente y cuándo, pueden ajustar sus niveles de existencias. Además, pueden hacer acuerdos de compra con los proveedores por las cantidades y los precios óptimos. Creo que puede ver cómo esto podría ser ventajoso. Del mismo modo, empresas como Ford o GM están preocupadas por sus cadenas de suministro. Necesitan saber quién puede suministrar piezas y materiales y cuándo, para poder gestionar sus procesos de montaje. En cada uno de estos ejemplos, se debe equilibrar una gran cantidad de variables complejas: ideal para máquinas.

Entropía y aprendizaje automático

Nos preocupamos por la entropía en el aprendizaje automático por dos razones principales. Primero, porque queremos que las máquinas nos enseñen algo nuevo, especialmente en situaciones en las que, personalmente, no podemos derivar ningún significado significativo. Las máquinas tienen la capacidad de procesar grandes cantidades de datos en cortos períodos de tiempo. Debido a esto, también pueden reconocer patrones y sacar conclusiones donde una persona podría no hacerlo. Aquí es donde brillan las máquinas.

En segundo lugar, debido a que actualmente existen limitaciones a lo que la tecnología puede hacer, demasiada entropía y una máquina podría atascarse en el volumen de datos o no poder sacar ninguna conclusión. Ciertamente, esto cambiará con el tiempo. Constantemente están disponibles nuevas investigaciones y hardware más rápido. Pero mientras tanto, se debe tener cuidado de aplicar la tecnología donde sea realista y apropiada.

Resumen de la lección

En resumen, la entropía es una medida de la aleatoriedad de la información que se procesa. Cuanto mayor sea la entropía, más difícil será sacar conclusiones de esa información. El aprendizaje automático es la rama de la informática que se ocupa del reconocimiento de patrones, el cálculo y la predicción de resultados a partir de los datos recopilados.

Nos preocupamos por la entropía en el aprendizaje automático por dos razones principales. Primero, porque queremos que las máquinas nos enseñen algo nuevo, especialmente en situaciones en las que personalmente no podemos derivar ningún significado significativo. En segundo lugar, porque actualmente existen limitaciones a lo que puede hacer la tecnología, como que a una máquina se le dé demasiada entropía, lo que hace que se atasque con el volumen de datos cortante. Esto nos incentiva a crear una tecnología mejor y más efectiva que pueda manejar estas limitaciones.