Tipos de Machine Learning. Clasificación vs Regresión

El machine learning genera muchos rumores porque es aplicable en una gran variedad de casos de uso. Esto se debe a que el aprendizaje automático es en realidad un conjunto de muchos métodos diferentes que son especialmente adecuados para responder diversas preguntas sobre un negocio. Para comprender mejor los algoritmos de aprendizaje automático, es útil separarlos en grupos en función de cómo funcionan.

Machine Learning
Machine Learning

Uno de los puntos de vista para separar estos algoritmos es el de los datos, si disponemos de datos etiquetados (ejemplos resueltos) o no.  Entonces será aprendizaje supervisado o no supervisado. Incluso se puede hacer aprendizaje automático semi-supervisado. Pero también existen diferencias inherentes en estos algoritmos basados en el formato de sus salidas. Viéndolos de esta manera, los métodos principales de aprendizaje automático son dos: clasificación y regresión.

Clasificación

Los algoritmos de clasificación se usan cuando el resultado deseado es una etiqueta discreta. En otras palabras, son útiles cuando la respuesta a su pregunta sobre su empresa cae dentro de un conjunto finito de resultados posibles. Muchos casos de uso, como determinar si un correo electrónico es correo no deseado o no, solo tienen dos resultados posibles. Esto se llama clasificación binaria.

Clasificación
Clasificación

La clasificación multicategoría captura todo lo demás, y es útil para la segmentación del cliente, la categorización de imágenes y audio y el análisis de texto para optimizar el sentimiento del cliente. Si estas son las preguntas que espera contestar con el aprendizaje automático en su negocio, considere algoritmos como Bayes ingenuo, árboles de decisión, regresión logística, aproximación kernel y vecinos K más cercanos.

Regresión

Por otro lado, la regresión es útil para predecir productos que son continuos. Eso significa que la respuesta a su pregunta se representa mediante una cantidad que puede determinarse de manera flexible en función de las entradas del modelo en lugar de limitarse a un conjunto de posibles etiquetas. Los problemas de regresión con entradas ordenadas por tiempo se denominan problemas de pronóstico de series temporales, como el pronóstico ARIMA, que permite a los científicos de datos explicar los patrones estacionales en las ventas, evaluar el impacto de las nuevas campañas de marketing y más.

Regresión
Regresión

La regresión lineal es, con mucho, el ejemplo más popular de un algoritmo de regresión. Aunque a menudo se subestima debido a su relativa simplicidad, es un método versátil que se puede usar para predecir los precios de la vivienda, la probabilidad de que los clientes se desvíen o los ingresos que un cliente generará. Para casos de uso como estos, los árboles de regresión y la regresión vectorial de soporte son buenos algoritmos a considerar si está buscando algo más sofisticado que la regresión lineal.

Elegir un algoritmo es un paso crítico en el proceso de aprendizaje automático, por lo que es importante que realmente se adapte al caso de uso del problema en cuestión.

10 revoluciones del Aprendizaje Automático en el Marketing

Machine Learning Marketing o Aprendizaje Automático para Marketing en español, está revolucionando el Marketing tradicional, incluso el más moderno, hacia un modelo data-driven (orientado al dato), con el consiguiente conocimiento del usuario y su relación con los productos.

  • El 84% de las organizaciones de marketing están implementando o expandiendo la IA (Intelidencia Artificial) y el aprendizaje automático en 2018.
  • El 75% de las empresas que usan IA y el aprendizaje automático mejoran la satisfacción del cliente en más del 10%.
  • Según Capgemini, 3 de cada 4 organizaciones que implementan IA y aprendizaje automático aumentan las ventas de nuevos productos y servicios en más del 10%.

La medición de muchas contribuciones del marketing al crecimiento de los ingresos se está volviendo más precisa y en tiempo real gracias a los análisis y el aprendizaje automático.

Saber qué impulsa más leads de marketing calificado (MQL), leads calificados de ventas (SQL), la mejor manera de optimizar campañas de marketing y mejorar la precisión y rentabilidad de los precios son solo algunas de las muchas áreas en las que el aprendizaje automático está revolucionando el marketing.

Los mejores especialistas en marketing están utilizando el aprendizaje automático para comprender, anticiparse y actuar sobre los problemas que sus ingenieros preventas intentan resolver más rápido y con más claridad que cualquier otro competidor.

La aplicación de aprendizaje automático basado en aplicaciones aptas para aprender lo que es más efectivo para cada cliente y cliente potencial impulsa la capacidad de personalizar el contenido mientras califica a los clientes potenciales para que las ventas cierren rápidamente.

El aprendizaje automático está llevando el contenido contextual, la automatización del marketing, incluidas las campañas de marketing entre canales y la puntuación de clientes potenciales, la personalización y las previsiones de ventas, a un nuevo nivel de precisión y velocidad.

Los departamentos de marketing más sólidos dependen de un sólido conjunto de análisis e indicadores clave de rendimiento (KPI) para medir su progreso hacia los objetivos de crecimiento de los ingresos y los clientes.

Con el aprendizaje automático, los departamentos de marketing podrán realizar contribuciones aún más significativas al crecimiento de los ingresos, fortaleciendo las relaciones con los clientes en el proceso.

Las siguientes son 10 formas en que el aprendizaje automático está revolucionando el marketing hoy y en el futuro:

  1. El 57% de los ejecutivos de las empresas cree que el beneficio de crecimiento más significativo de AI y el aprendizaje automático mejorará las experiencias y el apoyo de los clientes. El 44% cree que la IA y el aprendizaje automático proporcionarán la capacidad de mejorar los productos y servicios existentes. Los departamentos de marketing y los Chief Marketing Officers (CMO) que los dirigen son los líderes que diseñan y lanzan nuevas estrategias para ofrecer excelentes experiencias de cliente y son uno de los primeros en adoptar el aprendizaje automático. Los marketers están mejorando la orquestación de todos los aspectos de atraer, vender y servir a los clientes mediante el uso de aplicaciones de aprendizaje automático para predecir con mayor precisión los resultados.

    Directivo
    Directivo
  2. El 58% de las empresas están abordando los problemas de marketing más desafiantes con AI y el aprendizaje automático primero, priorizando la atención personalizada al cliente, el desarrollo de nuevos productos. Estas áreas de “obligatorio cumplimiento” tienen mayor complejidad, pero también el mayor beneficio. Los especialistas en marketing no han puesto tanto énfasis en las áreas “imprescindibles” de alto beneficio y baja complejidad según el análisis de Capgemini. Estas áreas de aplicación incluyen Chatbots y asistentes virtuales, lo que reduce las pérdidas de ingresos, el reconocimiento facial y las recomendaciones de productos y servicios.

    Chatbots
    Chatbots
  3. Para 2020, se acelerará la publicidad personalizada en tiempo real en las plataformas digitales y la precisión, el contexto y la precisión optimizados de la orientación de mensajes. El efecto combinado de estas mejoras de la tecnología de comercialización aumentará la efectividad de las ventas en los canales minoristas y basados ​​en B2C. La generación de Leads Cualificados para Ventas (SQL) también aumentará, reduciendo potencialmente los ciclos de ventas y aumentando las tasas de ganancias.

    Publicidad Digital
    Publicidad Digital
  4. Analice y reduzca significativamente la rotación de clientes utilizando el aprendizaje automático para agilizar la predicción de riesgos y los modelos de intervención. En lugar de depender de enfoques costosos y que requieren mucho tiempo para minimizar la pérdida de clientes, las compañías de telecomunicaciones y aquellas en industrias de alta rotación están recurriendo al aprendizaje automático. El siguiente gráfico ilustra cómo la definición de los modelos de riesgo ayuda a determinar cómo las acciones destinadas a evitar el abandono afectan la probabilidad y el riesgo del impacto de la deserción. Un modelo de intervención permite a los especialistas en marketing considerar cómo el nivel de intervención podría afectar la probabilidad de abandono y la cantidad de valor de vida del cliente (CLV).

    Aplicaciones de Machine Learning
    Aplicaciones de Machine Learning
  5. La optimización de los precios y la elasticidad de los precios están creciendo más allá de las industrias con existencias limitadas, incluidas las aerolíneas y los hoteles, que proliferan en la fabricación y los servicios. Todos los especialistas en marketing confían cada vez más en el aprendizaje automático para definir precios más competitivos y contextualmente relevantes. Las aplicaciones de aprendizaje automático están escalando la optimización de precios más allá de las aerolíneas, hoteles y eventos para abarcar escenarios de precios de productos y servicios. El aprendizaje automático se utiliza actualmente para determinar la elasticidad de los precios de cada producto, teniendo en cuenta el segmento del canal, el segmento del cliente, el período de ventas y la posición del producto en una estrategia global de precios de línea de productos. El siguiente ejemplo es de la solución preconfigurada de análisis interactivo de precios (PCS) de Microsoft Azure. Fuente: Azure Cortana Interactive Pricing Analytics Solución preconfigurada.

    Modelo Azure
    Modelo Azure Análisis de Precios
  6. Mejorar el pronóstico de la demanda, la eficiencia del surtido y los precios en el marketing minorista tiene el potencial de ofrecer una mejora del 2% en ganancias antes de intereses e impuestos (EBIT), 20% de reducción de existencias y 2 millones menos de devoluciones de productos al año. En Consumer Packaged Goods (CPQ) y organizaciones de comercialización minorista, existe un gran potencial para AI y el aprendizaje automático para mejorar el rendimiento de toda la cadena de valor. McKinsey descubrió que utilizar un enfoque concertado para aplicar la IA y el aprendizaje automático a través de las cadenas de valor de un minorista tiene el potencial de ofrecer una mejora del 50% en la eficiencia del surtido y un aumento del 30% en las ventas en línea utilizando precios dinámicos.

    Pronóstico de Ventas
    Pronóstico de Ventas
  7. Creación y ajuste de modelos de propensión que guían las estrategias de ventas cruzadas y ventas por línea de productos, segmento de clientes y personalidad. Es común encontrar vendedores orientados a datos que construyen y usan modelos de propensión para definir los productos y servicios con la mayor probabilidad de ser comprados. Con demasiada frecuencia, los modelos de propensión se basan en datos importados, integrados en Microsoft Excel, por lo que su uso continuo consume mucho tiempo. El aprendizaje automático está simplificando la creación, la puesta a punto y las contribuciones de los ingresos de las estrategias de venta ascendente y de venta cruzada mediante la automatización de todo el progreso. La siguiente pantalla es un ejemplo de un modelo de propensión.

    www.tiboo.com
    www.tiboo.com
  8. La precisión en la puntuación de los leads está mejorando, lo que permite aumentar las ventas que se pueden rastrear hasta las campañas de marketing iniciales y las estrategias de ventas. Al utilizar el aprendizaje automático para calificar las listas de clientes y leads adicionales utilizando datos relevantes de la web, los modelos predictivos, incluido el aprendizaje automático, pueden predecir mejor los perfiles ideales de los clientes. El puntuaje predictivo de cada líder de ventas se convierte en un mejor predictor de nuevas ventas potenciales, lo que ayuda a las ventas a priorizar el tiempo, los esfuerzos de ventas y las estrategias de venta. Las siguientes dos diapositivas son de un excelente seminario web Mintigo presentado con Sirius Decisions y Sales Hacker. Es una mirada fascinante de cómo el aprendizaje automático está mejorando la efectividad de las ventas. Fuente: Give Your SDRs An Unfair Advantage with Predictive(Diapositivas de un webinar en Slideshare).

    Pantalla de slideshare
    Pantalla de slideshare
  9. Identificar y definir las proyecciones de ventas de segmentos específicos de clientes y microsegmentos usando modelos RFM (frescura, frecuencia y monetario) dentro de aplicaciones de aprendizaje automático se está generalizando. El uso de análisis de RFM como parte de una iniciativa de aprendizaje automático puede proporcionar definiciones precisas de los mejores clientes, los más fieles, los que más gastan, los casi perdidos, los clientes perdidos y los clientes baratos perdidos.

    Identificar
    Identificar
  10. Optimizar el marketing mix determinando qué ofertas de ventas, incentivos y programas se presentan a qué prospectos a través de qué canales es otra forma de aprendizaje automático está revolucionando el marketing. Las ofertas de venta específicas se crean con el respaldo de contenido contextual, ofertas e incentivos. Estos elementos están disponibles para un motor de optimización que utiliza la lógica de aprendizaje automático para intentar continuamente predecir la mejor combinación de elementos de mezcla de marketing que conduzca a una nueva venta, venta ascendente o venta cruzada. La función de recomendación de productos de Amazon es un ejemplo de cómo su sitio de comercio electrónico usa el aprendizaje automático para aumentar los ingresos por ventas ascendentes, ventas cruzadas y productos recomendados.
    Recomendación Amazon
    Recomendación Amazon

    Una forma de aprender Machine Learning es a través de mi curso de Computer Visicion con Machine Learning y Deep Learning en R, que puedes adquirir con descuento a través de la sección de Cursos de esta web.

El artículo original.

Diferencias ente AI, NLP, Machine Learning y Deep Learning

Machine Learning

En ocasiones, las diferencias entre Inteligencia Artificial, Machine Learning y Deep Learning son difíciles de establecer.

En la Ciencia de los Datos, es bastante típico trabajar al rededor de estos conceptos.

Tratemos de ver, rápidamente, cuales son estas diferencias.

AI (inteligencia artificial) es un subcampo de la ciencia de la computación que se creó en la década de 1960.  Su  preocupación es resolver tareas que son fáciles para los humanos pero difíciles para las computadoras.

AI
Inteligencia Artificial

En particular, una Strong IA (Inteligencia Artificial Fuerte) ​​sería un sistema que puede hacer cualquier cosa que un humano pueda (sin contar algunos aspectos físicos).

Esto es bastante genérico e incluye todo tipo de tareas, como planificar, moverse por el mundo, reconocer objetos y sonidos, hablar, traducir, realizar transacciones sociales o comerciales, trabajos creativos (hacer arte o poesía), etc.

NLP (procesamiento del lenguaje natural) es simplemente la parte de AI que tiene que ver con el lenguaje (generalmente escrito).

NLP
Procesado del Lenguaje Natural

El aprendizaje automático (machine learning en inglés) se refiere a un aspecto concreto de todo esto: dado un problema de IA que puede describirse en términos discretos (por ejemplo, de un conjunto particular de acciones, cuál es el correcto), y dada mucha información sobre el mundo, figura cuál es la acción “correcta”, sin que el programador la programe.

Machine Learning
Aprendizaje Automático

Típicamente se necesita algún proceso externo para juzgar si la acción fue correcta o no.

En términos matemáticos, se trata de una función: introduces cierta información y quieres que produzca la salida correcta, por lo que todo el problema es simplemente construir un modelo de esta función matemática de forma automática.

Para establecer una distinción con AI: puedo escribir un programa muy inteligente que tenga un comportamiento similar al humano, puede ser AI, pero a menos que sus parámetros se aprendan automáticamente de los datos, no es machine learning.

El aprendizaje profundo (deep learning en inglés) es un tipo de aprendizaje automático (machine learning) que es muy popular últimamente. Implica un tipo particular de modelo matemático que puede considerarse como una composición de bloques simples (composición de funciones) de un cierto tipo, y donde algunos de estos bloques se pueden ajustar para predecir mejor el resultado final.

Deep Learning
Aprendizaje Profundo

La palabra profundo significa que la composición tiene muchos de estos bloques apilados uno sobre el otro, y la parte difícil es cómo ajustar los bloques que están lejos de la salida, ya que un pequeño cambio allí puede tener efectos muy indirectos en el salida.

Esto se hace a través de algo llamado Backpropagation dentro de un proceso más grande llamado descenso de gradiente que le permite cambiar los parámetros de una manera que mejora su modelo.

Este artículo está basado en una respuesta en la red Quora sobre estos temas y realizada por Dmitriy GenzelPhD. en Computer Science.

¿Qué es la Ciencia de los Datos?

Una pregunta que me hace mucho es ¿Qué es la Ciencia de los Datos? Intentemos resolver esta pregunta con varios conceptos.

QUÉ ES:

El término se utiliza mucho últimamente, es la palabra de moda que se utilizara para describirlo todo.

La descripción de Wikipedia es:  La ciencia de datos es un campo interdisciplinario que involucra métodos científicos, procesos y sistemas para extraer conocimiento o un mejor entendimiento de datos en sus diferentes formas, ya sea estructurados o no estructurados,​ lo cual es una continuación de algunos campos de análisis de datos como la estadística, la minería de datos, el aprendizaje automático y la analítica predictiva.

Esta definición, aunque formalmente correcta, no nos da mucha información sobre lo que es realmente la Ciencia de los Datos.

Uno de los grandes errores que se encuentra uno tratando de definir la Ciencia de los Datos es relacionarla directamente con el Big Data. Realmente no es necesario tratar mucha información para realizar Data Science, aunque se pueda. La Ciencia de los Datos puede tratar cien, un millón o billones de registros.

Small Data

Ya que tiene la palabra ciencia en su nombre, habrá que considerar la definición de Ciencia y de Método Científico. De acuerdo con esto, Data Science no se trata solo de los métodos prácticos o empíricos, sino que necesita fundamentos científicos.

Método Científico

Para definir la Ciencia de los Datos es interesante diferenciar los conceptos datos e información. Los datos son un conjunto sin procesar o sin organizar de cosas que necesitan procesarse para tener un significado.
La información es cuando los datos han sido procesados, organizados, estructurados o presentados en un contexto dado para hacerlo útil
En base a esto, tendríamos ciencia de datos y ciencia de la información. En este momento, las personas tienen un prejuicio para hablar sobre ciencia de datos, incluida la ciencia de la información.

Datos vs Información

El término se está usando en muchos campos o mercados que hasta ahora usaban otros términos, como Análisis de Datos, Business Intellgence, etc:

  • Estadística / Matemáticas
  • Análisis de negocio
  • Inteligencia de mercado
  • Consultoría estratégica
  • Muchos otros…
  • La parte más loca es que ves profesionales de estas áreas actualizando sus hojas de vida con algo así como “trabajé con Data Science …”
Viejos Científicos de Datos?

La creación de ciencia de datos de una manera simple. Dos lados que no estaban totalmente conectados, pero que, con el nuevo mundo acelerado y tecnológico, tendrán que fusionarse:

  1. Estadísticas / Matemáticas: formule modelos adecuados para generar ideas.
  2. Informática: haga el puente entre los modelos y los datos en un tiempo factible para llegar con el resultado.

Temas / herramientas que una persona necesita comprender o tener algún conocimiento cuando trabaja con Data Science:

  • Álgebra lineal
  • Sistemas no lineales
  • Geometría analítica
  • Mejoramiento
  • Cálculo
  • Estadística
  • Lenguaje de programación (R, Python, SAS)
  • Softwares: Excel, SPSS de IBM
  • Plataformas generales: Watson Anlytics de IBM, Azure Machine Learning,
  • Google Cloud machine learning,
  • Visualización de datos: Power BI, Tableau, R / Python usando plotly / ggplot
  • Aprendizaje automático (aprendizaje supervisado, no supervisado y de refuerzo)
  • Big Data
  • Big Data Frameworks (Hadoop y Spark)
  • Hardware (CPU, GPU, TPU, FPGA, ASIC)
Caja de Herramientas

Una imagen vale más que mil palabras: Diagrama de Venn de Data Science de Drew ConwayLa experiencia sustantiva (o conocimiento del dominio) es el conocimiento específico del área en la que está aplicando Data Science. Para saber más acerca de la falta de experiencia sustantiva en la ciencia de datos ver el siguiente enlace.

Diagrama Venn Data Science

QUÉ NO ES:

Machine Learning no es una rama de la ciencia de datos. El aprendizaje automático se originó a partir de la Inteligencia Artificial. La ciencia de datos solo utiliza el Machine Learning como una herramienta. La razón es que produce resultados asombrosos y autónomos para tareas específicas

Machine Learning

No es la salvación de las empresas que nunca midieron nada y ahora quieren obtener información de sus datos. “Basura adentro, basura afuera” La ciencia de datos será tan buena como los datos generados en los años siguientes.

Basura dentro = Basura fuera

Desde luego, Ciencia de los Datos no es presentar datos usando algunos gráficos de Excel sin ninguna información sobre los datos.

No Excel

 

Desde Héroes del Dato esperamos que este artículo haya arrojado luz a la complicada tarea de definir la Ciencia de los Datos.

 

Ciencia de los Datos
Ciencia de los Datos

Diferencias entre Data Science y Business Intelligence

Hasta hace muy poco la Business Intelligence era considerada como un elemento de lujo que sólo las grandes empresas se podían permitir.

Pero los datos se están convirtiendo en algo habitual y accesible. Su enorme variedad y cantidad permite a las empresas trascender de sus propios datos y adquirir nuevos conocimientos.

Se empieza a utilizar la Ciencia de los Datos como algo esencial, como un administrativo o un gerente.

Esta nueva ciencia permite a las empresas salir de la retrospectiva y el análisis de sus propios datos y empezar a ser predictivo, pro-activo y empírico.

Moverse desde el BI tradicional hacia la Ciencia de los Datos es un gran esfuerzo necesario para convertirse en una empresa dirigida por los datos, el famoso data-driven.

Las 10 grandes diferencias entre ambas tecnologías son:

  1. Perspectiva

    Los sistemas de BI están diseñados para mirar hacia atrás basados ​​en datos reales de eventos reales. La ciencia de los datos mira hacia adelante, interpretando la información para predecir lo que podría suceder en el futuro.

    Perspectiva según Escher

  2. Foco

    BI ofrece informes detallados, KPIs y tendencias, pero no indica cómo serán estos datos en el futuro. La Ciencia de los Datos lo hace en forma de patrones y mediante la experimentación.

    Foco

  3. Proceso

    Los sistemas tradicionales de BI tienden a ser estáticos y comparativos. No ofrecen espacio para la exploración y experimentación en términos de cómo se recogen y administran los datos.

    Proceso

  4. Fuentes de datos

    Debido a su naturaleza estática, las fuentes de datos BI tienden a ser pre-planificadas y agregadas lentamente. La ciencia de datos ofrece un enfoque mucho más flexible, ya que significa que las fuentes de datos se pueden agregar en el camino según sea necesario.

    Fuente

  5. Transformar

    La forma en que los datos ofrece una diferencia para el negocio es clave también. BI le ayuda a responder a las preguntas que sabe, mientras que la ciencia de datos le ayuda a descubrir nuevas preguntas debido a la forma en que anima a las empresas a aplicar conocimientos sobre nuevos datos.

    Transformación

  6. Almacenamiento

    Al igual que cualquier activo comercial, los datos deben ser flexibles. Los sistemas de BI tienden a ser almacenados y apilados, lo que significa que es difícil de implementar soluciones basados en ellos en el negocio. Los datos de la Data Science se puede distribuir en tiempo real.

    Almacenaje

  7. Calidad de los datos

    Cualquier análisis de datos es tan bueno como la calidad de los datos que utiliza. BI proporciona una versión única de la verdad, mientras que la ciencia de datos ofrece precisión, nivel de confianza y probabilidades mucho más amplias con sus hallazgos.

     

    Calidad

  8. Propiedad de IT versus propiedad de negocios

    En el pasado, los sistemas de BI a menudo eran propiedad y operados por el departamento de IT, enviando la información a los analistas que la interpretaban. Con la Ciencia de los Datos, los analistas están al mando. Las nuevas soluciones Big Data están diseñadas para ser producidas por el analista, que pasan muy poco de su tiempo en recoger y almacenar los datos y la mayoría del tiempo analizando datos y haciendo predicciones sobre las cuales basar las decisiones de negocios.

    Propiedad IT

  9. Análisis

    Es mucho menos probable que un sistema retrospectivo y prescriptivo de BI sea colocado para hacer esto que un programa predictivo de ciencias de datos.

    Análisis

  10. Valor de negocio

    El análisis de los datos debe informar las decisiones empresariales en el mejor interés de la empresa, lo que significa demostrar valor en el aquí y ahora y predecir en el futuro. La ciencia de los datos está mucho mejor ubicada para hacer esto que BI.

    Valor de negocio

 

En vista de lo anterior, no debería sorprendernos que las empresas están impulsando sus inversiones en las estrategias de Big Data y plataformas de entrega, impulsado por Data Science.

Sin embargo, la inversión financiera es secundaria al cambio mental que se requiere para tener éxito realmente con los datos grandes. Las comprobaciones y los casos de uso deben ser introducidos para convencer a todos los interesados ​ a cambiar a la verdadera cultura basada en datos que es una base necesaria para una exitosa estrategia de Big Data Analytics.

10 tecnologías de Big Data que debes conocer

Los Científicos de Datos aparecen en todo el mundo y empieza a ser usual hablar de modelado predictivo, minería de datos o aprendizaje automático. Pero ¿qué sería de todas estas tecnologías sin la ingeniería de datos, especialmente cuando hablamos de Big Data?

El análisis de grandes volúmenes de información, que conocemos por su terminología en inglés, Big Data, crece y se expande rápidamente por todo el mundo. Todos hablan de Big Data y de Data Science o Ciencia de los Datos. Pero, ¿cuáles son las tecnologías que permiten todo esto?

A continuación se enumeran algunas tecnologías de Big Data que todos los ingenieros de datos deben saber:

  1. Análisis Predictivo (Predictive analytics): Esta tecnología agrupa una serie de soluciones, hardware y software, de técnicas estadísticas, modelización, aprendizaje automático y minería de datos, que analizan los datos actuales e históricos reales para hacer predicciones acerca del futuro o  acontecimientos no conocidos (Wikipedia).
    predictive analytics
    predictive analytics

    Todo esto se aplica a grandes fuentes de datos y permite descubrir, analizar , evaluar, optimizar e implementar modelos predictivos que generan una mejora en los procesos y una mitigación del riesgo.

  2. Bases de Datos NoSQL: En contraposición con las relacionales tradicionales, el uso de las Bases de Datos NoSQL están disfrutando de un crecimiento exponencial.
    NoSQL
    NoSQL

    Este tipo de bases de datos ofrece un diseño de esquema dinámico, que ofrece el potencial para una mayor personalización, flexibilidad y escalabilidad, que es muy necesario al almacenar grandes datos.

  3. Búsqueda y descubrimiento del conocimiento: Necesitas conocer estas herramientas y tecnologías para la extracción de información. Son herramientas que se pueden utilizar de forma autónoma, sin complicaciones, y sin necesidad de tener conocimientos especiales.
    Knowledge Discovery
    Knowledge Discovery

    La búsqueda y el descubrimiento de conocimientos se centran en obtener nuevos conocimientos de los grandes repositorios de información, tanto de datos estructurados como no estructurados que residen en fuentes, tales como sistemas de archivos, flujos, bases de datos, APIs y otras plataformas y aplicaciones.

  4. Análisis de Flujos (Stream Analytics): Si necesitas agregar, filtrar, enriquecer y analizar un alto rendimiento de datos, necesitas utilizar el Análisis de Flujos.
    Azure Stream Analytics
    Azure Stream Analytics

    Stream Analytics analiza los datos que provienen de fuentes de datos múltiples, dispares y en vivo y en diversos formatos.

  5. Información de datos en memoria (In-memory data fabric):Muy relacionado con el punto anterior, esta tecnología proporciona acceso de baja latencia y le permite procesar grandes cantidades de datos. Distribuye datos a través de la memoria dinámica de acceso aleatorio (DRAM), SSD o Flash de un sistema informático distribuido.
    In-memory Data Computing
    In-memory Data Computing

    Se utiliza para análisis inmediatos, generalmente en-vivo, de la información procedente de un stream de datos.

  6. Almacenes de archivos distribuidos (Distributed file stores):Una red de ordenadores que almacena datos en más de un nodo, a menudo de forma replicada, para proporcionar redundancia y rendimiento.

    Distributed File Systems
    Distributed File Systems
  7. Virtualización de datos (Data virtualization):Si necesita información que se entrega de varias fuentes de datos grandes, como Hadoop y almacenes de datos distribuidos, en tiempo real o casi en tiempo real, la virtualización de datos es tu tecnología.

    Data Virtualization
    Data Virtualization
  8. Integración dedatos (Data integration) : La integración de datos se trata de herramientas que permiten la orquestación de datos a través de soluciones como Apache Hive, Apache Pig, Amazon Elastic Map Reduce (EMR), Hadoop, Couchebase, MongoDB, Apache Spark, etc.

    Data Integration
    Data Integration
  9. Preparación de datos: Para aliviar la carga de modelar, limpiar, abastecer y compartir conjuntos de datos desordenados y diversos que aceleran la utilidad de los datos para el análisis.

    Data Preparation
    Data Preparation
  10. Calidad de los datos (Data Quality): La tecnología que lleva a cabo la limpieza y el enriquecimiento de datos en grandes conjuntos de datos y en alta velocidad. Utiliza operaciones en paralelo y bases de datos distribuidas.

    Data Quality
    Data Quality

Grandes tecnologías de datos: cosas a tener en cuenta

Todas estas herramientas contribuyen a obtener una información en tiempo real, predictiva e integrada; exactamente lo que los grandes clientes de datos quieren ahora.

Para obtener la ventaja competitiva que ofrece el Big Data, es necesario introducir el análisis en todas partes, explotar el valor en todos los tipos de datos y desarrollar un punto diferenciador con el factor velocidad.

Todo esto requiere una infraestructura que pueda administrar y procesar volúmenes masivos de datos estructurados y no estructurados .

Las grandes tecnologías de datos deben soportar servicios de búsqueda, gestión, desarrollo y análisis de datos que van desde datos de transacciones y aplicaciones hasta datos de máquinas y sensores, datos geo-localizados, sociales y de imagen.

El artículo original.