Los datos incorrectos cuestan a los EE. UU. 3 billones de dólares al año

Considere esta cifra: 136 000 millones de dólares al año. Esa es la La estimación de la firma de investigación IDC del tamaño del mercado de macrodatos, mundial, en 2016. Esta cifra no debería sorprender a nadie interesado en el big data.

Pero he aquí otro número: 3,1 dólares billón, La estimación de IBM del coste anual de los datos de mala calidad, solo en EE. UU., en 2016. Si bien la mayoría de las personas que comercian con datos todos los días saben que los datos incorrectos son costosos, esta cifra sorprende.

Si bien las cifras no son realmente comparables y hay una variación considerable en torno a cada una de ellas, solo se puede concluir que, ahora mismo, mejorar la calidad de los datos representa una oportunidad de datos mucho mayor. Los líderes hacen bien en desarrollar una valoración más profunda de las oportunidades que se presentan para mejorar la calidad de los datos y aprovechar al máximo que lo hacen hoy en día.

La razón por la que los datos incorrectos cuestan tanto es que los responsables de la toma de decisiones, los gerentes, los trabajadores del conocimiento, los científicos de datos y otros deben incluirlos en su trabajo diario. Y hacerlo lleva mucho tiempo y es caro. Los datos que necesitan contienen muchos errores y, ante un plazo crítico, muchas personas simplemente hacen las correcciones por sí mismas para completar la tarea en cuestión. No piensan en ponerse en contacto con el creador de datos, explicarle sus requisitos y ayudar a eliminar las causas principales.

Rápidamente, este negocio de comprobar los datos y hacer correcciones se convierte en un hecho más de la vida laboral. Eche un vistazo a la figura de abajo. El Departamento B, además de hacer su propio trabajo, debe añadir medidas para adaptarse a los errores creados por el Departamento A. Corrige la mayoría de los errores, aunque algunos se filtran a los clientes. Por lo tanto, el Departamento B también debe hacer frente a las consecuencias de los errores que se filtran, que pueden incluir temas como el enfado de los clientes (¡y de los jefes!) , paquetes enviados a una dirección equivocada y solicitudes de facturas más bajas.

Yo llamo a los pasos añadidos» fábrica de datos oculta.» Las empresas, las agencias gubernamentales y otras organizaciones están plagadas de fábricas de datos ocultas. Los vendedores pierden el tiempo gestionando datos erróneos de clientes potenciales; los repartidores de servicios pierden tiempo corrigiendo los pedidos de clientes defectuosos recibidos de las ventas. Los científicos de datos dedican una cantidad desmesurada de tiempo a limpiar los datos; el departamento de TI dedica un enorme esfuerzo a alinear sistemas que «no hablen». Los altos ejecutivos cubren sus planes porque no confían en las cifras de las finanzas.

Estas fábricas de datos ocultas son caras. Forman la base de la cifra de 3,1 billones de dólares anuales de IBM. Pero, naturalmente, los directivos deberían estar más interesados en los costes para sus propias organizaciones que en la economía en su conjunto. Así que considere:

• El 50% — el cantidad de tiempo que pierden los trabajadores del conocimiento en fábricas de datos ocultas, buscando datos, encontrando y corrigiendo errores y buscando fuentes confirmatorias de datos en los que no confían.
• El 60%: la fracción de tiempo estimada que los científicos de datos dedican a limpiar y organizar los datos, según CrowdFlower.
• 75%: una estimación de la fracción del coste total asociada a las fábricas de datos ocultas en operaciones simples, basada en dos sencillas herramientas, la llamada medición del viernes por la tarde y la «regla de los diez».

Reducir los costes de los datos incorrectos no tiene ningún misterio. Tiene que arrojar una luz dura sobre las fábricas de datos ocultas y reducirlas en la medida de lo posible. La mencionada medición del viernes por la tarde y la regla del diez ayudan a hacer brillar esa luz tan intensa. También lo es darse cuenta de que las fábricas de datos ocultas representan un trabajo sin valor añadido.

Para verlo, consulte una vez más el proceso anterior. Si el Departamento A hace bien su trabajo, el Departamento B no tendría que encargarse de las medidas adicionales de encontrar, corregir y tratar las consecuencias de los errores, lo que evitaría la necesidad de una fábrica oculta. Ningún cliente externo razonablemente bien informado pagaría más por estas medidas. Por lo tanto_,_ la fábrica de datos oculta no crea ningún valor. Al tomar medidas para eliminar estas ineficiencias, puede dedicar más tiempo al trabajo más valioso que realizan lo hará pagar.

Tenga en cuenta que muy pronto, probablemente tenga que seguir haciendo este trabajo. Es simplemente irresponsable utilizar datos incorrectos o pasarlos a un cliente. Al mismo tiempo, todos los buenos directivos lo saben, deben minimizar ese trabajo.

Está bastante claro que la manera de reducir el tamaño de las fábricas de datos ocultas es dejar de cometer tantos errores. En el proceso de dos pasos anterior, esto significa que el Departamento B debe ponerse en contacto con el Departamento A, explicar sus requisitos, citar algunos ejemplos de errores y compartir las mediciones. El Departamento A, por su parte, debe reconocer que es la fuente de costes adicionales para el Departamento B y trabajar con diligencia para encontrar y eliminar las causas principales del error. Los que siguen este régimen casi siempre reducen los costes asociados a las fábricas de datos ocultos en dos tercios y, a menudo, en un 90% o más.

No quiero que esto suene más simple de lo que realmente es. Requiere una nueva forma de pensar. Clasificar sus requisitos como cliente puede requerir cierto esfuerzo, no siempre está claro de dónde provienen los datos y, de vez en cuando, hay una causa principal que es difícil de resolver. Aun así, la gran mayoría de los problemas de calidad de los datos se producen.

Es importante destacar que los beneficios de mejorar la calidad de los datos van mucho más allá de la reducción de los costes. Es difícil imaginar algún tipo de futuro en los datos cuando tanto es tan malo. Por lo tanto, mejorar la calidad de los datos es un regalo que sigue dando: le permite reducir los costes de forma permanente y seguir más fácilmente otras estrategias de datos. Para todos, excepto para unos pocos, no hay mejores oportunidades en los datos.