¿Qué es el AED y para qué sirve?

Caso del curso: el marketplace MercadoLocal

• Usamos datos simulados para poder comprobar si la limpieza recupera la verdad. Al final del tema, datos reales del INE

Un protocolo de reconocimiento

• Antes de tocar nada, cuatro preguntas siempre iguales:

  1. Tamaño y unidad de observación: ¿cuántas filas y qué es una fila? ¿coincide con lo que esperábamos?

  2. Tipos: ¿cada variable tiene el tipo que corresponde a lo que mide?

  3. Rango y categorías: ¿los valores son posibles? ¿las categorías son las del diccionario?

  4. Ausencias: ¿dónde falta información y por qué?

dim(pedidos_bruto)             # ¿1200 pedidos? ¿o más?
n_distinct(pedidos_bruto$id_pedido)   # ¿la clave identifica las filas?

pedidos_bruto |> count(canal)  # categorías realmente presentes
summary(pedidos_bruto)         # rangos y NAs de las numéricas

• El diccionario de variables (qué mide, en qué unidades, qué valores admite) es parte de los datos: si no viene, hay que pedirlo o reconstruirlo

Problema 5: duplicados

• Hay dos tipos y no significan lo mismo

  1. Filas idénticas: casi siempre un fallo de exportación o de carga

  2. Clave repetida con contenido distinto: dos versiones del mismo hecho

sum(duplicated(pedidos))                       # filas completas repetidas

pedidos |> count(id_pedido) |> filter(n > 1)   # clave repetida

• Antes de borrar, hay que mirar las filas en conflicto: en nuestro caso, el mismo pedido aparece con y sin IVA

repetidos <- pedidos |> count(id_pedido) |> filter(n > 1) |> pull(id_pedido)

pedidos |> filter(id_pedido %in% repetidos) |>
  arrange(id_pedido) |> select(id_pedido, fecha, importe)

• Los 23 registros repetidos son menos del 2% de las filas: parece poco en la tabla, pero infla los ingresos declarados sin que nada falle, y decide un objetivo de ventas o una comisión

PRÁCTICA en clase (1): auditoría de calidad

Trabajad con pedidos_bruto y vendedores. En 25 minutos, y sin corregir nada todavía, elaborad un informe de una página con:

1. Número de filas y comprobación de si id_pedido identifica de forma única cada pedido

2. Lista de variables cuyo tipo NO corresponde a lo que miden, con el problema concreto de cada una

3. Recuento de las categorías realmente presentes en canal y en provincia, señalando cuáles son la misma cosa

4. Número de ausentes por variable, distinguiendo los NA de los códigos centinela

5. Para CADA problema detectado, una frase: qué cifra del informe final quedaría mal si no lo corregimos

Ausentes: la pregunta no es cuántos, sino por qué

• Tres mecanismos, con consecuencias muy distintas para el análisis

  1. Ausencia completamente aleatoria: falta por azar (un fallo del servidor un martes). Trabajar con los casos completos reduce la muestra pero no sesga

  2. Ausencia aleatoria condicionada: falta según variables que SÍ observamos (los pedidos por app registran menos el descuento). Corregible si condicionamos en esas variables

  3. Ausencia no aleatoria: falta según el propio valor que no vemos. Aquí no hay arreglo estadístico limpio

• El tercer caso es el habitual en economía:

  • En una encuesta de presupuestos familiares, quien tiene rentas muy altas responde menos: la renta media observada subestima la real

  • En nuestra encuesta post-compra, el cliente enfadado no contesta: la valoración media mide la satisfacción de los que contestan

• Ventaja de trabajar con datos simulados: sabemos la verdad. La valoración media real es 7,5 y la observada entre quienes responden se acerca a 7,9. Ninguna limpieza corrige esa diferencia

Ausentes: ¿y qué hacemos?

pedidos <- pedidos |> mutate(descuento = replace_na(descuento, 0))

pedidos <- pedidos |> mutate(sin_valoracion = is.na(valoracion))

pedidos |> group_by(sin_valoracion) |>
  summarize(n = n(), importe_medio = mean(importe), tasa_devol = mean(devuelto))

Atípicos: decidir

pedidos |> filter(importe > lim$sup) |>
  select(id_pedido, canal, unidades, importe) |> arrange(desc(importe))

PRÁCTICA en clase (2): limpiar y justificar

Sobre la auditoría de la práctica anterior, en 30 minutos:

1. Escribid un único bloque de limpieza que corrija tipos, categorías y ausentes centinela, y elimine los duplicados exactos

2. Comprobad el resultado: filas antes y después, tipos, recuento de canal y rango de fecha

3. Calculad los ingresos totales y el ticket medio antes y después de eliminar los duplicados exactos. ¿En cuántos euros y en qué porcentaje cambia la cifra que iría al informe?

4. Decidid qué hacer con los 8 pedidos de clave repetida y justificad la decisión en dos frases

5. Elegid un pedido atípico y argumentad si es error, cliente mayorista u otra población, usando unidades como apoyo

Qué es un buen indicador (KPI)

• Un KPI es un número que resume el estado del negocio y sobre el que alguien decide

• Para que sirva necesita cuatro cosas, y las cuatro se olvidan a menudo:

  1. Definición escrita: ¿“cliente activo” es quien compró alguna vez, en el último año o en el último mes?

  2. Denominador explícito: por pedido, por cliente, por empleado, por euro invertido

  3. Frecuencia y periodo de comparación: mensual frente al mes anterior no es lo mismo que frente al mismo mes del año pasado

  4. Responsable: quién puede actuar sobre él

kpis <- pedidos |>
  summarize(pedidos          = n(),
            ingresos         = sum(importe),
            ticket_mediano   = median(importe),
            clientes_activos = n_distinct(id_cliente),
            tasa_devolucion  = mean(devuelto))

• Un KPI mal definido no es un KPI impreciso: es un incentivo mal puesto. Si se premia el número de pedidos, aparecerán pedidos partidos en dos

Trampa 3 (cont.): por qué pasa y qué hacer

• La causa es la composición: la app vende sobre todo electrónica (poco devuelta) y la web sobre todo textil (muy devuelta). El total mezcla el efecto del canal con el efecto del producto

• Qué hacer:

  1. Comparar dentro de grupos homogéneos, no en el agregado

  2. Si hace falta un número único, ponderar todos los canales con la misma composición de producto

  3. Preguntarse siempre qué variable puede estar detrás del reparto

• Esto no es una curiosidad estadística: es el problema central del análisis con datos observacionales

  • El salario medio subió durante la crisis de 2008-2013 en varios países mientras casi nadie tenía subidas: los empleos destruidos fueron los de menor salario, y eso elevó la media de los que quedaron

  • Una comparación de rentabilidad entre sectores sin controlar el tamaño de las empresas mide tamaño, no sector

• El Tema 05 formaliza esto: comparar “todo lo demás igual” es lo que hace una regresión

Trampa 5: estacionalidad

• Muchas series económicas tienen un patrón que se repite cada año: comercio en diciembre, hostelería en verano, empleo agrario por campañas

ggplot(serie_ventas, aes(x = mes, y = ventas)) + geom_line()

• Comparar diciembre con noviembre mide la Navidad, no el negocio

serie_ventas |>
  mutate(var_mensual   = ventas / lag(ventas, 1)  - 1,
         var_interanual = ventas / lag(ventas, 12) - 1) |>
  filter(!is.na(var_interanual))

• Tres formas correctas de mirar una serie estacional:

  1. Variación interanual: mismo mes del año anterior (lo más simple y lo más habitual)

  2. Media móvil de 12 meses: elimina el patrón y deja la tendencia

  3. Serie desestacionalizada: la publican las fuentes oficiales (INE, Eurostat) ya calculada

• Y no comparéis nunca una tasa mensual con una interanual en el mismo cuadro sin decirlo

PRÁCTICA en clase (3): un cuadro de mando honesto

Dirección pide cinco indicadores para la reunión mensual. En 30 minutos, sobre pedidos_limpio y serie_ventas:

1. Elegid los cinco KPI y escribid la definición exacta de cada uno (numerador, denominador, periodo)

2. Calculadlos con summarize() y presentadlos en una tabla

3. Para el gasto por cliente, decidid si dais media o mediana y justificadlo con la forma de la distribución

4. Añadid la variación interanual de ventas del último mes, no la mensual, y explicad en una frase por qué

5. Escribid al pie del cuadro una advertencia sobre la trampa que más amenaza a vuestros indicadores (composición, base pequeña, estacionalidad o selección en las valoraciones)

La pregunta económica

• Hasta aquí, datos simulados. Ahora una pregunta que solo se puede responder con datos oficiales:

  ¿Ha subido la cesta de la compra más que el resto de los precios?

• Es la pregunta que hay detrás de la percepción de encarecimiento: el índice general puede crecer moderadamente mientras alimentación crece mucho más

• El Instituto Nacional de Estadística publica el IPC mensual, con el índice general y el de cada grupo de gasto

• Qué necesitamos para responder:

  1. La serie del índice general y la de alimentos y bebidas no alcohólicas

  2. Sus variaciones anuales, no los niveles: un índice base 100 no es un precio

  3. Un periodo suficientemente largo para no confundir un mes raro con una tendencia

• Y una advertencia de la Parte I que aquí es literal: el IPC es una media ponderada de precios con una cesta fija. Es un promedio, con todas las trampas de los promedios

Qué comprobar antes de creerse el resultado

• Un dato oficial también exige AED. Antes de publicar el gráfico:

  1. Cuántas series han llegado y si son las que pedimos: el filtro por nombre es texto, y el texto cambia entre publicaciones

  2. Ausencias y huecos: ¿faltan meses? ¿hay valores provisionales?

  3. Base del índice: los índices se rebasan cada cierto tiempo; comparar niveles de bases distintas no tiene sentido, comparar variaciones sí

  4. Ponderaciones: la cesta del IPC se actualiza cada año, así que el índice de 2019 y el de 2025 no pesan lo mismo los mismos bienes

• Y la lectura económica, que es lo que se pide en el informe:

  • Si alimentación crece por encima del general, el encarecimiento golpea más a los hogares de renta baja, porque dedican una proporción mayor de su gasto a alimentación

  • Ese es un resultado distributivo que un índice medio, por sí solo, esconde

Las tablas publicadas salen de aquí

• El INE publica cientos de tablas, pero son un menú cerrado: alguien decidió qué cruces salen. Paro por sexo y comunidad, sí. Paro según la situación laboral de la pareja, no

• Todas esas tablas se calculan a partir de la misma cosa: un fichero con una fila por persona entrevistada, los microdatos

• Con ese fichero podéis hacer tres cosas, y solo la primera la da la tabla:

  1. Reproducir cualquier tabla publicada

  2. Construir el agregado que nadie publicó, porque a nadie se le ocurrió cruzar esas dos variables

  3. Estimar modelos a nivel individual: una regresión, una clasificación. Eso una tabla agregada no lo permite nunca, y es la mitad que queda del curso

• El precio: los conceptos (activo, ocupado, parado) NO vienen calculados. Los construís vosotros, y ahí es donde se rompe todo

Qué mirar antes de creerse un microdato

Buenas prácticas del AED