El problema de la afirmación
Casi todo resultado de IA que me han pasado a revisar compara los mismos lugares antes y después. Esa comparación no puede separar el proyecto de la temporada, del cambio de precio, del competidor nuevo, del clima, ni del hecho de que el equipo le puso una atención inusual a esos locales durante tres meses.
El arreglo no es sofisticación estadística. Es tener contra qué comparar: un conjunto de lugares parecidos que a propósito no recibieron el cambio, observados en el mismo periodo, con el mismo reporteo.
El costo de un grupo de control es real. Estás dejando a sabiendas una parte de la operación sin una mejora en la que creés. Ese es el precio de poder contestar la pregunta que una junta va a hacer tarde o temprano, y es más barato que no poder contestarla.
Elegir la comparación
El grupo de comparación tiene que parecerse en lo que mueve el resultado, no en lo que es fácil de emparejar. En retail eso significa forma de la demanda, tamaño, formato y zona de influencia, no el país donde la tienda quedó ubicada.
La prueba que uso es simple y va antes de que arranque la intervención: graficá los dos grupos el año anterior. Si las dos líneas no se mueven ya juntas, no son comparables, y ningún ajuste posterior lo va a arreglar. Volvé a elegir.
Dos reglas que ahorran discusiones después. Los grupos se fijan por escrito antes de que el cambio salga a producción, con la lista de locales registrada y fechada. Y la operación nunca elige qué sitios reciben el tratamiento, porque va a elegir los que espera que salgan bien.
Leer la brecha
Cuando los dos grupos ya se mueven juntos históricamente, el método es diferencia en diferencias, y es mucho menos intimidante que su nombre. Tomás el cambio del grupo tratado, de antes a después. Tomás el cambio del grupo sin tocar en la misma ventana. Restás el segundo del primero. Lo que queda es la parte atribuible a la intervención.
Todo lo que pegó igual en los dos grupos, la temporada, la economía, la decisión de precio tomada en central, se cancela. Esa cancelación es el punto entero, y es la razón por la que la línea sin tocar vale más que la tratada.
El gráfico de la portada es esto y nada más: dos líneas desde un origen común, una línea punteada el día en que arrancó el cambio, y la distancia vertical entre ellas después. Si un resultado no se puede dibujar así, no lo presento como resultado.
Las cuatro formas en que se rompe
Contagio entre grupos
Los sitios tratados le quitan venta a los que no lo están. Ahora la brecha exagera la ganancia, porque el grupo de control empeoró en vez de que el tratamiento mejorara. Pasa seguido cuando los locales están cerca, y es la razón por la que la geografía entra en el diseño de los grupos.
Selección
Alguien eligió el grupo tratado por un motivo correlacionado con el resultado. La peor versión es la bienintencionada: el equipo escoge las tiendas con más potencial, lo que garantiza que el grupo tratado iba a mejorar de todas formas.
Deriva en lo que se está midiendo
La definición de la métrica cambia a mitad del experimento. Se reclasifica una categoría, se remodela una tienda, las devoluciones empiezan a contarse distinto. Por eso la medida se congela y se documenta al inicio, y por eso cuadro contra el warehouse y no contra un archivo de trabajo.
Reportar el número que te gustó
Si calculás la brecha en doce métricas y presentás la que salió mejor, no midiste nada. La métrica principal se declara antes de mirar. Las demás son diagnóstico, y hay que etiquetarlas como diagnóstico al presentarlas.
Qué pregunta de verdad una junta
En mi experiencia son tres preguntas, en este orden. Cómo sabés que fue el proyecto. Qué hizo el grupo de comparación. Este número cuadra con el del reporte mensual.
La tercera es la que agarra a la gente desprevenida. Un resultado que no cuadra con las cifras que la empresa ya reporta va a ser tratado como un número de defensa propia, por bueno que sea el método. Así que el cuadre se hace antes de que el resultado salga del equipo, no después de que alguien lo cuestione.
Llegar al punto de tener algo que valga la pena medir es la nota 01. Los cimientos que hacen posible todo esto son la nota 03.