Test A/B
Mostrar dos versiones a dos grupos al azar y medir cuál funciona mejor.
Un test A/B (A/B testing) es un experimento simple: tomás dos versiones de algo, A (la actual) y B (el cambio), y mostrás cada una a un grupo distinto de personas elegidas al azar. Después comparás un número que importa, como cuántas personas se registran, hacen clic o compran. Si B anda claramente mejor, te quedás con B.
La clave es el reparto al azar. Como es la suerte la que decide quién ve cada versión, los dos grupos se parecen en todo lo demás: la misma mezcla de clientes nuevos y viejos, de celulares y computadoras, de días de semana y fines de semana. Entonces, si los resultados son distintos, lo más probable es que la diferencia venga del cambio. Por eso un test A/B es más sólido que comparar "antes y después", donde un feriado o una noticia podrían explicar la diferencia.
Los sitios y las apps corren miles de estos tests: colores de botones, precios, asuntos de mails, el orden de los resultados de búsqueda. Los errores típicos son cortar el test apenas parece que va bien, probarlo con muy poca gente o mirar veinte números hasta que alguno parezca una victoria. Una diferencia chica solo cuenta si es mayor que la que podría producir el azar solo, y eso es lo que mide la significancia estadística.
Para quedarse
- Dos versiones, dos grupos al azar, un número para comparar.
- El reparto al azar es lo que permite decir que el cambio causó la diferencia.
- Para ser confiable necesita suficiente gente y una fecha de fin fijada de antemano.
- Se usa en todos lados en internet: diseños, precios, mails, recomendaciones.
