Tipos de test A/B: simple vs multivariante vs multipágina

Desde hace un tiempo estamos emocionados en la oficina con el split testing, una vez que lo incorporas con éxito en el flujo de trabajo te preguntas cómo podías haber vivido antes sin él. Cualquier intento de hacer algo de análisis cualitativo o de comportamiento de tus usuarios necesita finalizar con un buen test A/B que valide tus hipótesis. En ocasiones nos hemos encontrado incluso con soluciones a problemas que no habíamos detectado en fases de análisis gracias a los experimentos.

Si buscas en internet encontrarás todo tipo de nomenclaturas para ello: test A/B  –  A/A/B  –   A/B/C/N  –  A/B/N   –  multipágina –  multivariante. Veremos a continuación cada uno de ellos, qué quiere decir y para qué sirven.

 

Test A/B street fighter

Para todos los ejemplos de este post: todos los test (o experimento de contenido como acuña Google Analytics) tienen 1 y sólo 1 objetivo que es el que utilizaremos para medir qué versión funciona mejor, lo habitual es medir un clic en un botón, que la visita compre, que se suscriban a nuestra newsletter, etc.

Test A/B

Es el ejemplo más sencillo de todos, tenemos 1 página/landing donde queremos probar un cambio de diseño, imagina que tenemos un banner donde estamos anunciando nuestra última promoción, utilizaremos este mismo banner para probar diferentes mensajes como por ejemplo reforzar la seguridad de nuestra plataforma de pago ya que pensamos que quizá no mostramos suficiente confianza en la web. Tendremos por lo tanto la versión A que es nuestra página original, y la versión B donde cambiaremos el mensaje del banner “pago seguro con nuestra plataforma”. Quedando las URLS así:

Nuestra página original antes del experimento:

www.paginaweb.com/landing-para-optimizar

Nuestra página tras implementar el test A/B:

A : Original

www.paginaweb.com/landing-para-optimizar

B : Variación con banner “pago seguro con nuestra plataforma”

www.paginaweb.com/landing-para-optimizar?variacion=1 (versión de página con banner)

Ahora tendremos dos versiones de la misma url, la original y la página donde hemos introducido los cambios de diseño que queremos comprobar.

Depende de la herramienta analítica que utilicemos para ejecutar el experimento el comportamiento puede variar un poco, pero lo habitual es lo siguiente:

1- El usuario llega a la página original (A)
2- La herramienta de análisis decide qué versión toca enseñar al usuario
3- Si es la original se queda en la original, si toca enseñar otra variación entonces redirije a la url de la variación
4- La página se carga en la url destino nueva (provocando dos cargas de página, la original y esta última).
5- A partir de aquí nuestra herramienta analítica marcará esta visita como víctima del test A o bien del B y sabrá si el usuario hace la acción definida como objetivo (compra, clic en botón, suscripción a la newsletter, etc.).
6- Durante el tiempo que dure el experimento la herramienta analítica se encargará de repartir a los usuarios en una versión u otra repartiendo el tráfico entre las posibles versiones además de medir la conversión de cada versión por separado, pasado un tiempo sabremos cuál fue mejor y podremos sacar conclusiones.

Fuente copernica

Fuente: copernica (test A/B para email marketing)

A continuación una captura de un experimento de contenido A/B funcionando en Google Analytics. Durante la configuración del experimento de contenido en Google Analytics tendremos que decidir cómo repartir el tráfico entre las versiones, podemos elegir que porcentaje del tráfico queremos utilizar para hacer el experimento así como la manera de repartir el tráfico entre las versiones. La configuración habitual (salvo que tengas mucho tráfico y quieras ir probando poco a poco) será aplicar el experimento al 100% del tráfico. Google Analytics por defecto irá mostrando más veces aquellas versiones que funcionan mejor para llegar antes a una conclusión.

Ejemplo de test A/B finalizado en Google Analytics

Ejemplo de test A/B finalizado en Google Analytics

Como podemos ver en la captura, la versión B “Home with…” tiene muchas más sesiones que la original, esto es porque A lo largo del tiempo Google Analytics observó que convertía más y comenzó a mostrar más veces esta versión frente a la original. Para el ejemplo de la imagen vemos como el experimento aumentó la conversión de la página de inicio en un 56%

Lo habitual es que la herramienta nos reporte la conversión que tiene cada una de las versiones, recordemos que todas las versiones tienen el mismo objetivo y el porcentaje de conversión es el número de conversiones cada 100 visitas. Lo habitual es que se nos presente los resultados de una manera similar a:

Conversion A (original): 5% (5 de cada 100 visitas convierten)
Conversión B (versión con banner): 10% (10 de cada 100 visitas convierten)

En este ejemplo la versión del banner convierte el doble que en la original. Gana la B.

Test A/B/C

Es como el anterior pero en este caso queremos probar dos cambios en vez de uno, agregaremos al ejemplo anterior una segunda posibilidad, pongamos que tenemos claro que algo falla con nuestro carrito y tenemos un par de hipótesis que necesitamos comprobar, una es la falta de confianza en la pasarela de pago y la otra es que quizá no comunicamos lo bueno que es nuestro sistema de envío rápido en 48 horas y esto frena las ventas. Nos queda por lo tanto:

A : Original

www.paginaweb.com/landing-para-optimizar

B : Banner con mensaje “pago seguro con nuestra plataforma”

www.paginaweb.com/landing-para-optimizar?variacion=1

C : Banner con mensaje “envío rápido en 48 horas”

www.paginaweb.com/landing-para-optimizar?variacion=2

Ya sabemos lo que es un test A/B/C/…/N con tantas posibilidades como queramos, cuantas más tengamos más tráfico necesitaremos para validar el test y estar seguros de qué versión funciona mejor.

Test A/A/B

Es posible que hayas visto alguna vez esta nomenclatura donde se repite la versión original, ¿para qué es esto? bien, se trata de una manera de validar nuestro método o herramienta de análisis, engañaremos a nuestra herramienta poniendo como si fuera una versión diferente de la página a la original, en realidad para nuestra herramienta analítica será un test A/B/C donde sólo nosotros sabemos que el A y B son iguales repitiendo la versión A sin decírselo a la herramienta. Nos queda por tanto:

A: Original

www.paginaweb.com/landing-para-optimizar

B: ORIGINAL (nuestra herramienta no lo sabe pero cargaremos lo mismo que en la A)

www.paginaweb.com/landing-para-optimizar?variacion=1

C: Banner con mensaje “pago seguro con nuestra plataforma”

www.paginaweb.com/landing-para-optimizar?variacion=2

Lanzamos el experimento y dejamos que la herramienta nos reporte qué versión funciona mejor, la teoría dice que si la herramienta funciona como un reloj suizo, no deberíamos de ver ninguna mejora en la versión B ya que en realidad es igual que la original. Esto es algo así:

Conversion A (original): 5%
Conversión B (original de control): 5%
Conversión C (versión cambio en banner): 10% (mejora del 100% sobre A)

La versión A y B convierten lo mismo, nos creemos lo que dice de la versión C. ¿Pero y si tenemos lo siguiente?

Conversion A (original): 5%
Conversión B (original de control): 7%
Conversión C (versión cambio en banner): 10% (¿mejora del 100% sobre A?)

¿Nos creemos que la conversión de la versión C es de un 10% y que mejora en un 100% a la original? la respuesta es clara y rotundamente no. Nuestra herramienta para una misma página tiene un error en la medición de un 40%, así que deberíamos de tomar este error y suponer que será similar midiendo el resto de versiones, no voy a extenderme en cómo medir los errores porque es algo que siempre odié cuando estudiaba, así que con perdón de alguien con más rigor que yo, diremos que podemos creernos lo que dice la herramienta +- el error observado. Vamos que C convierte más que A entre un 60% y un 140%, si queremos ser poco rigurosos pero precavidos daremos la cifra más baja (60%) y así no nos pillamos los dedos.

Test Multi-variante

Hasta ahora hemos hecho todas las versiones de nuestra página sobre un sólo elemento de la misma: un banner donde cambiábamos el mensaje a mostrar. Se supone que para ser rigurosos y aislar lo más posible nuestro escenario deberíamos hacer test iterativos sobre un sólo elemento. Un test multi-variante no es más que introducir en la ecuación más elementos sobre los que hacer pruebas, imaginemos que además del banner también cambiaremos el botón de comprar, si tuviéramos que hacer un test para cada elemento tendríamos:

Test A/B para banner
A: Banner original
B: Banner con frase convertidora guay

Test A/B para botón
A: Botón original
B: Botón más grande y naranja (un clásico)

Llamamos variantes a la cantidad de elementos que queremos testear, en nuestro ejemplo tenemos 2 variantes: el botón y el banner.

¿Cómo quedaría nuestro test multi-variante? pues tendríamos un test con 4 versiones/variaciones (no confundir con variantes): 3 variaciones y la original

Test A/B con dos variantes

A: Banner original + botón original (TODO ORIGINAL)

www.paginaweb.com/landing-para-optimizar

B: Banner original + botón más grande y naranja

www.paginaweb.com/landing-para-optimizar?variacion=1

C: Banner con frase + botón original

www.paginaweb.com/landing-para-optimizar?variacion=2

D: Banner con frase + botón más grande y naranja

www.paginaweb.com/landing-para-optimizar?variacion=3

Como puedes comprobar un test multivariante es en realidad un test A/B/…/N (en este caso A/B/C/D) donde tenemos más de un elemento que testear. Es importante mencionar que este tipo de tests pueden ser muy útiles para ver cómo se interrelacionan los elementos de nuestra web y su incidencia en la conversión, este tipo de tests ayudan a sacar conclusiones sobre los elementos más significativos para la conversión.

Test multipágina

Ya tenemos claros los conceptos de test A/B y multivariante, pero ¿qué es un test multipágina?. Hasta ahora sólo hemos actuado en una página o url, pero en muchas ocasiones esto se queda corto, bien porque no tenemos suficiente tráfico o bien porque queremos probarlo en un conjunto de páginas. Lo habitual en ecommerce es tener 3 tipos de página (a grandes rasgos): la home, las páginas de categoría y las páginas de producto, imaginemos que queremos introducir un test A/B en las páginas de producto pero nuestro tráfico está muy repartido y no sabemos qué producto escoger para lanzar el test. Para esto tenemos los test multipágina, que es la manera de lanzar test A/B en un conjunto de urls. Nos quedará algo así:

Nuestro ecommerce tiene la siguiente estructura en las páginas de producto:

www.mitienda.com/categoria-nino/productos/patito-de-goma
www.mitienda.com/top-ventas/productos/ametralladora-ak47
www.mitienda.com/categoria-hombre/productos/calcetines-rojos

Test A/B multipágina

A: Página de producto original (la url sin modificaciones)

www.mitienda.com/categoria-nino/productos/patito-de-goma/
www.mitienda.com/top-ventas/productos/ametralladora-ak47/
www.mitienda.com/categoria-hombre/productos/calcetines-rojos/

 

B: Página de producto con banner “pago seguro con nuestra plataforma” (la url con el parametro “?variacion=1″)

www.mitienda.com/categoria-nino/productos/patito-de-goma?variacion=1
www.mitienda.com/top-ventas/productos/ametralladora-ak47?variacion=1
www.mitienda.com/categoria-hombre/productos/calcetines-rojos?variacion=1

Como puedes ver en cada una de las versiones de nuestro test ya no tenemos sólo una página si no un conjunto de páginas, concretamente en este ejemplo todas las páginas de producto (o tres que son las que hemos visto). La implementación de este tipo de test depende mucho de la herramienta que estemos utilizando y puede ser algo complejo, por ejemplo en el caso de Optimizely puedes pagar la versión pro para definir en vez una página de destino, un conjunto de páginas bien introduciendo una lista de las URLs donde quieres lanzar el experimento bien mediante el uso de expresiones regulares del tipo:

A: Página de producto original (la url sin modificaciones)

(.*)/producto/(.*)/$

B: Página de producto con banner “pago seguro con nuestra plataforma”

(.*)/producto/(.*)\?variacion=1

La expresión regular en realidad funcionaría perfectamente en Google Analytics que es donde me suelo mover, sirva de ejemplo para el conjunto de páginas que hemos visto, nunca he probado un test multi-página en Optimizely así que no conozco la sintaxis de las expresiones regulares en esta herramienta. Ojo, en Google Analytics los test multi-página NO funcionan con expresiones regulares si no definiendo el parámetro “?variacion=X” en cada una de las versiones que queramos testear.

Si no dispones de un programador para hacer cambios en la web (o tu proveedor es un paquete y prefieres hacerlo tú), recomiendo que utilices una herramienta tipo optimize.ly, tiene un interfaz bastante gráfico y puedes hacer cambios con relativa facilidad. Si necesitas algo más sofisticado te tocará tirar de programador si o si.

Google Analytics nos permite hacer test A/B y también permite la opción de test multipágina (y además gratis) permitiendo definir las páginas destino como urls o sólo indicando el parámetro que lleva la variación, no obstante tendremos que trucar ligeramente la forma de implementar el test ejecutando el código de los experimentos en todas las páginas de producto, desde hace un tiempo Google abandonó su herramienta GWO (Google Website Optimizer) para incorporar dentro de Google Analytics la llamada “Content Experiments”, regularmente introducen nuevas mejoras y estoy seguro que dentro de algún tiempo tendremos la misma potencia que otras herramientas sin necesidad de pervertir la implementación, si quieres saber como hacer un test A/B multi página con Google Analytics te recomiendo que leas este post donde lo explico, se necesitan conocimientos de programación y algo de mano tal y como explican en la documentación de soporte del propio Google Analytics.

Ten en cuenta que con Google Analytics no te queda otra que hacer los cambios via programación. He oído varias veces que Google Analytics no es la mejor herramienta por cómo mide los resultados de los tests, hace no mucho hicieron algunas mejoras pero no dispongo de más información sobre si realmente es mejor o no que las demás, la verdad es que siempre utilizo analytics para casi todo y dado que es mi herramienta maestra para la analítica creo que es una ventaja tener todo en la misma herramienta y no tener que estar saltando de una a otra para hacer los tests. En ocasiones los objetivos pueden requerir cierta complejidad y sólo pensar en configurarlos en una segunda herramienta me da un poco de pereza.

¿Me he dejado algún tipo de test? ¿se me ha ido la olla hablando sobre el error a medir? ¿has hecho algún test A/B recientemente? ¿recomiendas alguna herramienta que no haya citado?

Dejar un comentario