8 Errores en A/B Testing que Salen Muy Caros

Las pruebas A/B  son una de las herramientas más empleadas en CRO (Optimización del Ratio de Conversión) para incrementar la conversión de páginas web y otros medios digitales. Pero al hacer A/B testing se comenten con frecuencia errores que salen muy caros a las empresas.

Los test A/B o split testing consisten en lanzar un experimento en el que se publican dos o más versiones de la misma página (o anuncio, o email, …) para comprobar cuál de las versiones genera un mejor ratio de conversión.

Al lanzar un experimento A/B se muestran alternativamente la versión A  y la versión B a un determinado porcentaje de la audiencia de la página web o, en el caso de un test A/B de un email, a un  porcentaje de la lista de subscriptores.

Por razones de efectividad y validez del test es habitual testear sólo dos versiones por test, aunque en páginas web con un alto volumen de tráfico se pueden testear más de dos.

Tienes más información sobre la utilización de los test A/B para aumentar el ratio de conversión en  Cómo utilizar Test A/B al hacer CRO.

Haciendo A/B testing se aprende tanto sobre el potencial cliente y se pueden conseguir aumentos tan significativos de los ratios de conversión que pocas veces hay excusa para no incluir este tipo de herramienta como elemento esencial del toolbox de cualquier proyecto de optimización de la conversión que cumpla los requisitos básicos.

Sin embargo hay un aspecto del  A/B testing del que no se habla todo lo que se debiera. Y el aspecto al que me estoy refiriendo es lo fácil que es cometer errores y el alto precio de los mismos.

Todos los que nos dedicamos a hacer optimización de la conversión (CRO en sus siglas en inglés), hacemos test A/B, y todos los que hacemos a/b testing, todos, incluso los profesionales más experimentados, han caído en alguna ocasión en alguno de estos errores.

El problema de equivocarse cuando hacemos split testing, o pruebas A/B, es el alto coste que pueden llegar a tener los errores. Los resultados de los experimentos A/B se utilizan para llegar a conclusiones sobre las que a veces se toman decisiones que afectarán directamente a la cuenta de resultados de las empresas.

Nadie es infalible, pero saber dónde pueden estar las trampas es de una gran ayuda para mantenernos ojo avizor y no caer en ellas.

Si algo caracteriza el CRO, y en concreto los tests A/B, es el rigor científico que debe aplicarse en todas las fases.

Si se pierde el rigor y la disciplina, nos alejamos del marketing data-driven y de sus resultados estadísticamente válidos, y volvemos al marketing de las opiniones y de las conjeturas.

Los 8 Errores Más Caros en A/B Testing

Error Nº 1: No Tener Claro el Objetivo del Test

Cuando hacemos un test A/B es imprescindible tener muy claro cuál es el objetivo.  En A/B testing los objetivos tienen que ser específicos, medibles  e individuales. Cada test A/B debe tener un objetivo único.

Los test A/B no sirven para matar dos pájaros de un tiro usando un objetivo múltiple.

Un objetivo único, específico y medible es por ejemplo hacer un test A/B de una página landing con versión A y B para medir cuál de las dos genera más suscriptores a un servicio online.

Error Nº 2: Hacer A/B Testing Sin Tener una Hipótesis

Cuando hacemos A/B testing es porque sospechamos que algo no está funcionando tan bien como podría funcionar y está afectando negativamente a la tasa de conversión. El test pone a prueba aquello que creemos que podemos mejorar. Esa pieza del embudo de conversión que queremos mejorar suele estar compuesta por varios elementos.

En el caso de una página landing hay muchos elementos y sub-elementos que pueden afectar al ratio de conversión de esa página.
En el artículo Landing Page: 5 elementos que debes testear para optimizar la conversión analizo en detalle los 5 elementos más importantes.

En un embudo de ventas de un e-commerce hay muchos más elementos porque hay varias páginas que afectan a la conversión final. Incluso en un anuncio de adwords a pesar de su brevedad hay al menos un par de elementos que afectan a su efectividad: el título del anuncio y el cuerpo del anuncio.

Hacer una hipótesis consiste en desarrollar una teoría en la que racionalizamos por qué vamos a poner a prueba una determinada variable o grupo (cluster) de variables,  y no otra, y el impacto que esperamos obtener con las modificaciones que vamos a implementar en la versión B, habitualmente llamada Tratamiento.

Hacer A/B testing sin tener una hipótesis es un error común en personas que confunden hacer optimización de la conversión con utilizar alguna de las herramientas de A/B testing disponibles en el mercado.

¿Se puede obtener un incremento de la conversión como resultado de un test A/B hecho sin haber desarrollado previamente una hipótesis?

No es imposible. Como en la fábula infantil del burro flautista en la que el borrico se acerca a la flauta y al lanzar un resoplido la flauta suena por causalidad, también se puede conseguir un resultado ganador en una prueba A/B hecha sin basarse en una hipótesis bien fundamentada, pero es tan poco probable que hacerlo es un gasto inútil de recursos.

Error Nº 3:  Desarrollar una Hipótesis y Enamorarse de Ella

Enamorarse de un trabajo realizado por uno mismo es un riesgo real en el que pueden caer tanto principiantes como profesionales experimentados.

Al igual que hay diseñadores que se enamoran de sus diseños, desarrolladores que se dejan hipnotizar por el código que han creado, y periodistas que no dejan que la realidad les estropee una buena historia. También hay CRO marketers que no dejan que los datos les malogren una bonita hipótesis.

La consecuencia de este amor es la ceguera. Vemos lo que queremos, no lo que hay. Retorcemos la realidad para que encaje con nuestros deseos.  En A/B testing esto es un riesgo real que puede ocurrirle a cualquiera. Recordar que el riesgo existe y que es más fácil de lo que se cree caer en él, ayuda a estar alerta.

También es recomendable buscar un nuevo par de ojos que revisen el trabajo realizado cuando se lleva tiempo trabajando en la misma hipótesis.

Error Nº 4: Lanzar una Hipótesis al Azar

Crear hipótesis basadas en las creencias u opiniones personales o del HIPPO sobre lo que puede estar causando un bajo ratio de conversión, es una forma poco profesional y nada eficaz de hacer test A/B.

El término HIPPO (Highest Paid Person Opinion) se utiliza para definir la opinión de la persona de mayor rango jerárquico en una decisión tomada por un grupo. Lo habitual es que la opinión del superior jerárquico se imponga como la opción que todos aceptan como la más válida.
Esta aceptación del grupo se produce no porque haya datos objetivos que la validen, ni porque el superior jerárquico sepa de lo que está hablando mejor que los demás, sino por el hecho de ser vos quien sois.

Al hacer A/B testing es vital trabajar con hipótesis fundamentadas en datos e información recogida durante la fase de investigación previa a la ejecución del test.

Los 3 ingredientes básicos para crear una hipótesis bien fundamentada son:

• Datos recogidos por la herramienta analítica de los elementos que forman el embudo de conversión
• Recopilación de datos e información sobre la audiencia target (¿a quién nos estamos dirigiendo?, ¿de dónde vienen?, ¿qué pasos siguen cuando entran en el embudo?, ¿cuáles son sus objeciones?)
• Análisis detallado de todos los elementos (páginas, anuncios, etc) que forman parte del embudo de conversión.

Error Nº 5: Hacer Test sobre una Muestra Demasiado Pequeña

Para obtener resultados válidos y poder sacar una conclusión en un experimento A/B es imprescindible hacer el test a una muestra suficientemente significativa.

En estadística, una muestra es el subconjunto de una población. Cuando el tamaño del subconjunto es el adecuado, los resultados obtenidos de realizar un test sobre esa población permiten inferir el resultado al conjunto total de la población.

La muestra para ser representativa del conjunto total debe tener el suficiente tamaño. Si no es así, los resultados que se obtienen no son válidos.

Por esta razón lo test A/B sólo son recomendables para sitios web con alto volumen de tráfico.  Para sitios web con menos tráfico hay otras formas de mejorar la conversión de visitas en clientes que no implican la utilización de test A/B.

Antes de empezar un test hay que saber qué tamaño de muestra necesitamos para que el test tenga validez estadística.

Utiliza esta calculadora para conocer el tamaño de la muestra necesaria para que tu test sea válido.

Error Nº 6: Parar el Test Demasiado Pronto

Parar el test en cuanto se obtiene una versión ganadora es un error muy común entre principiantes y el resultado es casi siempre la obtención de un falso positivo.

Un falso positivo es, como su nombre indica, una versión ganadora que no es tal (o es altamente improbable que lo sea) y que sólo se ha generado porque la cantidad de tiempo de ejecución del test no ha sido suficiente para obtener una muestra estadísticamente significativa.

En A/B testing, aunque hayas conseguido una versión ganadora a los pocos días de empezar, es recomendable mantener el test durante un mínimo de 1 mes para reducir el margen de error  estadístico y  descartar falsos positivos o falsos negativos.

Además, el nivel de confianza del test nunca puede ser inferior al 95%.

Error Nº 7: Fallo de Ejecución o Instrumental

Este tipo de error es el originado cuando durante la ejecución del test no se produce correctamente la alternancia de la versiones A y B.

Esto puede ocurrir por un fallo del software utilizado o por un error de configuración por parte de quien realiza el test.

Una forma de detectar este tipo de fallos a tiempo es utilizar eventos de Google Analytics que recopilen todas las acciones relevantes que se ocasionen en ambas versiones de la página.

Error Nº 8: Desconocer los Costes y Oportunidades

Aquí llegamos al último error de este artículo, pero por importancia podría estar entre los primeros. Hay que hacer números y evaluar los riesgos y potenciales beneficios antes de lanzarse a hacer experimentos A/B.

A/B testing consiste no en hacer un test, sino varios. Ni en el primer test, ni en el segundo o tercero o cuarto, … es habitual obtener la mejora del ratio de conversión que buscamos.

No sólo hay que evaluar los costes de la campaña de test, sino también la capacidad de poder realizarla: el coste de realizar las modificaciones en las versiones que necesitemos, los recursos necesarios en tiempo y mano de obra, la disposición y comprensión del cliente sobre lo que implica hacer A/B testing.

En las empresas grandes suele haber una gran cantidad de procesos, reuniones que hay que celebrar y autorizaciones que hay que conseguir y que pueden eternizar la realización de las tareas más sencillas. Sin olvidarnos de las luchas internas (corporate politics) que pueden enmarañar los trabajos más simples hasta extremos inconcebibles.

Es fundamental entender de quien dependes para realizar la campaña de A/B testing y con qué recursos cuentas.

Y por último, no podemos empezar el test sin haber hecho una estimación  de los beneficios económicos que aportaría a la empresa lograr el objetivo de conversión que nos hemos marcado.

Conclusión

A/B testing es un método extremadamente útil para incrementar la tasa de conversión de páginas web, emails y publicidad digital que, cuando se realiza de forma profesional y rigurosa, puede generar importantes aumentos de rentabilidad a las empresas.

Asegúrate de la validez de tus tests A/B aplicando el siguiente checklist:

• Desarrolla hipótesis basadas en los datos de analítica y el análisis en detalle de todo el embudo de conversión
• Calcula el tamaño de muestra que necesitas para realizar un test válido antes de empezar
• No pares el test antes de tiempo aunque obtengas una versión ganadora
• Haz los números: costes, riesgos y beneficios
• Controla la ejecución disparando eventos de analítica para ambas versiones
• En caso de duda, valida la versión ganadora sometiéndola un nuevo test.

Image: depositphotos