Define qué es éxito antes de que empiece la prueba

Este mes, en nuestro proyecto actual, empezamos a probar títulos de artículos. La pregunta es simple: ¿los títulos deberían usar las palabras exactas que la gente escribe en el buscador? Para un tema, una forma de escribirlo coincide con unas 28.413 búsquedas al mes; la otra, con 24. La respuesta parece obvia. Justo por eso escribimos primero las reglas.

Por qué decidir primero

Cuando empiezan a llegar los resultados, cada quien encuentra la cifra que coincide con lo que esperaba. ¿Suben los clics pero bajan las posiciones? Se elige los clics. ¿Una semana buena y la siguiente mala? Se elige la buena. Definir la medida de antemano es la única defensa contra engañarse a uno mismo, y no cuesta nada.

Qué dejamos por escrito antes de cada prueba

1. El cambio: exactamente qué es distinto, y en qué páginas.
2. La medida: una cifra principal, como los clics desde búsqueda por página, y de dónde sale.
3. La comparación: páginas similares sin cambios durante las mismas semanas, para que la temporada y las actualizaciones de Google afecten a ambos grupos.
4. La ventana: cuánto dura la prueba antes de que alguien lea el resultado.
5. La vara: qué tan grande debe ser la diferencia para contar como éxito, y qué pasa si es menor.
6. Qué la detendría antes: por ejemplo, una caída clara en las páginas que generan ingresos.

Qué vamos a reportar

Pase lo que pase. Una prueba que no muestra diferencia es un resultado: significa que el esfuerzo puede ir a otro lado. Marcaremos el resultado como probado, probable o desconocido, como todo lo demás en nuestros reportes semanales.