No capítulo anterior: é útil ter un conxunto de métricas e monitorizalas, pero é mala idea tratar de influír nelas dándolle incentivos á xente, porque a xente ten moita inventiva e non vai facer o que ti esperas.
Tratar de dirixir unha empresa ou un proxecto ou calquera cousa definindo métricas e tratando de empuxalas nunha dirección ou noutra é unha idea pésima.
Por exemplo, as páxinas web profesionais teñen varias métricas que os seus responsables observan con moita atención: o tempo que os visitantes pasan na páxina, a proporción de visitantes que premen o botón de “mercar”… Esas métricas son importantes porque dan unha indicación do rendemento da páxina web: se, de súpeto, cae o número de persoas que premen o botón, quere dicir que hai un problema grave que ten que ser arranxado de inmediato.
O problema chega cando os responsables da páxina web pensan que, se esas métricas empeoran cando a páxina web vai peor, tamén funciona ao revés. Igual que algunhas persoas nas vilas costeiras viran as tellas para atraer os ventos favorables, eses responsables tratan de mover as métricas para atraer o bo rendemento.
Unha maneira na que fan iso é usando tests A/B, que son o resultado da idea máis parva do mundo: amosar distintas versións da mesma páxina a distintas persoas, comparar as métricas das dúas versións e quedar coa versión que dá mellores resultados. Após de repetilo moitas veces, o resultado —seica— é unha superpáxina web.
Na práctica, o resultado dun test A/B non é a mellor opción, senón a que conseguiu mellores números, que non é a mesma cousa. O resultado de maximizar os clics nun titular non é un titular ben escrito senón “clickbait”. O resultado de maximizar o número de visitas repetidas non é unha web útil senón unha web adictiva. O resultado de maximizar o tempo que a xente pasa nunha páxina non é unha páxina que a xente queira ler senón unha páxina difícil de ler.
Esa consecuencia non é exclusiva dos test A/B, senón que é o resultado directo de optimizar as métricas sen ollar máis aló dos números. E con isto retorno ao tema dos incentivos: se traballades nunha empresa para facer páxinas web pero celebrades as gráficas con liñas ascendentes, ides acabar traballando nunha empresa que fabrica gráficas con liñas ascendentes, non páxinas web.
A maneira de evitalo é moi simple de dicir e tamén moi difícil de levar a cabo: non vos fixedes nas métricas, senón nos vosos obxectivos.
Un automóbil ten unha morea de indicadores que nos informan de moitas métricas: a velocidade, as revolucións por minuto, canta gasolina hai, a temperatura do motor… Tamén ten pedais e botóns e pancas e outros controis que modifican os valores de todas esas métricas.
Porén, cando guiades un coche, non o facedes ollando as agullas para ver se as métricas son óptimas e accionando os pedais e as pancas para maximizalas, senón que mirades para o camiño e ides á esquerda e á dereita, freando ou acelerando segundo sexa necesario, para chegar ao voso destino nun tempo razoable, que é o voso verdadeiro obxectivo.
Da mesma maneira, se queredes facer páxinas web útiles e que a xente consulte con frecuencia, non bos ofusquedes co “click-through rate” e o tempo na páxina e todas esas métricas. No seu lugar, preguntade aos usuarios! Observádeos mentres usan a páxina! E usádea vós!
A ilustración desta Folla combina elementos de dous gravados de Stefano della Bella e Joseph Swain.
1 comentario