Os 7 pecados capitais da pesquisa UX
Sempre que estou em uma reunião de resultados com gerentes e diretores é comum escutar o quanto que nossos resultados trouxeram "mais simplicidade", "clareza" e que as "métricas de satisfação de clientes ficaram melhores".
Mas quando você pede aos clientes que realmente usem esses produtos e serviços, eles geralmente acham muito longe de ser simples.
Isso acontece por que há uma desconexão entre o que as empresas consideram “simples” e o que os usuários realmente experimentam.
Para resolver isso, você poderia dizer que realizar pesquisas e estar mais próximo dos seus clientes poderia ser uma solução. Em partes sim, mas se feita pelos motivos mais óbvios, esta resposta pode estar errada.
Na realidade, nunca houve um momento melhor para “medir a temperatura” de seus clientes. Se você for para a pasta de e-mail "lixo eletrônico" verá a quantidade de solicitações de pesquisa que empresas enviam para você.
Você recebe notificação dentro do produto, na conclusão de compra on-line, quando o produto ou delivery chega na sua casa, no fim de um atendimento telefônico. A grande maioria das empresas estão medindo a temperatura dos seus clientes.

O problema não está na quantidade de pesquisas em UX. E sim na qualidade: as organizações lutam para distinguir uma boa pesquisa de experiência do usuário e uma pesquisa ruim.
Ao ler o livro Think Like a UX Researcher, do David Travis e Philip Hodgson, ele passou sete exemplos de práticas inadequadas de pesquisa de experiência do usuário que podemos ter em nossos trabalhos com os clientes, juntamente com algumas idéias sobre como corrigi-los.
Esse é um dos melhores livros que eu já li sobre UX Research, ele simplesmente explica cada ponto da pesquisa, como atuar e ainda deixa uma série de perguntas após cada capítulo para você refletir. Se você pretende estudar UX Research, esse definitivamente é o livro certo.
Veja quais são:
Credulidade
O dicionário define credulidade como um estado de vontade de acreditar em algo sem prova adequada. A forma adotada na pesquisa de UX é perguntar aos usuários o que eles querem (e acreditar na resposta).
Durante minha trajetória profissional, executei diversos tipos de pesquisa.
Uma vez, em uma empresa que trabalhei com uma cultura e maturidade de design e produto muito baixa, escutei uma gravação de um colega de trabalho que estava moderando um teste de usabilidade.
Enquanto analisava a entrevista eu observei que durante a entrevista o colega mostrou três projetos alternativos de uma interface do usuário para o cliente e perguntou: “Qual desses três você prefere? Por quê?”
Pedir às pessoas o que elas querem é muito tentador. Mas também está errado.
Um pouco de teoria
No livro de David Travis, explica o porquê. Há mais de 40 anos, os psicólogos Richard Nisbett e Timothy Wilson realizaram algumas pesquisas fora de uma loja em Ann Arbor, em Michigan.
Os pesquisadores montaram uma mesa do lado de fora da loja com uma placa que dizia: “Pesquisa de avaliação do consumidor — qual é a melhor qualidade?” sobre a mesa havia quatro pares de meias femininas, rotuladas como A, B, C e D da esquerda para a direita.
A maioria das pessoas (40%) preferia a opção D e menos pessoas (12%) preferiam opção A. Mas existe uma torção nisso. Todos os pares de meias eram idênticos.
O motivo que a maioria das pessoas preferiam a opção D era simplesmente um efeito de posição: os pesquisadores sabiam que as pessoas mostram uma preferência acentuada por itens no lado direito da tela.
Mas quando os pesquisadores perguntaram às pessoas por que elas preferiam as meias que elas escolheram, ninguém apontou o efeito da posição.
As pessoas diziam que seu par escolhido tinha mais elasticidade. Os pesquisadores até perguntaram às pessoas se elas poderiam ter sido influenciadas pela ordem dos itens, mas é claro que as pessoas olhavam para os pesquisadores como se fossem loucas.
Há uma linha tênue que une o estudo de Nisbett e Wilson e o teste de usabilidade que acabamos de descrever. A razão pela qual chamamos o segmento de “invisível” é porque poucos pesquisadores de UX parecem estar cientes disso — apesar do fato de haver toda uma sub-disciplina da psicologia chamada Prospect Theory dedicada a ele — e que Daniel Kahneman ganhou um prêmio nobel por explorando o efeito.
As pessoas não têm uma visão confiável de seus processos mentais, então não há ponto perguntando o que eles querem.
Esta citação de Rob Fitzpatrick captura perfeitamente:
Aprender com as conversas com os clientes é como escavar um delicado sítio arqueológico. A verdade está lá em algum lugar, mas é frágil. Embora cada golpe com sua pá o aproxime da verdade, você pode esmagá-la em um milhão de pedacinhos se você usar um instrumento muito duro.
Como podemos superar esse problema?
A definição de um estudo bem-sucedido voltado para experiência do usuário é uma que nos fornece informações práticas e testáveis sobre as necessidades dos usuários.
Não é bom perguntar às pessoas o que elas gostam ou não gostam, pedir para prever o que fariam no futuro ou pedir que nos digam o que outras pessoas podem fazer.
- A melhor maneira de obter insights acionáveis e testáveis não é perguntar, mas observar.
- Seu objetivo é observar por tempo suficiente para que você possa adivinhar o que está acontecendo.
- Fazer perguntas diretas incentivará as pessoas a inventarem as coisas, sem contar o que realmente está acontecendo.
Existem duas maneiras de observar. Podemos observar como as pessoas resolvem o problema agora ou podemos teleportar as pessoas para um futuro possível e levá-las a usar nossa solução (um protótipo) para ver onde os problemas surgirão.
O ponto principal é: o que as pessoas dizem não é tão útil quanto o que as pessoas fazem, porque as pessoas são testemunhas não confiáveis.
Dogmatismo.
O dogmatismo é a tendência de estabelecer princípios como inegavelmente verdadeiros, sem considerar as evidências ou as opiniões dos outros. A forma adotada na pesquisa de UX é acreditar que existe uma maneira “certa” de fazer pesquisas.
Tenho certeza que você trabalhou com pessoas que pensam que uma pesquisa é “o caminho certo” para entender as necessidades do usuário.
Talvez porque ouvimos diariamente notícias sobre pesquisas, as pessoas tendem a pensar nelas como sendo mais confiáveis ou úteis. A noção de usar um método alternativo, como uma visita de campo ou uma entrevista de usuário, não tem a mesma validade de face, porque o tamanho da amostra é comparativamente pequeno.
Infelizmente, ter um grande número de entrevistados em uma pesquisa nunca o ajudará se você não souber as perguntas certas a fazer. É aí que entram as visitas de campo e as entrevistas dos usuários.
Visitas em campo e entrevistas com usuários são uma ótima maneira de obter informações sobre as necessidades, objetivos e comportamentos de seus usuários. Mas essas também não são a única solução.
No último trabalhei com um product designer que parecia achar que não havia espaço para outro método de pesquisa além das entrevistas com os usuários.
Para validar personas, faça mais entrevistas com os usuários. Para identificar suas principais tarefas, execute mais entrevistas com os usuários. Para comparar duas páginas de destino alternativas, execute mais entrevistas com os usuários.
Esse tipo de dogmatismo é inútil.
As visitas de campo e as entrevistas dos usuários fornecem indicações, não respostas definitivas. Pode haver alguns padrões nos dados, mas eles não são tão úteis quanto a conversa que você tem com os usuários e as coisas que observa. São essas conversas que ajudam a identificar a lacuna entre o que as pessoas dizem e o que fazem — e isso geralmente é uma oportunidade de design.
Mas chega um momento em que você precisa validar suas descobertas a partir de visitas de campo e entrevistas com usuários por triangulação: a combinação de metodologias no estudo do mesmo fenômeno.
- Dados quantitativos nos dizem o que as pessoas estão fazendo.
- Dados qualitativos nos dizem por que as pessoas estão fazendo isso.
- O melhor tipo de pesquisa combina os dois tipos de dados.
A triangulação é como ter diferentes ângulos de câmera em um filme. Seria difícil entender a imagem completa do que está acontecendo em um filme se todos os quadros fossem filmados em uma única perspectiva.
Da mesma forma, seria difícil simpatizar com os personagens se todas as imagens fossem capturadas como uma visão de grande angular. Como os filmes, você deseja que sua pesquisa mostre os "quadro fechados", mas também deseja ver a imagem maior.
Viés
Viés significa uma influência especial que influencia o pensamento de alguém, especialmente de uma maneira considerada injusta. Ou, de forma mais direta: tendência.
A pesquisa de UX é uma luta contínua contra preconceitos. Existem vários tipos diferentes de viéses que são importantes na pesquisa de UX, mas é o viés de resposta que queremos discutir aqui.
Isso é causado pela maneira como coletamos os dados.
Às vezes, o viés é óbvio. Por exemplo, se você fizer perguntas ruins, é provável que os participantes digam o que você deseja ouvir. Você pode corrigir esse viés ensinando as pessoas a fazer as perguntas certas.
Mas há um tipo ainda mais nocivo de viés de resposta que é muito mais difícil de corrigir. Isso acontece quando a equipe de desenvolvimento realiza a pesquisa e descobre que as pessoas realmente não precisam do produto ou serviço.
É tentador esconder isso dos gerentes seniores, porque ninguém quer ser o fornecedor de más notícias. Mas se não houver necessidade do seu produto, não há sentido em tentar convencer os gerentes seniores de que existe — você será descoberto no final. É uma má idéia escolher os resultados para apoiar o que um gerente sênior quer ouvir.
Você não deve abordar entrevistas com um interesse comum: o trabalho do pesquisador de UX não é convencer as pessoas a usar um serviço ou obter os resultados desejados pela gerência/diretoria.
Trata-se de procurar a verdade. Isso não significa que você não deve ter um ponto de vista. Você deve. Seu ponto de vista deve ser ajudar a equipe de desenvolvimento a entender os dados, não apenas dizer à equipe de desenvolvimento o que eles querem ouvir.
Obscurantismo
Obscurantismo é a prática de impedir deliberadamente que todos os detalhes de algo se tornem conhecidos. A forma que esse pecado assume na pesquisa de UX é manter as descobertas na cabeça de uma pessoa.
A pesquisa de experiência do usuário geralmente é atribuída a uma única pessoa ou área em formação. Essa pessoa se torna o porta-voz das necessidades do usuário, o “especialista” da equipe em relação aos usuários.
Essa abordagem é uma maneira ruim de fazer pesquisas, e não apenas porque o pesquisador de UX não sabe todas as respostas.
A razão pela falha é porque incentiva a equipe de desenvolvimento a delegar toda a responsabilidade pelo entendimento dos usuários para uma pessoa.
Uma maneira de evitar esse pecado em seu próprio produto/time/squad é incentivar todos na equipe a obter suas “horas de exposição ao cliente”.
Pesquisas mostram que as equipes de desenvolvimento mais eficazes passam pelo menos duas horas a cada seis semanas observando usuários (por exemplo, em visitas de campo ou testes de usabilidade).
O que você deseja aqui é construir uma cultura centrada no usuário. Você faz isso incentivando toda a equipe de desenvolvimento a se envolver com os usuários. Mas você também precisa projetar iterativamente.
E isso nos leva ao nosso próximo pecado.
Preguiça
Preguiça é o estado de não querer se esforçar. A forma adotada na pesquisa de UX é a reciclagem de dados antigos de pesquisa, como se fossem um clichê que possa ser cortado e colado em um novo projeto.
Nosso exemplo favorito disso vem do mundo das personas.
Nas empresas, as pessoas costumam abordar o processo de desenvolvimento de personas como uma atividade única.
Terceirizar pesquisa para outra empresa/terceiro é falhar no obscurantismo. Queremos a equipe de desenvolvimento faça a pesquisa, não uma empresa externa.
Mas vamos ignorar esse problema por um momento.
A razão pela qual estamos usando personas como exemplo aqui é porque geralmente somos solicitados por um time se ele pode reutilizar suas personas.
Agora eles estão trabalhando em um novo contexto, de uma jornada específica de um produto, que tem uma semelhança passageira com a qual eles desenvolveram personas no ano passado.
Como os clientes são basicamente os mesmos, não é possível reciclar as personas existentes?
Essa idéia perde o sentido do que é a pesquisa de UX e serve como um bom exemplo.
Aqui está um segredo que muitas pessoas não conhecem: você não precisa criar personas para se concentrar no usuário. O design centrado no usuário não é sobre personas. De fato, personas realmente não importam.
Criar personas nunca deve ser sua meta; entender as necessidades, metas e motivações dos usuários deve ser sua meta. De certa forma, um conjunto de personas lindamente formatadas é apenas a prova de que você se encontrou com os usuários, da mesma forma que uma selfie com uma celebridade prova que você estava no mesmo restaurante.
O mundo para o qual você deseja se mudar é aquele em que a equipe de desenvolvimento conhece seus usuários tão bem que as pessoas não são necessárias.
Você não chega a este mundo reciclando pesquisas antigas. Você faz isso fazendo da pesquisa UX parte da cultura.
Já sabemos há muito tempo que você alcança o design centrado no usuário por iteração: constrói algo, mede sua usabilidade, aprende com ele e redesenha.
A reutilização de dados antigos, seja na forma de personas, testes de usabilidade ou visitas de campo, não é iterativa — e certamente não está aprendendo.
Vagacidade
Vagacidade significa não declarar ou expressar de forma clara ou explícita.
Em termos de pesquisa de UX, vemos quando uma equipe falha em se concentrar em um único ponto da pesquisa e tenta responder várias perguntas ao mesmo tempo.
Este pecado é parcialmente causado pelo pecado da preguiça.
Se você pesquisar apenas ocasionalmente, precisará responder a muitas perguntas. Isso significa que você acaba aprendendo um pouco demais.
Com a pesquisa de UX, você realmente quer aprender muito sobre um pouco. Todos na equipe devem concordar com as perguntas que você planeja responder e as suposições que planeja testar. Essas perguntas principais devem ser as motivadoras de todas as atividades de pesquisa.
Isso significa que você precisa ser específico com suas perguntas de pesquisa.
De fato, isso nos leva a um exercício interessante que você pode fazer para descobrir sua pergunta de pesquisa.
Sente a equipe de desenvolvimento em uma sala. Dê a cada pessoa um conjunto de notas adesivas. Diga-lhes para imaginar que temos um usuário onisciente e perspicaz fora da sala que responderá com sinceridade a qualquer pergunta que lançarmos a eles.
Que perguntas eles fariam?
- Fazemos com que a equipe escreva uma pergunta por lembrete.
- Após cinco minutos, trabalhamos em equipe para separar as notas adesivas por afinidade.
- Em seguida, votamos pontualmente no grupo de perguntas mais urgentes para responder.
Essa ideia funciona bem porque não apenas identificamos o tema de alto nível, mas também temos uma lista de perguntas específicas para as quais precisamos obter respostas.
Arrogância
Por último, mas não menos importante, temos arrogância. Arrogância significa extremo orgulho ou autoconfiança.
Na pesquisa de UX, ela assume a forma de se orgulhar indevidamente de seus relatórios. Todos os pesquisadores de UX sofrem com isso em certa medida, mas aqueles com doutorado são os piores. Tenho muito orgulho das pessoas que trabalhei e possuem um grau elevado de educação, mas teoria demais atrapalha também.
Os pesquisadores de UX adoram dados. E quando você ama algo, deseja compartilhá-lo com as pessoas. Assim, você cria relatórios detalhados com gráficos e cotações, capturas de tela e frases de destaque. "Olhe para os meus dados! Veja como é lindo!".
Infelizmente, poucas outras pessoas são tão fascinadas por dados quanto profissionais de UX. Nosso desafio é:
- transformar dados em informações
- Transformar essas informações em insight.
Existem dois problemas com detalhes excessivos.
As pessoas não leem o relatório.
As pessoas viram a página, veem mais dados, apreciam o quão inteligente você é, ficam entediados e seguem em frente.
Relatórios excessivamente detalhados atrasam o processo de design.
Você não precisa fazer análises extensivas em uma planilha para encontrar os principais problemas. Essa análise é útil mais tarde, quando você deseja investigar os detalhes, mas as descobertas críticas precisam ser respondidas rapidamente.
É assim que o design pode ser modificado e o ciclo de construção-medida-aprendizado pode continuar.
Em vez disso, você precisa criar painéis de informações para fazer com que as equipes entendam os dados para que eles possam agir. Os painéis de informações são essencialmente painéis de publicidade que gradualmente permeiam a conscientização da equipe sobre seus resultados.
Como regra geral, se as pessoas precisarem virar a página, seu relatório será muito longo. Então, pergunte-se: como podemos capturar os resultados em um único olhar?
Essa pode ser uma maneira visual concisa de apresentar dados de pesquisa, como um mapa de jornada do usuário, uma persona ou um painel de resultados de testes de usabilidade.
Bom, estes foram um alguns insights juntando minha experiência, contato com grandes profissionais, erros do passado e algumas leituras que considero referência.