Problema

O time de engajamento não tinha visibilidade sobre a percepção dos usuários em relação a experiência de uso de algumas funcionalidades que eram escopo da tribo. Na época tínhamos NPS e CSAT, mas elas tinham um escopo mais amplo, avaliando o produto como um todo (além de não serem exatamente métricas de UX). 

Objetivo do projeto

Testar e implementar métricas de experiência na plataforma para criar uma baseline de métricas, identificar possíveis gaps e inconsistências na experiência e acompanhar a experiência de forma contínua.

1. Quais métricas de experiência são mais adequadas para o contexto da tribo?

3. Em que momento da experiência iremos coletar as informações?

4. Qual será a periodicidade da análise e onde vamos documentar?

Métodos de pesquisa

Desk research: fizemos uma pesquisa exploratória sobre os tipos de métricas de experiência existentes e selecionamos SEQ, UMUX e CES para uma análise mais aprofundada. Comparamos os enunciados e o tipo de calculo de cada uma dessas avaliações e pensando no contexto da tribo, selecionamos o UMUX-Lite para começar.


Mapeamento dos pontos de contato para o questionário online: foi aqui que nos deparamos com o principal desafio desta iniciativa: não era possível subir questionários em momentos específicos da experiência com o produto (salvar, clicar em recomendação, buscar etc) pela falta de uma integração dos trackings com a ferramenta de pesquisa. 


Alinhamento de Stakeholders: para viabilizar a criação de questionários de métricas em momentos específicos do produto, busquei a ajuda do time. Em parceria com minha colega de pesquisa e um membro da equipe de engenharia, conseguimos desenvolver uma solução para integrar trackings com a ferramenta de pesquisa. Elaboramos uma lista dos trackings mais relevantes para o contexto da equipe e priorizamos aqueles que estavam alinhados com as iniciativas atuais de cada squad.

Impacto da pesquisa

Impacto na operação de pesquisa

Acreditamos que o valor desta iniciativa está para além da implementação das métricas. Com a solução de trackings validada, conseguimos elevar o nível de maturidade de pesquisa dentro do produto, uma vez que abrimos a possibilidade de disparar questionários em momentos específicos da jornada, algo que não era possível antes do começo deste projeto.



Atualmente outros times conseguem implementar métricas e questionários no produto com facilidade e temos questionário de métricas constantemente ativos no produto.  Tendo em vista os desafios que enfrentamos com a solução de trackings e com o baixo engajamento nos questionários, não conseguimos concluir integralmente a proposta de métricas. Fizemos uma análise prévia dos resultados e compartilhamos com o time, mas o projeto foi descontinuado pois passamos por uma reorganização de times e o escopo da tribo mudou.



Esta é uma versão resumida, para mais informações sobre insights e aprendizados entre em contato com rute.harada@gmail.com

O que eu aprendi

Não é sempre que conseguimos concluir os projetos conforme planejado. Diversos fatores podem influenciar o sucesso de uma iniciativa, mas isso não implica que não haja entrega de valor.

Os desafios e erros também oferecem oportunidades de aprendizado! Trabalhar de forma colaborativa é fundamental! Cada pessoa do time contribui com a sua especialidade e conhecimento, foi o que permitiu a solução dos trackings acontecer.