Como usar a IA para compreender os comentários dos clientes sem tirar conclusões a mais

Escolha uma pergunta à qual a análise possa responder. «Que dúvidas sobre a entrega devemos esclarecer na página do produto?» orienta melhor o trabalho do que «O que querem os clientes?». Já identificar a principal causa de abandono exige outro tipo de prova. Ter esta distinção presente ajuda a decidir que textos procurar e que conclusões deixar em aberto.

Prepare os textos sem perder a ligação à origem

Chama-se corpus ao conjunto de textos reunidos para análise. Descreva os canais, o período, os idiomas, os produtos e as exclusões. Use apenas dados autorizados, em ferramentas aprovadas, e retire informações pessoais desnecessárias. Estas precauções fazem parte da preparação do trabalho.

Cada interpretação deve permitir regressar à fonte. Guarde o identificador original e um excerto exato que a sustente; confirme-o no texto ou na gravação. Assinale as traduções e as paráfrases produzidas pela IA, sem as apresentar como citações originais.

O Government Digital Service recomenda distinguir observações, conclusões e ações na investigação com utilizadores, recorrendo à análise de várias pessoas. A MindVerve propõe adaptar esta disciplina ao trabalho com IA. O guia não valida automaticamente uma síntese gerada: a ligação entre o comentário e a interpretação continua a precisar de verificação.

Antes de contar temas, defina o que está a contar

Mensagens, conversas e clientes distintos são unidades diferentes. Uma conversa longa com o apoio ao cliente não deve ser contada, sem explicação, como várias reclamações independentes. Estabeleça regras para duplicados e contactos repetidos. Indique sempre o denominador, ou seja, o total de unidades incluídas na análise.

Uma conversa pode mencionar mais de um problema. Se lhe atribuir vários temas, a soma das ocorrências pode ultrapassar o número de conversas. Isso não é necessariamente um erro, desde que a forma de contar esteja clara.

Há ainda um limite anterior à contagem. Segundo a orientação da Statistics Canada sobre amostragem não probabilística, generalizar a partir de uma seleção não aleatória exige pressupostos fortes; respostas voluntárias podem dar mais espaço a pessoas particularmente motivadas. Aplicado a este trabalho, contar temas em pedidos de apoio descreve esses pedidos, não todos os clientes. Escolher alguns pedidos ao acaso não corrige a seleção inicial de quem contactou o apoio. Os comentários continuam a ser valiosos para identificar questões a investigar.

A descoberta de temas e o controlo de qualidade têm objetivos diferentes

Leia primeiro alguns exemplos. Depois, a IA pode propor agrupamentos para exploração. A equipa define o significado de cada tema, os seus limites e quando aceita várias etiquetas para o mesmo texto. Contar palavras ou identificar um tom negativo não basta para reconhecer uma intenção.

Prepare um conjunto variado para revisão humana: diferentes canais e idiomas, textos curtos e longos, pedidos com vários assuntos, passagens ambíguas e situações raras. Os guias de classificação de texto da Google recomendam ler os exemplos, verificar as etiquetas e reunir os diferentes tipos de texto que o sistema terá de analisar. Tratam de aprendizagem supervisionada; a sua utilização aqui é uma adaptação, não uma comparação de modelos generativos.

Este conjunto de controlo pode ter mais casos difíceis do que os comentários habituais. Não o use para calcular a frequência dos temas. Descobrir categorias, verificar a leitura e apurar frequências são tarefas distintas. Para a contagem, mantenha uma base definida e descreva as suas limitações.

Quando os revisores discordarem, retomem o texto e a definição da categoria. Resolvam a dúvida ou mantenham o caso por esclarecer. Uma reclamação isolada com possíveis consequências graves merece continuar visível, tal como os comentários que contrariem a interpretação dominante.

Um atraso e uma informação pouco clara pedem verificações diferentes

Considere este exemplo fictício: «Recebi a encomenda dentro do prazo, mas tive de perguntar em que dia seria entregue.» A observação é uma entrega descrita como pontual, acompanhada de dificuldade em obter a data. O tema adequado seria falta de clareza da informação de entrega, e não atraso.

A hipótese é que a informação exista, mas seja difícil de encontrar no momento em que faz falta. A verificação seguinte pode ficar a cargo da pessoa responsável pelos conteúdos: examinar a confirmação da encomenda e a página de acompanhamento, e pedir a clientes que indiquem onde procuram a data.

Outros comentários poderão relatar atrasos reais ou informação perfeitamente clara. Mantê-los separados ajuda a investigar problemas diferentes. Nenhuma destas observações, por si só, estabelece uma causa de abandono; essa conclusão exige evidência adicional.

Leve para a reunião um registo que possa ser verificado

Copie esta estrutura para cada tema que pretende discutir. O registo deve permitir compreender a proposta sem depender apenas da síntese da IA.

1. Tema: descrição clara e limites da categoria.
2. Unidade contada e denominador: ocorrências observadas e total de mensagens, conversas ou clientes abrangidos.
3. Âmbito do corpus: canais, datas, idiomas, produtos, exclusões e regras para duplicados.
4. Fontes e excertos: identificadores originais e passagens verificadas, com traduções ou paráfrases assinaladas.
5. Evidência contrária ou ambígua: discordâncias, casos por esclarecer e situações raras de impacto potencial elevado.
6. Próxima investigação e responsável: pergunta a verificar, elementos necessários e pessoa encarregada do seguimento.

Experimente outro modelo quando o problema estiver identificado

A documentação da Anthropic sobre encaminhamento de pedidos de apoio salienta dificuldades como intenções implícitas, confusão entre emoção e intenção e vários problemas no mesmo pedido. É orientação de um fornecedor para apoio ao cliente, não um estudo independente de marketing. Também não obriga a reduzir um comentário a um único tema.

Um modelo mais capaz merece ser experimentado se os erros de leitura próprios da tarefa persistirem, mesmo com categorias claras e com a informação autorizada necessária. Se as próprias pessoas discordarem sobre as categorias, esclareça-as antes de atribuir o problema ao modelo.

Compare os modelos nos mesmos casos variados, reservados para avaliação e não usados para aperfeiçoar as instruções, com apreciações humanas de referência. Considere os tipos de erro, a fidelidade às fontes, a forma de lidar com ambiguidades, o tempo total de revisão e correção, o tempo de resposta e o custo. Uma classificação pública de modelos não substitui esta avaliação. Rever uma amostra também não garante que todos os restantes resultados estejam corretos.

Um projeto-piloto precisa de um âmbito acordado

O AI Workflow Launch permite configurar um único fluxo de investigação, relatórios ou conteúdos, incluindo seleção de ferramentas dentro do âmbito definido, testes com casos representativos do uso previsto e situações suscetíveis de provocar erros, instruções e documentos de trabalho reutilizáveis, documentação, formação e entrega à equipa. Exclui licenças, utilização de API e integrações adicionais; o apoio e a manutenção contínuos são tratados separadamente. Se a tarefa, os dados ou os critérios ainda não estiverem definidos, o AI Opportunity Sprint ajuda a esclarecer as prioridades e o âmbito.