Gemini, ChatGPT ou Claude: qual usar com os dados da empresa

Uma distribuidora pediu a margem por cliente a Gemini, ChatGPT e Claude. Veja o que cada um acertou, onde errou e o que mudou com os dados conectados.

A Distribuidora Serra Azul é uma empresa fictícia, mas o teste que ela fez acontece em alguma sala de controladoria toda semana. Distribuidora de bebidas de médio porte, 380 funcionários, 2.100 pontos de venda atendidos, ERP para faturar e uma planilha do comercial para registrar devoluções e bonificações. A gerente de controladoria, que aqui vamos chamar de Renata, fez o mesmo pedido a Gemini, ChatGPT e Claude, cada um na sua conta corporativa e sem nenhuma conexão com os sistemas da empresa: "margem bruta por cliente no último trimestre, já descontando as devoluções". Este é o relato do que cada um entregou, onde cada um errou e o que mudou quando os três passaram a trabalhar sobre os mesmos dados conectados.

O pedido

O relatório parece simples e não é. A receita por cliente vive no ERP, com nota fiscal, data e custo médio do produto. As devoluções vivem em outro lugar: a planilha do comercial, alimentada pelos vendedores depois que o caminhão volta com caixas recusadas, às vezes três semanas depois da venda. E há as bonificações, aquele produto entregue de graça para fechar um pedido grande: não gera receita, mas custa, e a política da Serra Azul manda lançar esse custo na margem do cliente que recebeu.

A regra que derruba qualquer um que não conheça a casa é a da devolução: ela abate a receita do mês da venda original, não do mês em que a caixa voltou. Uma devolução registrada em outubro de uma venda de setembro pertence ao terceiro trimestre. Quem agrupa pela data do registro empurra o problema para o trimestre seguinte e infla a margem do trimestre fechado. A controladoria tinha o número oficial, calculado à mão em dois dias, e ele serviu de gabarito.

"Eu não queria saber qual modelo escreve melhor. Queria saber qual deles me entrega um número que eu possa levar para a reunião de diretoria sem conferir linha por linha.", Renata, gerente de controladoria da Serra Azul (personagem fictícia)

Gemini e a planilha que já estava no Drive

A Serra Azul usa Google Workspace, e a planilha de devoluções mora no Drive. Esse foi o ponto forte do Gemini: Renata nem precisou exportar nada, apontou a planilha dentro do Sheets e o modelo leu as 14 mil linhas sem reclamar. A janela de contexto grande segurou o arquivo inteiro, a resposta veio em português limpo e organizada por cliente em minutos. Para quem vive no ecossistema Google, a fricção de entrada é quase zero.

O problema apareceu na outra metade do pedido. A receita e o custo estão no ERP, e o ERP não está no Drive. O analista exportou um CSV de 410 mil linhas de itens de nota, subiu no Drive e pediu o cruzamento. O Gemini cruzou, mas pela chave errada: o código de cliente da planilha de devoluções é o do cadastro comercial, e o do ERP é o CNPJ com dígito de filial. Sete dos vinte maiores clientes ficaram sem devolução nenhuma, e a margem deles saiu bonita demais.

E a regra do mês da venda original? Ninguém contou ao modelo, e ele fez o que qualquer pessoa faria sem conhecer a casa: agrupou pela data do registro. O número final ficou 6,8% acima do gabarito da controladoria. Não foi culpa do Gemini. Foi falta de contexto.

ChatGPT e o CSV que não coube

O ChatGPT foi o mais rápido a transformar o pedido em análise de verdade. Em vez de ler o arquivo como texto, escreveu e executou código sobre os dados enviados, gerou uma tabela por cliente, um gráfico de margem e uma lista dos dez clientes com maior devolução. Para um analista que sabe o que está pedindo, é o modelo que mais parece um colega de trabalho com Python aberto ao lado.

O tropeço veio antes da análise. O CSV de 410 mil linhas passou do limite de upload da conta, e o analista dividiu o arquivo em três partes. Na segunda conversa, o modelo já não lembrava da primeira. Juntou duas das três partes, e setembro inteiro ficou de fora do cálculo de um cliente grande. O número por cliente batia bem para quem estava nas partes que ele tinha, e não batia para o resto. É o tipo de erro descrito em alucinação de IA em dados financeiros: a resposta é fluente, a tabela é bonita, e o dado por trás está incompleto.

Sobre a devolução, o ChatGPT fez uma escolha inteligente e errada: identificou devoluções como linhas com quantidade negativa. Na Serra Azul, as devoluções parciais são registradas com quantidade positiva e um código de tipo. Metade das devoluções sumiu. Quando Renata rodou o mesmo pedido de novo no dia seguinte, o código gerado foi outro e o resultado mudou em alguns clientes. Para uma apresentação, pode passar. Para fechar o trimestre, não.

Claude e a regra que ele entendeu, mas não conseguiu aplicar

O Claude foi o único que perguntou antes de calcular. Renata anexou o PDF de 23 páginas da política comercial, e o modelo leu, resumiu e devolveu três perguntas certeiras: a devolução abate no mês da venda ou no mês do registro, a bonificação entra como custo do cliente ou como despesa comercial geral, e o que fazer com devolução de produto vencido. Ninguém da equipe tinha formulado a regra com tanta clareza. Esse é o ponto forte real: leitura de documento longo e raciocínio sobre regra de negócio.

Aplicar a regra foi outra história. Sem conexão com o ERP, o jeito foi colar os dados na conversa. A janela de contexto é grande, mas 410 mil linhas de itens de nota não cabem em janela nenhuma, e o analista colou um recorte: os 40 maiores clientes, agregados por mês. O Claude aplicou a regra direito sobre o que recebeu e avisou, por escrito, que o cálculo valia só para aquele recorte. Honesto, e insuficiente: o pedido era por cliente, para todos os clientes.

E, no recorte, apareceu um erro de aritmética. Ao somar a devolução de setembro de um cliente com 31 linhas, o modelo errou uma casa decimal e a margem daquele cliente saiu negativa. Modelos de linguagem são bons em explicar contas e ruins em fazê-las de cabeça em volume. Quem fez a conta no fim foi o analista, de novo, no Excel.

A virada

Na segunda rodada, a Serra Azul conectou o ERP e a planilha de devoluções à Luria, e a regra de devolução foi escrita uma única vez, como uma skill: devolução abate o mês da venda original, bonificação entra como custo do cliente, devolução parcial identificada pelo código de tipo. A partir daí, o pedido de Renata deixou de ser um texto para o modelo interpretar e virou SQL validado na fonte: o modelo escreve a consulta com a regra já embutida, a consulta roda no banco da empresa, e o que volta é o resultado. Nenhum CSV foi exportado, nenhuma linha foi colada em janela de contexto.

Renata repetiu o mesmo pedido três vezes, trocando o modelo por baixo: Gemini, depois ChatGPT, depois Claude. Os três devolveram o mesmo número, e o número bateu com o gabarito da controladoria, centavo por centavo, porque a conta não era feita pelo modelo e sim pelo banco. O que mudou entre eles foi o texto do comentário executivo e o jeito de sugerir a próxima pergunta. Essa separação, modelo para interpretar e banco para calcular, é o que chamamos de IA determinística: a mesma pergunta, o mesmo resultado, em qualquer dia e com qualquer modelo.

"A pergunta deixou de ser qual modelo é melhor. Passou a ser qual modelo eu quero usar hoje, sabendo que a regra da devolução já está escrita e o número vai bater do mesmo jeito.", Renata, gerente de controladoria da Serra Azul (personagem fictícia)

O resultado lado a lado

A tabela resume as duas rodadas. Os tempos incluem o trabalho do analista para exportar, dividir e colar arquivos, que é onde a maior parte das horas foi embora na primeira rodada. "Dado saiu da empresa" significa que uma cópia da base foi enviada para fora do ambiente controlado pela TI, ainda que para uma conta corporativa do fornecedor.

O que a Serra Azul decidiu depois do teste

A Serra Azul não escolheu um modelo. Manteve os três, cada um para o que faz melhor: o Gemini para quem vive no Google Workspace e quer puxar o número direto para o Sheets, o ChatGPT para análises exploratórias dos analistas, o Claude para ler contratos e redigir o comentário da diretoria. O que ela escolheu foi a camada por baixo: dados conectados, regra escrita uma vez e consulta validada na fonte, para que o número seja o mesmo em qualquer um dos três.

Se a sua empresa está decidindo entre Gemini, ChatGPT e Claude, vale ler antes por que modelos de linguagem erram em dados financeiros e o que torna uma resposta determinística quando o assunto é gestão. A escolha do modelo é reversível. A escolha de onde a regra de negócio mora, não.

Traga um relatório que hoje só fecha à mão, como a margem com devoluções da Serra Azul. Agende uma demonstração e rodamos o pedido ao vivo, nos três modelos, sobre os seus dados.