IA Generativa
IA Erra Contagem de Carboidratos em 27 Mil Testes, Revela Estudo
Dr. Adrian Vale
Especialista em LLMs, AI Agents e Infraestrutura de IA
4 min de leitura
Ouvir Notícia
Narração automática via IA
Especialista em LLMs, AI Agents e Infraestrutura de IA
Um estudo com 27 mil interações revelou falhas significativas em modelos de IA, como o ChatGPT, ao estimar carboidratos em alimentos. As inconsistências destacam riscos para diabéticos e a urgência de validações mais rigorosas antes do uso clínico.
Um estudo publicado pelo blog Diabettech revelou uma limitação preocupante em modelos de IA, incluindo o ChatGPT. Em 27 mil interações, a IA foi solicitada a estimar carboidratos em refeições com base em imagens e descrições. O resultado mostrou variações significativas nas respostas, mesmo quando os mesmos dados foram repetidos.
A contagem precisa de carboidratos é essencial para diabéticos, que ajustam doses de insulina com base nos alimentos consumidos. Estimativas erradas podem resultar em complicações graves de saúde, como hipoglicemia ou hiperglicemia.
O estudo avaliou a capacidade da IA em situações reais de alimentação, utilizando três níveis de informações fornecidas:
Cada cenário foi repetido várias vezes para medir a consistência das respostas. Em todos os níveis, as estimativas da IA apresentaram variações consideráveis, indicando dificuldades em manter a uniformidade.
Os principais achados do estudo incluem:
Esses resultados mostram que a IA ainda não é confiável para tarefas que exigem precisão extrema, especialmente em contextos de saúde crítica.
O crescimento do uso de IA na saúde levanta questões importantes sobre confiança e segurança:
A IA enfrenta dificuldades devido a inconsistências nos dados de entrada, como imagens e descrições, além de limitações em processos internos como aleatoriedade e falta de treinamento específico.
Erros podem levar a complicações graves para diabéticos, como hipoglicemia ou hiperglicemia, que podem ser fatais se não tratadas rapidamente.
É necessário que ferramentas de IA sejam submetidas a validações rigorosas, incluindo testes em larga escala e certificação por órgãos reguladores.
💡 Dica Pro: Ao desenvolver modelos de IA para saúde, use conjuntos de dados específicos e validados, incluindo informações culturais e regionais sobre alimentos, para melhorar a precisão nas respostas.
