- Empresas não confiam na precisão de seus modelos de IA/ML, mas isso se deve a fundamentos de dados deficientes, afirma relatório
- Apenas um em cada três implementou ou otimizou programas de observabilidade de dados
- Observabilidade deve ser padrão em todo o ciclo de vida dos dados
Uma nova pesquisa da Ataccama revelou que uma proporção considerável de empresas ainda não confia na saída dos modelos de IA. Isso pode ser atribuído ao fato de que seus dados ainda não estão organizados de forma adequada.
O estudo constatou que dois em cada cinco (42%) organizações não confiam nas saídas de seus modelos de IA/ML, enquanto apenas três em cada cinco (58%) implementaram ou otimizaram programas de observabilidade de dados.
A Ataccama aponta que isso pode ser problemático, pois as ferramentas tradicionais de observabilidade não são projetadas para monitorar dados não estruturados, como PDFs e imagens.
Não confia na IA? Uma falta de dados adequados pode ser o problema
O relatório também revelou a abordagem ad-hoc que as empresas costumam adotar, com a observabilidade frequentemente implementada de forma reativa, resultando em governança fragmentada e silos dentro da organização.
A Ataccama define um programa eficaz como proativo, automatizado e embutido em todo o ciclo de vida dos dados. Uma observabilidade mais avançada também poderia incluir verificações automáticas de qualidade dos dados e fluxos de trabalho de remediação, que poderiam, em última análise, prevenir problemas adicionais a montante.
“As empresas investiram em ferramentas, mas não conseguiram operacionalizar a confiança. Isso significa integrar a observabilidade em todo o ciclo de vida dos dados, desde a ingestão e execução de pipelines até o consumo impulsionado por IA, para que problemas possam surgir e ser resolvidos antes de chegarem à produção”, explicou Jay Limburn, CPO.
No entanto, a escassez contínua de habilidades e orçamentos limitados ainda apresentam desafios nesse caminho. A Ataccama também observou que entradas não estruturadas continuam a crescer devido ao aumento da adoção de IA generativa e RAG, mas atualmente, menos de um em cada três organizações alimentam seus modelos com dados não estruturados.
O relatório continua explicando: “Os programas mais maduros estão fechando essa lacuna ao integrar a observabilidade diretamente em suas estruturas de engenharia de dados e governança.”
Com a observabilidade adequada em vigor, as empresas podem esperar uma melhoria na confiabilidade dos dados, tomada de decisões mais rápida e redução de riscos operacionais.
