REQVERA
O compromisso impossível · Ficha de decisão 02

Como responder à pergunta «A IA está sempre correta?»

Situação ilustrativa · Não é um caso de cliente
A pergunta do comprador

Podem assegurar que os resultados gerados por IA estão sempre corretos?

Não garanta todos os resultados gerados. Defina a tarefa, demonstre como o desempenho foi avaliado e identifique a revisão necessária antes de uma utilização com consequências relevantes. Citações de fontes e supervisão humana são controlos, não provas de infalibilidade.

Uma resposta a adaptar

Não. Não garantimos que todos os resultados gerados por IA estejam corretos ou completos. Para [funcionalidade específica e tarefa prevista], os resultados são utilizados como [rascunhos, sugestões ou outra função verificada], dentro de [limites documentados de dados de entrada e de utilização]. Antes de [ação com consequências especificada], [função qualificada identificada] deve realizar [processo de revisão efetivo] com base em [fonte de referência ou comprovativo]. Para [versão do sistema/modelo], podemos disponibilizar [relatório de avaliação aprovado] que descreve o conjunto de testes, os critérios de aceitação, os resultados, os tipos de falha conhecidos e as limitações. [Controlos verificados] tratam [riscos identificados]; não eliminam todos os erros. As utilizações fora de [âmbito aprovado] estão sujeitas a [restrição efetiva ou regra de encaminhamento para decisão]. Se o requisito [ID] exigir resultados sem erros e sem essa revisão, não podemos confirmar o cumprimento nos termos em que está formulado.

Substitua todos os campos entre parênteses retos por factos verificados. Retire frases opcionais que não consiga comprovar. Não apresente esta formulação sem a adaptar.

Uma ficha de avaliação de exatidão para o comprador

Responda a estas perguntas antes de partilhar uma alegação sobre desempenho. Apresente resultados relativos à utilização avaliada, não uma promessa sobre todos os resultados futuros.

A unidade avaliada
Indique se avalia um campo, uma afirmação factual, uma resposta completa ou uma tarefa concluída. Não apresente a exatidão das afirmações individuais como a probabilidade de uma resposta longa não conter qualquer erro.
A resposta de referência
Identifique quem estabeleceu o resultado esperado e com base em que documentação de referência. A avaliação de uma resposta por outro modelo, isoladamente, não constitui uma referência verificada para um facto contratual.
As falhas relevantes
Separe factos inventados, requisitos omitidos, atribuição incorreta e compromissos sem suporte. Registe os erros críticos separadamente, em vez de os esconder numa pontuação média.
O teste de informação em falta
Inclua casos em que a fonte não contém a resposta. Verifique se o sistema mantém o ponto por resolver ou o preenche de forma plausível. Uma citação deve sustentar a afirmação, não apenas apontar para um documento relacionado.
A condição de autorização
Registe o revisor e a ação que fica suspensa até à aprovação. Reavalie quando mudam o modelo, as fontes recuperadas, a língua, as instruções ou o caso de utilização; não transporte uma aprovação antiga para uma configuração diferente.

As condições que sustentam a resposta

Substitua uma garantia de exatidão indefensável por uma descrição delimitada dos testes, das limitações conhecidas e das decisões que não podem ser delegadas.

  • Acorde o significado de exatidão nesta tarefa

    Extrair corretamente uma data, produzir uma resposta completa e dar uma orientação adequada são resultados diferentes. Defina a tarefa e as categorias de erro antes de apresentar uma pontuação. Uma resposta pode estar factualmente correta e, ainda assim, omitir uma exceção, associar o comprovativo errado ou não cumprir o requisito efetivo do comprador.

  • Vincule o resultado ao sistema testado

    Identifique a versão do modelo ou sistema, a configuração, o conjunto de fontes, a língua e os dados de entrada representativos. Explique a seleção da amostra e a avaliação dos erros. Uma demonstração bem-sucedida ou um estudo comparativo do fornecedor não estabelece o desempenho da sua aplicação nos documentos deste comprador. Não invente uma percentagem quando não existe uma avaliação.

  • Descreva uma revisão que possa realmente ser realizada

    Identifique o revisor, a documentação original a que pode aceder, a condição de autorização e o percurso para encaminhar dúvidas. «Supervisão humana» é uma descrição incompleta se ninguém dispõe de tempo, autoridade ou acesso às fontes para questionar a resposta. Para ações com consequências relevantes, indique o que permanece bloqueado até à conclusão da revisão exigida.

Os comprovativos a reunir

  • Uma avaliação que o comprador possa interpretar

    Obtenha um relatório datado com a versão do sistema, a população de teste, o método de pontuação, a distribuição dos erros e as limitações. Distinga a avaliação do responsável pelo produto de uma avaliação independente; declare qual delas apresenta. Não trate o alinhamento com um referencial de gestão de risco como uma certificação de exatidão.

  • Fontes e decisões de revisão rastreáveis

    Para resultados representativos, conserve as passagens de suporte e as decisões documentadas dos revisores. Mostre uma correção e um caso não resolvido, além de uma boa resposta. Proteja a informação dos clientes ao partilhar exemplos.

  • Uma regra operacional, não apenas uma ressalva

    Confirme as utilizações efetivamente proibidas, as permissões, o processo de encaminhamento e a resposta a um erro reportado. Descreva apenas os controlos de abstenção de resposta, validação ou bloqueio que a implementação proposta realmente possui.

A decisão a aprovar

Responsáveis pela aprovação
O responsável pela IA ou pelo produto sustenta a avaliação; o especialista do domínio determina se a revisão é adequada à utilização. O jurídico aprova quaisquer garantias contratuais, e o responsável pela proposta conserva o seu âmbito.
Prosseguir
Avance quando for permitida uma resposta verdadeira e delimitada, os comprovativos sustentarem as alegações e o comprador aceitar o risco residual e o processo de revisão efetivamente propostos.
Não prosseguir
Não marque uma garantia de exatidão incondicional como cumprida. Não prometa um revisor ou um mecanismo de bloqueio sem recursos humanos ou implementação. Uma condição obrigatória de ausência de erros continua por cumprir, salvo alteração formal.
Solicitar uma decisão
Pergunte que resultados e decisões são abrangidos pela garantia, quais os comprovativos de desempenho exigidos e se é aceitável um processo com revisão dos resultados. Siga o procedimento de esclarecimentos autorizado pelo comprador.

Preservar a decisão nos ficheiros a apresentar

Um rascunho assistido por IA e aprovado pode ainda mudar antes da submissão. Confronte as afirmações finais com os requisitos atuais do comprador e os comprovativos aprovados, incluindo as limitações que a edição pode eliminar. REQVERA oferece um contexto de controlo final; esta página editorial não avalia o modelo de um cliente nem certifica os seus resultados.

Ver o percurso real de controlo final

Âmbito e fontes de referência

Pergunta ilustrativa de um comprador, não um resultado medido num cliente. Prática geral de resposta sobre garantias de IA generativa. As orientações do NIST são uma referência voluntária de gestão de risco, não uma determinação jurídica nem uma garantia; a regulamentação e a responsabilidade próprias de cada utilização exigem análise qualificada.