IA e ferramentas digitais

Avalie aplicações práticas de IA, ferramentas adequadas e limites para dados, fiabilidade e supervisão humana.

111 artigos · Último artigo atualizado

A pesquisa abrange todos os artigos desta secção, incluindo o arquivo e o texto dos artigos.

Compreenda o tópico

Um guia prático para este tópico

A IA deve ser avaliada em uma tarefa real: quais informações entram no sistema, qual decisão ela ajuda a tomar e quais erros seriam custosos. Esta categoria conecta modelos, assistentes e ferramentas aos seus dados, condições operacionais e supervisão humana.

O que examinar
  • Avaliar um caso de uso com exemplos representativos em vez de uma única demonstração.
  • Rastrear as fontes, respostas, ações e intervenções humanas de um assistente.
  • Comparar fornecedores por meio de tratamento de dados, operação, gerenciamento de mudanças e opções de saída.
  • Comparar versões nas mesmas tarefas, encontrar perdas locais e tomar uma decisão baseada em casos, em vez de uma média.
  • Teste a recuperação, citações, caches e revogação para que um assistente de documentos respeite as permissões de cada usuário.
  • A aprovação corresponde a uma operação concreta e aos seus parâmetros.
  • Separar sintaxe, esquema, evidências e regras de negócio para produzir dados utilizáveis.
  • Dados gerados exigem avaliação separada de utilidade e identificação.
  • A transcrição automática exige controlo de campos e ordem de leitura.
  • Ligar afirmações a versão e passagem para tratar citações desatualizadas sem reescrever a história.
Perguntas úteis
  • O que o sistema deve recusar ou escalar?
  • Como uma resposta plausível, mas sem suporte, será detectada?
  • Quem pode pausar ou alterar o uso?
  • Qual componente foi alterado?
  • Um namespace vetorial separado é suficiente?
  • A aprovação humana autoriza qualquer chamada?
  • JSON válido pode estar errado?
  • Sintético significa anónimo?
  • Confiança elevada dispensa revisão?
  • Uma citação encontrada na versão nova confirma a resposta?

Exemplo ilustrativo de decisão

Situação
Exemplo fictício: estes dados não descrevem clientes nem resultados observados. Um classificador melhora a pontuação global, mas identifica pior os pedidos que exigem tratamento urgente.
Verificar
Repetir os mesmos casos, guardar resultados por tipo de pedido e rever os erros críticos com uma definição comum.
Agir
Decidir segundo gravidade, volume e capacidade de recuperação. A melhor média não é automaticamente a melhor escolha para o serviço.

Deep Learning: O Motor por Trás da Nova Geração de Inteligência Artificial

Avaliar regressões de IA antes de alterar versões

NIST — AI Risk Management Framework 1.0, Measure

Testar a autoridade da fonte.

Um corpus relevante pode conter instruções adversárias. Separe as evidências de uma resposta da autoridade para agir; verifique a negação na ferramenta, em vez de apenas no texto do agente.

Uma fonte recuperada pode acionar o envio ou alterações fora da tarefa?

Explore os métodos

Ler os dados e decidir

Viés de IA: comparar erros por grupo

A média global pode ocultar diferenças entre grupos.

Erros A
5%5 / 100
Erros B
20%10 / 50
Diferença em pontos percentuais
1520 − 5

Caso pedagógico fictício: os números não representam a CIE nem clientes.

Perguntas para preparar as suas decisões

Encontre respostas e verificações práticas nas análises desta secção.

Explorar o arquivo

Outras análises deste tema, além dos artigos recentes apresentados abaixo.

Referências: dados, usos e limites

Documentação consultada em .

As notas detalhadas desta edição estão disponíveis em inglês.

Referências: dados, usos e limites
Fonte e finalidadeDado ou referência verificadaComo utilizarLimite a preservar
MITRE ATLAS

Examine documented tactics, techniques and cases involving AI systems.

The official repository publishes ATLAS tactics, techniques and case-study data. They support analysis of the actual deployed system. Select scenarios matching your application’s data, interfaces and tools. Test permissions and consequences, not only model responses.

Aprofundar o método →

A technique catalogue is neither an exhaustive coverage guarantee nor a test result for your system.
NIST · AI Risk Management Framework

Organise management of AI-related risks.

The AI RMF Core is organised around Govern, Map, Measure and Manage. It is a voluntary risk-management framework. Define intended use, affected people and error consequences. Connect each risk to an evaluation, owner and stop or recovery mechanism.

Aprofundar o método →

The framework certifies neither a model nor an application. Using it does not remove the need to examine applicable requirements.
OWASP · LLM Top 10

Prepare tests for language-model application risks.

The 2025 edition includes Prompt Injection, Sensitive Information Disclosure and Excessive Agency. Turn a risk into an observable scenario: hostile document, restricted data or out-of-scope tool. Record expected behaviour and evidence of refusal.

Aprofundar o método →

A risk list is not a complete assessment. Input filtering alone does not establish authorisation for every action.

RAG: permissões, citações e caches

As notas detalhadas desta edição estão disponíveis em inglês.

Compare AI architectures through their access boundaries

Beyond model choice, examine who retrieves documents, under which identity and with which caching policy. These decisions define separation tests between teams.

  • Identify each component seeing a passage or citation.
  • Replay the same question under several groups.
  • Check that a reading tool cannot become a sending tool.

Explore the RAG access matrix and replay cases →

References consulted on · OWASP · LLM08:2025 Vector and Embedding Weaknesses OWASP · API1:2023 Broken Object Level Authorization

RAG: relevância e classificação

As notas detalhadas desta edição estão disponíveis em inglês.

Compare retrieval before evaluating the answer

Keep the same needs, judgments and depth k when comparing configurations. Inspect regressing queries before drawing conclusions from an average.

  • Separate window precision, relevant-record coverage and ordering quality.
  • Document missing judgments and the no-relevant-record convention.
  • Then evaluate the answer, citations and refusals using a separate protocol.

Explore ranking measures and relevance judgments →

Stanford CS276 · Retrieval evaluation · 2019 course archive · PDF pp. 3, 5–6 · consulted 2026-10-23

NIST TREC · Reciprocal rank definition · Repository snapshot 35cf096ba6d5ae08ca4803c056b31ed61a56a6d4 · consulted 2026-10-23

Fontes de referência

Documentos originais das organizações responsáveis por estes métodos e normas.