Recursos · 58
RAG: verificar direitos de acesso e isolamento de documentos
Teste a recuperação, citações, caches e revogação para que um assistente de documentos respeite as permissões de cada usuário.
Atualizado · 7 min
O que este guia ajuda a alcançar
- Definir limites
- Filtrar antes da exposição
- Caches separados
- Exercitar revogação
Verificação rápida
- Um namespace vetorial separado é suficiente?
- As permissões devem estar no prompt?
- Como evitar documentos confidenciais nos testes?
Método passo a passo
- 1
Definir limites
Atribuir a cada documento um proprietário, escopo e regra de acesso. A OWASP descreve o vazamento entre contextos devido a permissões desalinhadas no armazenamento vetorial. Nosso método proposto também trata chunks e metadados como objetos protegidos.
Entregável: inventário de documentos, grupos e escopos.
- 2
Filtrar antes da exposição
Impor autorização no serviço de recuperação antes que um chunk chegue ao modelo. Abrange busca vetorial, busca lexical, grafos e downloads diretos. Uma instrução de prompt não pode substituir a autorização do lado do servidor.
Entregável: pontos de decisão e comportamento de identidade ausente.
- 3
Caches separados
Inventariar resultados de busca retidos, conversas, citações e respostas. Verificar se a reutilização depende do contexto de acesso relevante. Um campo de índice que nomeia um cliente não comprova, por si só, o isolamento.
Entregável: chaves de cache e cenários de separação.
- 4
Exercitar revogação
Usando documentos de teste não sensíveis, remover o acesso, excluir um documento e alterar um grupo. Reproduzir uma conversa aberta antes da alteração. Medir quando trechos, links e respostas retidas se tornam indisponíveis.
Entregável: evidências de revogação com registro de data e hora e lacunas.
- 5
Manter testes negativos.
Fazer a mesma pergunta como um usuário autorizado, outro grupo e uma identidade desconhecida. Inspecionar nomes de arquivos, trechos, citações e registros. Reproduzir após alterações de índice ou conector; alguns casos aprovados apenas estabelecem cobertura limitada.
Entregável: matriz de testes e responsável pela correção.
Planilha reutilizável
Preencha com suas observações autorizadas. Estes campos são um modelo de trabalho, não resultados observados.
| Campo | Informações a serem registradas |
|---|---|
| Documento/bloco | Proprietário e escopo |
| Identidade do teste | Grupo permitido, outro grupo, identidade ausente |
| Rota de acesso | Recuperação, citação, arquivo ou cache |
| Resultado | Esperado, observado, data e correção |
Exemplo prático fictício
Situação ilustrativa
Exemplo fictício: estes dados não descrevem clientes nem resultados observados. Dois departamentos com direitos diferentes consultam o mesmo conjunto documental através de um assistente sem filtragem coerente.
Decisão e evidências esperadas
Criar contas e documentos fictícios com permissões distintas. Verificar pesquisa, excertos enviados ao modelo, citações e recusas. Impedir a exposição não autorizada antes da geração. Pedir ao modelo que respeite permissões não substitui o controlo de acesso.
Distinguir os mecanismos
| Mecanismo | Finalidade | Verificação ou limitação |
|---|---|---|
| Filtro de recuperação | Limitar blocos recuperados | Abranger rotas lexicais e links diretos também |
| Aviso de recusa | Orientar o comportamento da resposta | Não delegar autorização a ele |
| Cache de respostas | Reutilizar um resultado | Verificar o contexto de permissão antes da reutilização |
Indicadores de gestão
| Indicador | O que mede | Primeira ação |
|---|---|---|
| Vazamentos observados | Dados de teste expostos fora do escopo | Bloquear o uso afetado e inspecionar a causa |
| Atraso na revogação | Tempo até que todas as rotas testadas recusem | Caches de nomes ainda acessíveis |
| Cobertura de rotas | Conectores e modos de recuperação exercitados | Identificar caminhos não testados |
Erros comuns
- Abranger rotas lexicais e links diretos também
- Não delegar autorização a ele
- Verificar o contexto de permissão antes da reutilização
Perguntas frequentes
Um namespace vetorial separado é suficiente?
Isso ajuda a particionar dados, mas caches, links de arquivos e ferramentas devem respeitar o mesmo limite.
As permissões devem estar no prompt?
O contexto útil pode alcançar o modelo; o serviço que expõe os dados deve impor as decisões de acesso.
Como evitar documentos confidenciais nos testes?
Criar documentos sentinela fictícios para cada grupo com marcadores distintos e, em seguida, inspecionar as respostas e citações.
RAG: permissões, citações e caches
As notas detalhadas desta edição estão disponíveis em inglês.
An accurate answer can disclose a forbidden document. Retrieval relevance, citation validity and access authorisation are separate checks. The service providing passages must enforce the current identity’s rights before exposing them to the model.
Fictional CIE teaching set: four technical identities, six documents and three states. It illustrates a proposed policy without querying your system, authenticating real users or measuring product security. OWASP references describe risk families; the scenarios, rules and numbers below are our examples.
References consulted on .
Explore the fictional document policy
Choose identity, document, state and access path. The result is the decision expected under this policy, not an observed test of your application. All four paths should enforce the same access decision.
Local browser calculation with no connection to an AI model, vector database or account. No free-text field, secret or document to send.
Matrix of 24 expected decisions
Ops has group ops; Alpha has alpha; Beta has beta. The unauthenticated identity has no access. Documents without an explicit rule are denied.
10 allowed accesses across 24 fictional combinations
| Identity / document | Cross-team procedure | Alpha note | Beta note | Ops file | Old Alpha note | Unclassified document |
|---|---|---|---|---|---|---|
| Ops service | Allowed | Allowed | Allowed | Allowed | Allowed | Denied |
| Alpha service | Allowed | Allowed | Denied | Denied | Allowed | Denied |
| Beta service | Allowed | Denied | Allowed | Denied | Denied | Denied |
| Unauthenticated | Denied | Denied | Denied | Denied | Denied | Denied |
Three states with reproducible outcomes
| Fictional state | Policy change | Allowed accesses / 24 |
|---|---|---|
| 1 · Initial rights | Ops has group ops; Alpha has alpha; Beta has beta. The unauthenticated identity has no access. Documents without an explicit rule are denied. | 10 / 24 |
| 2 · Alpha group removed | Alpha remains authenticated but no longer has any required group. The cross-team procedure also requires one of ops, alpha or beta, so Alpha loses access to it as well. Ops and Beta groups are unchanged. | 7 / 24 |
| 3 · Group removed and old note deleted | Alpha’s group removal persists. The old Alpha note is deleted and denied to every identity, including Ops. Other document rules stay unchanged. | 6 / 24 |
These counts describe a small closed set, not a security rate. State changes are instant in this demonstration. In production, measure the actual delay on every path; revoking a right cannot retroactively erase a copy already read or exported.
Twelve replay cases with positive controls and expected evidence
Fictional scenarios. Buttons populate the demonstration and run no penetration test. To assess an application, compare each expectation with an actual trace from an authorised environment using sentinel data.
| Situation and reference | Demonstration input | Decision and evidence to retain |
|---|---|---|
| The group’s own document | Alpha service Alpha note 1 · Initial rights Vector retrieval | Allowed in this example Positive control: retain the permitted fictional passage and service decision. A system denying everything does not pass the functional test. |
| Another group’s document | Beta service Alpha note 1 · Initial rights Vector retrieval | Denied in this example Check that the passage, sensitive title and metadata are absent from data supplied to the model. |
| The secondary lexical branch | Beta service Alpha note 1 · Initial rights Lexical / hybrid retrieval | Denied in this example Retain each branch’s decisions before fusion and the final result. No vector leak does not establish lexical coverage. |
| A known citation identifier | Beta service Alpha note 1 · Initial rights Citation / file resolution | Denied in this example Call citation resolution using the Beta test identity; retain the object denial, not just the absence of a link in the answer. |
| An old cached answer | Alpha service Alpha note 2 · Alpha group removed Cached answer or passage | Denied in this example Create the answer before group removal and replay afterwards. Check that old passages are not returned under current rights. |
| The cross-team procedure after removal | Alpha service Cross-team procedure 2 · Alpha group removed Vector retrieval | Denied in this example This document requires an explicit group; remaining authenticated is insufficient. Retain the rule and membership change explaining the denial. |
| The unchanged group | Beta service Beta note 2 · Alpha group removed Lexical / hybrid retrieval | Allowed in this example Beta positive control: confirm that revocation handling does not block another authorised group. |
| The deleted but remembered document | Ops service Old Alpha note 3 · Group removed and old note deleted Cached answer or passage | Denied in this example Try an old citation and cache after deletion. Record object state and refusal to return it; separately verify removal of copies under your policy. |
| A document without a rule | Ops service Unclassified document 1 · Initial rights Vector retrieval | Denied in this example Even Ops has no implicit privilege. Retain the handling of an unclassified document and the process for correcting its access rule. |
| Access without an authenticated identity | Unauthenticated Cross-team procedure 1 · Initial rights Citation / file resolution | Denied in this example Check citation paths and their errors: reserved content must not be exposed during a denied attempt. |
| A source claims higher authority | Beta service Ops file 1 · Initial rights Cached answer or passage | Denied in this example A sentence inside the document changes neither groups nor service rules. Retain the technical denial even if model wording is persuasive. |
| The Ops file remains allowed | Ops service Ops file 3 · Group removed and old note deleted Citation / file resolution | Allowed in this example Positive control after both changes: establish this specific access without granting Ops the unclassified or deleted document. |
Document six technical boundaries
- Collection
- Retain document origin, version and status. Internal content can also carry hostile instructions. OWASP · LLM01:2025 Prompt Injection →
- Authorisation
- Check identity, object and groups in the service. Prompt text is not the permissions engine. OWASP · API1:2023 Broken Object Level Authorization →
- Generation and rendering
- Validate outputs for their destination: text, HTML, query or tool argument. A plausible answer is not directly executable input. OWASP · LLM05:2025 Improper Output Handling →
- Tool action
- Separate reading, proposing and modifying. Limit function, permission and autonomy to the task; read access does not authorise sending. OWASP · LLM06:2025 Excessive Agency →
- Configuration
- Keep secrets out of the system prompt. Confidentiality of its wording does not replace access controls. OWASP · LLM07:2025 System Prompt Leakage →
- Consumption
- Set request, duration and action limits, then exercise stopping and degraded operation with a demonstration budget. OWASP · LLM10:2025 Unbounded Consumption →
Useful traces without copying documents
Link test identifier, policy version, technical identity and effective groups, document identifier/version, access path, decision and timestamp. For revocation, add the change time and first observed denial per path. Use demonstration markers instead of secrets; restrict logs to necessary information and protect their access.
Continue with prompt injection testing →
Sources, editions and scope of the example
OWASP 2025 and API 2023 editions are explicitly identified. NIST AI 100-2 E2025 is a taxonomy published in March 2025; its page notes an April PDF correction and a June 2025 potential-update note. None certifies this simulator or your application.
- OWASP · LLM08:2025 Vector and Embedding Weaknesses · 2025
- OWASP · LLM01:2025 Prompt Injection · 2025
- OWASP · LLM06:2025 Excessive Agency · 2025
- OWASP · LLM05:2025 Improper Output Handling · 2025
- OWASP · LLM07:2025 System Prompt Leakage · 2025
- OWASP · LLM10:2025 Unbounded Consumption · 2025
- OWASP · API1:2023 Broken Object Level Authorization · 2023
- NIST AI 100-2 E2025 · Adversarial Machine Learning · Final · March 2025 ·
RAG: relevância e classificação
As notas detalhadas desta edição estão disponíveis em inglês.
Relevance and permission need separate checks
A relevant document may be forbidden to the requester. Build the evaluation corpus within accessible scope and test denials independently of ranking scores.
- Keep permissions and document versions with the test set.
- Check revocation, deletion and citation paths before measuring relevance.
- Do not use an nDCG improvement as evidence that permissions are respected.
Explore ranking measures and relevance judgments →
Stanford CS276 · Retrieval evaluation · 2019 course archive · PDF pp. 3, 5–6 · consulted 2026-10-23
NIST TREC · Reciprocal rank definition · Repository snapshot 35cf096ba6d5ae08ca4803c056b31ed61a56a6d4 · consulted 2026-10-23
Referências oficiais
As referências apoiam o método. Adapte as verificações ao seu contexto; elas não são uma certificação. Os títulos das referências originais e os documentos de origem podem estar em outro idioma.
Referências consultadas em .
- OWASP — LLM08:2025, Vector and Embedding Weaknesses
- OWASP · LLM01:2025 Prompt Injection
- OWASP · LLM06:2025 Excessive Agency
- OWASP · LLM05:2025 Improper Output Handling
- OWASP · LLM07:2025 System Prompt Leakage
- OWASP · LLM10:2025 Unbounded Consumption
- OWASP · API1:2023 Broken Object Level Authorization
- NIST AI 100-2 E2025 · Adversarial Machine Learning
- Stanford CS276 · Retrieval evaluation
- NIST TREC · Reciprocal rank definition
