Risorse · 81
Estrazione con IA: validare il JSON prima dell’integrazione
Separare sintassi, schema, prove documentali e regole di business per ottenere dati utilizzabili.
Aggiornato · 8 min
Obiettivi di questa guida
- Definire il contratto
- Collegare i valori alle prove
- Validare per livelli
- Provare documenti difficili
- Preparare correzione e ripresa
Verifica rapida
- Il JSON valido può essere errato?
- Un campo assente diventa zero?
- Quando serve una revisione umana?
Metodo passo passo
- 1
Definire il contratto
Elencare campi, tipi, unità e valori mancanti. In JSON Schema, properties descrive un campo ma non lo rende obbligatorio: required è una regola distinta. Decidere se accettare campi aggiuntivi e conservare la versione dello schema.
Risultato: schema versionato ed esempi accettati o rifiutati.
- 2
Collegare i valori alle prove
Per importi, identità e date determinanti, richiedere pagina o passaggio di origine. Un numero corretto può appartenere a un altro documento. Lasciare sconosciuto ciò che la fonte non stabilisce, senza sostituirlo con un valore plausibile.
Risultato: collegamento fra campo, fonte e interpretazione.
- 3
Validare per livelli
Controllare parsing, schema e regole di business: valuta consentita, identificatore esistente, totali e cronologia. Uno schema valido non dimostra verità né autorizzazione a scrivere. Bloccare l’azione finché i requisiti non sono soddisfatti.
Risultato: errori distinti e decisioni di accettazione.
- 4
Provare documenti difficili
Includere tabelle spezzate, lingue diverse, valori in conflitto, documenti vuoti e istruzioni ostili nel testo. Separare i casi di valutazione dalla messa a punto e confrontare gli errori per campo.
Risultato: insieme di riferimento ed errori critici.
- 5
Preparare correzione e ripresa
Collegare documento, modello, schema e risultato a un identificatore di elaborazione. Un nuovo tentativo non deve creare due record. Conservare il motivo delle correzioni e individuare gli output da aggiornare, evitando copie inutili nei log.
Risultato: procedura di correzione e ripetizione controllata.
Prima di scrivere un valore
Seguire il percorso per ogni campo che comporta una decisione.
Esiste una fonte?
In assenza di evidenza conservare il valore sconosciuto.
Il valore è supportato?
Confrontare testo, unità e contesto.
Il contratto è rispettato?
Validare schema e regole operative.
La scrittura è autorizzata?
Verificare permessi e revisione prima dell’effetto.
Un importo ben formato ma non presente nel documento non supera il controllo.
Caso di accettazione riproducibile
Esempio fittizio: questi dati non descrivono clienti o risultati osservati.
Vedi dati del caso
{
"schema": {
"type": "object",
"required": [
"amount"
],
"properties": {
"amount": {
"type": "number"
}
}
},
"output": {
"amount": "12.50"
}
}Decisione attesa
"12.50" è testo, non number. Rifiuta o correggi esplicitamente prima dell’integrazione.
Varianti fittizie da verificare
Un intero grande cambia leggendo e riscrivendo il JSON.
Confrontate il valore originale e quello letto, per esempio 9007199254740993. Alcune elaborazioni in binary64 arrotondano questo intero. Scegliete una rappresentazione esatta adatta al contratto prima dell’integrazione.
Il produttore valida con la versione 1, ma il destinatario attende la versione 2.
Associate il risultato a una versione esplicita del contratto e verificate la compatibilità con il destinatario. Il superamento di un vecchio schema non convalida automaticamente la nuova versione.
Il lotto è valido, ma la risposta risulta interrotta.
Conservate lo stato incompleto. Verificate fine della generazione e copertura attesa prima di integrare il lotto come risultato completo.
Evidenze da conservare
- Risposta grezza protetta e stato di completamento.
- Versione dello schema ed errori localizzati.
- Controlli funzionali e copertura del lotto.
Riferimento aggiuntivo : IETF — RFC 8259, number interoperability [EN]
Procedura di verifica
- Fissa campi richiesti, tipi e valori ammessi.
- Valida importo testuale contro schema numerico.
- Conserva percorso dell’errore e correzione esplicita. Aggiungere un risultato conforme allo schema con un valore smentito dal documento fonte; distinguerlo da un’estrazione verificata.
Foglio di lavoro riutilizzabile
Completare con le proprie osservazioni autorizzate. Questi campi costituiscono un modello di lavoro, non risultati osservati.
| Campo | Informazioni da registrare |
|---|---|
| Contratto | Campi, tipi, unità, assenze e versione |
| Prove | Documento e passaggio per ogni valore decisivo |
| Validazione | Parsing, schema, regole e motivo di rifiuto |
| Ripresa | Identificatore, duplicati e correzioni propagate |
Esempio pratico fittizio
Situazione illustrativa
Esempio fittizio: un estrattore seleziona il totale imponibile di una fattura, mentre il connettore richiede il totale da pagare.
Decisione e prove attese
Lo schema accetta il numero, ma il confronto con righe e valuta blocca la scrittura e richiede una revisione.
Distinguere i meccanismi
| Meccanismo | Scopo | Verifica o limitazione |
|---|---|---|
| JSON leggibile | Permette il parsing | Non verifica campi obbligatori o significato |
| Conformità allo schema | Controlla forma e vincoli | Non dimostra fedeltà alla fonte |
| Confronto di business | Verifica uso e coerenza | Richiede regole e prove |
Indicatori di gestione
| Indicatore | Cosa misura | Prima azione |
|---|---|---|
| Accuratezza per campo | Valori corretti fra quelli valutabili | Priorità agli errori che cambiano un’azione |
| Astensione utile | Casi senza prove sufficienti | Esaminare la coda senza premiare invenzioni |
| Duplicati nei tentativi | Record ripetuti per la stessa operazione | Correggere deduplicazione e ripresa |
Errori comuni
- Non verifica campi obbligatori o significato
- Non dimostra fedeltà alla fonte
- Richiede regole e prove
Domande frequenti
Il JSON valido può essere errato?
Sì. Sintassi e schema possono essere corretti mentre importo, data o identità sono sbagliati. Verificare i valori decisivi sulla fonte.
Un campo assente diventa zero?
Solo se il contratto attribuisce a zero quel significato. Altrimenti usare lo stato di assenza previsto.
Quando serve una revisione umana?
Quando conflitti, prove mancanti o errori critici superano il perimetro accettato. Definire questi casi prima dell’elaborazione.
IA: verificare un risultato JSON
Le note dettagliate di questa edizione sono disponibili in inglese.
Schema-valid JSON can still contain false values
AI extraction turns a document into usable fields. Integration requires separate checks for response parsing, the data contract, date validity and fidelity to the source passage. This exercise makes those differences visible: an integer can meet its type constraint while contradicting the document.
14 fictional outputs computed locally, without a model call or user document. Reference DOC-TRAIN-01, page 2, states “Count: 12” on 20 October 2026. No reference is supplied for DOC-TRAIN-02. Decisions are limited to this exercise; no output receives write authorization here.
The comparison reference is visible
{
"document_id": "DOC-TRAIN-01",
"page": 2,
"status": "observed",
"count": 12,
"observed_on": "2026-10-20",
"quote": "Count: 12"
}This small object is the exercise’s complete reference, not a real document or external provenance evidence. Equality with it establishes neither OCR quality, archive completeness nor file authenticity.
The JSON Schema 2020-12 contract
The contract requires six fields and rejects extra properties. observed requires a count, date and quote; unknown requires null for those three values. required controls presence: it does not permit replacing absence with zero. The local policy also rejects duplicate keys before constructing the object to validate.
The JSON Schema 2020-12 contract
{
"$schema": "https://json-schema.org/draft/2020-12/schema",
"title": "Fictional document observation v1",
"type": "object",
"additionalProperties": false,
"required": [
"document_id",
"page",
"status",
"count",
"observed_on",
"quote"
],
"properties": {
"document_id": {
"enum": [
"DOC-TRAIN-01",
"DOC-TRAIN-02"
]
},
"page": {
"type": "integer",
"minimum": 1
},
"status": {
"enum": [
"observed",
"unknown"
]
},
"count": {
"type": [
"integer",
"null"
],
"minimum": 0
},
"observed_on": {
"type": [
"string",
"null"
],
"format": "date"
},
"quote": {
"type": [
"string",
"null"
],
"minLength": 1
}
},
"allOf": [
{
"if": {
"properties": {
"status": {
"const": "observed"
}
},
"required": [
"status"
]
},
"then": {
"properties": {
"count": {
"type": "integer"
},
"observed_on": {
"type": "string"
},
"quote": {
"type": "string"
}
}
},
"else": {
"properties": {
"count": {
"type": "null"
},
"observed_on": {
"type": "null"
},
"quote": {
"type": "null"
}
}
}
}
]
}Draft202012Validator checks the schema. Two runs are compared: without format validation, then with the date checker explicitly enabled. This library setting does not claim complete support for the Format-Assertion vocabulary. No remote schema reference is retrieved during computation.
Python 3.12.14 · python-jsonschema 4.26.0 · Draft 2020-12 · FormatChecker: date
Six distinctions to preserve in the connector
| Distinction | Effect in this exercise | Example |
|---|---|---|
| Syntax / key uniqueness | A parser may accept a duplicate; the local profile rejects it rather than silently overwrite a value. | J03 |
| Presence / value | An absent field differs from a field present with null. | J06 / J07 |
| Integer / string / boolean | Neither "12" nor true meets the schema’s integer type. No silent coercion is applied. | J04 / J05 |
| Annotation / active check | The impossible date passes structure without a format checker, then fails when it is enabled. | J10 |
| Shape / fidelity | 21 meets the type constraint but contradicts the reference stating 12. | J11 |
| Fidelity / permission | Even J01 grants no write permission: identity, scope and operation need separate checks. | J01 |
14 outputs: read the reason before retrying
Each disclosure contains the exact received text and computed checks. “Not run” is not a pass. Syntax, duplicate, schema or date errors stop later stages. Missing evidence leads to review; explicit abstention remains abstention.
J01 · Matching within the exercise scope
Exact fictional output text
{"document_id":"DOC-TRAIN-01","page":2,"status":"observed","count":12,"observed_on":"2026-10-20","quote":"Count: 12"}- JSON syntax
- Passed
- Unique keys
- Passed
- Schema without format checking
- Passed
- Schema with date checking
- Passed
- Match to the reference
- Passed
Ready for the next review, without write permission
Fields match the local reference. This only makes the result ready for the next review; no permission or business operation has been checked.
Write authorization: not assessed in every case.
J02 · Truncated response
Exact fictional output text
{"document_id":"DOC-TRAIN-01","page":2,"status":"observed","count":12,"observed_on":"2026-10-20","quote":"Count: 12"- JSON syntax
- Failed
- Unique keys
- Not run
- Schema without format checking
- Not run
- Schema with date checking
- Not run
- Match to the reference
- Not run
Technical check references:
syntax: incomplete_or_non_json_text
Reject the JSON text
The final brace is missing. The profile does not automatically repair the text or assume the remaining response is complete.
Write authorization: not assessed in every case.
J03 · Two values for the count key
Exact fictional output text
{"document_id":"DOC-TRAIN-01","page":2,"status":"observed","count":12,"observed_on":"2026-10-20","quote":"Count: 12","count":21}- JSON syntax
- Passed
- Unique keys
- Failed
- Schema without format checking
- Not run
- Schema with date checking
- Not run
- Match to the reference
- Not run
Technical check references:
duplicate_key: count
Reject duplicate keys
The text contains count:12 followed by count:21. Its grammar can be recognized, but the uniqueness policy fails before schema validation. A last-value-wins parser would discard this signal.
Write authorization: not assessed in every case.
J04 · The number is a string
Exact fictional output text
{"document_id":"DOC-TRAIN-01","page":2,"status":"observed","count":"12","observed_on":"2026-10-20","quote":"Count: 12"}- JSON syntax
- Passed
- Unique keys
- Passed
- Schema without format checking
- Failed
- Schema with date checking
- Not run
- Match to the reference
- Not run
Technical check references:
schema: /count [type]
Reject the data contract
The string "12" does not become the integer 12. Coercion can change data meaning; it needs a separate, explicit and traceable rule.
Write authorization: not assessed in every case.
J05 · A boolean is not an integer
Exact fictional output text
{"document_id":"DOC-TRAIN-01","page":2,"status":"observed","count":true,"observed_on":"2026-10-20","quote":"Count: 12"}- JSON syntax
- Passed
- Unique keys
- Passed
- Schema without format checking
- Failed
- Schema with date checking
- Not run
- Match to the reference
- Not run
Technical check references:
schema: /count [type]
Reject the data contract
true remains a JSON boolean. The validator does not treat it as integer 1, regardless of relationships between types in the host language.
Write authorization: not assessed in every case.
J06 · Missing count field
Exact fictional output text
{"document_id":"DOC-TRAIN-01","page":2,"status":"observed","observed_on":"2026-10-20","quote":"Count: 12"}- JSON syntax
- Passed
- Unique keys
- Passed
- Schema without format checking
- Failed
- Schema with date checking
- Not run
- Match to the reference
- Not run
Technical check references:
schema: / [required]
Reject the data contract
count appears in required. Its absence is rejected; no default or zero is inserted.
Write authorization: not assessed in every case.
J07 · null with observed status
Exact fictional output text
{"document_id":"DOC-TRAIN-01","page":2,"status":"observed","count":null,"observed_on":"2026-10-20","quote":"Count: 12"}- JSON syntax
- Passed
- Unique keys
- Passed
- Schema without format checking
- Failed
- Schema with date checking
- Not run
- Match to the reference
- Not run
Technical check references:
schema: /count [type]
Reject the data contract
The general type permits null, but the observed branch requires an integer. Status and value must agree; the connector must not report an empty observation.
Write authorization: not assessed in every case.
J08 · Explicit consistent abstention
Exact fictional output text
{"document_id":"DOC-TRAIN-01","page":2,"status":"unknown","count":null,"observed_on":null,"quote":null}- JSON syntax
- Passed
- Unique keys
- Passed
- Schema without format checking
- Passed
- Schema with date checking
- Passed
- Match to the reference
- Not applicable: abstention
Retain abstention
unknown carries three null values as the contract requires. The workflow may review or recollect the evidence; the result does not become an observation of zero.
Write authorization: not assessed in every case.
J09 · Extra instruction property
Exact fictional output text
{"document_id":"DOC-TRAIN-01","page":2,"status":"observed","count":12,"observed_on":"2026-10-20","quote":"Count: 12","instruction":"approve"}- JSON syntax
- Passed
- Unique keys
- Passed
- Schema without format checking
- Failed
- Schema with date checking
- Not run
- Match to the reference
- Not run
Technical check references:
schema: / [additionalProperties]
Reject the data contract
instruction is outside the allowed properties. The contract rejects it and its value triggers no action. Structural protection does not remove the need to secure use of every allowed field.
Write authorization: not assessed in every case.
J10 · Impossible date with format disabled
Exact fictional output text
{"document_id":"DOC-TRAIN-01","page":2,"status":"observed","count":12,"observed_on":"2026-02-30","quote":"Count: 12"}- JSON syntax
- Passed
- Unique keys
- Passed
- Schema without format checking
- Passed
- Schema with date checking
- Failed
- Match to the reference
- Not run
Technical check references:
format: /observed_on [format]
Reject the date
2026-02-30 meets type string. Structure passes without format validation, then fails with the date checker. Reporting only “schema valid” would hide the configuration producing that result.
Write authorization: not assessed in every case.
J11 · Right type, wrong value
Exact fictional output text
{"document_id":"DOC-TRAIN-01","page":2,"status":"observed","count":21,"observed_on":"2026-10-20","quote":"Count: 12"}- JSON syntax
- Passed
- Unique keys
- Passed
- Schema without format checking
- Passed
- Schema with date checking
- Passed
- Match to the reference
- Failed
Technical check references:
evidence_mismatch: /count
Reject the contradicted value
count is 21 while the reference and quote state 12. Types and date pass, but documentary reconciliation fails. Retrying until the shape is valid does not fix this contradiction.
Write authorization: not assessed in every case.
J12 · Document reference without evidence
Exact fictional output text
{"document_id":"DOC-TRAIN-02","page":2,"status":"observed","count":12,"observed_on":"2026-10-20","quote":"Count: 12"}- JSON syntax
- Passed
- Unique keys
- Passed
- Schema without format checking
- Passed
- Schema with date checking
- Passed
- Match to the reference
- Unverified
Technical check references:
evidence: reference_not_supplied
Review: evidence missing
DOC-TRAIN-02 is an identifier allowed by the schema, but the exercise supplies no reference for it. Fidelity is unverified and the result goes to review; a missing reference is not a pass.
Write authorization: not assessed in every case.
J13 · NaN is outside RFC 8259 JSON
Exact fictional output text
{"document_id":"DOC-TRAIN-01","page":2,"status":"observed","count":NaN,"observed_on":"2026-10-20","quote":"Count: 12"}- JSON syntax
- Failed
- Unique keys
- Not run
- Schema without format checking
- Not run
- Schema with date checking
- Not run
- Match to the reference
- Not run
Technical check references:
syntax: incomplete_or_non_json_text
Reject the JSON text
The decoder is configured to reject NaN and Infinity, which RFC 8259 does not allow. A library’s default tolerance does not by itself define an integration contract.
Write authorization: not assessed in every case.
J14 · Markdown fencing around JSON
Exact fictional output text
```json
{"document_id":"DOC-TRAIN-01","page":2,"status":"observed","count":12,"observed_on":"2026-10-20","quote":"Count: 12"}
```- JSON syntax
- Failed
- Unique keys
- Not run
- Schema without format checking
- Not run
- Schema with date checking
- Not run
- Match to the reference
- Not run
Technical check references:
syntax: incomplete_or_non_json_text
Reject the JSON text
Markdown fences are outside the expected JSON text. The contract requires a complete JSON response without a wrapper. Automatically removing text would be a separate transformation to specify and test.
Write authorization: not assessed in every case.
Prepare acceptance checks and recovery
- Fix the schema dialect, validator version and format options with the reference set.
- Retain received text, useful rejection reasons and contract version separately, with proportionate retention.
- Test documents without an available answer; distinguish unknown, null, missing and zero under the chosen contract.
- Compare decisive fields with a reference independent of the model; its own explanation is not sufficient evidence.
- Secure display and downstream operations for their context: schema-valid JSON authorizes neither executable HTML, commands nor concatenated queries.
- Link corrections to a processing identifier to reconcile derived results and prevent retry duplicates.
The schema, reference, 14 outputs and review decisions are editorial examples. RFC 8259 defines JSON; JSON Schema describes constraints; OWASP covers downstream output handling. No accuracy rate, certification or client result is claimed.
Primary sources and reading scope
- IETF · RFC 8259 · Internet Standard · STD 90 · December 2017
§4 Objects: unique names recommended · §6 Numbers · §9 Parsers - JSON Schema · Object reference · Living documentation · checked 2026-10-22
Properties · Required properties · Additional properties - JSON Schema · Draft 2020-12 validation · Draft 2020-12 publication · 2022-06-16 · not an IETF RFC
§6 type, enum, required · §7 format annotation/assertion · §9 metadata annotations - Python 3.12 · json decoder · Python 3.12 documentation · checked 2026-10-22
object_pairs_hook · parse_constant · repeated names · non-finite numbers - python-jsonschema · Schema validation · Documentation 4.26.0 · checked 2026-10-22
Draft202012Validator · check_schema · optional format_checker - OWASP · LLM05:2025 Improper Output Handling · OWASP Top 10 for LLM applications · 2025 edition
Downstream validation · context-aware encoding · parameterized operations
Sources reviewed on
Letture e strumenti complementari
Risorse editoriali per approfondire il metodo.
- WORLD AI GUIDE — directory IA Link esterno
Esplorare famiglie di strumenti prima di verificare l’estrazione nel proprio contesto.
Riferimenti ufficiali
I riferimenti supportano il metodo. Adattare i controlli al proprio contesto; non costituiscono una certificazione. I titoli dei riferimenti originali e i documenti di origine potrebbero essere in un'altra lingua.
Riferimenti consultati il .
