41dots
Ricerca fuzzy negli archivi OCR: che cosa stai contando?
Un esempio eseguibile con sei record per distinguere occorrenze esatte, corrispondenze fuzzy e parole spezzate a fine riga.
Un lettore cerca canal in un archivio digitalizzato. Nel testo compaiono canal, l’errore OCR canai e la parola cabal, che ha un altro significato. Ammettendo una modifica alla grafia, la ricerca trova tutte e tre. Questo aiuta a recuperare una trascrizione errata, ma un conteggio chiamato «occorrenze di canal» includerebbe anche una parola diversa.
Mantieni una ricerca esatta per controllare il testo indicizzato. Presenta le corrispondenze fuzzy come risultati da valutare e mostra la parola trovata: canai accanto a B e cabal accanto a D permettono al lettore di accettare o scartare ciascun passaggio prima di citarlo.
Sei record, tre risposte diverse
Considera questo piccolo corpus in inglese. Ogni riga è un record ricercabile; in un archivio organizzato per pagine, potrebbe rappresentare una pagina. B contiene una sostituzione OCR introdotta nell’esempio. In E una parola è spezzata da un trattino e un ritorno a capo.
| Record | Testo indicizzato |
|---|---|
| A | The canal opened in 1890. The canal carried coal. |
| B | The canai carried coal. |
| C | The canals carried coal. |
| D | The cabal met at dusk. |
| E | The ca- nal carried coal. |
| F | Coal moved along the canal. |
Lo script Python scaricabile crea un indice SQLite FTS5 in memoria ed esegue le ricerche. Richiede Python 3 con SQLite FTS5 abilitato, non usa pacchetti aggiuntivi e non scrive file. Salvalo come archive-search.py ed esegui:
python3 archive-search.py
L’indice usa il tokenizer unicode61, con rimozione dei segni diacritici disabilitata, senza stemming né sinonimi. Qui «esatta» indica una corrispondenza con un token dell’indice, non un confronto del testo byte per byte. La documentazione SQLite sui tokenizer e sulle frasi descrive queste regole: una frase cerca token consecutivi, quindi la punteggiatura può avere un ruolo diverso rispetto alla ricerca letterale in un editor.
Lo script gestisce separatamente la tolleranza alla grafia: seleziona i termini indicizzati che distano da canal al massimo un inserimento, una cancellazione o una sostituzione, poi li cerca come alternative. È una regola didattica per esaminare il piccolo vocabolario dell’esempio; scorrere tutto il vocabolario in questo modo non è una soluzione di ricerca per la produzione.
Tra le righe prodotte trovi:
Exact canal: documents=A,F occurrences=3
Phrase "canal carried": documents=A
Expanded terms: cabal, canai, canal, canals
Fuzzy <=1: documents=A,B,C,D,F occurrences=6
A contribuisce con due occorrenze esatte, ma conta come un solo documento. Due documenti trovati non rispondono quindi alla domanda «quante volte compare questa parola?». Per ottenere il totale delle occorrenze, l’esempio conta le posizioni dei token nell’indice.
La ricerca fuzzy aggiunge B, C e D. B è il recupero OCR desiderato. C è un plurale che il lettore potrebbe voler includere oppure escludere. D è un falso positivo per una ricerca sui canali navigabili. La regola sulla grafia non distingue queste intenzioni. Le sei occorrenze appartengono ai termini espansi: non sono sei occorrenze confermate di canal.
Una parola spezzata richiede un altro intervento
Nessuna delle due ricerche recupera E. L’indice contiene i token separati ca e nal: entrambi distano più di una modifica da canal. Aumentare la tolleranza per recuperare questa parola farebbe entrare anche altri termini non pertinenti.
Se le parole spezzate a fine riga sono frequenti, prova una fase distinta di normalizzazione che ricomponga i casi probabili prima dell’indicizzazione. Conserva la trascrizione originale e un riferimento all’immagine della pagina, così il lettore può controllare ogni correzione. Unire automaticamente tutte le righe che terminano con un trattino può alterare il testo. Prima di scegliere la regola, aggiungi esempi sia di parole spezzate sia di composti che richiedono davvero il trattino.
Usa l’esempio per definire i risultati attesi
Nell’interfaccia di ricerca mostra la modalità usata, la grafia trovata e il numero di documenti. Se mostri un totale delle occorrenze, specifica se riguarda il token esatto o il vocabolario espanso. Collega ogni risultato all’immagine della pagina e indica se l’estratto proviene dalla trascrizione originale o dal testo normalizzato.
Lo script controlla che B venga recuperato, che D resti tra i candidati da esaminare e che E continui a non essere trovato. Sostituisci o integra questi record con campioni del tuo archivio che puoi utilizzare, poi conserva i risultati attesi quando cambi tokenizer o regole di tolleranza. Aggiungi nomi propri e parole brevi: una soglia utile per un termine può essere troppo permissiva per un altro.
Il nostro caso sulla piattaforma bibliografica descrive un archivio basato su Solr con ricerca fuzzy e conteggio delle occorrenze. Questo esempio usa SQLite per rendere riproducibile in locale la distinzione tra i conteggi. Per un’implementazione Solr, controlla analyzer e parser effettivi: gli operatori per termini fuzzy e prossimità delle frasi hanno comportamenti distinti. I risultati dello script non descrivono la configurazione delle query di quel progetto.