Rendi ricercabili i PDF esistenti (OCR) tramite riga di comando / script

Sto cercando uno strumento di script offline che rende ricercabile un file PDF esistente eseguendo OCR su di esso, sostituendo il file originale non ricercabile con la versione ricercabile e può essere eseguito incustodito.

Ad esempio, www.pdfscannerapp.com - fa esattamente quello di cui ho bisogno, ma è solo la GUI - non utilizzabile tramite script.

Sono consapevole che Evernote rende ricercabili i file PDF, ma rimangono ricercabili solo all'interno di Evernote.

Non sto cercando un OCR perfetto, anche un OCR moderatamente accettabile va bene, ma preferirei una piccola utility piuttosto che un pacchetto software ingombrante.

(Sono a conoscenza di una domanda simile, ma diversa su AD: ricerca di software per la scansione o la conversione in PDF ricercabile e firmabile - tuttavia, non ho bisogno di firmare o compilare PDF e il mio requisito è che la soluzione sia utilizzabile tramite script)

MODIFICARE:

1) Diverse utility consentono l'estrazione strutturata del testo, tuttavia per poter essere estratto, il testo deve essere presente; Mi riferisco principalmente ai PDF che sono bitmap incorporate, come nel caso dei PDF semplici generati dagli scanner.

2) Non sto necessariamente cercando una soluzione gratuita e sarei più che felice di pagare per una buona utility che fa proprio quello di cui ho bisogno, ma non cerco applicazioni ingombranti con un milione di funzionalità che includono una funzionalità OCR ma il cui costo non giustifica l'acquisto di loro solo per la funzionalità OCR.

3) Come detto sopra, non sto cercando un OCR perfetto, ma solo un OCR moderatamente accettabile. Sfortunatamente, nella mia esperienza, tesseract è davvero al di sotto di tale soglia. Definisco "moderatamente accettabile" un OCR che può, ad esempio, OCR una bolletta in modo che almeno il numero di conto (numero cliente) sia riconosciuto correttamente.

EDIT: "scriptable" o "automatable", cioè può essere attivato automaticamente e funzionare incustodito senza alcun input umano.

Non mi è del tutto chiaro quali siano i tuoi requisiti per poter "scrivere" questo dalla "riga di comando".

Se stai parlando di automazione, questo è possibile con qualsiasi numero di utility.

ABBYY FineReader Express + Tastiera Maestro + Hazel

Uso ABBYY FineReader Express + Keyboard Maestro + Hazel in questo modo:

1. Hazel controlla una determinata cartella per eventuali nuovi PDF

2. se viene trovato un PDF, questo viene aperto in "ABBYY FineReader Express"

3. Keyboard Maestro automatizza quindi il processo di trasformazione del PDF in un PDF ricercabile (OCR) e salva il file in un'altra directory.

Ora, se non possiedi già Hazel e Keyboard Maestro, i tuoi costi iniziali aumenteranno piuttosto rapidamente (anche se dipendo da entrambi, li considero un vero affare).

PDFPen + AppleScript + Azioni cartella

Potresti fare qualcosa di simile con PDFPen (o PDFPenPro) e le azioni delle cartelle e AppleScript. Vedere https://gist.github.com/prenagha/1355037 per un esempio.

Marco Arment ha condotto un sondaggio sulle app OCR per Mac e ha scoperto che PDFPen ha ottenuto ottimi risultati ed è stato facile da automatizzare.

Una ricerca su Google per "PDFpen applescript OCR" presenterà una serie di alternative.

Quello che vuoi è Tesseract OCR. È un OCR open source gestito da Google e supporta una varietà di piattaforme. Ha anche un'interfaccia della riga di comando nativa. È esattamente quello che stai cercando e disponibile dal progetto di porte Mac e homebrew .

Home del progetto: https://github.com/tesseract-ocr

Come installare su OS X: http://blog.matt-swain.com/post/26419042500/installing-tesseract-ocr-on-mac-os-x-lion

Esempio di utilizzo: tesseract -l eng input.pdf output

Disclaimer: NON UNA SOLUZIONE OCR (ma questa risposta è ancora utile per estrarre testo da pdf)

Esiste un progetto della Apache Software Foundation chiamato Apache Tika :

Un toolkit rileva ed estrae metadati e contenuti di testo strutturato da vari documenti utilizzando le librerie di parser esistenti

Supportano l'estrazione di testo PDF tramite PDFBox :

consente la creazione di nuovi documenti PDF, la manipolazione di documenti esistenti e la possibilità di estrarre contenuti dai documenti. Apache PDFBox include anche diverse utility da riga di comando

E recentemente hanno anche aggiunto il supporto per OCR (via Tesserac)

Per una soluzione basata su testo, PDFBox semplifica l'estrazione di testo da un PDF:

• Scarica il pdfbox-apppacchetto da https://pdfbox.apache.org/downloads.html

• esegui il ExtractTextcomando su di esso:

  java -jar pdfbox-app-xyzjar ExtractText myNiceBook.pdf myNiceBook.txt

Ha anche alcune altre belle opzioni che puoi vedere nei documenti di ExtractText .

Consiglierei DEVONThink Pro Office . È un'applicazione eccellente e ha un ottimo supporto AppleScript. Purtroppo solo la versione "Pro Office" ha la funzionalità OCR, quindi dovrai sborsare £ 100 ($ 150).

Sarebbe eccessivo se lo si utilizza solo per l'OCR con script, ma è un'ottima app.

[modifica] - ah hai appena riletto il tuo post - sarebbe sicuramente eccessivo!

Se si desidera solo l'OCR dalla shell, è possibile provare a parlare con ABBY il cui motore DEVON concede la licenza:

http://www.abbyy-developers.com/en:tech:samples:commandline_ocr

Puoi rendere ricercabile il tuo PDF esistente convertendolo in file di testo. È necessario almeno quello Imagemagick , Ghostscript (per la conversione di PDF) e lo strumento OCR Tesseract .

Alcuni esempi da riga di comando:

$ wget http://www.fmwconcepts.com/misc_tests/pdf_tests/test.pdf
$ convert -density 300 -depth 8 test.pdf test.png
$ tesseract test*.png test.txt
$ grep -i --color=auto the test*.txt
**The** details as told by surviving crew members, to **the** German publication Spiegel and published on ABC's

Questo può essere esteso ulteriormente alle tue esigenze.

Per installare gli strumenti richiesti, su OSX è possibile installarlo tramite Homebrew :

brew install imagemagick jpeg libpng ghostscript tesseract

Su Linux usa apt-geto yuminvece di brew.

Per ulteriori strumenti OCR, selezionare: OCR su sistemi Linux

Relazionato:

• Esecuzione dell'OCR mediante gli strumenti da riga di comando in Linux
• Lavorare con i PDF utilizzando gli strumenti da riga di comando in Linux

Una soluzione che è facilmente implementabile e fornisce un pdf di output con la stessa qualità del file di input più dimensioni ragionevoli è OCRmyPDF:

https://github.com/jbarlow83/OCRmyPDF

Stackoverflow ha domande correlate durante l' analisi del PDF riguardanti argomenti come PDFBox e TIKA di Apache che PDFBox utilizza. Il seguente codice rubino estrae la scrittura dal PDF. È necessario disporre di una risoluzione sufficiente per questo tipo di codici per funzionare in modo affidabile. Quindi prendi uno scanner abbastanza buono con una grande risoluzione e poi vedi se alcuni dei software funzionano.

Esempi

1. https://github.com/yob/pdf-reader/tree/master/examples

Discussioni SO

1. /programming/5217783/pdf-parse-to-text-in-java

2. /programming/8149179/alternative-to-tika-pdfbox-for-parsing-pdf-in-solr-any-version-later-than-1-4

3. /programming/320621/ruby-pdf-parsing-gem-library

4. /programming/15186740/haskell-parsing-reading-content-of-pdf-files

[Modificare]

Non sono sicuro di aver capito il tuo problema ora. Vuoi aggiungere il livello OCR a diversi tipi di materiale come foto casuali, schermate, PDF senza livello OCR e così via? Non conosco la soluzione ma sono sicuro che qualcuno lo sappia, quindi ho fatto una domanda specifica su come farlo con Automator e alcuni software OCR:

Automator-script con un software OCR per aggiungere automaticamente OCR al materiale?

Per questo tipo di applicazione auto-diretta, sono un grande fan di Hazel.

• http://www.noodlesoft.com/hazel.php

Rende estremamente facile lo script di azioni senza la necessità di apprendere uno strumento più orientato alla riga di comando come perl o python e abbinato al motore OCR di tua scelta (il mio è attualmente PDF Pen Pro) non dovresti avere problemi a elaborare i tuoi file con il minimo polverone.

• http://www.smilesoftware.com/PDFpenPro/index.html

Entrambi sono software a pagamento, ma l'utilità di entrambi si estende ben oltre questo caso. Nella mia situazione, con la manodopera impegnata nella digitalizzazione dei miei precedenti documenti scansionati (e documenti in corso), il prezzo di questi supera di gran lunga il tempo che avrei trascorso a programmare questo altrove e ora che possiedo entrambi gli strumenti, posso fare molti altri compiti con loro.

PDFScannerApp ha un supporto di scripting non ufficiale. Contatta l'autore per l'azione di Automator.

Uso Adobe Acrobat per l'OCR in batch. Il mio scanner duplex può eseguire l'OCR dopo la scansione, ma secondo me la tecnologia OCR in acrobat è più accurata. Indico solo la cartella in cui non è presente l'OCR, quindi Acrobat salva nuovamente il PDF come PDF ricercabile che include ora un livello di testo. Se volessi OCR tramite riga di comando, non conosco un modo, ma posso automatizzare la fine della GUI usando Autohotkey. Non affidabile né veloce come la riga di comando, ma fa il lavoro dopo aver impostato un'azione del flusso di lavoro per ridurre al minimo l'interazione della GUI.

Per Mac, lo script Apple fa quello che fa Autohotkey sul PC anche se non ho ancora provato sul mio Mac.

Il tasto di scelta rapida automatica viene fornito con un registratore, quindi la maggior parte della scrittura dello script è la cena per te con un po 'più piccolo di editing per la raffinatezza e forse il loop se lo desideri.

Ho sperimentato immagini OCR ma non ho ancora automatizzato completamente il processo tramite acrobat. La riga di comando è l'ideale ma non ho trovato un motore OCR di qualità che superi l'acrobata, quindi per ora mi attengo all'acrobata.

Mi sono imbattuto in questo recentemente: http://ocrkit.com/faq.html

Devi pagare dopo 14 giorni però

Ho ottenuto una conversione Drag & Drop di alta qualità funzionante con Docker.

Se tu:

1. installa Docker per il tuo Mac e
2. quindi crea una nuova app Automator
3. con questi contenuti all'interno di un'azione "Esegui uno script di shell". Scegli Pass Input:"as arguments"

/bin/bash testo dello script:

cd "`dirname "$1"`"
/usr/local/bin/docker run --rm -v "$(pwd):/home/docker" jbarlow83/OCRmyPDF --force-ocr "`basename "$1"`" "`basename -s .pdf "$1"`-ocr.pdf"

Dovresti quindi essere bravo a trascinare e rilasciare i PDF su di esso e otterrai un PDF con un nome simile con "-ocr" aggiunto al nome del file.

Immagino che possa essere facilmente modificato per restituire un file ad Automator da copiare anche da qualche parte. Maggiori dettagli sul pacchetto docker OCRmyPDF. e strumento principale (anche menzionato in una risposta diversa).

Puoi testarlo in Automator stesso con l'azione "Ottieni elementi del Finder specificati" come input per questo.

La prima volta che viene eseguito, impiega più tempo in quanto dovrà scaricare le immagini Docker per OCRmyPDF (invisibilmente). In Terminale, puoi in alternativa correre docker pull jbarlow83/ocrmypdfper accelerare la prima corsa. Una corsa tipica richiede circa 10 secondi per pagina DPI alta ma ha automaticamente risultati di sintesi vocale anche se sono presenti tabelle o diagrammi. Prima dell'OCR, ritaglio usando Sejda in modo da rimuovere le parole di margine senza senso da altre pagine.

L' --force-ocrargomento dice allo strumento di ignorare e sovrascrivere qualsiasi precedente tentativo di OCR, che nei miei casi di solito sono solo parziali e inutili.

OCRKit ha sia il supporto AppleScript che una CLI. Dalla loro pagina di aiuto :

AppleScript

Puoi anche scrivere OCRKit per integrarlo nel tuo flusso di lavoro specifico. Ad esempio, elaborare i file in arrivo, tramite la cartella condivisa, dalla fotocopiatrice della stampante multifunzione, ecc. E semplicemente dire a OCRKit di aprirsi e quindi il processo avviene tramite AppleScript:

tell application "OCRKit"
   -- the wonders of AppleScript POSIX path handling, ...
   open "Users:admin:Desktop:orderform.pdf"
   open POSIX path of "/Users/Admin/Desktop/orderform.pdf"
end tell 

Riga di comando

Poiché è supportato lo scripting diretto da riga di comando OCRKit versione 2.5. Ciò semplifica notevolmente l'uso di OCRKit nell'elaborazione batch, consente di impostare più opzioni ed è anche più robusto e multipiattaforma di AppleSCript.

OCRKit.app/Contents/MacOS/OCRKit \ 
    --lang en | de | fr | es | ... \
    --format pdf | html | rtf | text \
    --no-progress \
    --output out-file in-file

Dalla versione 16.9 di OCRKit sono supportate ulteriori opzioni della riga di comando:

-r, --recursive directory

Scansione ricorsiva della directory per nuovi file. Salta i file da OCRKit, con livello di testo o grafica vettoriale.

--pattern "regex"

Pattern utilizzato per abbinare i nomi dei file durante le scansioni ricorsive. L'impostazione predefinita è %.pdf$, la raccomandazione per TIFF è%.tiff?$

--log file

Scrivere informazioni e statistiche sui file di registro durante la scansione ricorsiva su file.

--password secret

Utilizzare una password segreta per decrittografare i file PDF durante l'elaborazione in batch.

--test-run [ fast ]

Eseguire l'elaborazione batch di test in modalità test solo per testare i file PDF o per ottenere il conteggio delle pagine per stimare il tempo di elaborazione totale. "veloce" controllerà solo la prima pagina di ogni file, invece di passare attraverso tutte le pagine per l'analisi di immagini e vettori.

--tag name

Utilizzare il nome dell'attributo esteso per contrassegnare lo stato di elaborazione dei file durante l'elaborazione batch. macos:OCRKit (%s)utilizzerà invece i tag nativi di macOS Finder o semplicemente macos:OCRKitnon includerà l'attributo state. L'ordine dell'attributo Stato sono: started, analyzed, processed, e possono anche essere encrypted.