Consigliare di rilevare punti di riferimento anatomici in un volume ricostruito CT

Sto cercando di rilevare automaticamente alcuni punti di riferimento anatomici definiti dal medico in un volume ricostruito di CT. I medici utilizzano questi punti di riferimento per misurare alcuni parametri specifici del paziente. Ho tentato di utilizzare il descrittore di funzionalità SIFT, poiché questi punti di riferimento anatomici sono una sorta di "punti chiave". Questo non ha funzionato molto bene poiché i punti di riferimento sono punti (o regioni minuscole) che in generale non sono "punti di interesse" come definiti da SIFT. Ho cercato molti algoritmi di corrispondenza modello / modello ma, quando non ho problemi di rotazione / traduzione / scala, trovo che le funzioni estratte non differenziano abbastanza ogni punto di riferimento (dal resto dei punti di riferimento e dal resto del non patch di riferimento) per addestrare un classificatore che funziona abbastanza bene (almeno un 80% della precisione di rilevamento).

Per favore fatemi sapere se non sto affermando il problema in modo abbastanza chiaro.

Gradirei davvero qualsiasi consiglio.

Grazie!

Immagine di esempio:

Le piccole croci x sono i punti di riferimento che voglio rilevare. Le linee rappresentano le misure adottate. Queste sono alcune sezioni di casi diversi (ovviamente, non posso pubblicare l'intero volume 3D)

Le piccole croci e i quadratini sono sopra i punti di riferimento che voglio rilevare (ho dimenticato di menzionare che ho un set di allenamento, con i punti di riferimento etichettati). Le linee bianche rappresentano le misure adottate. Queste sono alcune sezioni di casi diversi (ovviamente, non posso pubblicare l'intero volume 3D).

image-processing 3d template-matching

— Federico
fonte

Potresti pubblicare alcune foto rappresentative e indicare le funzionalità che stai cercando di rilevare?

— Jim Clay,

Vedo le X e le scatole nell'immagine, ma non capisco cosa li rende punti di riferimento. Quelli nell'immagine sono stati selezionati a mano? Se riesci a descrivere come sono stati scelti sarebbe di grande aiuto.

— endolith

Sì, questi punti di riferimento sono selezionati a mano dagli MD. In realtà, principalmente la loro posizione nell'osso e la loro curvatura sono ciò che li rende rilevabili dal medico. Anche la larghezza dell'osso corticale è forse presa in considerazione (questo è naturale per loro, è davvero difficile decodificare come trovano questi punti) perché è più sottile che in altre parti dell'osso. La mia difficoltà è in realtà nel modellare tutto questo in un estrattore di funzioni.

— Federico,

Esito a scrivere questo come una risposta, ma dato che stai chiedendo solo un consiglio, lo farò.

Suggerisco di studiare le tecniche basate sulla trasformazione ondulata complessa a doppio albero (DTCWT). Questi hanno dimostrato di essere utili per generare descrittori che abbiano una buona tolleranza allo spostamento, alla scala e alla rotazione delle immagini sorgente. Non è il classico problema in quanto non stai permettendo che i punti vengano assegnati per te, ma sospetto con un po 'di pensiero che puoi adattare le tecniche a punti di riferimento predefiniti.

Chiaramente, i punti di riferimento hanno un certo interesse dal punto di vista di un medico, quindi c'è qualcosa di interessante in loro: è semplicemente un caso di modellizzazione che nel descrittore. Le tecniche wavelet (in particolare il DTCWT) tendono ad essere brave a modellare le caratteristiche su cui l'occhio prende piede.

Un punto di partenza sarebbe probabilmente questo documento abbastanza recente .

— Henry Gomersall
fonte