Hvala, ker ste obiskali Nature.com.Uporabljate različico brskalnika z omejeno podporo za CSS.Za najboljšo izkušnjo priporočamo, da uporabite posodobljen brskalnik (ali onemogočite način združljivosti v Internet Explorerju).Poleg tega, da zagotovimo stalno podporo, spletno mesto prikažemo brez slogov in JavaScripta.
Drsniki, ki prikazujejo tri članke na diapozitiv.Uporabite gumba za nazaj in naprej, da se premikate po diapozitivih, ali pa gumbe za krmiljenje diapozitivov na koncu, da se premikate po vsakem diapozitivu.
Optična koherentna tomografska angiografija (OCTA) je nova metoda za neinvazivno vizualizacijo retinalnih žil.Čeprav ima OCTA veliko obetavnih kliničnih aplikacij, določanje kakovosti slike ostaja izziv.Razvili smo sistem, ki temelji na globokem učenju, z uporabo klasifikatorja nevronskih mrež ResNet152, predhodno usposobljenega z ImageNet, za razvrščanje slik površinskega kapilarnega pleksusa iz 347 skeniranj 134 bolnikov.Dva neodvisna ocenjevalca sta slike tudi ročno ocenila kot resnične za model nadzorovanega učenja.Ker se zahteve glede kakovosti slike lahko razlikujejo glede na klinične ali raziskovalne nastavitve, sta bila usposobljena dva modela, eden za prepoznavanje slik visoke kakovosti in drugi za prepoznavanje slik nizke kakovosti.Naš model nevronske mreže kaže odlično območje pod krivuljo (AUC), 95 % CI 0,96–0,99, \(\kappa\) = 0,81), kar je znatno boljše od ravni signala, ki jo poroča stroj (AUC = 0,82, 95 % IZ).0,77–0,86, \(\kappa\) = 0,52 in AUC = 0,78, 95 % IZ 0,73–0,83, \(\kappa\) = 0,27).Naša študija dokazuje, da je mogoče metode strojnega učenja uporabiti za razvoj prilagodljivih in robustnih metod nadzora kakovosti za slike OCTA.
Optična koherentna tomografska angiografija (OCTA) je razmeroma nova tehnika, ki temelji na optični koherentni tomografiji (OCT), ki se lahko uporablja za neinvazivno vizualizacijo mikrovaskulature mrežnice.OCTA meri razliko v vzorcih odboja ponavljajočih se svetlobnih impulzov na istem območju mrežnice, nato pa je mogoče izračunati rekonstrukcije, da razkrijejo krvne žile brez invazivne uporabe barvil ali drugih kontrastnih sredstev.OCTA omogoča tudi slikanje žil z globinsko ločljivostjo, kar klinikom omogoča ločen pregled površinskih in globokih plasti žil, kar pomaga pri razlikovanju med horioretinalno boleznijo.
Čeprav je ta tehnika obetavna, ostajajo razlike v kakovosti slike velik izziv za zanesljivo analizo slike, kar otežuje interpretacijo slike in preprečuje široko klinično uporabo.Ker OCTA uporablja več zaporednih skeniranj OCT, je bolj občutljiv na slikovne artefakte kot standardni OCT.Večina komercialnih platform OCTA ponuja lastno meritev kakovosti slike, imenovano moč signala (SS) ali včasih indeks moči signala (SSI).Vendar pa slike z visoko vrednostjo SS ali SSI ne zagotavljajo odsotnosti slikovnih artefaktov, kar lahko vpliva na kakršno koli poznejšo analizo slike in vodi do nepravilnih kliničnih odločitev.Pogosti artefakti slike, ki se lahko pojavijo pri slikanju OCTA, vključujejo artefakte gibanja, artefakte segmentacije, artefakte motnosti medijev in artefakte projekcije1,2,3.
Ker se merila, pridobljena z OCTA, kot je vaskularna gostota, vse pogosteje uporabljajo v translacijskih raziskavah, kliničnih preskušanjih in klinični praksi, je nujno treba razviti robustne in zanesljive postopke za nadzor kakovosti slike za odpravo slikovnih artefaktov4.Preskočne povezave, znane tudi kot preostale povezave, so projekcije v arhitekturi nevronske mreže, ki omogočajo informacijam, da obidejo konvolucijske plasti, medtem ko shranjujejo informacije v različnih merilih ali ločljivostih5.Ker lahko artefakti slike vplivajo na zmogljivost slike majhnega in splošnega velikega obsega, so nevronske mreže s preskočno povezavo zelo primerne za avtomatizacijo te naloge nadzora kakovosti5.Nedavno objavljeno delo je pokazalo nekaj obetavnih za globoke konvolucijske nevronske mreže, usposobljene z uporabo visokokakovostnih podatkov človeških ocenjevalcev6.
V tej študiji usposabljamo konvolucijsko nevronsko mrežo, ki preskakuje povezavo, da samodejno določi kakovost slik OCTA.Gradimo na prejšnjem delu z razvojem ločenih modelov za prepoznavanje visokokakovostnih slik in nizkokakovostnih slik, saj se lahko zahteve glede kakovosti slik razlikujejo za posebne klinične ali raziskovalne scenarije.Rezultate teh omrežij primerjamo s konvolucijskimi nevronskimi mrežami brez manjkajočih povezav, da ocenimo vrednost vključitve funkcij na več ravneh razdrobljenosti v okviru globokega učenja.Nato smo naše rezultate primerjali z močjo signala, splošno sprejetim merilom kakovosti slike, ki ga zagotavljajo proizvajalci.
Naša študija je vključevala bolnike s sladkorno boleznijo, ki so obiskovali očesni center Yale med 11. avgustom 2017 in 11. aprilom 2019. Bolniki s katero koli nediabetično horioretinalno boleznijo so bili izključeni.Ni bilo meril za vključitev ali izključitev na podlagi starosti, spola, rase, kakovosti slike ali katerega koli drugega dejavnika.
Slike OCTA so bile pridobljene s platformo AngioPlex na Cirrus HD-OCT 5000 (Carl Zeiss Meditec Inc, Dublin, CA) pod 8\(\times\)8 mm in 6\(\times\)6 mm protokolom za slikanje.Informirano soglasje za sodelovanje v študiji je bilo pridobljeno od vsakega udeleženca študije, Institucionalni revizijski odbor univerze Yale (IRB) pa je odobril uporabo informiranega soglasja z globalno fotografijo za vse te bolnike.Po načelih Helsinške deklaracije.Študijo je odobril IRB univerze Yale.
Slike površinske plošče so bile ovrednotene na podlagi predhodno opisane ocene artefaktov gibanja (MAS), predhodno opisane ocene artefaktov segmentacije (SAS), fovealnega središča, prisotnosti motnosti medija in dobre vizualizacije majhnih kapilar, kot je določil ocenjevalec slike.Slike sta analizirala dva neodvisna ocenjevalca (RD in JW).Slika ima oceno 2 (primerna), če so izpolnjena vsa naslednja merila: slika je centrirana na foveo (manj kot 100 slikovnih pik od središča slike), MAS je 1 ali 2, SAS je 1 in motnost medija je manjša od 1. Prisotna na slikah velikosti / 16, majhne kapilare pa so vidne na slikah, večjih od 15/16.Slika je ocenjena z 0 (brez ocene), če je izpolnjen kateri koli od naslednjih kriterijev: slika ni središča, če je MAS 4, če je SAS 2 ali je povprečna motnost večja od 1/4 slike in majhnih kapilar ni mogoče prilagoditi več kot 1 sliki /4 za razlikovanje.Vse ostale slike, ki ne ustrezajo kriterijem točkovanja 0 ali 2, se ocenjujejo z 1 (izrezek).
Na sl.1 prikazuje vzorčne slike za vsako od skaliranih ocen in slikovnih artefaktov.Zanesljivost posameznih rezultatov med ocenjevalci je bila ocenjena s Cohenovim ponderiranjem kappa8.Posamezne ocene vsakega ocenjevalca se seštejejo, da dobimo skupno oceno za vsako sliko, ki sega od 0 do 4. Slike s skupno oceno 4 se štejejo za dobre.Slike s skupno oceno 0 ali 1 se štejejo za nizkokakovostne.
Konvolucijsko nevronsko omrežje arhitekture ResNet152 (slika 3A.i), predhodno naučeno na slikah iz baze podatkov ImageNet, je bilo ustvarjeno z uporabo fast.ai in ogrodja PyTorch5, 9, 10, 11. Konvolucijsko nevronsko omrežje je omrežje, ki uporablja naučeno filtri za skeniranje fragmentov slike za preučevanje prostorskih in lokalnih značilnosti.Naš usposobljeni ResNet je 152-slojna nevronska mreža, za katero so značilne vrzeli ali "preostale povezave", ki istočasno prenašajo informacije z več ločljivostmi.S projiciranjem informacij v različnih ločljivostih prek omrežja se lahko platforma nauči lastnosti nizkokakovostnih slik na več ravneh podrobnosti.Poleg našega modela ResNet smo usposobili tudi AlexNet, dobro preučeno arhitekturo nevronske mreže, brez manjkajočih povezav za primerjavo (slika 3A.ii)12.Brez manjkajočih povezav to omrežje ne bo moglo zajeti funkcij z večjo razdrobljenostjo.
Prvotni nabor slik 8\(\times\)8mm OCTA13 je bil izboljšan s tehnikami vodoravnega in navpičnega odboja.Celoten nabor podatkov je bil nato naključno razdeljen na ravni slike v nize podatkov za usposabljanje (51,2 %), testiranje (12,8 %), nastavitev hiperparametrov (16 %) in validacijo (20 %) z uporabo orodja scikit-learn python14.Upoštevana sta bila dva primera, eden je temeljil na zaznavanju samo najkakovostnejših slik (skupna ocena 4), drugi pa na zaznavanju samo najnižjih kakovostnih slik (skupna ocena 0 ali 1).Za vsak visokokakovosten in nizkokakovosten primer uporabe se nevronska mreža enkrat ponovno usposobi za naše slikovne podatke.V vsakem primeru uporabe se je nevronska mreža usposabljala za 10 epoh, vse uteži plasti razen najvišjih so bile zamrznjene, uteži vseh notranjih parametrov pa so se naučili za 40 epoh z uporabo metode diskriminativne stopnje učenja s funkcijo navzkrižne entropijske izgube 15, 16..Funkcija navzkrižne entropijske izgube je merilo logaritemske lestvice neskladja med predvidenimi omrežnimi oznakami in dejanskimi podatki.Med usposabljanjem se gradientni spust izvaja na notranjih parametrih nevronske mreže, da se zmanjšajo izgube.Hitrost učenja, stopnja osipa in hiperparametri zmanjšanja teže so bili nastavljeni z uporabo Bayesove optimizacije z 2 naključnima začetnima točkama in 10 iteracijami, AUC nabora podatkov pa je bil nastavljen z uporabo hiperparametrov kot cilja 17.
Reprezentativni primeri 8 × 8 mm OCTA slik površinskih kapilarnih pleksusov so dosegli oceno 2 (A, B), 1 (C, D) in 0 (E, F).Prikazani artefakti slike vključujejo utripajoče črte (puščice), artefakte segmentacije (zvezdice) in motnost medija (puščice).Slika (E) je tudi izven sredine.
Krivulje delovnih karakteristik sprejemnika (ROC) se nato ustvarijo za vse modele nevronskih mrež, poročila o jakosti signala motorja pa se ustvarijo za vsak nizkokakovosten in visokokakovosten primer uporabe.Površino pod krivuljo (AUC) smo izračunali s paketom pROC R, 95-odstotne intervale zaupanja in p-vrednosti pa smo izračunali z metodo DeLong18,19.Kumulativni rezultati človeških ocenjevalcev se uporabljajo kot osnova za vse izračune ROC.Za moč signala, ki ga je sporočila naprava, je bil AUC izračunan dvakrat: enkrat za mejno vrednost ocene skalabilnosti visoke kakovosti in enkrat za mejno vrednost ocene skalabilnosti nizke kakovosti.Nevronska mreža se primerja z močjo signala AUC, ki odraža lastno usposabljanje in pogoje vrednotenja.
Za nadaljnje testiranje usposobljenega modela globokega učenja na ločenem naboru podatkov so bili visokokakovostni in nizkokakovostni modeli neposredno uporabljeni za vrednotenje učinkovitosti 32 slik površinskih plošč s polno površino 6\(\krat\) 6 mm, zbranih z univerze Yale.Očesna masa je centrirana hkrati s sliko 8 \(\times \) 8 mm.Slike 6\(\×\) 6 mm so ročno ocenili isti ocenjevalci (RD in JW) na enak način kot slike 8\(\×\) 8 mm, izračunana je bila AUC ter natančnost in Cohenova kappa .enako .
Razmerje neuravnoteženosti razreda je 158:189 (\(\rho = 1,19\)) za model nizke kakovosti in 80:267 (\(\rho = 3,3\)) za model visoke kakovosti.Ker je razmerje neuravnoteženosti razredov manjše od 1:4, niso bile izvedene nobene posebne arhitekturne spremembe, ki bi popravile neravnovesje razredov20,21.
Za boljšo vizualizacijo učnega procesa so bili ustvarjeni aktivacijski zemljevidi razreda za vse štiri usposobljene modele globokega učenja: visokokakovosten model ResNet152, nizkokakovosten model ResNet152, visokokakovosten model AlexNet in nizkokakovosten model AlexNet.Aktivacijski zemljevidi razreda so ustvarjeni iz vhodnih konvolucijskih plasti teh štirih modelov, toplotni zemljevidi pa so ustvarjeni s prekrivanjem aktivacijskih zemljevidov z izvornimi slikami iz validacijskih kompletov 8 × 8 mm in 6 × 6 mm22, 23.
Za vse statistične izračune je bila uporabljena različica R 4.0.3, vizualizacije pa so bile ustvarjene s knjižnico grafičnih orodij ggplot2.
Zbrali smo 347 frontalnih slik površinskega kapilarnega pleksusa, ki merijo 8 \(\times \)8 mm od 134 ljudi.Naprava je poročala o jakosti signala na lestvici od 0 do 10 za vse slike (povprečje = 6,99 ± 2,29).Od 347 pridobljenih slik je bila povprečna starost ob pregledu 58,7 ± 14,6 let, 39,2 % pa jih je bilo moških bolnikov.Od vseh slik je bilo 30,8 % belcev, 32,6 % temnopoltih, 30,8 % Hispanikov, 4 % Azijcev in 1,7 % drugih ras (tabela 1).).Starostna porazdelitev bolnikov z OCTA se je pomembno razlikovala glede na kakovost slike (p < 0,001).Odstotek visokokakovostnih slik pri mlajših bolnikih, starih od 18 do 45 let, je bil 33,8 % v primerjavi z 12,2 % nizkokakovostnih slik (tabela 1).Porazdelitev statusa diabetične retinopatije se je pomembno razlikovala tudi glede kakovosti slike (p <0,017).Med vsemi slikami visoke kakovosti je bil odstotek bolnikov s PDR 18,8 % v primerjavi z 38,8 % vseh slik nizke kakovosti (tabela 1).
Posamezne ocene vseh slik so pokazale zmerno do močno medocenjevalno zanesljivost med ljudmi, ki berejo slike (Cohenova ponderirana kapa = 0,79, 95 % IZ: 0,76–0,82) in ni bilo slikovnih točk, kjer bi se ocenjevalci razlikovali za več kot 1 (sl. 2A)..Intenzivnost signala je pomembno korelirala z ročnim točkovanjem (korelacija Pearsonovega produkta = 0,58, 95 % IZ 0,51–0,65, p<0,001), vendar je bilo za mnoge slike ugotovljeno, da imajo visoko intenzivnost signala, a nizko ročno točkovanje (slika .2B).
Med usposabljanjem arhitektur ResNet152 in AlexNet navzkrižna entropijska izguba pri validaciji in usposabljanju pade čez 50 epoh (slika 3B,C).Natančnost preverjanja veljavnosti v končnem obdobju usposabljanja je več kot 90 % za primere uporabe visoke in nizke kakovosti.
Krivulje zmogljivosti sprejemnika kažejo, da model ResNet152 bistveno prekaša moč signala, ki jo poroča naprava, tako v primerih nizke kot visoke kakovosti (p < 0,001).Model ResNet152 prav tako bistveno prekaša arhitekturo AlexNet (p = 0,005 in p = 0,014 za primere nizke kakovosti oziroma visoke kakovosti).Dobljeni modeli za vsako od teh nalog so lahko dosegli vrednosti AUC 0,99 oziroma 0,97, kar je bistveno bolje od ustreznih vrednosti AUC 0,82 in 0,78 za indeks jakosti strojnega signala ali 0,97 in 0,94 za AlexNet ..(slika 3).Razlika med ResNet in AUC v moči signala je večja pri prepoznavanju visokokakovostnih slik, kar kaže na dodatne prednosti uporabe ResNet za to nalogo.
Grafi prikazujejo sposobnost vsakega neodvisnega ocenjevalca, da oceni in primerja z močjo signala, ki ga poroča naprava.(A) Vsota točk, ki jih je treba oceniti, se uporabi za oblikovanje skupnega števila točk, ki jih je treba oceniti.Slikam s skupno oceno razširljivosti 4 je dodeljena visoka kakovost, medtem ko je slikam s skupno oceno razširljivosti 1 ali manj dodeljena nizka kakovost.(B) Intenzivnost signala je v korelaciji z ročnimi ocenami, vendar so lahko slike z visoko intenzivnostjo signala slabše kakovosti.Rdeča pikčasta črta označuje prag kakovosti, ki ga priporoča proizvajalec glede na moč signala (moč signala \(\ge\)6).
Učenje prenosa ResNet zagotavlja znatno izboljšanje pri identifikaciji kakovosti slike tako za nizkokakovostne kot za visokokakovostne primere uporabe v primerjavi s strojno prijavljenimi nivoji signala.(A) Poenostavljeni arhitekturni diagrami vnaprej usposobljenih (i) ResNet152 in (ii) arhitektur AlexNet.(B) Zgodovina usposabljanja in krivulje zmogljivosti sprejemnika za ResNet152 v primerjavi z jakostjo signala, ki jo poroča stroj, in kriteriji nizke kakovosti AlexNet.(C) Zgodovina usposabljanja sprejemnika ResNet152 in krivulje delovanja v primerjavi z jakostjo signala, ki jo poroča stroj, in merili visoke kakovosti AlexNet.
Po prilagoditvi mejnega praga odločitve je največja natančnost napovedi modela ResNet152 95,3 % za primer nizke kakovosti in 93,5 % za primer visoke kakovosti (tabela 2).Največja natančnost napovedi modela AlexNet je 91,0 % za ohišje nizke kakovosti in 90,1 % za ohišje visoke kakovosti (tabela 2).Največja natančnost napovedi moči signala je 76,1 % za primer nizke kakovosti in 77,8 % za primer uporabe visoke kakovosti.Glede na Cohenov kappa (\(\kappa\)) je ujemanje med modelom ResNet152 in ocenjevalci 0,90 za primer nizke kakovosti in 0,81 za primer visoke kakovosti.Cohenova AlexNet kappa je 0,82 oziroma 0,71 za primere nizke kakovosti oziroma visokokakovostne uporabe.Cohenova moč signala kappa je 0,52 oziroma 0,27 za primere nizke in visoke kakovosti.
Validacija modelov za prepoznavanje visoke in nizke kakovosti na 6\(\x\) slikah 6 mm ravne plošče dokazuje sposobnost usposobljenega modela, da določi kakovost slike v različnih parametrih slikanja.Pri uporabi 6\(\x\) 6 mm plitvih plošč za kakovost slikanja je imel model nizke kakovosti AUC 0,83 (95 % IZ: 0,69–0,98), model visoke kakovosti pa AUC 0,85.(95 % IZ: 0,55–1,00) (tabela 2).
Vizualni pregled zemljevidov aktivacije razreda vhodne plasti je pokazal, da so vse usposobljene nevronske mreže med razvrščanjem slik uporabljale značilnosti slike (sl. 4A, B).Za 8 \(\times \) 8 mm in 6 \(\times \) 6 mm slike aktivacijske slike ResNet tesno sledijo vaskulaturi mrežnice.Aktivacijski zemljevidi AlexNet prav tako sledijo retinalnim žilam, vendar z večjo ločljivostjo.
Zemljevidi aktivacije razreda za modela ResNet152 in AlexNet poudarjajo funkcije, povezane s kakovostjo slike.(A) Zemljevid aktivacije razreda, ki prikazuje koherentno aktivacijo po površinski vaskulaturi mrežnice na validacijskih slikah 8 \(\times \) 8 mm in (B) obseg na manjših validacijskih slikah 6 \(\times \) 6 mm.Model LQ, usposobljen za merila nizke kakovosti, model HQ, usposobljen za merila visoke kakovosti.
Prej je bilo dokazano, da lahko kakovost slike močno vpliva na količinsko opredelitev slik OCTA.Poleg tega prisotnost retinopatije poveča pojavnost slikovnih artefaktov7,26.Pravzaprav smo v naših podatkih, skladno s prejšnjimi študijami, ugotovili pomembno povezavo med naraščajočo starostjo in resnostjo bolezni mrežnice ter poslabšanjem kakovosti slike (p < 0,001, p = 0,017 za starost oziroma status DR; tabela 1) 27 Zato je pred izvedbo kakršne koli kvantitativne analize slik OCTA ključnega pomena oceniti kakovost slike.Večina študij, ki analizirajo slike OCTA, uporabljajo pragove jakosti signala, ki jih navede stroj, da izključijo slike nizke kakovosti.Čeprav je bilo dokazano, da intenziteta signala vpliva na kvantifikacijo parametrov OCTA, sama visoka intenzivnost signala morda ne bo zadostovala za izključitev slik z artefakti slike 2,3,28,29.Zato je treba razviti bolj zanesljiv način nadzora kakovosti slike.V ta namen ocenjujemo delovanje nadzorovanih metod poglobljenega učenja glede na moč signala, ki ga poroča stroj.
Razvili smo več modelov za ocenjevanje kakovosti slike, ker imajo lahko različni primeri uporabe OCTA različne zahteve glede kakovosti slike.Na primer, slike bi morale biti višje kakovosti.Poleg tega so pomembni tudi specifični kvantitativni parametri, ki nas zanimajo.Na primer, območje fovealne avaskularne cone ni odvisno od motnosti necentralnega medija, ampak vpliva na gostoto žil.Medtem ko se naše raziskave še naprej osredotočajo na splošen pristop h kakovosti slike, ki ni vezan na zahteve katerega koli posebnega testa, temveč je namenjen neposredni zamenjavi moči signala, ki ga poroča stroj, upamo, da bomo uporabnikom omogočili večjo stopnjo nadzora, tako da bodo lahko izbere določeno meritev, ki zanima uporabnika.izberite model, ki ustreza najvišji stopnji slikovnih artefaktov, ki veljajo za sprejemljive.
Za nizkokakovostne in visokokakovostne prizore prikazujemo odlično zmogljivost globokih konvolucijskih nevronskih mrež brez povezave z AUC 0,97 oziroma 0,99 in nizkokakovostnimi modeli.Dokazujemo tudi vrhunsko učinkovitost našega pristopa globokega učenja v primerjavi z ravnmi signala, ki jih poročajo le stroji.Preskočne povezave omogočajo nevronskim mrežam, da se naučijo funkcij na več ravneh podrobnosti, zajamejo natančnejše vidike slik (npr. kontrast) in tudi splošne značilnosti (npr. centriranje slike30,31).Ker je slikovne artefakte, ki vplivajo na kakovost slike, verjetno najbolje identificirati v širokem razponu, lahko arhitekture nevronskih mrež z manjkajočimi povezavami izkazujejo boljše delovanje kot tiste brez nalog določanja kakovosti slike.
Pri testiranju našega modela na slikah OCTA velikosti 6\(\×6 mm) smo opazili zmanjšanje učinkovitosti klasifikacije tako pri visokokakovostnih kot nizkokakovostnih modelih (slika 2) v nasprotju z velikostjo modela, usposobljenega za klasifikacijo.V primerjavi z modelom ResNet ima model AlexNet večji padec.Relativno boljša zmogljivost ResNet je morda posledica zmožnosti preostalih povezav za prenos informacij v več merilih, zaradi česar je model bolj robusten za razvrščanje slik, zajetih v različnih merilih in/ali povečavah.
Nekatere razlike med slikami 8 \(\×\) 8 mm in slikami 6 \(\×\) 6 mm lahko privedejo do slabe klasifikacije, vključno z relativno visokim deležem slik, ki vsebujejo fovealna avaskularna področja, spremembe vidnosti, vaskularne arkade in brez vidnega živca na posnetku 6×6 mm.Kljub temu je naš visokokakovosten model ResNet uspel doseči AUC 85 % za 6 \(\x\) 6 mm slike, konfiguracijo, za katero model ni bil usposobljen, kar nakazuje, da informacije o kakovosti slike, kodirane v nevronski mreži je primeren.za eno velikost slike ali konfiguracijo stroja zunaj njegovega usposabljanja (tabela 2).Pomirjujoče je, da so ResNet-u in AlexNet-u podobni aktivacijski zemljevidi 8 \(\times \) 8 mm in 6 \(\times \) 6 mm slik lahko poudarili žile mrežnice v obeh primerih, kar nakazuje, da ima model pomembne informacije.se uporabljajo za razvrščanje obeh vrst slik OCTA (slika 4).
Lauerman et al.Ocena kakovosti slike na slikah OCTA je bila podobno izvedena z uporabo arhitekture Inception, druge konvolucijske nevronske mreže s preskočno povezavo6,32 z uporabo tehnik globokega učenja.Študijo so omejili tudi na slike površinskega kapilarnega pleksusa, vendar le z uporabo manjših slik 3×3 mm iz Optovue AngioVue, čeprav so bili vključeni tudi bolniki z različnimi horioretinalnimi boleznimi.Naše delo temelji na njihovih temeljih, vključno z več modeli za obravnavanje različnih pragov kakovosti slike in potrjevanje rezultatov za slike različnih velikosti.Poročamo tudi o metriki AUC modelov strojnega učenja in povečujemo njihovo že tako impresivno natančnost (90 %)6 tako za modele nizke kakovosti (96 %) kot visokokakovostne (95,7 %) modele6.
To usposabljanje ima več omejitev.Najprej so bile slike pridobljene samo z enim aparatom OCTA, vključno s slikami površinskega kapilarnega pleksusa pri 8\(\times\)8 mm in 6\(\times\)6 mm.Razlog za izključitev slik iz globljih plasti je, da lahko projekcijski artefakti otežijo ročno vrednotenje slik in morda postanejo manj dosledni.Poleg tega so bile slike pridobljene samo pri bolnikih s sladkorno boleznijo, za katere se OCTA pojavlja kot pomembno diagnostično in prognostično orodje33,34.Čeprav smo lahko preizkusili naš model na slikah različnih velikosti, da bi zagotovili zanesljivost rezultatov, nismo mogli identificirati ustreznih naborov podatkov iz različnih centrov, kar je omejilo našo oceno posplošljivosti modela.Čeprav so bile slike pridobljene samo iz enega centra, so bile pridobljene od pacientov različnih etničnih in rasnih okolij, kar je edinstvena moč naše študije.Z vključitvijo raznolikosti v naš proces usposabljanja upamo, da bodo naši rezultati posplošeni v širšem smislu in da se bomo izognili kodiranju rasne pristranskosti v modelih, ki jih usposabljamo.
Naša študija kaže, da je mogoče nevronske mreže, ki preskakujejo povezavo, usposobiti za doseganje visoke zmogljivosti pri določanju kakovosti slike OCTA.Te modele ponujamo kot orodja za nadaljnje raziskave.Ker imajo lahko različne metrike različne zahteve glede kakovosti slike, je mogoče za vsako metriko razviti individualni model nadzora kakovosti z uporabo tukaj določene strukture.
Prihodnje raziskave bi morale vključevati slike različnih velikosti iz različnih globin in različnih strojev OCTA, da bi pridobili proces ocenjevanja kakovosti slike globokega učenja, ki ga je mogoče posplošiti na platforme OCTA in protokole za slikanje.Sedanje raziskave temeljijo tudi na nadzorovanih pristopih globokega učenja, ki zahtevajo človeško vrednotenje in vrednotenje slike, kar je lahko delovno intenzivno in dolgotrajno za velike podatkovne nize.Videti je treba, ali lahko nenadzorovane metode poglobljenega učenja ustrezno razlikujejo med slikami nizke kakovosti in slikami visoke kakovosti.
Ker se tehnologija OCTA še naprej razvija in hitrosti skeniranja naraščajo, se lahko pojavnost slikovnih artefaktov in slik slabe kakovosti zmanjša.Izboljšave programske opreme, kot je nedavno uvedena funkcija odstranjevanja artefaktov projekcije, lahko prav tako ublažijo te omejitve.Vendar ostaja veliko težav, saj slikanje bolnikov s slabo fiksacijo ali znatno motnostjo medija vedno povzroči artefakte slike.Ker se OCTA vedno bolj uporablja v kliničnih preskušanjih, je potreben skrben premislek, da se določijo jasne smernice za sprejemljive ravni artefaktov slike za analizo slike.Uporaba metod globokega učenja na slikah OCTA veliko obeta in na tem področju so potrebne nadaljnje raziskave, da bi razvili robusten pristop k nadzoru kakovosti slike.
Koda, uporabljena v trenutni raziskavi, je na voljo v repozitoriju octa-qc, https://github.com/rahuldhodapkar/octa-qc.Podatkovni nizi, ustvarjeni in/ali analizirani med trenutno študijo, so na voljo pri ustreznih avtorjih na razumno zahtevo.
Spaide, RF, Fujimoto, JG & Waheed, NK Artefakti slike v optični koherentni angiografiji.Retina 35, 2163–2180 (2015).
Fenner, BJ et al.Identifikacija slikovnih značilnosti, ki določajo kakovost in ponovljivost meritev gostote kapilarnega pleksusa mrežnice pri OCT angiografiji.BR.J. Ophthalmol.102, 509–514 (2018).
Lauerman, JL et al.Vpliv tehnologije sledenja očem na kakovost slike OCT angiografije pri starostni degeneraciji makule.Nagrobni lok.klinični.Exp.oftalmologija.255, 1535–1542 (2017).
Babyuch AS et al.Meritve gostote kapilarne perfuzije OCTA se uporabljajo za odkrivanje in vrednotenje makularne ishemije.oftalmološka kirurgija.Retinalno lasersko slikanje 51, S30–S36 (2020).
He, K., Zhang, X., Ren, S., in Sun, J. Globoko preostalo učenje za prepoznavanje slik.Leta 2016 na konferenci IEEE o računalniškem vidu in prepoznavanju vzorcev (2016).
Lauerman, JL et al.Avtomatizirano ocenjevanje kakovosti angiografske slike OCT z uporabo algoritmov globokega učenja.Nagrobni lok.klinični.Exp.oftalmologija.257, 1641–1648 (2019).
Lauermann, J. et al.Prevalenca segmentacijskih napak in artefaktov gibanja pri OCT angiografiji je odvisna od bolezni mrežnice.Nagrobni lok.klinični.Exp.oftalmologija.256, 1807–1816 (2018).
Pask, Adam et al.Pytorch: nujna, visoko zmogljiva knjižnica za poglobljeno učenje.Napredna obdelava živčnih informacij.sistem.32, 8026–8037 (2019).
Deng, J. et al.ImageNet: Hierarhična podatkovna baza slik velikega obsega.2009 IEEE konferenca o računalniškem vidu in prepoznavanju vzorcev.248–255.(2009).
Križhevsky A., Sutzkever I. in Hinton GE Klasifikacija Imagenet z uporabo globokih konvolucijskih nevronskih mrež.Napredna obdelava živčnih informacij.sistem.25, 1 (2012).