Kiitos vierailustasi Nature.comissa.Käytät selainversiota, jossa on rajoitettu CSS-tuki.Parhaan kokemuksen saamiseksi suosittelemme käyttämään päivitettyä selainta (tai poistamaan Yhteensopivuustila käytöstä Internet Explorerissa).Jatkuvan tuen takaamiseksi näytämme lisäksi sivuston ilman tyylejä ja JavaScriptiä.
Liukusäätimet, joissa näkyy kolme artikkelia per dia.Käytä Takaisin- ja Seuraava-painikkeita liikkuaksesi diojen välillä tai diaohjaimen painikkeita lopussa.
Optinen koherenssitomografiaangiografia (OCTA) on uusi menetelmä verkkokalvon verisuonten ei-invasiiviseen visualisointiin.Vaikka OCTA:lla on monia lupaavia kliinisiä sovelluksia, kuvanlaadun määrittäminen on edelleen haaste.Kehitimme syvään oppimiseen perustuvan järjestelmän käyttämällä ImageNetillä esiopetettua ResNet152-hermoverkkoluokittajaa luokittelemaan pinnalliset kapillaaripunokset 347 skannauksesta 134 potilaalla.Myös kaksi riippumatonta valvotun oppimismallin arvioijaa arvioivat kuvat manuaalisesti todeksi.Koska kuvanlaatuvaatimukset voivat vaihdella kliinisistä tai tutkimusasetuksista riippuen, koulutettiin kaksi mallia, yksi korkealaatuista kuvantunnistusta varten ja toinen huonolaatuista kuvantunnistusta varten.Neuroverkkomallimme osoittaa erinomaisen käyrän alla olevan alueen (AUC), 95 % CI 0,96-0,99, \(\kappa\) = 0,81), mikä on huomattavasti parempi kuin koneen ilmoittama signaalitaso (AUC = 0,82, 95). % CI).0,77–0,86, \(\kappa\) = 0,52 ja AUC = 0,78, 95 % CI 0,73–0,83, \(\kappa\) = 0,27).Tutkimuksemme osoittaa, että koneoppimismenetelmillä voidaan kehittää joustavia ja kestäviä laadunvalvontamenetelmiä OCTA-kuville.
Optinen koherenssitomografinen angiografia (OCTA) on suhteellisen uusi optiseen koherenssitomografiaan (OCT) perustuva tekniikka, jota voidaan käyttää verkkokalvon mikrovaskulatuurin ei-invasiiviseen visualisointiin.OCTA mittaa eroa heijastuskuvioissa toistuvista valopulsseista samalla verkkokalvon alueella, ja rekonstruktiot voidaan sitten laskea paljastamaan verisuonia ilman väriaineiden tai muiden varjoaineiden invasiivista käyttöä.OCTA mahdollistaa myös syväresoluutioisen verisuonten kuvantamisen, jolloin kliinikot voivat tutkia erikseen pinnallisia ja syviä verisuonikerroksia, mikä auttaa erottamaan korioretinaalisen sairauden.
Vaikka tämä tekniikka on lupaava, kuvanlaadun vaihtelut ovat edelleen suuri haaste luotettavalle kuva-analyysille, mikä vaikeuttaa kuvien tulkintaa ja estää laajan kliinisen käyttöönoton.Koska OCTA käyttää useita peräkkäisiä OCT-skannauksia, se on herkempi kuvaartefakteille kuin tavallinen OCT.Useimmat kaupalliset OCTA-alustat tarjoavat oman kuvanlaatumittarin nimeltä Signal Strength (SS) tai joskus Signal Strength Index (SSI).Korkean SS- tai SSI-arvon omaavat kuvat eivät kuitenkaan takaa kuvien artefaktien puuttumista, mikä voi vaikuttaa myöhempään kuva-analyysiin ja johtaa vääriin kliinisiin päätöksiin.Yleisiä kuvaartefakteja, joita voi esiintyä OCTA-kuvauksessa, ovat liike-, segmentointi-, media-opasiteetti- ja projektioartefaktit1,2,3.
Koska OCTA-pohjaisia ​​mittareita, kuten verisuonitiheyttä, käytetään yhä enemmän translaatiotutkimuksessa, kliinisissä kokeissa ja kliinisissä käytännöissä, on kiireellisesti kehitettävä vankat ja luotettavat kuvanlaadun valvontaprosessit kuvien artefaktien poistamiseksi4.Ohitusyhteydet, jotka tunnetaan myös nimellä jäännösyhteydet, ovat hermoverkkoarkkitehtuurissa olevia projektioita, joiden avulla tiedot voivat ohittaa konvoluutiokerrokset samalla kun tiedot tallennetaan eri mittakaavassa tai resoluutiossa5.Koska kuvien artefaktit voivat vaikuttaa pienimuotoiseen ja yleiseen suuren mittakaavan kuvan suorituskykyyn, ohitusyhteyden hermoverkot sopivat hyvin automatisoimaan tämän laadunvalvontatehtävän5.Äskettäin julkaistu työ on osoittanut lupaavia syviä konvoluutiohermoverkkoja, jotka on koulutettu käyttämällä korkealaatuista ihmisestimaattorien dataa6.
Tässä tutkimuksessa koulutamme yhteyden ohittavaa konvoluutiohermoverkkoa määrittämään automaattisesti OCTA-kuvien laadun.Kehitämme aiempaa työtä kehittämällä erillisiä malleja korkealaatuisten kuvien ja huonolaatuisten kuvien tunnistamiseen, koska kuvanlaatuvaatimukset voivat vaihdella tietyissä kliinisissä tai tutkimusskenaarioissa.Vertaamme näiden verkkojen tuloksia konvoluutiohermoverkkoihin, joissa ei ole puuttuvia yhteyksiä, jotta voimme arvioida, kuinka arvokasta on sisällyttää ominaisuuksia useille tasoille syväoppimiseen.Sitten vertasimme tuloksiamme signaalin voimakkuuteen, joka on yleisesti hyväksytty kuvanlaadun mitta, jonka valmistajat tarjoavat.
Tutkimuksemme sisälsi diabetespotilaita, jotka osallistuivat Yale Eye Centeriin 11. elokuuta 2017 ja 11. huhtikuuta 2019 välisenä aikana. Potilaat, joilla oli ei-diabeettinen korioretinaalinen sairaus, suljettiin pois.Ikään, sukupuoleen, rotuun, kuvanlaatuun tai mihinkään muuhun tekijään perustuvia sisällyttämis- tai poissulkemisperusteita ei ollut.
OCTA-kuvat hankittiin AngioPlex-alustalla Cirrus HD-OCT 5000:ssa (Carl Zeiss Meditec Inc, Dublin, CA) 8\(\times\)8 mm ja 6\(\times\)6 mm kuvantamisprotokollalla.Jokaiselta tutkimuksen osallistujalta saatiin tietoinen suostumus tutkimukseen osallistumiseen, ja Yalen yliopiston instituutioiden arviointilautakunta (IRB) hyväksyi tietoisen suostumuksen käytön maailmanlaajuisessa valokuvauksessa kaikille näille potilaille.Helsingin julistuksen periaatteiden mukaan.Tutkimuksen hyväksyi Yalen yliopiston IRB.
Pintalevykuvat arvioitiin aiemmin kuvatun Motion Artefact Score (MAS), aiemmin kuvatun Segmentation Artefact Score (SAS), foveaalisen keskustan, median opasiteetin ja pienten kapillaarien hyvän visualisoinnin perusteella kuvan arvioijan määrittämänä.Kaksi riippumatonta arvioijaa (RD ja JW) analysoi kuvat.Kuvan arvosana on 2 (kelpoinen), jos kaikki seuraavat ehdot täyttyvät: kuva on keskellä foveaa (alle 100 pikseliä kuvan keskustasta), MAS on 1 tai 2, SAS on 1 ja materiaalin opasiteetti on alle 1. Esiintyy kuvissa, joiden koko on / 16, ja pienet kapillaarit näkyvät kuvissa, jotka ovat suurempia kuin 15/16.Kuva saa arvosanan 0 (ei luokitusta), jos jokin seuraavista ehdoista täyttyy: kuva on poissa keskeltä, jos MAS on 4, jos SAS on 2 tai keskimääräinen peittävyys on suurempi kuin 1/4 kuvasta ja pieniä kapillaareja ei voi säätää enempää kuin 1 kuva /4 erottaakseen.Kaikki muut kuvat, jotka eivät täytä pisteytyskriteerejä 0 tai 2, arvostetaan 1:ksi (leikkaus).
Kuvassa1 näyttää esimerkkikuvat jokaisesta skaalatusta arvioista ja kuvaartefaktista.Yksittäisten pisteiden arvioijien välinen luotettavuus arvioitiin Cohenin kappapainotuksella8.Kunkin arvioijan yksittäiset pisteet lasketaan yhteen, jotta jokaisesta kuvasta saadaan kokonaispistemäärä, joka vaihtelee välillä 0–4. Kuvia, joiden kokonaispistemäärä on 4, pidetään hyvinä.Kuvia, joiden kokonaispistemäärä on 0 tai 1, pidetään huonolaatuisina.
ResNet152-arkkitehtuurin konvoluutiohermoverkko (kuva 3A.i), joka on esiopetettu ImageNet-tietokannan kuviin, luotiin käyttämällä fast.ai:ta ja PyTorch-kehystä5, 9, 10, 11. Konvoluutiohermoverkko on verkko, joka käyttää opittua suodattimet kuvafragmenttien skannaamiseen tila- ja paikallispiirteiden tutkimiseksi.Koulutettu ResNet on 152-kerroksinen hermoverkko, jolle on ominaista aukot tai "jäännösyhteydet", jotka lähettävät tietoa samanaikaisesti useilla resoluutioilla.Projisoimalla tietoa eri resoluutioilla verkon yli, alusta voi oppia heikkolaatuisten kuvien ominaisuudet useilla yksityiskohtaisilla tasoilla.ResNet-mallimme lisäksi koulutimme AlexNetiä, hyvin tutkittua hermoverkkoarkkitehtuuria, ilman, että yhteyksiä puuttuisi vertailua varten (Kuva 3A.ii)12.Ilman puuttuvia yhteyksiä tämä verkko ei pysty sieppaamaan ominaisuuksia suuremmalla tarkkuudella.
Alkuperäistä 8\(\times\)8mm OCTA13-kuvasarjaa on parannettu vaaka- ja pystyheijastustekniikoilla.Täysi tietojoukko jaettiin sitten satunnaisesti kuvatasolla harjoitteluun (51,2 %), testaukseen (12,8 %), hyperparametrien viritykseen (16 %) ja validointitietosarjoihin (20 %) käyttämällä scikit-learn-työkalupakkia python14.Käsiteltiin kahta tapausta, joista toinen perustui vain korkealaatuisimpien kuvien havaitsemiseen (kokonaispistemäärä 4) ja toinen vain heikoimman laatuisten kuvien havaitsemiseen (kokonaispistemäärä 0 tai 1).Jokaisessa korkealaatuisessa ja huonolaatuisessa käyttötapauksessa hermoverkko koulutetaan uudelleen kerran kuvadatallemme.Kussakin käyttötapauksessa hermoverkkoa harjoitteltiin 10 aikakaudelle, kaikki paitsi suurimmat kerrosten painot jäädytettiin ja kaikkien sisäisten parametrien painot opittiin 40 epookille käyttämällä erottelevaa oppimisnopeusmenetelmää, jossa on ristientropiahäviöfunktio 15, 16..Ristientropiahäviöfunktio on ennustetun verkkotunnisteen ja todellisen datan välisen eron logaritmisen mitta.Harjoittelun aikana gradienttilasku suoritetaan hermoverkon sisäisille parametreille häviöiden minimoimiseksi.Oppimisnopeuden, keskeyttämisprosentin ja painonpudotuksen hyperparametrit viritettiin käyttämällä Bayesin optimointia kahdella satunnaisella aloituspisteellä ja 10 iteraatiolla, ja tietojoukon AUC viritettiin käyttämällä hyperparametreja tavoitteena 17.
Edustavia esimerkkejä 8 × 8 mm:n OCTA-kuvista pinnallisista kapillaaripunoista, jotka saivat 2 (A, B), 1 (C, D) ja 0 (E, F).Näkyviin kuviin kuuluvat välkkyvät viivat (nuolet), segmentointiartefaktit (tähdet) ja median peittävyys (nuolet).Kuva (E) on myös poissa keskeltä.
Vastaanottimen toimintaominaisuuksien (ROC) käyrät luodaan sitten kaikille hermoverkkomalleille, ja moottorin signaalinvoimakkuusraportit luodaan jokaisesta huonolaatuisesta ja korkealaatuisesta käyttötapauksesta.Käyrän alla oleva pinta-ala (AUC) laskettiin käyttämällä pROC R -pakettia ja 95 %:n luottamusvälit ja p-arvot laskettiin DeLong-menetelmällä18,19.Ihmisarvioijien kumulatiivisia pisteitä käytetään kaikkien ROC-laskelmien lähtökohtana.Koneen ilmoittaman signaalin voimakkuuden osalta AUC laskettiin kahdesti: kerran korkealaatuiselle skaalautuvuuspisteen rajalle ja kerran alhaisen laadun skaalautuvuuspisteen rajalle.Neuraaliverkkoa verrataan AUC-signaalin voimakkuuteen, joka heijastaa sen omia koulutus- ja arviointiolosuhteita.
Koulutetun syväoppimismallin testaamiseksi edelleen erillisessä tietojoukossa korkealaatuisia ja heikkolaatuisia malleja sovellettiin suoraan Yalen yliopistosta kerätyn 32 koko pinnan 6\(\times\) 6 mm:n pintalevykuvan suorituskyvyn arviointiin.Eye Mass on keskitetty samaan aikaan kuvan kanssa 8 \(\times \) 8 mm.Samat arvioijat (RD ja JW) arvioivat 6\(\×\) 6 mm:n kuvat manuaalisesti samalla tavalla kuin 8\(\×\) 8 mm:n kuvat, AUC laskettiin sekä tarkkuus ja Cohenin kappa. .yhtä lailla.
Luokan epätasapainosuhde on 158:189 (\(\rho = 1,19\)) huonolaatuisessa mallissa ja 80:267 (\(\rho = 3,3\)) korkealaatuisessa mallissa.Koska luokkaepätasapainosuhde on alle 1:4, luokkaepätasapainon korjaamiseksi ei ole tehty erityisiä arkkitehtonisia muutoksia20,21.
Oppimisprosessin visualisoimiseksi paremmin luotiin luokan aktivointikartat kaikille neljälle koulutetulle syväoppimismallille: korkealaatuinen ResNet152-malli, huonolaatuinen ResNet152-malli, korkealaatuinen AlexNet-malli ja heikkolaatuinen AlexNet-malli.Luokkaaktivointikartat luodaan näiden neljän mallin syöttökonvoluutiokerroksista, ja lämpökartat luodaan peittämällä aktivointikartat lähdekuvilla 8 × 8 mm ja 6 × 6 mm validointisarjoista22, 23.
Kaikkiin tilastollisiin laskelmiin käytettiin R-versiota 4.0.3, ja visualisoinnit luotiin ggplot2-grafiikkatyökalukirjastolla.
Keräsimme 134 ihmiseltä 347 frontaalikuvaa pinnallisesta kapillaaripunoksesta, jonka mitat ovat 8 \(\times \)8 mm.Kone ilmoitti kaikkien kuvien signaalin voimakkuuden asteikolla 0-10 (keskiarvo = 6,99 ± 2,29).Hankituista 347 kuvasta keski-ikä tutkimuksessa oli 58,7 ± 14,6 vuotta, ja 39,2 % oli miespotilaita.Kaikista kuvista 30,8 % oli valkoihoisia, 32,6 % mustia, 30,8 % latinalaisamerikkalaisia, 4 % aasialaisia ​​ja 1,7 % muista roduista (taulukko 1).).OCTA-potilaiden ikäjakauma erosi merkittävästi kuvan laadusta riippuen (p < 0,001).Korkealaatuisten kuvien prosenttiosuus nuoremmilla 18–45-vuotiailla potilailla oli 33,8 % verrattuna huonolaatuisten kuvien 12,2 prosenttiin (taulukko 1).Diabeettisen retinopatian jakauma vaihteli merkittävästi myös kuvanlaadussa (p < 0,017).Kaikista korkealaatuisista kuvista PDR-potilaiden prosenttiosuus oli 18,8 % verrattuna 38,8 prosenttiin kaikista huonolaatuisista kuvista (taulukko 1).
Kaikkien kuvien yksittäiset arviot osoittivat kohtalaista tai vahvaa keskinäistä luotettavuutta kuvia lukevien ihmisten välillä (Cohenin painotettu kappa = 0,79, 95 %:n luottamusväli: 0,76-0,82), eikä kuvapisteitä ollut, joissa arvioijat erosivat enemmän kuin 1 (kuva 1). 2A)..Signaalin intensiteetti korreloi merkittävästi manuaalisen pisteytyksen kanssa (Pearson-tuotteen momenttikorrelaatio = 0,58, 95 % CI 0,51–0,65, p < 0,001), mutta monien kuvien havaittiin olevan korkea signaalin intensiteetti, mutta alhainen manuaalinen pisteytys (kuva .2B).
ResNet152- ja AlexNet-arkkitehtuurien koulutuksen aikana ristientropiahäviö validoinnissa ja koulutuksessa putoaa yli 50 aikakaudelle (kuva 3B,C).Validointitarkkuus viimeisen harjoitusjakson aikana on yli 90 % sekä korkealaatuisissa että huonolaatuisissa käyttötapauksissa.
Vastaanottimen suorituskykykäyrät osoittavat, että ResNet152-malli ylittää merkittävästi koneen ilmoittaman signaalin tehon sekä huonossa että korkealaatuisessa käytössä (p < 0,001).ResNet152-malli ylittää myös merkittävästi AlexNet-arkkitehtuurin (p = 0,005 ja p = 0,014 huonolaatuisissa ja korkealaatuisissa tapauksissa, vastaavasti).Tuloksena saadut mallit kullekin näistä tehtävistä pystyivät saavuttamaan AUC-arvot 0,99 ja 0,97, vastaavasti, mikä on huomattavasti parempi kuin vastaavat AUC-arvot 0,82 ja 0,78 koneen signaalinvoimakkuusindeksille tai 0,97 ja 0,94 AlexNetille. ..(Kuva 3).Ero ResNetin ja AUC:n välillä signaalin voimakkuudessa on suurempi, kun tunnistetaan korkealaatuisia kuvia, mikä osoittaa ResNetin käytön lisäetuja tähän tehtävään.
Kaaviot osoittavat kunkin riippumattoman arvioijan kyvyn tehdä pisteitä ja verrata koneen ilmoittamaan signaalin voimakkuuteen.(A) Arvioitavien pisteiden summaa käytetään arvioitavien pisteiden kokonaismäärään.Kuville, joiden yleinen skaalautuvuuspiste on 4, määritetään korkea laatu, kun taas kuvat, joiden skaalautuvuus on 1 tai vähemmän, määritetään huonolaatuisiksi.(B) Signaalin voimakkuus korreloi manuaalisten arvioiden kanssa, mutta korkean signaalin voimakkuuden omaavat kuvat voivat olla huonompia.Punainen katkoviiva osoittaa valmistajan suositteleman laatukynnyksen signaalin voimakkuuden perusteella (signaalin voimakkuus \(\ge\)6).
ResNet-siirtooppiminen parantaa merkittävästi kuvanlaadun tunnistamista sekä huonolaatuisissa että korkealaatuisissa käyttötapauksissa verrattuna koneen ilmoittamiin signaalitasoihin.(A) Esiopetettujen (i) ResNet152- ja (ii) AlexNet-arkkitehtuurien yksinkertaistetut arkkitehtuurikaaviot.(B) ResNet152:n harjoitteluhistoria ja vastaanottimen suorituskykykäyrät verrattuna koneen raportoimaan signaalin voimakkuuteen ja AlexNetin heikkoihin laatukriteereihin.(C) ResNet152-vastaanottimen koulutushistoria ja suorituskykykäyrät verrattuna koneen raportoimaan signaalin voimakkuuteen ja AlexNetin korkeisiin laatukriteereihin.
Päätösrajakynnyksen säätämisen jälkeen ResNet152-mallin suurin ennustetarkkuus on 95,3 % huonolaatuisessa tapauksessa ja 93,5 % korkealaatuisessa tapauksessa (taulukko 2).AlexNet-mallin suurin ennustetarkkuus on 91,0 % huonolaatuisessa tapauksessa ja 90,1 % korkealaatuisessa tapauksessa (taulukko 2).Suurin signaalinvoimakkuuden ennustetarkkuus on 76,1 % heikkolaatuisessa käyttötapauksessa ja 77,8 % korkealaatuisessa käyttötapauksessa.Cohenin kappa (\(\kappa\)) mukaan ResNet152-mallin ja estimaattien välinen sopimus on 0,90 huonolaatuisessa tapauksessa ja 0,81 korkealaatuisessa tapauksessa.Cohenin AlexNet kappa on 0,82 ja 0,71 alhaisen laadun ja laadukkaan käyttötapauksissa.Cohenin signaalinvoimakkuuden kappa on 0,52 ja 0,27 korkealaatuisissa käyttötapauksissa.
Korkea- ja huonolaatuisten tunnistusmallien validointi 6 mm:n litteän levyn 6\(\x\) kuvissa osoittaa koulutetun mallin kyvyn määrittää kuvanlaatu useilla eri kuvausparametreilla.Kun kuvanlaatuun käytettiin 6\(\x\) 6 mm matalia laattoja, huonolaatuisen mallin AUC oli 0,83 (95 % CI: 0,69–0,98) ja korkealaatuisen mallin AUC oli 0,85.(95 % CI: 0,55–1,00) (taulukko 2).
Syöttökerroksen luokan aktivointikarttojen visuaalinen tarkastus osoitti, että kaikki koulutetut hermoverkot käyttivät kuvaominaisuuksia kuvan luokituksen aikana (kuvat 4A, B).8 \(\times \) 8 mm ja 6 \(\times \) 6 mm kuvissa ResNet-aktivointikuvat seuraavat tarkasti verkkokalvon verisuonia.AlexNet-aktivointikartat seuraavat myös verkkokalvon verisuonia, mutta karkeammalla resoluutiolla.
ResNet152- ja AlexNet-mallien luokan aktivointikartat korostavat kuvanlaatuun liittyviä ominaisuuksia.(A) Luokan aktivaatiokartta, joka näyttää koherentin aktivaation verkkokalvon pinnallisen verisuonten jälkeen 8 \(\times \) 8 mm:n validointikuvissa ja (B) laajuuden pienemmissä 6 \(\times \) 6 mm:n validointikuvissa.LQ-malli on koulutettu alhaisilla laatukriteereillä, HQ-malli korkealla laatukriteereillä.
Aiemmin on osoitettu, että kuvanlaatu voi vaikuttaa suuresti OCTA-kuvien kvantifiointiin.Lisäksi retinopatian esiintyminen lisää kuvaartefaktien esiintyvyyttä7,26.Itse asiassa tiedoissamme, aiempien tutkimusten kanssa, havaitsimme merkittävän yhteyden iän ja verkkokalvosairauden vakavuuden ja kuvanlaadun heikkenemisen välillä (p < 0,001, p = 0,017 iän ja DR-tilan osalta; taulukko 1) 27 Siksi on tärkeää arvioida kuvan laatu ennen minkään OCTA-kuvien kvantitatiivisen analyysin suorittamista.Useimmat OCTA-kuvia analysoivat tutkimukset käyttävät koneen raportoimia signaalin intensiteetin kynnysarvoja huonolaatuisten kuvien poissulkemiseksi.Vaikka signaalin voimakkuuden on osoitettu vaikuttavan OCTA-parametrien kvantifiointiin, korkea signaalin intensiteetti ei välttämättä yksinään riitä sulkemaan pois kuvia, joissa on kuvaartefakteja2,3,28,29.Siksi on tarpeen kehittää luotettavampi menetelmä kuvanlaadun valvontaan.Tätä varten arvioimme valvottujen syväoppimismenetelmien suorituskykyä koneen ilmoittaman signaalin voimakkuuden perusteella.
Olemme kehittäneet useita malleja kuvanlaadun arviointiin, koska eri OCTA-käyttötapauksissa voi olla erilaiset kuvanlaatuvaatimukset.Esimerkiksi kuvien tulee olla laadukkaampia.Lisäksi tietyt kiinnostavat määrälliset parametrit ovat myös tärkeitä.Esimerkiksi foveaalisen avaskulaarisen vyöhykkeen pinta-ala ei riipu ei-keskisen väliaineen sameudesta, vaan vaikuttaa suonten tiheyteen.Vaikka tutkimuksemme keskittyy edelleen yleiseen kuvanlaatua koskevaan lähestymistapaan, joka ei ole sidottu minkään tietyn testin vaatimuksiin, vaan joka on tarkoitettu suoraan korvaamaan laitteen ilmoittaman signaalin voimakkuuden, toivomme tarjoavamme käyttäjille paremman hallinnan, jotta he voi valita käyttäjää kiinnostavan tietyn mittarin.Valitse malli, joka vastaa suurinta hyväksyttävänä pidettyä kuvaartefaktien määrää.
Heikkolaatuisissa ja korkealaatuisissa kohtauksissa näytämme erinomaista yhteyttä puuttuvien syvien konvoluutiohermoverkkojen suorituskykyä AUC-arvoilla 0,97 ja 0,99 ja huonolaatuisilla malleilla.Osoitamme myös syväoppimismenetelmämme ylivoimaisen suorituskyvyn verrattuna vain koneiden ilmoittamiin signaalitasoihin.Ohitusyhteyksien avulla hermoverkot voivat oppia ominaisuuksia useilla yksityiskohdilla ja tallentaa kuvien hienompia puolia (esim. kontrastia) sekä yleisiä piirteitä (esim. kuvan keskitys30,31).Koska kuvanlaatuun vaikuttavat artefaktit tunnistetaan luultavasti parhaiten laajalla alueella, hermoverkkoarkkitehtuurit, joista puuttuu yhteyksiä, voivat toimia paremmin kuin ne, joilla ei ole kuvanlaadun määritystehtäviä.
Kun testasimme malliamme 6\(\×6mm) OCTA-kuvilla, havaitsimme luokittelusuorituskyvyn heikkenemisen sekä korkealaatuisissa että huonolaatuisissa malleissa (kuva 2), toisin kuin luokitteluun koulutetun mallin koko.Verrattuna ResNet-malliin AlexNet-mallilla on suurempi pudotus.ResNetin suhteellisesti parempi suorituskyky saattaa johtua jäännösyhteyksien kyvystä lähettää tietoa useissa mittakaavaissa, mikä tekee mallista kestävämmän eri mittakaavailla ja/tai suurennoksilla otettujen kuvien luokittelussa.
Jotkut erot 8 \(\×\) 8 mm:n kuvien ja 6 \(\×\) 6 mm:n kuvien välillä voivat johtaa huonoon luokitukseen, mukaan lukien suhteellisen suuri osa kuvista, jotka sisältävät foveaalisia suonialueita, näkyvyyden muutoksia, verisuonikäyriä ja ei näköhermoa kuvassa 6×6 mm.Tästä huolimatta korkealaatuinen ResNet-mallimme pystyi saavuttamaan 85 %:n AUC:n 6 \(\x\) 6 mm:n kuville, johon mallia ei ole koulutettu, mikä viittaa siihen, että kuvanlaatutiedot koodattiin hermoverkkoon. on sopiva.yhdelle kuvakoolle tai koneen kokoonpanolle sen koulutuksen ulkopuolella (taulukko 2).Rauhoittavasti ResNetin ja AlexNetin kaltaiset 8 \(\times \) 8 mm:n ja 6 \(\times \) 6 mm:n kuvien aktivointikartat pystyivät korostamaan verkkokalvon verisuonia molemmissa tapauksissa, mikä viittaa siihen, että mallissa on tärkeää tietoa.soveltuvat molempien OCTA-kuvien luokitteluun (kuva 4).
Lauerman et ai.OCTA-kuvien kuvanlaadun arviointi suoritettiin samalla tavalla käyttämällä Inception-arkkitehtuuria, toista ohituskonvoluutiohermoverkkoa6,32 käyttäen syväoppimistekniikoita.He myös rajoittivat tutkimuksen pinnallisen hiussuonipunoksen kuviin, mutta käyttivät vain pienempiä 3 × 3 mm:n kuvia Optovue AngioVuesta, vaikka mukana oli myös potilaita, joilla oli erilaisia ​​korioretinaalisia sairauksia.Työmme rakentuu niiden perustalle, mukaan lukien useita malleja, joilla voidaan käsitellä erilaisia ​​kuvanlaadun kynnysarvoja ja validoida tuloksia erikokoisille kuville.Raportoimme myös koneoppimismallien AUC-mittarin ja lisäämme niiden jo ennestään vaikuttavaa tarkkuutta (90 %)6 sekä heikkolaatuisissa (96 %) että korkealaatuisissa (95,7 %) malleissa6.
Tällä koulutuksella on useita rajoituksia.Ensin kuvat otettiin vain yhdellä OCTA-laitteella, mukaan lukien vain kuvat pinnallisesta kapillaaripunoksesta 8\(\times\)8 mm ja 6\(\times\)6 mm.Syy kuvien poissulkemiseen syvemmiltä kerroksilta on se, että projisointiartefaktit voivat tehdä kuvien manuaalisesta arvioinnista vaikeampaa ja mahdollisesti vähemmän johdonmukaista.Lisäksi kuvia on saatu vain diabeetikoista, joille OCTA on nousemassa tärkeäksi diagnostiseksi ja ennustetyökaluksi33,34.Vaikka pystyimme testaamaan malliamme erikokoisilla kuvilla varmistaaksemme tulosten luotettavuuden, emme pystyneet tunnistamaan sopivia tietojoukkoja eri keskuksista, mikä rajoitti arviointiamme mallin yleistettävyydestä.Vaikka kuvat saatiin vain yhdestä keskuksesta, ne saatiin potilailta, joilla oli eri etninen ja rodullinen tausta, mikä on tutkimuksemme ainutlaatuinen vahvuus.Sisällyttämällä monimuotoisuuden koulutusprosessiimme toivomme, että tulokset yleistyvät laajemmassa merkityksessä ja että vältämme rodullisen ennakkoluulon koodaamista kouluttamiimme malleihin.
Tutkimuksemme osoittaa, että yhteyttä ohittavia hermoverkkoja voidaan kouluttaa saavuttamaan korkea suorituskyky OCTA-kuvanlaadun määrittämisessä.Tarjoamme näitä malleja jatkotutkimuksen työkaluiksi.Koska eri mittareilla voi olla erilaiset kuvanlaatuvaatimukset, jokaiselle mittarille voidaan kehittää yksilöllinen laadunvalvontamalli käyttämällä tässä määritettyä rakennetta.
Tulevaisuuden tutkimukseen tulisi sisältyä erikokoisia kuvia eri syvyyksistä ja erilaisista OCTA-koneista, jotta saadaan syväoppiva kuvanlaadun arviointiprosessi, joka voidaan yleistää OCTA-alustoille ja kuvantamisprotokollille.Nykyinen tutkimus perustuu myös ohjattuihin syväoppimismenetelmiin, jotka edellyttävät ihmisen arviointia ja kuvan arviointia, mikä voi olla työvoimavaltaista ja aikaa vievää suurille tietojoukoille.Nähtäväksi jää, pystyvätkö valvomattomat syväoppimismenetelmät erottamaan riittävän hyvin huonolaatuiset kuvat korkealaatuisista kuvista.
Kun OCTA-tekniikka kehittyy edelleen ja skannausnopeudet kasvavat, kuvien artefaktien ja huonolaatuisten kuvien esiintyvyys voi vähentyä.Ohjelmiston parannukset, kuten äskettäin esitelty projektioartefaktin poistoominaisuus, voivat myös lieventää näitä rajoituksia.Monet ongelmat ovat kuitenkin edelleen olemassa, koska potilaiden kuvantaminen, joilla on huono kiinnitys tai merkittävä median sameus, johtaa aina kuvaartefakteihin.Kun OCTA:ta käytetään laajemmin kliinisissä kokeissa, tarvitaan tarkkaa harkintaa, jotta voidaan laatia selkeät ohjeet hyväksyttäville kuva-artefaktitasoille kuva-analyysiä varten.Syväoppimismenetelmien soveltaminen OCTA-kuviin on lupaava, ja tällä alueella tarvitaan lisätutkimusta, jotta voidaan kehittää vankka lähestymistapa kuvanlaadun valvontaan.
Nykyisessä tutkimuksessa käytetty koodi on saatavilla octa-qc-arkistosta https://github.com/rahuldhodapkar/octa-qc.Tämän tutkimuksen aikana luodut ja/tai analysoidut tietojoukot ovat saatavilla vastaavilta tekijöiltä kohtuullisesta pyynnöstä.
Spaide, RF, Fujimoto, JG & Waheed, NK Kuvaartefaktit optisessa koherenssiangiografiassa.Retina 35, 2163–2180 (2015).
Fenner, BJ et ai.Sellaisten kuvantamisominaisuuksien tunnistaminen, jotka määräävät verkkokalvon kapillaaripunoksen tiheysmittausten laadun ja toistettavuuden OCT-angiografiassa.BR.J. Ophthalmol.102, 509–514 (2018).
Lauerman, JL et ai.Silmänseurantatekniikan vaikutus OCT-angiografian kuvanlaatuun ikään liittyvässä silmänpohjan rappeutumassa.Haudan kaari.kliininen.Exp.oftalmologia.255, 1535–1542 (2017).
Babyuch AS et ai.OCTA-kapillaariperfuusiotiheysmittauksia käytetään makula-iskemian havaitsemiseen ja arvioimiseen.oftalminen kirurgia.Retinal Laser Imaging 51, S30–S36 (2020).
He, K., Zhang, X., Ren, S. ja Sun, J. Deep Residual Learning for Image Recognition.Vuonna 2016 IEEE Conference on Computer Vision and Pattern Recognition (2016).
Lauerman, JL et ai.Automaattinen OCT-angiografisen kuvan laadun arviointi syväoppimisalgoritmeilla.Haudan kaari.kliininen.Exp.oftalmologia.257, 1641–1648 (2019).
Lauermann, J. et ai.Segmentointivirheiden ja liikeartefaktien esiintyvyys OCT-angiografiassa riippuu verkkokalvon sairaudesta.Haudan kaari.kliininen.Exp.oftalmologia.256, 1807–1816 (2018).
Pask, Adam et ai.Pytorch: pakollinen, tehokas syväoppiva kirjasto.Edistynyttä hermoinformaation käsittelyä.järjestelmä.32, 8026–8037 (2019).
Deng, J. et ai.ImageNet: Laajamittainen hierarkkinen kuvatietokanta.IEEE-konferenssi 2009 Computer Vision and Pattern Recognition.248-255.(2009).
Krizhevsky A., Sutzkever I. ja Hinton GE Imagenet-luokitus käyttäen syväkonvoluutiohermoverkkoja.Edistynyttä hermoinformaation käsittelyä.järjestelmä.25, 1 (2012).