U -Net - U-Net

U-Net er et konvolusjonelt neuralt nettverk som ble utviklet for biomedisinsk bildesegmentering ved datavitenskapelig avdeling ved University of Freiburg . Nettverket er basert på det fullstendig konvolusjonelle nettverket, og arkitekturen ble modifisert og utvidet til å fungere med færre treningsbilder og gi mer presise segmenteringer. Segmentering av et 512 × 512 -bilde tar mindre enn et sekund på en moderne GPU .

Beskrivelse

Den U-Net arkitektur stammer fra den såkalte “fullt convolutional nettverk” først foreslått av Long, Shelhamer, og Darrell.

Hovedideen er å supplere et vanlig kontraherende nettverk med påfølgende lag, der pooling operasjoner erstattes av oppsampling operatører. Derfor øker disse lagene oppløsningen på utgangen. Dessuten kan et påfølgende konvolusjonslag lære å sette sammen en presis utgang basert på denne informasjonen.

En viktig modifikasjon i U-Net er at det er et stort antall funksjonskanaler i oppsamplingsdelen, som gjør at nettverket kan spre kontekstinformasjon til lag med høyere oppløsning. Som en konsekvens er den ekspansive banen mer eller mindre symmetrisk for kontrakteringsdelen, og gir en u-formet arkitektur. Nettverket bruker bare den gyldige delen av hver konvolusjon uten helt tilkoblede lag. For å forutsi pikslene i kantområdet til bildet, ekstrapoleres den manglende konteksten ved å speile inndatabildet. Denne flisstrategien er viktig for å bruke nettverket på store bilder, siden oppløsningen ellers ville være begrenset av GPU -minnet.

Historie

U-Net ble opprettet av Olaf Ronneberger, Philipp Fischer, Thomas Brox i 2015 på avisen "U-Net: Convolutional Networks for Biomedical Image Segmentation". Det er en forbedring og utvikling av FCN: Evan Shelhamer, Jonathan Long, Trevor Darrell (2014). "Fullt konvolusjonsnettverk for semantisk segmentering".

Nettverksarkitektur

Nettverket består av en kontraherende bane og en ekspansiv bane, som gir den den u-formede arkitekturen. Kontraheringsbanen er et typisk konvolusjonsnettverk som består av gjentatt bruk av konvolusjoner , hver etterfulgt av en utbedret lineær enhet (ReLU) og en maksimal samlingsoperasjon . Under sammentrekningen reduseres den romlige informasjonen, mens funksjonsinformasjonen økes. Den ekspansive banen kombinerer funksjonen og romlig informasjon gjennom en sekvens av opp-konvolusjoner og sammenkoblinger med høyoppløselige funksjoner fra kontrakteringsbanen.

Image
Dette er et eksempel på U-Net-arkitektur for å produsere k 256 x 256 bildemasker for et 256 x 256 RGB-bilde.

applikasjoner

Det er mange anvendelser av U-Net i biomedisinsk bildesegmentering , for eksempel hjernebildesegmentering ('' BRATS '') og leverbildesegmentering ("siliver07"). Variasjoner av U-Net har også blitt brukt for medisinsk bilderekonstruksjon. Her er noen varianter og applikasjoner av U-Net som følger:

  1. Pikselmessig regresjon ved bruk av U-Net og applikasjonen for pansharpening;
  2. 3D U-Net: Lær tett volumetrisk segmentering fra sparsom annotasjon;
  3. TernausNet: U-Net med VGG11 Encoder forhåndsutdannet på ImageNet for bildesegmentering.
  4. Bilde-til-bilde-oversettelse for å estimere fluorescerende flekker
  5. Forutsigelse av bindingssted for proteinstruktur i beregningsmedisinsk design

Implementeringer

jakeret (2017): "Tensorflow Unet"

U-Net kildekode fra mønstergjenkjenning og bildebehandling ved datavitenskapelig avdeling ved University of Freiburg, Tyskland.

De grunnleggende artiklene om systemet har blitt sitert henholdsvis 3693, 7049, 442 og 22 ganger på Google Scholar fra og med 24. desember 2018.

Referanser