이글은 towardsdatascience.com의 내용임. (링크)
Paper Summary: U-Net: Convolutional Networks for Biomedical Image Segmentation
U-Nets은 의료 이미지분야에서 더 좋게 이미지 분할(segmentation)을 한다. U-Net: Convolutional Networks for Biomedical Image Segmentation논문은 2015년에 발표되었다.
문제(Problem)
심층 네트워크의 성공적인 훈련은 많은 레이블링된 훈련 샘플이 필요하다. 이 논문은 더 효과적으로 사용가능한 레이블링된 샘플을 사용하기 위한 강력한 데이터 증강을 사용하는 네트워크와 훈련 전략을 제시한다.
전형적인 합성공 네트워크의 사용은 분류작업이다. 여기서 이미지로의 출력은 하나의 분류 레이블이다. 그러나 많은 시각적 작업에서 특히 생물 의학(biomedical) 이미지 처리에서는 희망하는 출력은 지역화(localizaion)을 포함해야 한다. 즉, 분류 레이블은 각 픽셀에 할되어야 한다. 게다가, 생물 의학 분야에서는 보통 수천장의 훈련 이미지가 존재하지 않는다.
해법(Solution)
U-net 구조는 FCN(Fully Convolutional Network)기반으로 만들어졌고 의료 이미지 분야에서 더 나은 분할을 만드는 방법으로 수정되었다. 논문은 사용가능한 훈련이미지에 탄성변형(elastic deformation)을 적용하여 과도한 데이터 증강을 사용한다. 이는 네트워크가 레이블링된 이미지 묶음에서 변환을 볼 필요 없이 그러한 변형(deformation)에 대한 불변성(invariance)를 학습할 수 있게 한다.
구조(Architecture)
U-net은 인코더(encoder)/수축(contraction) 방향(좌측)과 디코더(decoder)/확대(expansion) 방향(우측) 두 부분으로 구성된다.
수축 방향은 반복된 3X3 합성곱(unpadded) 다음에 각각 ReLU와 다운샘플링을 위한 stride 2dls 2X2 max pooling 연산으로 구성된다. 각 다운샘플링 단계에서 특성 채널의 수를 두배로 한다. 이는 작은(compact) 특성맵으로 context를 캡쳐한다.
확대 방향은 특성맵의 업샘플링 다음에 수축방향으로부터 잘려진(cropped) 특성 맵과 연결한 특성 채널의 수를 반으로 줄이는 2X2 합성곱("Up-convolution") 그리고 3X3 합석공 다음에 ReLU로 구성된다. 특성차원의 업샘플링인 블록이 좌측에서 연될되는 것으로 동일 크기를 만나는 것으로 완료된다.
확대는 특성을 더 많이 얻는데 도움이되지만 지역화(localizaion)이 손실되는 것을 증가시킨다. 지역화 정보는 수축 방향으로부터 연결된다.
자르는 것(cropping)은 모든 합성곱에서 가장자리(border) 픽셀의 손실때문에 필요하다. 마지막 레이어에서 1X1 합성곱은 각 64-components 특성 벡터를 희망하는 수의 클래스로 매핑하기 위해 사용되었다. 지금의 경우, 출력 특성 맵이 세포와 세포막 2개의 클래스를 갖기때문에 2이다.
이 논문의 주요한 기여점
a. Overlap-tile strategy
b. 훈련 데이터에 elastic deformation을 적용하여 데이터 증강(augmentation)
이는 네트워크가 레이블링된 이미지 뭉치에서 해당 변환을 볼 필요 없이 그 같은 변형에 대한 불변성을 학습할 수 있게 한다. 이것은 변형(deformation)이 조직에서 가장 일반적인 변화이고 실제 변형이 효과적으로 시뮬레이션될 수 있기 때문에 생물의학 분할(segmentation) 분야에서 중요하다.
c. 동일 클래스의 touching object 분리
이는 가중치가 적용된 손실(weighted loss)을 사용하여 완료된다. 여기서 touching cell간 background 레이블을 분리하는 것은 손실함수에서 큰 가중치를 얻는다. 이는 테트워크가 touching cell간 작은 분할 경계를 학습하도록 한다.
이 기여점의 실제 응용
수천장의 훈련이미지는 생물의학 분야에서는 흔치 않고 전문가가 필요하며 레이블링에 많은 시간이 걸린다. 이것은 절차를 자동화 할 수 있다. 따라서 레이블링을 위한 비용과 시간을 낮춘다.
또한 품질 관리와 검사, 제조 같은 다른 영역에도 적용될 수 있다.