A GAN-Based Image Super-Resolution Framework for High-Resolution Satellite Imagery Using Domain Translation ; 도메인 변환을 이용한 적대적 생성 신경망 기반의 고해상도 위성영상 초해상화 프레임워크

학위논문(박사) -- 서울대학교대학원 : 공과대학 건설환경공학부, 2024. 2. 김용일. ; 최근 지구관측 위성기술의 발전에 따라 다양한 광학 위성센서들로부터 다량의 위성영상자원이 제공되고 있다. 광학 위성영상의 공간해상도는 cm 수준에서 km 수준까지 다양하며, 공간해상도에 따라 영상이 효과적으로 사용될 수 있는 활용 분야가 제약될 수 있다. 고해상도 위성영상은 지상 객체에 대해 상세 분석을 가능하게 하는 귀중한 영상 자원으로써 다양한 분야에서 그 수요가 증가하고 있다. 영상 초해상화 (image super-resolution) 기술은 저해상도 영상의 공간해상도를 향상시키기 위한 신호처리 기반의 기법으로, 영상 시스템의 하드웨어 측면의 한계를 극복할 수 있다. 최근 컴퓨터 비전 분야의 초해상화 연구는 딥러닝 네트워크의 도입을 통해 높은 성능 향상 결과를 제시하였으며, 이를 위해 저해상도 영상과 고해상도 영상 간의 종단간 매핑 (end-to-end mapping)을 수행하기 위한 다양한 학습 전략이 제안되었다. 이러한 최근 연구성과를 바탕으로 딥러닝 기반의 초해상화 연구는 원격탐사 영상으로 그 활용 범위가 확장되고 있는 추세이다. 딥러닝 기반의 초해상화 모델은 학습 시 일반적으로 저해상도 영상과 이에 대응되는 고해상도 영상으로 구성된 영상 쌍 데이터셋이 요구된다. 하지만 실제 상황에 대해 취득된 저해상도-고해상도 영상 데이터셋은 확보에 어려움이 존재한다. 이에 대부분의 기존 초해상화 연구에서는 고해상도 영상만을 사용하여 쌍삼차 보간법 (bicubic interpolation) 등과 같이 사전 정의된 영상 열화 과정을 통해 합성 저해상도 영상을 생성하여 학습에 활용하고 있다. 그러나 이러한 합성 영상 데이터셋을 사용하여 학습된 초해상화 모델은 실제 저해상도 영상의 특징을 반영하지 못하기 때문에 실제 영상에 적용 시 낮은 품질의 초해상화 영상이 생성될 수 있다. 따라서, 실용적인 SR 기법의 개발 및 적용을 위해서는 실제 영상에 적용 가능한 초해상화 기법에 대한 심도 있는 연구가 필요하다. 이에 본 연구에서는 실제 원격탐사 영상에 적용 가능한 초해상화 기법 구현을 위한 딥러닝 프레임워크를 제안하였으며, 특히 고해상도 위성영상 초해상화에 중점을 두었다. 제안된 프레임워크는 영상 초해상화 과정을 저해상도 영상 도메인 변환과 영상 초해상화의 단계로 세분화하였다. 저해상도 영상 도메인 변환 단계에서는 쌍삼차 보간법을 통해 생성된 합성 저해상도 영상을 이용하여 실제 저해상도 영상을 영상 내 흐림과 잡음이 적은 유사 영상으로 변환한다. 변환된 영상은 이어지는 초해상화 네트워크의 입력 영상으로 사용되며, 해당 네트워크 내에서 유사 저해상도 영상과 고해상도 영상 간의 매핑 관계에 대한 학습이 수행된다. 이처럼 본 기법은 초해상화 문제를 개별 네트워크의 하위문제로 분할하여 각 네트워크의 학습 목표를 명확히 함으로써, 실제 저해상도 영상과 고해상도 영상 간의 직접적인 매핑을 수행하는 경우와 비교하여 학습 과정을 안정화하였다. 제안된 초해상화 프레임워크는 실제 영상의 영상 초해상화 과정에 공통적으로 적용될 수 있는 학습 원리를 제시함으로써 다양한 데이터 수급 상황에 활용될 수 있다. 이에 본 연구에서는 해당 프레임워크를 감독 학습 및 무감독 학습 기반의 초해상화 모델로 구현하였으며, 높은 지각적 품질 (perceptual quality)의 초해상화 영상 생성을 위해 적대적 생성 신경망 (generative adversarial network) 구조를 기반으로 모델을 구성하였다. 제안 모델의 검증 과정에서는 성능 비교 분석 및 구성요소 분석을 수행하였으며, 이 과정에서 WorldView-3 고해상도 위성영상을 사용하여 생성된 실제 원격탐사 영상 데이터셋이 활용되었다. 실험결과, 제안된 프레임워크의 적용을 통해 초해상화 모델로부터 높은 지각적 품질과 영상 충실도 (image fidelity)의 고해상도 영상을 생성할 수 있음을 확인하였다. 또한, 제안된 모델은 기존 최신 모델과 비교하여 모두 일관되게 우수한 성능을 제시하였으며, 네트워크 용량 상의 이점 또한 검증되었다. 본 연구에서 제안한 초해상화 프레임워크는 영상 ...