Alleviating Data Distribution Shifts Problem by Domain Adaptation, Domain Generalization and Test-Time Adaptation ; 데이터 분포 변화 문제 완화를 위한 도메인 적응, 도메인 일반화, 시험 시간 적응 방법

학위논문(박사) -- 서울대학교대학원 : 융합과학기술대학원 지능정보융합학과, 2024. 2. 곽노준. ; 심층 신경망이 다양한 컴퓨터 비전 분야와 그 응용에 있어서 뛰어난 성과를 보이고 있음에도 불구하고 여전히 데이터 분포 변화 (data distribution shifts) 문제로부터 많은 어려움을 겪고 있다. 데이터 분포 변화 문제는 심층 신경망 모델이 테스트하는 과정에서 학습 시에 보았던 데이터 (소스 데이터)와 다른 분포를 가진 데이터 (타겟 데이터)가 입력으로 주어져 심층 신경망 모델이 일반화를 하지 못하고 성능 저하를 보이는 문제를 말한다. 심층 신경망은 실제 사용 시에 다양한 데이터를 마주하게 될 가능성이 크기 때문에 이러한 데이터 분포 변화를 해결하는 것은 아주 중요하다. 하지만 이 문제를 해결하는 것은 쉽지 않다. 그 이유는 학습 시에 실제 테스트 때 보게 될 데이터의 분포를 미리 아는 것이 어렵고 비록 안다고 해도 그러한 데이터를 모으고 레이블링하는 것은 많은 시간과 비용이 필요하기 때문이다. 본 논문에서는 이러한 데이터 분포 변화 문제에 대해서 심층 신경망이 강인하게 작동할 수 있도록 학습하는 방법을 세가지 시나리오 상에서 제안한다. 첫째로, 의미론적 분할 (semantic segmentation) 문제에서의 데이터 분포 변화 문제를 비지도 도메인 적응 방법으로 해결하는 방법을 연구한다. 본 논문에서는 픽셀 간의 상관관계를 학습하고 그것을 소스 도메인에서 타겟 도메인 쪽으로 전달하여 도메인 적응하는 방법을 제시한다. 자가 주목 모듈 (self-attention module)을 소스 도메인에 대하여 먼저 선 학습시킨 후 그것을 실제 도메인 적응하는 과정에서 자가 학습 (self-training) 방법과 같이 사용하여 분할 모델을 학습한다. 분할 모델은 도메인 적응 과정에서 이러한 모듈의 출력값을 따라가는 방법으로 학습하게 된다. 실험과 분석을 통해 제안한 방법이 두 가지 비지도 도메인 적응 벤치마크에서 유의미한 성능 향상을 보임을 알 수 있었다. 두 번째로는 오픈 도메인 일반화 문제를 다루고 있다. 이 문제는 기존의 도메인 일반화 문제와는 다르게 타겟 도메인이 데이터 분포가 다를 뿐 아니라 소스 도메인에는 포함되어 있지 않은 클래스들을 포함하고 있다. 즉 테스트 시에 학습 과정에서 모델이 배우지 못한 클래스들이 입력으로 주어질 수 있고 모델은 그러한 클래스를 ``unknown" 클래스로 잘 인식하여야 한다. 본 논문에서는 선형 조사 (linear-probing)를 이용하여 선 학습한 분류기 헤드 (classification head)와 그리고 선 학습된 특징 추출기 (feature extractor)를 활용한 두 가지 규제 학습 방법을 제시한다. 이 방법은 분류기 헤드가 소스 도메인에 과적합되지 않도록 하고 추출기는 기존의 선 학습된 상태로부터 많이 왜곡되지 않도록 한다. 이러한 방법은 모델이 소스 도메인에 대해 편향되지 않도록 하여 타겟 도메인에 대한 일반화 성능을 높이고 배우지 않은 클래스들을 잘 인식 할 수 있도록 한다. 마지막으로 연속적 시험 시간 적응 방법에 관한 연구를 소개한다. 이 분야는 모델이 테스트 환경에 이미 배포가 된 후 테스트 시에 들어오는 테스트 입력값들에 대해서 모델이 예측하고 바로 적응하는 방법이다. 이때 입력으로 주어지는 테스트 입력값들이 시간이 지남에 따라 분포 (도메인)가 변한다. 시간이 흐름에 따라 변하는 입력값의 분포에 대해 모델이 끊임없이 적응할 수 있도록 학습해야 한다. 이를 위해 소스와 타겟 도메인 각각에 대한 프로토타입을 만들고 그것들을 활용하여 타켓 입력값들의 피쳐를 클래스별로 클러스터링하고 소스 도메인으로부터 배운 지식을 모델이 잊어버리지 않도록 하면서 소스와 타겟의 분포를 특징 레벨 (feature level)에서 정렬하는 방법을 제시한다. 실험을 통해 제시한 방법이 모델의 정확도와 적응 시간 면에서 유의미한 성능 향상을 가져다주는 것을 확인하였다. 본 논문은 데이터 분포 변화 문제를 완화하는 방법을 비지도 도메인 적응, 오픈 도메인 일반화 그리고 연속적 시험 시간 적응이라는 세 가지 다른 시나리오상에서 다루고 있다. 각 시나리오는 ...