[논문 리뷰] 디지털 포렌식을 위한 ESRGAN 기반 저화질 이미지 화질 개선 및 검증기법

*본 글의 모든 내용, 그림, 표 출처는 논문 원문에 있습니다.

https://dcoll.ajou.ac.kr/dcollection/public_resource/pdf/000000032829_20240206224125.pdf

[출처] 장성훈. (2023.08). 디지털 포렌식을 위한 ESRGAN 기반 저화질 이미지 화질 개선 및 검증기법. 아주대학교

---

 디지털 포렌식을 통해 획득되는 이미지 중 저화질 증거물을 ESRGAN(Enhanced Super Resolution Generative Adversarial Network) 알고리즘을 활용하여 화질을 개선 시키고, FID(Frechet Inception Distance) 알고리즘을 통해 복원율과 원본과의 유사도를 객관적으로 검증하여 ESRGAN으로 복원된 증거물이 법정에서 인정받기 위한 연구를 진행함. 

---

ESRGAN : GAN, SRGAN을 발전시킨 딥러닝을 사용하여 이미지의 화질을 개선하는 기술

해당 실험에서 사용하는 ESRGAN 알고리즘 프로세스)

1) Preparing Environment 단계로 ESRGAN을 사용하기 위한 필수적인 패키지를 설치하고 각종 환경을 설정하였음

(Pytorch 설치 및 활용, Tensorflow와 각종 함수 및 패키지 정의)

2) Defining Helper Functions 단계로서 모델을 로드하고 이미지를 처리하며 결과를 시각화하기 위해 저해상도 이미지 로드 및 크기 조정 그리고 이미지 정규화 진행

3) ESRGAN으로 입력된 저화질 이미지를 고화질 이미지로 업스케일링 함

데이터 수집 및 처리 방법

고화질 이미지의 해상도는 충분히 높아야 하고 저화질 이미지는 고해상도 이미지를 낮은 해상도로 다운 샘플링한 것이어야 함

-> Computer Vision 데이터셋을 제공해주는 Roboflow 웹사이트에 공개된 이미지를 20장 수집하여 데이터셋 구축

다운 샘플링은 위와 같이 해상도를 1/4 낮춰서 입력 데이터로 사용 / 다양한 크기의 이미지를 가로, 세로 모두 128픽셀크기로 정규화

*모델학습은 Google Colab 환경에서 Pre-trained ESRGAN을 구현하여 활용

사용된 PC의 성능

FID 알고리즘을 활용한 검증

FID 알고리즘은 생성 모델의 평가에 널리 이용되기 때문에, 이를 통해 원본 이미지와 저화질 이미지 그리고 원본 이미지와 ESRGAN으로 개선한 고화질 이미지가 어느 정도 수준의 유사도를 갖는지 측정함

*TensorFlow를 활용하여 Pre-trained Inception v3 모듈을 사용

실험 절차는 다음과 같이 원본 이미지와 저화질 이미지의 FID Score을 측정하고 원본 이미지와 ESRGAN으로 복원된 고화질 이미지의 FID Score을 측정하여 유사도 확인

실험 결과

왼쪽부터 원본 이미지, 저화질 이미지, ESRGAN으로 복원한 고화질 이미지로 복원된 결과

-육안상으로도 복원된 고화질 이미지와 원본의 유사성을 발견 가능

FID Score 측정을 통해 실험에 사용된 이미지에 대한 유사도 측정 결과를 나타낸 결과

-Table 3의 왼쪽부터 원본과 저화질 이미지와의 유사도, 원본과 ESRGAN으로 복원된 고화질 이미지와의 유사도 그리고 향상률을 나타낸 결과

FID 알고리즘을 활용한 측정 수치를 가시화한 결과

-> ESRGAN으로 복원된 이미지가 실제 원본 이미지와 유사하다는 것을 정량적으로 수치화할 수 있다는 검증 결과를 얻을 수 있음

결론

ESRGAN과 FID 알고리즘을 활용하여 세밀하고 자연스러운 고해상도 이미지 복원이 가능하고 실제 원본과의 유사도를 수치화함으로써 화질이 개선된 증거물의 신뢰도에 대한 정량적 판단까지 할 수 있다는 결론 도출

입력된 데이터에 따라 원본과의 유사성을 나타내는 FID 수치의 편차가 크고 데이터셋의 품질에 따라 복원된 이미지의 품질에 영향을 미친다는 한계점 존재