주인공이 얼굴이나 자동차 번호판 또는 기타 주요 세부 사항을 보여주기 위해 이미지를 확대하고 결과를 개선하도록 요청하는 판타지 영화나 TV 프로그램을 본 적이 있을 것입니다. 구글의 최신 인공지능(AI) 시스템은 이른바 확산 모델, 이 트릭을 수행할 수 있습니다.
본질적으로 카메라가 원래 캡처하지 않은 이미지에 세부 사항을 추가하고 다른 유사한 이미지를 기반으로 한 매우 똑똑한 추측을 사용하기 때문에 마스터하기 까다로운 프로세스입니다.
Google에서는 이 기술을 자연 이미지 합성이라고 하며 이 특정 시나리오에서는 초고해상도입니다. 작고 픽셀화된 사진으로 시작하여 선명하고 선명하며 자연스러운 사진으로 끝납니다. 정확히 원본이 아닐 수도 있지만 사람의 눈으로 보기에는 충분히 실제에 가깝습니다.
Google은 이 작업을 위해 두 가지 새로운 AI 도구를 도입했습니다. 첫 번째는 SR3(Repeated Refinement를 통한 Super-Resolution)라고 하며 이미지에 노이즈를 추가한 다음 제거하는 방식으로 작동합니다. 대규모 이미지 데이터베이스와 일부 기계 학습 마법을 기반으로 한 일련의 확률적 계산을 통해 SR3는 저해상도 픽셀 이미지의 초고해상도 버전을 상상할 수 있습니다.
두 번째 도구는 CDM 또는 계단식 확산 모델입니다. Google은 이를 SR3을 포함한 확산 모델이 고품질 이미지 업스케일링을 위해 지시될 수 있는 "파이프라인"으로 설명합니다. 개선 모델을 가져와 더 큰 이미지로 만듭니다.
Google에 따르면 CDM 방식은 다른 해상도에서 다양한 향상 모델을 사용하여 대체 이미지 업스케일링 방법보다 성능이 뛰어납니다. 새로운 AI 엔진은 시각적 개체 인식 연구에 일반적으로 사용되는 훈련 이미지의 거대한 데이터베이스인 ImageNet에서 테스트되었습니다.
SR3 및 CDM의 최종 결과는 인상적입니다. 50명의 자원 봉사자를 대상으로 한 표준 테스트에서 SR3로 생성된 사람 얼굴 이미지는 약 50%의 시간 동안 실제 사진으로 오인되었으며 이상적인 알고리즘이 50%를 달성해야 한다는 점을 고려하면 인상적입니다. 이러한 향상된 이미지는 원본과 정확히 일치하지 않으며 확률의 수학을 기반으로 신중하게 계산된 시뮬레이션이라는 점을 반복할 가치가 있습니다.
Google은 새로운 AI 엔진 및 관련 기술을 통해 얼굴 및 기타 자연 물체의 이미지를 확대할 뿐만 아니라 확률적 모델링의 다른 영역에서도 훨씬 더 많은 것을 약속합니다.
또한 읽기: