CoLa-Diff: Conditional Latent Diffusion Model for Multi-Modal MRI Synthesis 논문 요약

 

이 논문의 요지는, T1, T2, FLAIR, T1ce 등으로 촬영된 MRI 영상 중 누락되었거나 현저히 적은 modality의 데이터셋을 나머지 modality의 데이터로부터 합성해낼 수 있다는 요지의 논문이다.

 

고질적인 데이터셋 부족 현상을 겪는 의료AI에 있어 데이터셋 합성은 굉장히 중요하며 최근 여기저기서 연구되고 있다.

 

 

전체 아키텍처가 다소 복잡한 편인데, 그래도 아키텍처 도식도가 구조적으로 잘 그려져 있어서 좋았다.

 

다운샘플링 후 Forward Porcess를 진행하였다.

 

우선 모든 Diffusion 모델이 그러하듯, Forward Process부터 살펴보면,

원본 이미지 데이터가 아닌, 인코더에 태워져 다운샘플링된 κ에 대해 Forward Process가 진행되고 있음을 확인할 수 있다.

Diiffusion 모델은 Markov Process로서, 직전 상태에만 영향을 받기는 하지만, training에 있어서는 모든 Markov states를 다 메모리에 저장해야 한다.

그래서 κ에 대해 Forward Process가 진행되는 것은 메모리 효율을 높일 수 있다고 한다.

다만 이 과정에서 발생하는 정보 손실을 Structural Guidance로 해결했다고 한다.

 

KL Divergence로 Structure Guidance를 주었다.

 

 

기하 정보를 확률함수의 prior로 주면 robustness가 올라간다는 선행 연구에 따라, 뇌 구조의 정보를 prior로 주었다... 정도의 의미 같은데,

 

사실 그냥 예측된 분포와 실제 뇌 이미지 분포 사이의 KL Divergence를 loss로 주었다는 게 전부여서, "이게 된다고?" 하는 생각이 들었다.

 

Auto-weight Adaption을 통해 Modality 별 weight를 조정한다.

 

 

 

원래 가중치였던 y에 [1+S(...)]가 곱해져서 새로운 가중치로 조정되는 것을 볼 수 있다. S()는 시그모이드 함수이고, G는 μ, y로 이루어진 식이므로, (ω는 stabilizer)

y를 조정하는 함수 F는 μ, ν, ο (ν, ο는 learnable)로 이루어진 함수로 생각할 수 있다.

 

Similar Cooperative Filtering을 통해 노이즈를 감쇠한다.

 

다운샘플링된 이미지를 고주파와 저주파 성분으로 분리한다. 각각의 고주파, 저주파 성분은 패턴화하여 각 유사 패턴별로 정해진 임계값을 넘을 때에만 유지된다.