논문 후기와 구현
-
Bergeron 논문 Ablation Study 해보기논문 후기와 구현 2024. 9. 15. 21:30
JailbreakingDiffusion 모델 등 생성형 모델은 본질적으로 인간의 통제가 온전히 개입할 수 없는 부분이 있다. 그러나 그렇다고 해서 손 떼고 있을 수만은 없다. 최근 소위 "딥페이크 범죄"가 크게 이슈가 되고 있듯이, 생성형 인공지능에 대한 통제를 포기한다면 사회는 큰 혼란에 빠질 것이기 때문이다. 현재로서는 보통은 (특히 언어모델은) fine-tuning을 이용해서 유해정보 생성을 억제하는 것이 최선이다. 예를 들어 ChatGPT에게 폭탄 제조법을 물어보면 안 알려주는데, 이는 해당 질문에 대해 대답을 하지 못하도록 fine-tuning된 것이다. 이렇듯 유해정보 생성을 하도록 유도하는 것을 Jailbreaking이라고 하는데, Jailbreaking 및 그에 대한 Defense 연구 논..
-
Coqui TTS (XTTS-v2) 한국어 Fine-Tuning논문 후기와 구현 2024. 9. 3. 10:45
Coqui TTS (쿠키 TTS)일단 Coqui TTS로는 다음을 할 수 있다:- 음성 생성- 음성 클로닝 (커스텀 TTS)- 음성 Conversion (커스텀 TTS) 그런데 황망한 소식부터 전하자면, Coqui TTS는 24년 1월 운영중단되었다. GitHub에서 clone해와서 쓸 수는 있지만, 모델이 더 이상 업데이트되지는 않을 것이다. 이제 쓸만한 오픈소스 TTS는 OpenVoice 밖에 남지 않았다. 사실 굳이 AI 공부를 하려는 것이 아니고, 그저 고성능 Voice Cloning TTS(특히, 한국어)가 필요할 뿐이라면 Elevenlabs에서 유료로 사용하는 것을 추천한다. 한국어 성능도 이미 굉장히 좋아서, 한국어 Fine-tuning이고 나발이고 그냥 서비스를 갖다 쓰기만 하면 되니 이보..
-
고등학생도 하는 GPT Fine-Tuning (AI-Hub 방언 데이터셋 활용해서 fine-tuning해보기)논문 후기와 구현 2024. 9. 2. 23:33
PrerequisiteVisual Studio Code 설치 (데이터셋 용량이 커서 Google Colab에서 구현 힘듭니다)10기가 정도의 충분한 여유공간OpenAI 가입 및 금액 충전 (ChatGPT 구독과 별개) GPT Fine-Tuning작년(2023년) 하반기에 독일에서 일할 때만 하더라도, 굉장히 어렵게 코딩를 짰어야지 겨우 fine-tuning을 할 수 있었는데, 2024년 상반기부터 굉장히 편해졌다. 데이터셋만 있으면, 누구나 fine-tuning을 할 수 있다. 늘 생각하지만 GPT의 fine-tuning이 가장 쉽기를 바라는 곳이 다름아닌 OpenAI이기 때문에, 그런 걸 할 줄 안다는 것에 자신의 가치를 두어서는 안 된다. Fine-tuning의 역할과 한계인공지능을 과대평가하는 것은..
-
코드 돌려보기 - Hallo: Hierarchical Audio-Driven Visual Synthesis for Portrait Image Animation (Talking Head Generation)논문 후기와 구현 2024. 8. 3. 08:12
Talking Head Generation미국 대선이 다가오고 있다. 트럼프가 될지 해리스가 될지보다도 사실 내가 궁금한 것은, 이번 대선에서 Diffusion 기술이 어떤 위력을 발휘할 것인가이다. 24년 6월 15일 GitHub에 공개된 Hallo도 Diffusion을 활용한 Talking Head Generation 기술을 다룬다. Hallo: Hierarchical Audio-Driven Visual Synthesis for Portrait Image AnimationFlamingo라고, 투고되자마자 ChatGPT가 공개되어 어마어마한 결과물에 비해 주목을 많이 받지는 못한 불운의 논문이 있었는데, 하여튼 저때부터 뭔가 저런 억지 backronym으로 논문 이름을 짓는 게 아주 유행을 하는 것 같..
-
KCC 2024 참여 후기논문 후기와 구현 2024. 8. 3. 07:55
KCC란? 한국컴퓨터종합학술대회(KCC)는 한국정보과학회(KIISE)에서 매년 주최하는 학술대회이다. 고성능컴퓨팅, 국방소프트웨어, 데이터베이스, 모바일응용및시스템, 사물인터넷, 소프트웨어공학, 스마트시티, 알고리즘, 언어공학, 오픈소스소프트웨어, 인공지능, 인공지능응용, 전산교육시스템, 정보보안및신뢰컴퓨팅, 정보통신, 컴퓨터그래픽스및상호작용, 컴퓨터시스템, 프로그래밍언어 등 다양한 분야의 논문을 받으며, 또한 학부생, 주니어(고등학생) 논문도 접수받는다. 주니어(고등학생) 논문을 제외하고, 총 800여 편 정도가 accept된다. 그중 학부생 논문은 300여 편이다. accept율은 공개되지 않은듯하다. 나는 언어공학(NLP) 부문에 학부생논문을 투고했다. 2024년 KCC의 일정은 아래와 같았다:논..