소소한 AI 블로그

최근 AI를 공부하면서, 자연스럽게 Information Theory(정보이론)의 관점에서도 많은 생각을 하게 되었습니다. 그 과정에서 다시금 이론 자체를 깊이 들여다보게 되었고, 마침 블로그 콘텐츠가 한동안 뜸했던 참이라, 이를 계기로 “Elements of Information Theory” textbook 중심으로 공부한 내용을 정리해 포스팅해보면 좋겠다는 생각이 들었습니다. 직관적인 예시 중심의 설명과 함께, 꼭 필요한 경우에는 수식과 증명도... [Read More]

처음으로 coding 관련해서 posting을 해봅니다. 주제는 DDP입니다. 최근에 model capacity가 커지면서 여러개의 GPU를 사용하는 것이 필수적인데요. 그러다보니 DDP를 잘 활용하는것이 매우 중요해졌습니다. 따라서, 이번 posting에서는 DDP를 어떻게 적용할 수 있는지를 공유해봅니다. 전반적으로 동작하는 방식은 거두절미하고 간단 명료하게 argument 위주로 알아보도록 하겠습니다. (제가 적용하는 방식대로 진행해보겠습니다!) [Read More]

두번째 optimization 관련 post로 돌아왔습니다!! 이번에는 지난번에 function이 L-lipschitz일 때 어떻게 전개되는지, 어떻게 converge되는지 살펴보았는데요. 이번에는 좀 더 강한 constraint / assumption이 들어갈 때 어떻게 되는지 살펴보도록 하겠습니다. 그럼 거두절미하고 바로 들어가보도록 하겠습니다!! [Read More]

제가 올해 들어 처음으로 Optimization이라는 개념과 함께 수업을 들었습니다. Deep Learning 분야를 다룸에 있어서 과연 수렴이 되는지, 되면 얼만큼 빨리 되는지 등을 수학적으로 확인할 수 있는 기초학문처럼 받아들여졌습니다. 이전에 posting 했던 Meta Learning, Generative Model 등, 또 앞으로 posting을 예고했던(자꾸 미뤄서 죄송합니다...ㅠㅠ) Foundation Model도 좋지만 수학에 기반한 개념도 같이 올리면... [Read More]

이전 posting에서는 meta-learning이 나오게 된 맥락, 그리고 meta-learning을 이해하기 위해 기본 개념인 few-shot learning에 대해서 간단하게 설명했습니다. 그래서 이번 posting에서는 meta-learning approaches들에 대해서 설명해보려고 합니다. 시초가 된 논문들이 무엇인지, 그리고 각 논문들에서 얘기해고 싶은 point가 무엇인지에 대해서 정리해보려고 합니다. 다만... 2017년부터 해서 논문들이 매우 많이 나왔기 때문에 모든 논문들을 다루는... [Read More]