소소한 AI 블로그

처음으로 coding 관련해서 posting을 해봅니다. 주제는 DDP입니다. 최근에 model capacity가 커지면서 여러개의 GPU를 사용하는 것이 필수적인데요. 그러다보니 DDP를 잘 활용하는것이 매우 중요해졌습니다. 따라서, 이번 posting에서는 DDP를 어떻게 적용할 수 있는지를 공유해봅니다. 전반적으로 동작하는 방식은 거두절미하고 간단 명료하게 argument 위주로 알아보도록 하겠습니다. (제가 적용하는 방식대로 진행해보겠습니다!) [Read More]

두번째 optimization 관련 post로 돌아왔습니다!! 이번에는 지난번에 function이 L-lipschitz일 때 어떻게 전개되는지, 어떻게 converge되는지 살펴보았는데요. 이번에는 좀 더 강한 constraint / assumption이 들어갈 때 어떻게 되는지 살펴보도록 하겠습니다. 그럼 거두절미하고 바로 들어가보도록 하겠습니다!! [Read More]

제가 올해 들어 처음으로 Optimization이라는 개념과 함께 수업을 들었습니다. Deep Learning 분야를 다룸에 있어서 과연 수렴이 되는지, 되면 얼만큼 빨리 되는지 등을 수학적으로 확인할 수 있는 기초학문처럼 받아들여졌습니다. 이전에 posting 했던 Meta Learning, Generative Model 등, 또 앞으로 posting을 예고했던(자꾸 미뤄서 죄송합니다...ㅠㅠ) Foundation Model도 좋지만 수학에 기반한 개념도 같이 올리면... [Read More]

이전 posting에서는 meta-learning이 나오게 된 맥락, 그리고 meta-learning을 이해하기 위해 기본 개념인 few-shot learning에 대해서 간단하게 설명했습니다. 그래서 이번 posting에서는 meta-learning approaches들에 대해서 설명해보려고 합니다. 시초가 된 논문들이 무엇인지, 그리고 각 논문들에서 얘기해고 싶은 point가 무엇인지에 대해서 정리해보려고 합니다. 다만... 2017년부터 해서 논문들이 매우 많이 나왔기 때문에 모든 논문들을 다루는... [Read More]

미루고 미뤄왔던 Meta Learning에 대한 기본 개념을 소개해보려 합니다. 지난 몇 년간 Meta Learning은 Top Tier Conference의 Main Keyword에 꾸준히 이름을 올렸을만큼 핫한 주제였습니다. 특히, AI 생태계의 순환속도를 생각해보면 꽤나 오랫동안 연구가 되고 있었던거죠. 하지만 아무래도 오래 연구된 만큼 최근에는 이 분야에 대한 saturate된 듯 합니다. Meta Learning 자체 연구로는... [Read More]