소소한 AI 블로그

두번째 optimization 관련 post로 돌아왔습니다!! 이번에는 지난번에 function이 L-lipschitz일 때 어떻게 전개되는지, 어떻게 converge되는지 살펴보았는데요. 이번에는 좀 더 강한 constraint / assumption이 들어갈 때 어떻게 되는지 살펴보도록 하겠습니다. 그럼 거두절미하고 바로 들어가보도록 하겠습니다!! [Read More]

제가 올해 들어 처음으로 Optimization이라는 개념과 함께 수업을 들었습니다. Deep Learning 분야를 다룸에 있어서 과연 수렴이 되는지, 되면 얼만큼 빨리 되는지 등을 수학적으로 확인할 수 있는 기초학문처럼 받아들여졌습니다. 이전에 posting 했던 Meta Learning, Generative Model 등, 또 앞으로 posting을 예고했던(자꾸 미뤄서 죄송합니다...ㅠㅠ) Foundation Model도 좋지만 수학에 기반한 개념도 같이 올리면... [Read More]

이전 posting에서는 meta-learning이 나오게 된 맥락, 그리고 meta-learning을 이해하기 위해 기본 개념인 few-shot learning에 대해서 간단하게 설명했습니다. 그래서 이번 posting에서는 meta-learning approaches들에 대해서 설명해보려고 합니다. 시초가 된 논문들이 무엇인지, 그리고 각 논문들에서 얘기해고 싶은 point가 무엇인지에 대해서 정리해보려고 합니다. 다만... 2017년부터 해서 논문들이 매우 많이 나왔기 때문에 모든 논문들을 다루는... [Read More]

미루고 미뤄왔던 Meta Learning에 대한 기본 개념을 소개해보려 합니다. 지난 몇 년간 Meta Learning은 Top Tier Conference의 Main Keyword에 꾸준히 이름을 올렸을만큼 핫한 주제였습니다. 특히, AI 생태계의 순환속도를 생각해보면 꽤나 오랫동안 연구가 되고 있었던거죠. 하지만 아무래도 오래 연구된 만큼 최근에는 이 분야에 대한 saturate된 듯 합니다. Meta Learning 자체 연구로는... [Read More]

현재 저는 대부분 Meta-Learning에 대한 이론 및 알고리즘에 대해서 공부하고 있었습니다. 아무래도 core AI 쪽으로 공부를 하다 보니 AI 쪽 트랜드가 굉장히 빠르게 바뀌고 있음에도 빠르게 따라가진 못하고 있었습니다. 그래서 일부 시간을 할애해서 applicable한 AI도 catch up 해야겠다는 생각이 들었습니다. 그렇게 마음먹고 선택한 첫번째 field는 Generative Model 쪽입니다. Generative Model에는... [Read More]