학습포스팅/네이버 부스트캠프

해당 포스팅은 네이버 부스트캠프 AI Tech 학습 정리 자료임을 알려드립니다. 1. 강의 정리 주재걸 교수님 - Self-supervised Pre-training Models NLP 분야의 최근 경향은 빠르게 발전하고 있습니다. Transformer에서 제안된 self-attention block은 범용적인 sequence, encoder, decoder로 자연어 처리의 다양한 분야에서도 활발히 사용되고 있습니다. 이전에 사용한 Transformer에서는 self-attention block을 6개 정도만 쌓아서 사용했다면, 요즘에는 깊게 쌓아서 사용하는 모델을 많이 활용하고 있습니다. 또한 self-attention 구조는 추천 시스템, 신약 개발, 컴퓨터 비전 등 다양한 분야에서 활용되고 있습니다..

해당 포스팅은 네이버 부스트캠프 AI Tech 학습 정리 자료임을 알려드립니다. 1. 강의 정리 주재걸 교수님 - Transformer 1 1) Transformer Transformer는 자연어를 입력으로 받아서 다른 자연어를 출력하는 LSTM이나 GRU와 같이 Sequence to Sequence 모델의 성능을 개선한 모델입니다. Transformer는 기존의 Sequence 데이터 입력과 출력을 처리할 때 사용하는 RNN 모델을 대신해서 attention으로 처리합니다. RNN 기반의 모델의 경우 Long-Term Dependecy가 발생하기 때문에 이를 해결하고자 attention이라는 기법을 사용하게 됩니다. 오늘 소개할 것은 attention을 활용해서 Encoder hidden state v..

해당 포스팅은 네이버 부스트캠프 AI Tech 학습 정리 자료임을 알려드립니다. 1. 강의 정리 주재걸 교수님 - Sequence to Sequence with Attention 1) Sequence to Sequence Sequence to Sequence의 형태는 어제 강의에서도 설명했듯이 RNN의 many to many에 해당됩니다. 예를 들어, 영어로 된 문장인 "I love soccer"가 input으로 들어오게 되면, input이 끝나는 지점부터 "나는 축구를 사랑한다."를 출력하는 방법입니다. 이 모델은 Encoder와 Decoder로 구성되어 있는 데, Encoder는 입력 문장을 읽어내는 RNN 모델이며, Decoder는 입력된 문장을 통해 출력 문장을 순차적으로 한개씩 생성하는 RNN ..

해당 포스팅은 네이버 부스트캠프 AI Tech 학습 정리 자료임을 알려드립니다. 1. 강의 정리 주재걸 교수님 - Recurrent Neural Network and Language Modeling 1) RNN RNN은 기본적으로 위의 그림과 같은 구조를 가지고 있습니다. 특징으로는 각 타임 스텝에 따른 입력값이 순서가 있는 데이터로 들어가며, 중간에 있는 A라는 모듈은 어떤 타임 스텝에서도 동일한 구조로 이루어져 있습니다. 이러한 과정을 통해 h값을 얻어서 다음에 나올 단어를 예측할 수 있습니다. 위의 그림에서는 RNN의 기본적인 원리에 대해서 설명하고 있습니다. 보시는 것처럼 RNN은 모든 time step에서 재귀식/점화식(recurrence formula)을 적용해서 작동하게 됩니다. 점화식(re..

해당 포스팅은 네이버 부스트캠프 AI Tech 학습 정리 자료임을 알려드립니다. 1. 강의 정리 주재걸 교수님 - Intro to Natural Language Processing(NLP) 1) 자연어 처리란 무엇인가? 자연어 처리(Natural language processing, NLP)는 보통 단어, 문장, 문단, 글을 이해하는 NLU(Natural language understanding)과 인간의 언어를 생성하는 NLG(Natural language generating)으로 나눌 수 있습니다. 특히, 자연어 처리는 딥러닝의 발전과 함께 좋은 성능을 나타냈습니다. NLP 관련 학문 분야로는 크게 NLP, 텍스트 마이닝(Text mining), 정보 검색(Information retrieval)로 ..

해당 포스팅은 네이버 부스트캠프 AI Tech 학습 정리 자료임을 알려드립니다. 1. 강의 정리 최성준 교수님 - Generative Models 1 1) Generative Models Generative Model은 단순히 이미지나 문장을 생성하는 것이 전부가 아닙니다. 우리가 알고 있는 부분보다 더 많은 부분을 차지하고 있는 것이 Generative Model입니다. 만약에 강아지 이미지 데이터셋이 주어졌다고 가정해보면, 이 데이터셋을 가지고 우리는 무엇을 할 수 있을까요? 데이터셋에 없는 강아지 이미지를 새로 생성해 줄 수 있습니다(Generation). 어떤 이미지가 모델에 들어왔을 때, 강아지인지 아닌지 구분하는 이상탐지도 할 수 있습니다(Density estimation). explicit ..

해당 포스팅은 네이버 부스트캠프 AI Tech 학습 정리 자료임을 알려드립니다. 1. 강의 정리 임성빈 교수님 - RNN 첫걸음 1) 시퀀스 데이터 이해하기 시퀀스 데이터는 순차적으로 들어오는 데이터를 말하는 데 소리, 문자열, 주가 등이 포함되어 있습니다. 시계열 데이터도 시간 순서에 따라 나열된 데이터로 시퀀스 데이터에 속합니다. 시퀀스 데이터는 독립동등분포($i.i.d$) 가정을 잘 위배하기 때문에 순서를 바꾸거나 과거 정보에 손실이 발생하면 데이터의 확률 분포도 바뀌게 됩니다. 특히, 시계열 데이터에서는 과거 정보나 앞뒤 맥락 없이 미래를 예측하거나 문장을 완성하는 것은 불가능합니다. 이전 시퀀스의 정보를 가지고 앞으로 발생할 데이터의 확률분포를 다루기 위해 조건부 확률을 이용할 수 있습니다. $..

해당 포스팅은 네이버 부스트캠프 AI Tech 학습 정리 자료임을 알려드립니다. 1. 강의 정리 최성준 교수님 - Convolution은 무엇인가? 1) Convolution 2D convolution 계산을 해준다는 것은 해당 convolution 필터의 모양을 이미지에 찍는 것과 같습니다. 우리가 어떤 필터를 적용하는지에 따라 Blur 처리되기도 하고, Outline을 잡아주기도 합니다. Blur 처리를 한다고 할 때에는 필터의 크기가 3*3이라고 가정하면, 모든 필터 값이 $\frac{1}{9}$이면, 전체 픽셀의 값의 평균을 내면서 Blur 효과를 얻을 수 있는 것입니다. Convolution의 채널의 개수는 필터의 개수에 따라 달라지게 됩니다. 파라미터의 개수는 커널의 크기와 인풋 채널 숫자와 ..

해당 포스팅은 네이버 부스트캠프 AI Tech 학습 정리 자료임을 알려드립니다. 1. 강의 정리 최성준 교수님 - Optimization 1) 소개 최적화에서는 많은 용어들이 나오게 되는 데 이 용어들을 잘 정리해두지 않으면 뒤로 가면서 오해가 생길 수 있습니다. 다른 연구자들과 이야기할 때 큰 문제가 생길 수 있습니다. 2) Optimization 용어 이해 Generalization이 좋다는 것은 무엇을 뜻하게 될까요? 우선 그 의미를 알아보기 전에 학습에 관한 이야기를 해보고자 합니다. Training Error는 Iteration에 따라 줄어들게 되지만 Test Error는 Iteration이 무조건 증가한다고 계속 감소하지는 않습니다. Generalization Gap은 바로 여기서의 Test ..

해당 포스팅은 네이버 부스트캠프 AI Tech 학습 정리 자료임을 알려드립니다. 1. 강의 정리 임성빈 교수님 - 베이즈 통계학 맛보기 베이즈 통계학은 어떤식으로 모델의 모수를 추정하고 모델을 추정할 때 사용되는 베이즈 정리에 대해서 알아보고자 합니다. 베이즈 정리는 데이터가 새로 추가될 때 정보를 업데이트하는 방식에 대해서 이론적인 기반을 소개하는 내용입니다. 머신러닝 예측 모형의 방법론에 많이 활용되는 이론입니다. 1) 조건부 확률 조건부 확률은 베이즈 통계학을 이해하기 위해 필수적으로 개념을 이해해야 합니다. 여기서 조건부 확률이란 사건 B가 일어난 상황에서 사건 A가 발생할 확률을 의미하며 $P(A\cap B) = P(B)P(A|B)$ 정의를 만족합니다. 여기서 $P(A|B)$가 조건부확률입니다...