전체 글

해당 포스팅은 네이버 부스트캠프 AI Tech 학습 정리 자료임을 알려드립니다. 1. 강의 정리 주재걸 교수님 - Self-supervised Pre-training Models NLP 분야의 최근 경향은 빠르게 발전하고 있습니다. Transformer에서 제안된 self-attention block은 범용적인 sequence, encoder, decoder로 자연어 처리의 다양한 분야에서도 활발히 사용되고 있습니다. 이전에 사용한 Transformer에서는 self-attention block을 6개 정도만 쌓아서 사용했다면, 요즘에는 깊게 쌓아서 사용하는 모델을 많이 활용하고 있습니다. 또한 self-attention 구조는 추천 시스템, 신약 개발, 컴퓨터 비전 등 다양한 분야에서 활용되고 있습니다..

해당 포스팅은 네이버 부스트캠프 AI Tech 학습 정리 자료임을 알려드립니다. 1. 강의 정리 주재걸 교수님 - Transformer 1 1) Transformer Transformer는 자연어를 입력으로 받아서 다른 자연어를 출력하는 LSTM이나 GRU와 같이 Sequence to Sequence 모델의 성능을 개선한 모델입니다. Transformer는 기존의 Sequence 데이터 입력과 출력을 처리할 때 사용하는 RNN 모델을 대신해서 attention으로 처리합니다. RNN 기반의 모델의 경우 Long-Term Dependecy가 발생하기 때문에 이를 해결하고자 attention이라는 기법을 사용하게 됩니다. 오늘 소개할 것은 attention을 활용해서 Encoder hidden state v..

해당 포스팅은 네이버 부스트캠프 AI Tech 학습 정리 자료임을 알려드립니다. 1. 강의 정리 주재걸 교수님 - Sequence to Sequence with Attention 1) Sequence to Sequence Sequence to Sequence의 형태는 어제 강의에서도 설명했듯이 RNN의 many to many에 해당됩니다. 예를 들어, 영어로 된 문장인 "I love soccer"가 input으로 들어오게 되면, input이 끝나는 지점부터 "나는 축구를 사랑한다."를 출력하는 방법입니다. 이 모델은 Encoder와 Decoder로 구성되어 있는 데, Encoder는 입력 문장을 읽어내는 RNN 모델이며, Decoder는 입력된 문장을 통해 출력 문장을 순차적으로 한개씩 생성하는 RNN ..

해당 포스팅은 네이버 부스트캠프 AI Tech 학습 정리 자료임을 알려드립니다. 1. 강의 정리 주재걸 교수님 - Recurrent Neural Network and Language Modeling 1) RNN RNN은 기본적으로 위의 그림과 같은 구조를 가지고 있습니다. 특징으로는 각 타임 스텝에 따른 입력값이 순서가 있는 데이터로 들어가며, 중간에 있는 A라는 모듈은 어떤 타임 스텝에서도 동일한 구조로 이루어져 있습니다. 이러한 과정을 통해 h값을 얻어서 다음에 나올 단어를 예측할 수 있습니다. 위의 그림에서는 RNN의 기본적인 원리에 대해서 설명하고 있습니다. 보시는 것처럼 RNN은 모든 time step에서 재귀식/점화식(recurrence formula)을 적용해서 작동하게 됩니다. 점화식(re..

해당 포스팅은 네이버 부스트캠프 AI Tech 학습 정리 자료임을 알려드립니다. 1. 강의 정리 주재걸 교수님 - Intro to Natural Language Processing(NLP) 1) 자연어 처리란 무엇인가? 자연어 처리(Natural language processing, NLP)는 보통 단어, 문장, 문단, 글을 이해하는 NLU(Natural language understanding)과 인간의 언어를 생성하는 NLG(Natural language generating)으로 나눌 수 있습니다. 특히, 자연어 처리는 딥러닝의 발전과 함께 좋은 성능을 나타냈습니다. NLP 관련 학문 분야로는 크게 NLP, 텍스트 마이닝(Text mining), 정보 검색(Information retrieval)로 ..

"객체 지향 사고 프로세스"와 "인프런 - 우리를 위한 프로그래밍 : 파이썬 중급 (Inflearn Original)"을 참고하여 작성했습니다. 지난 포스팅에서는 객체가 무엇인지, 객체는 파이썬에서 어떻게 구현이 되는지, 객체 지향 프로그래밍의 장점들에 대해서 알아봤습니다. 오늘은 객체 지향 프로그래밍 이해하기 2편으로 객체 지향의 특징과 특징들이 어떻게 파이썬에서 활용되고 있는지, 메소드 종류에 대해서 살펴보겠습니다. 혹시 잘못된 부분이 있다면 언제든지 알려주시면 감사하겠습니다. 작성된 내용은 아래와 같습니다. 객체 지향의 특징 : 캡슐화, 상속, 다형성 메소드의 종류 : 인스턴스 메소드, 클래스 메소드, 스태틱 메소드 1. 객체 지향의 특징 객체 지향의 특징인 캡슐화(encapsulation), 상속..

해당 포스팅은 Dive into Deep Learning과 Mathematics for Machine Learning을 참고하여 정리한 글입니다. 이 영화를 알고 계시다면 저와 비슷한 세대임은 분명하겠군요. (학생 때 영화관에서 봤던 기억이 있었는데 그때 놈놈놈이라고 불렀었죠) 오늘은 영화 리뷰가 아니라 바로 놈(norm)에 대해 알아보려고 합니다. 오늘 이야기할 norm에는 많은 종류가 존재합니다. 대표적으로 $l_{1}$-norm과 $l_{2}$-norm이 존재하고 infinite-norm도 존재합니다. 선형대수학 시간(너무 까마득한 옛날..)에 벡터의 크기를 계산하는 용도로 어렴풋하게 기억하고 있었는데 딥러닝 공부를 하면서 정규화 및 다양한 부분에서 자주 사용하는 개념이라 정리가 필요하다고 생각이 ..

해당 포스팅은 2020년 꿈꾸는아이 Drone Competition에 참가한 내용을 바탕으로 작성했습니다. 1. 꿈꾸는아이 경진대회 소개 꿈꾸는아이는 AI 기술을 활용해 꿈을 꾸고 실현할 수 있는 ‘즐거운 놀이터’를 조성하고, AI 창업을 꿈꾸는 예비창업가의 꿈을 펼칠 수 있도록 도움을 주고자 개최된 경진대회입니다. 과학기술정보통신부, 광주광역시, NIPA 협력 하에 인공지능산업융합사업단이 주관하며, 지스트 인공지능연구소가 수행했습니다. 2020년을 시즌1로 하고 앞으로도 지속적으로 추진할 것으로 예상됩니다. 2020년에는 LG전자, NVIDIA, INTEL, AWS, CJ올리브네트웍스, 한국광기술원이 참여했으며, 헬스케어, 스마트 제품, 드론, 자율주행 등 다양한 분야의 문제를 가지고 경진대회를 실시했..

해당 포스팅은 네이버 부스트캠프 AI Tech 학습 정리 자료임을 알려드립니다. 1. 강의 정리 최성준 교수님 - Generative Models 1 1) Generative Models Generative Model은 단순히 이미지나 문장을 생성하는 것이 전부가 아닙니다. 우리가 알고 있는 부분보다 더 많은 부분을 차지하고 있는 것이 Generative Model입니다. 만약에 강아지 이미지 데이터셋이 주어졌다고 가정해보면, 이 데이터셋을 가지고 우리는 무엇을 할 수 있을까요? 데이터셋에 없는 강아지 이미지를 새로 생성해 줄 수 있습니다(Generation). 어떤 이미지가 모델에 들어왔을 때, 강아지인지 아닌지 구분하는 이상탐지도 할 수 있습니다(Density estimation). explicit ..

해당 포스팅은 네이버 부스트캠프 AI Tech 학습 정리 자료임을 알려드립니다. 1. 강의 정리 임성빈 교수님 - RNN 첫걸음 1) 시퀀스 데이터 이해하기 시퀀스 데이터는 순차적으로 들어오는 데이터를 말하는 데 소리, 문자열, 주가 등이 포함되어 있습니다. 시계열 데이터도 시간 순서에 따라 나열된 데이터로 시퀀스 데이터에 속합니다. 시퀀스 데이터는 독립동등분포($i.i.d$) 가정을 잘 위배하기 때문에 순서를 바꾸거나 과거 정보에 손실이 발생하면 데이터의 확률 분포도 바뀌게 됩니다. 특히, 시계열 데이터에서는 과거 정보나 앞뒤 맥락 없이 미래를 예측하거나 문장을 완성하는 것은 불가능합니다. 이전 시퀀스의 정보를 가지고 앞으로 발생할 데이터의 확률분포를 다루기 위해 조건부 확률을 이용할 수 있습니다. $..