해당 포스팅은 네이버 부스트캠프 P-stage를 위해 개인 학습 내용을 정리했습니다.
Day 2는 과제하느라, 특별하게 다른 것을 진행한 것이 없었습니다. 그래서 Day3가 Day2가 되었습니다.
1. 목표
- Hugging fcae 라이브러리
- 과제 - 챗봇만들기
2. 진행 내용
1) Hugging face 라이브러리
Hugging face 라이브러리는 자연어처리에서 활용되는 유명한 라이브러리입니다. Transformers라는 라이브러리를 통해, 다양한 모델을 불러올 수 있고, 자동으로 토큰화해주기도 합니다. 또한 pre-trained 모델도 지원해주고 있습니다. 만약, 자연어처리를 공부하신다면, 꼭 한번 보시는 것을 추천드립니다.
2) 챗봇 만들기
오늘 만들어 본 챗봇은 짝으로 이뤄진 QA 데이터를 활용해서 입력해준 Q'와 비슷한 Q를 찾아서 그에 맞는 답변 A를 반환해주는 형태입니다. 오늘은 Q와 Q'를 비교할 때, 코사인 유사도를 활용해서 진행했습니다. 생각보다 잘 인식하지는 못하는 것 같습니다.
3. 회고
내일부터는 실제로 코드를 짜보고, 다양한 모델에서 학습을 진행해보려고 생각중입니다. 어렵다고 생각했던 자연어처리가 조금씩 익숙해져가는 느낌입니다. 그래도 전처리는 너무 어려운 것 같습니다.
