해당 포스팅은 네이버 부스트캠프 P-stage를 위해 개인 학습 내용을 정리했습니다.
1. 목표
- 새로운 모델 적용 R-bert
2. 진행 내용
1) 새로운 모델 적용 R-bert
R-bert는 논문 내용에 따르면, 관계 추출 Task에서 좋은 성능을 보여주고 있다고 합니다. entity 앞 뒤에 special token을 만들어주고, 각 entity에 대한 벡터를 average해서 cls에서 나온 것과 concatenate를 하는 방식을 사용하고 있습니다. R-bert를 이용했을 때, 이전에 baseline에서 돌리는 것보다 약 4%정도 acc가 증가하는 것을 확인할 수 있었습니다. R-bert의 구조가 두 entity에 대한 내용을 강조해주기 때문인 것 같습니다. 추가적으로, 위의 언급한 3개만 concat하지 말고 entity에 대한 average 벡터를 빼서 절대값을 취한 것을 추가해보면 좋을 것 같습니다.
3. 회고
내일은 위에서 언급했던 R-bert 모델의 fc layer를 다양하게 변경해볼 예정입니다.
