ABCDEFGHIJKLMNOPQRSTUVWXYZAA
1
yearvenue1st authortitletypeinteresting??noteterminologiesaffiliationcite #link
2
2021arXivM. V. KoroteevBERT: A Review of Applications in Natural Language Processing and UnderstandingSH- BERT의 작동 메커니즘, 주요 응용 분야, 유사 모델과의 비교, 독점 모델들에 대한 체계적 리뷰
- BERT가 어떻게 작동하는지부터 실제로 어떤 분야에서 사용되는지까지 포괄적으로 다룹니다. 마치 "BERT 사용설명서"같은 역할을 하며, 연구자들이 수십 편의 주요 논문들을 분석하여 BERT의 실제 성능과 한계를 정리했습니다. 특히 텍스트 분석, 감정 분석, 문서 분류 등에서 BERT가 어떤 결과를 보여주는지 구체적 수치와 함께 제시합니다.		NLP Applications, Text Analytics, Model ComparisonFinancial University454https://arxiv.org/pdf/2103.11943year몇년도이거보여주려고어그로끌었다...AI요약수준실화냐?정말가슴이웅장해진다....
3
2019BlackBoxNLP (ACL?)Kevin ClarkWhat Does BERT Look At? An Analysis of BERT's AttentionAH- BERT의 어텐션 메커니즘을 분석하여 모델이 실제로 어떤 언어적 패턴을 학습하는지 조사
- BERT의 "블랙박스"를 열어보는 선구적 시도입니다. 연구자들이 BERT의 144개 어텐션 헤드가 실제로 무엇에 주목하는지 분석한 결과, 놀랍게도 BERT가 문법 규칙을 명시적으로 학습하지 않았음에도 불구하고 "동사-목적어", "명사-한정사" 같은 구문 관계를 75% 이상의 정확도로 포착한다는 것을 발견했습니다. 마치 아이가 문법책 없이도 자연스럽게 언어 규칙을 터득하는 것과 비슷합니다.		Attention Analysis, Syntactic Relations, CoreferenceStanford University2150https://arxiv.org/pdf/1906.04341venue실린 곳보통 학회같은거 실림 (e.g. CVPR) 학회 없으면 보통 arXiv임
4
2019ACLIan TenneyBERT Rediscovers the Classical NLP PipelineAH- BERT가 전통적인 NLP 파이프라인과 유사한 계층적 표현을 학습하는지 분석
- 전통적인 NLP는 "품사 태깅 → 구문 분석 → 의미 분석"의 단계적 처리를 했습니다. 이 연구는 BERT가 이런 명시적 단계 없이도 비슷한 계층적 구조를 자연스럽게 학습한다는 것을 발견했습니다. 구체적으로 BERT의 하위 층(1-4층)에서는 품사나 구문 정보를, 상위 층(9-12층)에서는 의미적 정보를 주로 처리한다는 것을 실험으로 증명했습니다. 이는 BERT가 인간의 언어 처리 과정과 유사한 방식으로 학습한다는 것을 시사합니다.		Classical NLP Pipeline, Hierarchical Representations, Probing TasksGoogle Research1979https://arxiv.org/pdf/1905.059501st author1저자보통 첫 번째 나오는 놈이긴 한데 논문 들어가보면 1저자 누군지 알려줌
5
2019NeurIPSPaul MichelAre Sixteen Heads Really Better than One?A, CM- 멀티헤드 어텐션에서 각 헤드의 실제 중요도를 분석하고 불필요한 헤드들을 제거하는 연구
- BERT는 12개 층에 각각 12개의 어텐션 헤드(총 144개)를 가지고 있습니다. 이 연구는 "정말 모든 헤드가 필요한가?"라는 질문에서 시작되었습니다. 놀랍게도 연구자들이 헤드를 하나씩 제거해본 결과, 대부분의 헤드를 제거해도 성능이 크게 떨어지지 않았습니다. 실제로는 소수의 "핵심 헤드"만이 중요하고, 나머지는 상대적으로 기여도가 낮다는 것을 발견했습니다. 이는 모델 압축과 효율성 개선에 중요한 통찰을 제공합니다.		Multi-head Attention, Head Pruning, Model CompressionCarnegie Mellon University1291https://arxiv.org/pdf/1905.10650type논문 주제아래 표를 자유롭게 채워서 쓰셈
6
2019EMNLPKawin EthayarajhHow Contextual are Contextualized Word Representations?AEH- 문맥화 단어 표현이 실제로 얼마나 문맥에 따라 달라지는지 정량적으로 측정
- "문맥화 임베딩"이라고 하지만 실제로 얼마나 문맥에 민감한지 측정한 연구입니다. 연구자들은 같은 단어가 다른 문맥에서 얼마나 다른 벡터를 가지는지 분석했습니다. 흥미롭게도 BERT의 상위 층일수록 같은 단어도 문맥에 따라 매우 다른 표현을 가지며, 하위 층에서는 문맥과 관계없이 비슷한 표현을 가진다는 것을 발견했습니다. 예를 들어 "bank"라는 단어가 "강둑"과 "은행"의 의미로 사용될 때 상위 층에서는 완전히 다른 벡터를 가집니다.		Contextualized Representations, Word Embeddings, Context SpecificityStanford University1209https://arxiv.org/pdf/1909.00512interesting?관련성재밌음 아님 ㅅㅂ 우리 하려는거랑 관련 있는지 적으셈
7
2019arXivAllyson Ettinger What BERT Is Not: Lessons from a New Suite of Psycholinguistic DiagnosticsAL- 심리언어학적 테스트를 통해 BERT의 언어 이해 한계를 분석하고 인간과의 차이점 규명
- BERT의 성능에 현혹되지 말고 실제 한계를 파악해보자는 취지의 연구입니다. 연구자들은 인간의 언어 처리를 연구하는 심리언어학 실험들을 BERT에 적용했습니다. 결과적으로 BERT는 표면적인 패턴 매칭에는 뛰어나지만, 진정한 "이해"와는 거리가 있다는 것을 발견했습니다. 예를 들어 "새는 하늘을 날 수 있다"는 상식적 추론이나 복잡한 부정문 처리에서 인간과 다른 방식으로 실수를 범합니다. 이는 BERT의 성능 해석 시 주의할 점들을 제시합니다.		Psycholinguistic Diagnostics, Language Understanding Limits, Cognitive ComparisonUniversity of Chicago764https://arxiv.org/pdf/1907.13528note요약논문 안 읽어본 남이 봐도 이해할 정도로 적어보자
8
2019EMNLPAlex WarstadtInvestigating BERT's Knowledge of Language: Five Analysis Methods with NPIsAH- Negative Polarity Items(NPIs)를 통해 BERT의 언어적 지식을 조사하는 5가지 분석 방법 제시
- BERT가 정말로 언어의 세밀한 문법 규칙을 이해하는지 검증합니다. NPI는 "any", "ever" 같은 단어들로, 특정 문법적 환경에서만 사용 가능합니다("I don't have any"는 맞지만 "I have any"는 틀림). 연구자들은 BERT가 이런 복잡한 문법 규칙을 얼마나 잘 이해하는지 5가지 방법으로 테스트했습니다. 결과는 BERT가 단순한 패턴은 잘 학습하지만, 복잡한 구조적 의존성은 완벽하지 않다는 것을 보여줍니다. 이는 BERT의 언어 이해 능력의 경계를 명확히 하는 데 기여합니다.		Linguistic Knowledge, Negative Polarity Items, Syntactic AnalysisNew York University
147https://arxiv.org/pdf/1909.02597terminologies주제어?제발 중요한거만 적으셈 **LLM** 이지랄 하면 안 됨
9
2019EMNLPElena VoitaThe Bottom-up Evolution of Representations in the Transformer: A Study with Machine Translation and Language Modeling ObjectivesAL- 트랜스포머 표현의 계층별 진화 과정을 기계번역과 언어모델링 관점에서 분석
- BERT의 각 층이 어떤 정보를 처리하고 어떻게 발전시키는지 "상향식 진화" 관점에서 분석한 연구입니다. 마치 건물을 짓듯이 하위 층에서 기초적인 어휘 정보를 처리하고, 점진적으로 상위 층에서 복잡한 의미 관계를 구축한다는 것을 보여줍니다. 특히 기계번역 작업에서 각 층이 어떤 언어적 현상(토큰화→구문→의미)을 차례로 처리하는지 시각화했습니다. 이는 BERT의 내부 처리 과정을 이해하는 데 중요한 통찰을 제공합니다.		Representation Evolution, Layer-wise Analysis, Hierarchical LearningUniversity of Amsterdam199https://arxiv.org/pdf/1909.01380affiliation1저자 소속대학교 or Google research 같은거 (이것도 논문 들어가보면 뜸)
10
2020arXivJason WeiFrequency Effects on Syntactic Rule Learning in TransformersAM- BERT에서 단어/패턴의 빈도가 구문 규칙 학습에 미치는 영향을 분석
- 인간도 자주 듣는 표현을 더 잘 기억하듯이, BERT도 훈련 데이터에서 자주 나타나는 문법 패턴을 더 잘 학습하는지 조사한 연구입니다. 연구자들은 다양한 빈도의 구문 구조들에 대해 BERT의 학습 성능을 측정했습니다. 결과적으로 고빈도 패턴에서는 뛰어난 성능을 보이지만, 저빈도 패턴에서는 일관성이 떨어진다는 것을 발견했습니다. 이는 BERT가 단순한 통계적 패턴 매칭에 크게 의존한다는 것을 시사하며, 희귀한 언어 현상에 대한 처리 한계를 보여줍니다.		Frequency Effects, Syntactic Rules, Learning PatternsGoogle Research82https://arxiv.org/pdf/2109.07020cite #인용수이거 Google Scholar 검색하면 뜸
11
2020EMNLPAdam RobertsHow Much Knowledge Can You Pack Into the Parameters of a Language Model?AM- BERT 등 언어 모델이 파라미터에 저장할 수 있는 지식의 양과 종류를 정량적으로 분석
- "BERT의 3억개 파라미터에 얼마나 많은 지식이 저장되어 있을까?"라는 흥미로운 질문에서 출발한 연구입니다. 연구자들은 위키피디아의 사실적 지식(예: "파리는 프랑스의 수도")부터 상식적 지식까지 다양한 유형의 정보를 BERT가 얼마나 기억하고 있는지 측정했습니다. 결과적으로 BERT는 상당한 양의 사실적 지식을 저장하고 있지만, 그 정확도와 일관성에는 한계가 있다는 것을 발견했습니다. 이는 BERT를 "지식 베이스"로 활용할 가능성과 한계를 동시에 보여줍니다.		Knowledge Storage, Parameter Efficiency, Factual KnowledgeGoogle1014https://arxiv.org/pdf/2002.08910link논문 링크웬만하면 pdf 직통으로 걸어주셈 안 되면 pdf 바로 직전 링크로
12
2019arXivChi SunHow to Fine-Tune BERT for Text Classification?E, MH- 텍스트 분류를 위한 BERT 미세조정의 다양한 방법들을 체계적으로 실험하고 최적 전략 제시
- BERT를 실제 업무에 사용할 때 가장 중요한 것이 미세조정(fine-tuning)입니다. 이 연구는 "어떻게 하면 BERT를 가장 효과적으로 미세조정할 수 있을까?"에 대한 실용적 가이드를 제공합니다. 연구자들은 학습률, 배치 크기, 층별 학습률, warmup 등 다양한 하이퍼파라미터를 체계적으로 실험했습니다. 결과적으로 8개의 텍스트 분류 데이터셋에서 새로운 SOTA를 달성하는 최적 전략을 제시했습니다. 이는 BERT를 실무에 적용하는 연구자들에게 매우 실용적인 가이드라인을 제공합니다.		Fine-tuning Strategies, Text Classification, Hyperparameter Optimization, Layer-wise Learning
Fudan University2397https://arxiv.org/pdf/1905.05583ClassificationDescription
13
2022EMNLPYanran ChenReproducibility Issues for BERT-based Evaluation Metrics
E, ML- BERT 기반 평가 지표들의 재현성 문제를 조사하고 원인을 분석
- 과학 연구의 핵심은 재현성입니다. 이 연구는 BERT를 기반으로 한 평가 지표들(BERTScore, MoverScore 등)이 논문에서 보고된 결과를 실제로 재현할 수 있는지 검증했습니다. 충격적이게도 많은 경우 재현에 실패했으며, 그 원인으로 ①문서화되지 않은 전처리 ②누락된 코드 ③잘못된 기준선 결과 보고 ④심지어 잘못된 데이터 컬럼 참조(5점 차이 발생) 등을 발견했습니다. 이는 BERT 연구의 신뢰성과 투명성에 대한 중요한 경고를 제시합니다.		Reproducibility, Evaluation Metrics, Research Integrity, Experimental ValidationTU Darmstadt18https://arxiv.org/pdf/2204.00004AAnalysis (분석)
14
2023TACLYanran ChenMENLI: Robust Evaluation Metrics from Natural Language InferenceE, ML- BERT 기반 평가 지표들의 취약성을 지적하고 자연어 추론 기반의 더 강건한 평가 방법 제시
- BERTScore 같은 기존 BERT 기반 평가 지표들이 의미적 유사성에만 집중하여 사실적 정확성을 놓치는 문제를 다룹니다. 예를 들어 "파리는 독일의 수도다"와 "파리는 프랑스의 수도다"를 의미적으로 유사하다고 잘못 평가하는 것입니다. 연구자들은 자연어 추론(NLI)에 기반한 새로운 평가 방법을 제안하여 이런 문제를 해결했습니다. 적대적 공격 실험에서 기존 BERT 지표들보다 15-30% 더 강건한 성능을 보였습니다. 이는 BERT 기반 평가의 한계와 개선 방향을 제시합니다.		Robust Evaluation, Natural Language Inference, Adversarial Attacks, Evaluation RobustnessTU Darmstadt링크존나기네SSurvey (조사)
15
MMethodological (방법론)
16
EEvaluation (평가)
17
CCompression (압축)
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100