1

2

簡郁庭(yuting chien)

tilly0426@gmail.com

中國信託商業銀行 數位科技處

機器學習 自然語言處理

https://github.com/tilly963963/law_rag_qa

關於我

智能化勞動法律助手：RAG技術的妙用！

3

系統展示

智能化勞動法律助手應用場景

RAG技術的妙用

結語與QA

從 Gen AI 浪潮切入，探討金融業在應用LLM 時所面臨的需求與挑戰，並分享此次報告的專案靈感與目標。

將技術應用於法規資料中，分析其痛點，並提出解決之道與實踐方案。

展示現階段的成果，並通過多個案例來分享我們的經驗。

1.

2.

3.

4.

4

智能化勞動法律助手應用場景

• Gen AI 浪潮與影響
• 金融業應用大型語言模型的需求與挑戰
• 專案目標與技術背景

5

• ChatGPT 問世以後，生成式 AI （Generative AI）顛覆各行各業，為企業創造出新的產品價值和商業模式。

​

• 超過三分之二的產業受到生成式 AI的影響，其中高科技、金融和醫療產業受到的影響最大。

​

• 生成式AI在金融業展現高潛力，適用於客戶經營、銷售、風控等業務場景。

​

business functions

Industries

Gen AI 浪潮與影響

1

2

3

the economic potential of generative AI the next productivity frontier (mckinsey June 14, 2023)

6

金融業應用大型語言模型的需求與挑戰

垂直應用

精準度

隱私保護

智能客服 優化客戶體驗

• 大型語言模型通常為通用模型，需額外融合金融相關資訊。
• 微調模型的成本高昂，需高額的計算資源與專業知識。

• LLM產生的幻覺或錯誤回答可能影響整體功能的可靠性。

• 考量隱私與敏感資料保護，可能傾向選擇閉源LLM，以保障數據安全私並享有其強大功能。

透過大型語言模型與自然語言處理技術，理解內部人員的金融法規詢問，提供關鍵資訊並即時回應。

藉由大型語言模型協助理解客戶詢問，查找相關資訊，並提供專業人員回應，完成金融諮詢任務。

LLM

業務痛點＋需求 ＝ 客製化 AI 解決方案

應用挑戰

生成式AI推動金融創新應用： 改變客戶互動方式

法規智能問答 提升內部效能

1

2

3

知識歸納

推論規劃

文本生成

建立新的服務與銷售方法

重塑員工工作模式

7

資料收集與整理

智能化勞動法律助手 的 概念構思

支持資料上傳

• 以法規智能問答為靈感，創造高感度AI服務

痛點與設計方向

建議採用RAG架構，

強化大型語言模型在勞動法律知識問答的應用

專案構想

整合勞動法律知識

精確回應

法律問題

提供可靠的

法規來源

單獨依賴LLM難以準確回答

法規閱讀

＆理解難度高

1. 艱澀的專業術語
2. 複雜的法律條文結構
• 多個條件和例外情況
3. 勞動法規範籌廣泛
• 工時、休假、工資、勞動安全
4. 法規資訊零散，需輔以其他法規解釋
5. 法規持續修訂

結合大型語言模型與自然語言處理技術，並以勞動法律知識為基礎打造問答系統。

8

資料收集與整理

智能化勞動法律助手 的 概念構思

支持資料更新

• 以法規智能問答為靈感，創造高感度AI服務

痛點與設計方向

專案構想

整合勞動法律知識

精確回應

法律問題

提供可靠的

法規來源

法規閱讀

＆理解難度高

1. 艱澀的專業術語
2. 複雜的法律條文結構
• 多個條件和例外情況
3. 勞動法規範籌廣泛
• 工時、休假、工資、勞動安全
4. 法規資訊零散，需輔以其他法規解釋
5. 法規持續修訂

結合大型語言模型與自然語言處理技術，並以勞動法律知識為基礎打造問答系統。

建議採用RAG架構，

強化大型語言模型在勞動法律知識問答的應用

單獨依賴LLM難以準確回答

9

RAG 如同通過 Open Book 回答問題

Retrieval-Augmented Generation

• 由 Patrick Lewis 等人於 2020 年提出
• 通過檢索外部資料，生成符合問題需求的答案，提升大型語言模型的回答質量和準確性

考試中使用開卷答題的方式來彌補知識的不足

• 融入領域知識
• 減少幻覺
• 提高LLM回答精準性

10

RAG 如同通過 Open Book 回答問題

在 ChatGPT 問世之前，RAG 是如何 Generate ?

• 將資訊嵌入預先定義好的模板或規則來構建答案
• 生成模型

1990s

2013

2018

2022

n-gram

初步生成能力

達到輔助功能

統計語言模型

神經語言模型

預訓練語言模型

大語言模型

RNN-LM, Word2Vec

克服數據稀疏

捕捉語意之間的關聯

ELMO. BERT,GPT-1/2

有效捕捉上下文特徵

遷移學習應用於更複雜的任務

GPT-3/4,ChatGPT,

Claude

上下文理解、生成能力大幅提升，處理更廣泛工作

11

ChatGPT 加速 RAG 的發展

Transformer 架構

透過提示和推理來生成答案

大量LLM模型釋出

Fine-tuning

融⼊額外知識

RAG演化樹

Retrieval-Augmａented Generation for Large Language Models: A Survey（Yunfan Gao , 2024）

​

12

Retrieval

Generate

Prompt Engineering

LLM Model

Chunking

Embedding Transformation

Document Loader

Vector Database

Embedding Transformation

Query

Output

Document

Similarity Search

基礎的 RAG 架構

Data Preparation

2

3

1

13

Retrieval

Generate

Prompt Engineering

LLM Model

Chunking

Embedding Transformation

Document Loader

Vector Database

Embedding Transformation

Query

Output

Document

Similarity Search

三階段的 重要性 與 探討議題

Data Preparation

大型語言模型將檢索資訊轉化為流暢答案

高質量資料使模型更精確地找到相關內容，生成可信答案

為什麼文本需要Chunking？

​

• 模型輸入長度限制
• 提高檢索、生成結果
• 較小的區塊可聚焦於特定知識點，更適合回答具體問題。;較大的區塊適合處理需要上下文連貫的文件，避免打斷連貫性
• 切分大小與數量影響 Prompt 能夠放入的資訊量

基礎的 RAG 架構

檢索結果為 LLM 提供知識，決定了生成時參考的資訊是否正確且相關。

1

2

3

• 詞嵌入模型挑選
• 檢索方法（混合搜索、父文檔搜索）
• 檢索前、後處理

• LLM 模型挑選 / prompt 優化

14

RAG技術的妙用

• 法規資料的RAG架構

15

Pre-Retrieval Processing

Retrieval

Generate

Select Law Label

Law NER

Prompt Engineering

Select LLM Model

Law Chunking

（法規文本切割策略）

Document Classifers

Embedding Transformation

Document Loader

Law Label

Data Preparation

Vector Database

Select Embedding Model

&

Transformation

Query

Output

Document

全國法規

資料庫網站

Similarity Search

Optimization Function

法規資料的 RAG 架構

Post-Retrieval Processing

Small2Big

聚焦檢索範圍

提高命中率

​

調整檢索結果

提高大型語言模型的答案生成品質

提高資料品質，以利後續查找與生成

2

3

1

16

Post-Retrieval Processing

Retrieval

Generate

Select Law Label

Law NER

Prompt Engineering

Select LLM Model

Law Chunking

Document Classifers

Embedding Transformation

Document Loader

Law Label

Data Preparation

Select Embedding Model

&

Transformation

Query

Output

Document

全國法規

資料庫網站

Silarity Searchim

Post-Retrieval Processing

Small2Big

Data Preparation：高質量資料使模型更精確地找到相關內容，生成可信答案

• 探索法規資料
• 探討切割方法的局限 ＆ 客製化切割策略

Vector Database

1

17

法規資料特性

資料來源

全國法規資料庫網站-勞動類別

探索法規資料

法規文本篇幅較長，高達4000字

結構具有章、節、條等層次性

資料複雜且具有層次與規則性

Data Preparation

18

僅使用單一方法無法有效處理複雜結構文本，需依據不同需求靈活選擇適合的方式。

探索法規文本切割方法：現有切割方法具有局限性

方法 1：一般的切割策略

• 錯誤切分導致語意不完整，影響檢索準確性與生成品質

方法 2：現有框架切割

根據預設方法切分，難以精確處理法規中的細節，無法適應法規層次結構

Data Preparation

19

探索法規文本切割方法：建立客製化切割策略

1. 根據法規的結構（如章、節）進行切塊
2. 保留切割過程中遺失的關鍵訊息（例如章名稱）

Step 2 固定長度切割

Step 1 章節結構分割

1. 將過長的章節區塊細化分割成上限1000 字的知識點
2. 保留切割可能遺失的關鍵資訊（例如節名稱）

區塊1

區塊2

. . . . . .

知識點1

知識點2

• 保留語意完整性

• 提升搜尋的效度

方法 3：法規文本切割策略

從結構與字數雙重角度實現法規文本的精細化分割

Data Preparation

20

探索法規文本切割方法：建立客製化切割策略

Step 2 固定長度切割

Step 1 章節結構分割

區塊1

區塊2

. . . . . .

從結構與字數雙重角度實現法規文本的精細化分割

方法 3：法規文本切割策略

1. 將過長的章節區塊細化分割成上限1000 字的知識點
2. 保留切割可能遺失的關鍵資訊

1. 根據法規的結構（如章、節）進行切塊
2. 保留切割過程中遺失的關鍵訊息

此章有兩小節，依照節切成兩個區塊

Data Preparation

21

探索法規文本切割方法：建立客製化切割策略

1. 根據法規的結構（如章、節）進行切塊
2. 保留切割過程中遺失的關鍵訊息

Step 2 固定長度切割

Step 1 章節結構分割

區塊1

區塊2

. . . . . .

從結構與字數雙重角度實現法規文本的精細化分割

方法 3：法規文本切割策略

1. 將過長的章節區塊細化分割成上限1000 字的知識點
2. 保留切割可能遺失的關鍵資訊

Data Preparation

22

探索法規文本切割方法：建立客製化切割策略

1. 根據法規的結構（如章、節）進行切塊
2. 保留切割過程中遺失的關鍵訊息

Step 2 固定長度切割

Step 1 章節結構分割

區塊1

區塊2

. . . . . .

從結構與字數雙重角度實現法規文本的精細化分割

方法 3：法規文本切割策略

知識點1

知識點2

針對過長的章節，

依照字數進行二次切塊

1. 將過長的章節區塊細化分割成上限1000 字的知識點
2. 保留切割可能遺失的關鍵資訊

Data Preparation

23

探索法規文本切割方法：建立客製化切割策略

1. 根據法規的結構（如章、節）進行切塊
2. 保留切割過程中遺失的關鍵訊息

Step 2 固定長度切割

Step 1 章節結構分割

區塊1

區塊2

. . . . . .

從結構與字數雙重角度實現法規文本的精細化分割

方法 3：法規文本切割策略

知識點1

知識點2

1. 將過長的章節區塊細化分割成上限1000 字的知識點
2. 保留切割可能遺失的關鍵資訊

Data Preparation

24

探索法規文本切割方法：三種切割方式的差異

法規文本切割策略能夠提升後續檢索的精準度，同時確保生成階段的語意完整性

Data Preparation

25

Post-Retrieval Processing

Retrieval

Generate

Select Law Label

Law NER

Prompt Engineering

Select LLM Model

Law Chunking

Document Classifers

Embedding Transformation

Document Loader

Law Label

Data Preparation

Vector Database

Select Embedding Model

&

Transformation

Query

Output

Document

全國法規

資料庫網站

Similarity Search

Post-Retrieval Processing

Small2Big

2

Retrieval：檢索的精準度決定了系統能否從海量資料中找到與使用者問題相關的內容，影響生成時參考的資訊是否正確且相關。

• 挑選合適的詞嵌入模型
• 測試模型在問答集中的表現

Retrieval

26

MTEB Chinese leaderboard(簡體), FlagEmbedding Leaderboard

​

​

​

​

​

​

開源/閉源

模型選擇

挑選詞嵌入模型 ： 關鍵因子與取捨

檢索精準度是問答系統成功的關鍵

Retrieval

27

• 勞動部網站中搜集56題FAQ
• 涵蓋工資、請假、性別平等工作、職災補償等議題

測試集Query-Source

答案為單一知識點組成

題目為指定法條問答

答案由多知識點組成

勞動基準法第84條之1規定為何?

請假程序的相關規定？雇主要求勞工請事病假均須提出證明文件，有違法嗎?

題型以複雜度分類

1. 勞工請假規則第10條規定：「勞工請假應於事前親自以口頭或書面敘明請假理由......

3. 另勞工請生理假，參酌性別平等工作法施行細則第13條規定...應無須檢附相關證明文件。

42

9

5

依勞動基準法第84條之1規定，經核定公告之工作者，得由勞雇...之限制。

勞工請事、病假是否有天數限制

依勞工請假規則第4條及第7條規定，勞工因....

蒐集準則

• 答案中需要有明確的法條來源

Q

A

＊答案參考兩條法規，但在切割後屬於同一個區塊章節，檢索到一個知識點為正確

＊需要檢索多個知識點才能回答正確

＊檢索到該法規所屬的知識點為正確

挑選詞嵌入模型 ： 檢索能力測試

從題型的複雜度來評估模型的精準度和表現

* 問題通常較具體，符合實際應用

Retrieval

28

挑選詞嵌入模型：分析 不同題型複雜度 的 表現

• 評測方法使用命中數量、平均倒數排名(Mean Reciprocal Rank)
• 開源模型 BAAI/bge-m3 表現優秀
• text-embedding-3-large 表現最佳，後續由此嵌入模型進行實驗

＊命中率代表模型能成功檢索到正確答案的次數

＊Mrr為模型排序答案正確位置的能力

Retrieval

29

Pre-Retrieval Processing

​

Retrieval

Generate

Select Law Label

Law NER

Prompt Engineering

Select LLM Model

Law Chunking

Document Classifers

Embedding Transformation

Document Loader

Law Label

Data Preparation

Vector Database

Select Embedding Model

&

Transformation

Query

Output

Document

全國法規

資料庫網站

Similarity Search

Post-Retrieval Processing

Small2Big

Pre-Retrieval Processing：聚焦檢索範圍，降低查找難度，提高搜尋精準度

• Select Law Label
• Law NER

2

Retrieval

30

法規標籤系統，定位搜索範圍

1

檢索前處理：聚焦檢索範圍，降低查找難度

Step 1 ：提取問題中的法規名稱

Step 2：判斷其法規標籤

Step 3：執行標籤系統

法規NER技術+法規標籤系統：從小範圍中檢索

勞動基準法 、勞動基準法實施細則 、…

勞動基準法

高效檢索

範例

陷阱題目

3

步驟改善

2

勞動基準法實施細則

縮小檢索範圍、加速搜尋、提升命中度10%

Step 1

Step3

勞動基準法 、勞動基準法實施細則 、…

透過篩選標籤，縮小搜索範圍

系統介面

設計靈感

Q

勞動基準法實施細則第14條

A

系統只在該標籤中進行檢索

答案 非 題目指定法條，

檢索容易錯誤

Step 2

Retrieval

31

Post-Retrieval Processing

Retrieval

Generate

Select Law Label

Law NER

Prompt Engineering

Select LLM Model

Law Chunking

Document Classifers

Embedding Transformation

Document Loader

Law Label

Data Preparation

Vector Database

Select Embedding Model

&

Transformation

Query

Output

Document

全國法規

資料庫網站

Similarity Search

Post-Retrieval Processing

Small2Big

Post-Retrieval Processing：優化檢索結果

，提高大型語言模型的答案生成品質

- Small2Big 維持語意完整性

2

Retrieval

32

加班費沒發怎麼辦？

檢索後處理 ： Small2Big 維持語意完整性

​

• 概念：小塊找大塊
• 將檢索區塊擴展回完整章節，以提高LLM生成內容的準確性與完整性。

• 避免語意不連貫或法規參照

Small2Big

知識點

Retrieval

33

Post-Retrieval Processing

Retrieval

Generate

Select Law Label

Law NER

Prompt Engineering

Select LLM Model

Law Chunking

Document Classifers

Embedding Transformation

Document Loader

Law Label

Data Preparation

Vector Database

Select Embedding Model

&

Transformation

Query

Output

Document

全國法規

資料庫網站

Silarity Searchim

Post-Retrieval Processing

Small2Big

Generate：生成答案的準確性、完整性、流暢性是影響使用者滿意度的核心要素

• Select LLM Model
• Prompt Engineering

Generate

34

挑選語言模型：開源與閉源模型的性能比較

HuggingFace

LLM Leaderboard v2 2024.7.26

Open / Close LLMs 2024.7

• 閉源 整體表現優於 開源
• 開源：Llama(Meta), qwen2(阿里巴巴)
• 閉源：GPT-4o、Gemini 1.5 Flash

調整評估基準後的榜單，

提高榜單可靠性和公平性

參考網站：https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard

Generate

35

挑選語言模型：開源與閉源模型的性能比較

參考網站：https://context.ai/compare/gpt-4o/llama3-70b-instruct-v1

​

Generate

36

說明User Role所遵循的格式

指令（輸出內容、LLM無法回答時的處理、語言限制）

任務描述

檢索的知識點

實際問題

Generate

37

挑選語言模型：透過2個面向評測模型

同詞嵌入模型評測（勞動部常見問答集，共56題）

模型評測

的

參考依據

測試資料

​

LLM 生成結果的評估相對困難，具有主觀性和複雜度

Generate

38

挑選語言模型：評測結果

題目指定法條->各模型準確度都很高

答案由多知識點組成->所有表現都不理想

題型

開源模型 Llama3-Taiwan 表現優異

GPT-4o 兩種評估方法表現最佳

模型

Generate

39

我要開辦公司，需不需要依勞動基準法第70條規定報核工作規則

案例

• 勞動部常見問答集

正確提供答案與法規來源

Generate

40

喪假規定為何?

• 勞動基準法常見問答集

答案為單一知識點組成

正確提供答案與法規來源

案例

Generate

41

勞工請事、病假是否有天數限制？

多條法規

正確提供答案與參考的兩條法規

案例

答案為單一知識點組成

• 勞動基準法常見問答集

Generate

42

答案由多知識點組成

勞工依法辦理離職，公司可否扣留當月份工資

僅正確回答部分答案

無法回答

案例

• 勞動基準法常見問答集

Generate

43

系統展示

44

Q：請婚假會被扣全勤獎金嗎？如果因為扣發全勤獎因導致工資低於基本工資有違法嗎？

45

Q：現在基本薪資是多少

46

結語與QA時間

47

​

• 構建領域知識的檢索資料庫，並採用法規文本切割策略，強化數據檢索時的能力。

​

• 挑選中文大型語言模型，測試答案表現。
• 優化Prompt，使LLM更精準解析法律文本，同時提供答案與參考來源。

​

• 聚焦於特定範圍的知識搜尋，以提高檢索精度。
• 知識點進行檢索後處理，確保內容的完整性。

結語 與 QA

高 知識結合性

• 適用於領域知識問答場景。

高 實用性

• RAG 結合閉源模型的應用，兼顧資料安全與模型表現。
• 利用LLM整合法規知識，提供高質量且符合法律語境的回應。

高 可靠性

• 以相關的法規知識輔助LLM生成答案，漸少幻覺、無中生有。

Retrieval

Generate

Data Preparation

結合 RAG技術 與 勞動法律知識，並運用 多項優化策略，打造智能化勞動法律助手。

48

感謝大家的聆聽！

50

案例 - Bad Case

gpt-4o

無法回答不在資料庫中的答案

Generate