1 of 42

以 人工智能 打造 企業內部知識管理系統 以 PCB板為例

Presentation

鄭宏毅

林凡又

黃文成

沈姿吟

朱達仁

2 of 42

AGENDA

  • 專題簡介 / 動機 / 起緣 / 專題目標
  • 影像識別系統
  • 客製化大語言模型
  • 系統整合
  • 未來發展與結論

3 of 42

動機

目標

專題簡介

  • 從瑣碎、重複的事物中解放人力
  • 提升人均產出，品質、產值
  • 缺工、人手不足
  • 一人多工

4 of 42

以PCB板廠為例

  • 台灣擁有全球最大PCB產業鏈
  • 製程成熟，網路資料集資源多
  • AI技術幫助工程師更快完成 paper work

5 of 42

瑕疵檢測

YOLO Object Detection

整體系統串接

前後端整合

維持系統順暢運行

客製化

大語言模型

文本訓練

企業專屬知識庫

技術亮點

1

2

3

6 of 42

影像識別系統

7 of 42

Exploratory Data Analysis

8 of 42

瑕疵檢測

9 of 42

0.869 mAP@0.5

Model Performance : mAP

10 of 42

Normalized Confusion Matrix

11 of 42

影像辨識瑕疵完… AND THEN??

發現問題

資安 ❌ 專業 ❌

專業 不一定有空

前 輩

客製化大語言模型

資安 ⭕ 專業 ⭕

Chat GPT

12 of 42

客製化

大語言模型

13 of 42

Process know how

Memory

System Prompt

語言模型

14 of 42

未經訓練大語言模型

Process know how

Memory

System Prompt

respond

query

PCB板的MB主要成因是什麼?

PCB 板的 MB (Multi-layer Board，多層板) 的主要成因可以歸結為以下幾個方面：

1. 提高電路密度和功能複雜度

2. 提升訊號傳輸速度和品質 …

​

15 of 42

process

know how

RAG

Process know how

Memory

System Prompt

respond

query

客製化大語言模型 -- 內部知識管理系統

PCB板的MB主要成因是什麼?

PCB 版的 MB (Mouse Bite) 主要成因是**電路板在蝕刻過程中，由於蝕刻液的化學作用，導致銅箔邊緣被過度蝕刻，形成類似老鼠啃咬的形狀**。� 造成MB 問題可能的原因很多，以下列出一些常見的可能性：...

​

16 of 42

客製化大語言模型 -- 內部知識管理系統

Process know how

Memory

System Prompt

RAG

respond

query

process

know how

你好我是Diane，接下來我們要討論一些有關PCB板製程產生瑕疵的一些問題，請你盡量以繁體中文回答我

好的，Diane，我很樂意用繁體中文回答你關於 PCB 板製程瑕疵的問題。請盡情提問！ 😊

​

你記得我叫什麼名字嗎?

我是一個 AI 語言模型，沒有記憶功能。我無法記住你的名字。

​

17 of 42

客製化大語言模型 -- 內部知識管理系統

(調整後)

Process know how

Memory

System Prompt

RAG

respond

query

process

know how

memory

你記得我叫什麼名字嗎?

😊 Diane！我們今天討論PCB板製程中容易出現的**鼠咬（Mouth Bite，MB）**問題。

您還記得我們討論了哪些可能導致鼠咬的原因嗎？

​

18 of 42

客製化大語言模型 -- 內部知識管理系統

Process know how

Memory

System Prompt

RAG

memory

respond

query

process

know how

Taylor Swift 什麼時候生日

Taylor Swift 的生日是 **12 月 13 日**。

​

19 of 42

客製化大語言模型 -- 內部知識管理系統

RAG

memory

process

know how

respond

query

Process know how

Memory

System Prompt

process

know how

system

prompt

(調整後)

Taylor Swift 什麼時候生日

很抱歉，我只能回答關於印刷電路板缺陷的問題。

​

20 of 42

客製化大語言模型 -- 內部知識管理系統

respond

query

21 of 42

22 of 42

系統整合

23 of 42

串連應用

respond

RAG

memory

process

know how

system

prompt

24 of 42

系統架構

25 of 42

( 成果展示 )

26 of 42

成果展示

27 of 42

未來發展

潛力

配套

現象

延展

​

地端語言模型

生成文本評分

軟、硬體配套

公安

客服

ESG

…

人人協作

轉

人機協作

28 of 42

Conclusion

How to do

線上資源

LLM

What / why to do

技術運作原理與

後續修改、優化空間

29 of 42

Power by

30 of 42

Reference

  • Asai, A., Wu, Z., Wang, Y., Sil, A., & Hajishirzi, H. (2023). Self-rag: Learning to retrieve, generate, and critique through self-reflection. arXiv preprint arXiv:2310.11511.

​

  • Lv, S., Ouyang, B., Deng, Z., Liang, T., Jiang, S., Zhang, & Li, Z. (2024). A dataset for deep learning based detection of printed circuit board surface defect. Scientific Data, 11(1), 1-13. https://doi.org/10.1038/s41597-024-03656-8

​

  • Ram, O., Levine, Y., Dalmedigos, I., Muhlgay, D., Shashua, A., Leyton-Brown, K., & Shoham, Y. (2023). In-context retrieval-augmented language models. Transactions of the Association for Computational Linguistics, 11, 1316-1331.

31 of 42

Thank You

朱達仁 林凡又 黃文成 沈姿吟 鄭宏毅

32 of 42

Contact Us

林凡又

黃文成

鄭宏毅

沈姿吟

diane93.lin@gmail.com

wunchenhuang@gmail.com

朱達仁

lukechu3501@gmail.com

33 of 42

Testing Dataset

34 of 42

補充 1.

35 of 42

Training Performance

Metric

v5x

v6l6

v8n

v8x

mAP50

0.925

0.858

0.903

0.955

mAP50-95

0.567

0.519

0.576

0.659

Precision

0.889

0.849

0.876

0.921

Recall

0.867

0.772

0.837

0.907

Validation Performance

Metric

v5x

v6l6

v8n

v8x

mAP50

0.845

0.81

0.83

0.845

mAP50-95

0.486

0.466

0.496

0.511

Precision

0.825

0.782

0.819

0.835

Recall

0.784

0.756

0.768

0.799

Model Size (MB)

14

268

6

130

YOLOㄎ模型版本選擇

36 of 42

Parameter

Custom v8n

Default v8n

Explain

scales

n: [0.33, 0.25, 1024]

n: [0.33, 0.25, 256]

Increased max channels

backbone

Add CBAM, SPPF

not included

Improve performance

head

Custom

Upsample, Concat, C2f

Default C2f

More flexible feature fusion and scaling

Detect layers : P3, P4, P5

Single output scale

Multi-scale object

Anchors 9

80

Custom nc

超參數對效能影響

Improve ~1% on Metrics

37 of 42

Class

P

R

mAP50

mAP50-95

all

0.823

0.788

0.843

0.486

SH

0.869

0.876

0.903

0.547

SP

0.848

0.732

0.837

0.367

SC

0.796

0.775

0.805

0.472

OP

0.808

0.849

0.894

0.502

MB

0.841

0.726

0.813

0.368

HB

0.884

0.969

0.982

0.821

CS

0.781

0.625

0.726

0.437

CFO

0.728

0.665

0.732

0.403

BMFO

0.848

0.871

0.895

0.455

Metric

9 Classes

7 Classes

Improvement

Validation

​

(-17% Images)

(v5x)

mAP50

0.845

0.891

5.5%

mAP50-95

0.486

0.514

2.8%

Precision

0.825

0.867

4.2%

Recall

0.784

0.822

3.8%

Training

​

​

​

mAP50

0.925

0.949

2.4%

mAP50-95

0.567

0.587

2.0%

Precision

0.889

0.919

3.0%

Recall

0.867

0.897

3.0%

移除不穩定類別的效能影響

Remove

38 of 42

補充 2.

Evaluation of RAG performance

39 of 42

評估要點

  • Precision、Recall、 Relevancy
  • 資訊來源的多樣性和質量
  • 評估方法改良
  • Faithfulness
  • Accuracy

Retrieve

Yu, H., Gan, A., Zhang, K., Tong, S., Liu, Q., & Liu, Z. (2024). Evaluation of Retrieval-Augmented Generation: A Survey. arXiv preprint arXiv:2405.07437.

Generation

Overall

  • 整體性能：查詢複雜度
  • 全面評估：主觀評判

40 of 42

評估關鍵元素

41 of 42

主流評估框架

42 of 42

簡化作法