TAMETRA
Data Lineage�Agent
Từ source code đến lineage có kiểm chứng,�an toàn và có thể vận hành
Tóm tắt điều dự án đã chứng minh
02
TAMETRA · Data Lineage Agent
Pain point
Lineage thủ công chậm, nhanh lỗi thời và khó truy nguyên. Tự động hóa thiếu kiểm soát có thể ghi sai metadata production.
Giải pháp
Deterministic-first parser + OpenMetadata resolution + evidence + human review trước khi publish.
Bằng chứng V1
22/24 case · Table F1 96,97% · Column F1 96,30% · Precision 100% · Safety gate đạt.
Pain point theo từng nhóm người dùng
03
TAMETRA · Data Lineage Agent
Người dùng
Pain point
Hậu quả
Data Engineer
Đọc nhiều file SQL/PySpark để tìm dependency
Tốn thời gian, phụ thuộc người viết pipeline
Data Steward
Lineage thiếu evidence/transformation context
Khó review và audit
Analyst
Không rõ downstream impact khi schema đổi
Phân tích chậm, dễ bỏ sót
Platform Team
Code, runtime và catalog không đồng bộ
Metadata nhanh lỗi thời
Security/Admin
Agent có upload, workflow và Git publish
Rủi ro vượt quyền
Nút thắt: chưa có flow thống nhất từ phát hiện → kiểm chứng → phê duyệt → công bố.
Bài toán và các ràng buộc bắt buộc
04
TAMETRA · Data Lineage Agent
INPUT
• SQL, PySpark, repository nhiều file�• Catalog từ OpenMetadata�• Câu hỏi ngôn ngữ tự nhiên
OUTPUT
• Table/column lineage chuẩn hóa�• Transformation + evidence�• Proposal có trạng thái review
CONTROL
• Không đoán im lặng�• Candidate trước, write sau�• Least privilege + audit
• Ambiguous / not-found / unsupported phải chuyển NEEDS_REVIEW.
• Mỗi edge phải truy ngược được về source path, line range và snippet.
• Viewer chỉ được dùng OpenMetadata MCP read-only; backend là security boundary.
Kiến trúc kỹ thuật theo layer
05
TAMETRA · Data Lineage Agent
Experience
OpenMetadata custom UI · Chat · Graph · Review
API
FastAPI · Session · Validation · RBAC · Streaming
Orchestration
LangGraph · Intent Router · State · Policy Gate
Analysis
SQL/PySpark/Airflow Parser · Normalized IR
Catalog & Governance
OpenMetadata API/MCP · Rules · HITL · Audit
Delivery
Git Publisher · Kubernetes · Argo CD
Bản đồ chức năng của Agent
06
TAMETRA · Data Lineage Agent
CATALOG Q&A
Tìm entity · owner · schema · upstream/downstream · impact
CODE ANALYSIS
Parse SQL/PySpark · mapping · transformation · evidence
REPOSITORY
Discover artifacts · multi-file dependency · manifest
PROPOSAL
Candidate lineage · warnings · edit · approve/reject · history
EXECUTION
Draft workflow · approval · Git publish · audit
VISUALIZATION
Current/projected graph · table/column · change semantics
Policy quyết định chức năng nào được gọi — không để LLM tự do thực thi side effect.
LangGraph: state machine của Agent
07
TAMETRA · Data Lineage Agent
START
SESSION +�PAGE CONTEXT
INTENT�ROUTER
POLICY�GATE
SPECIALIZED�FLOW
RESPONSE +�AUDIT
→
→
→
→
→
Branch có kiểm soát
CATALOG_QUERY → MCP read-only�CODE_ANALYSIS → parser/resolver�PROPOSAL_ACTION → review service�EXECUTION_ACTION → approval/publisher
Điểm dừng an toàn
Role không đủ → AUTHORIZATION_DENIED�Ambiguous/not-found → NEEDS_REVIEW�Critical warning → không approve�Tool/schema failure → structured error
Parsing pipeline: source code → lineage
TAMETRA · Data Lineage Agent
08
1
DISCOVER
SQL · PySpark · DAG · manifest
2
PARSE
AST / static patterns
3
EXTRACT
reads · writes · expressions
4
NORMALIZE
FQN · aliases · dependencies
5
RESOLVE
catalog entity matching
6
VALIDATE
evidence · governance · confidence
Entity resolution & governance gate
TAMETRA · Data Lineage Agent
09
Resolution
Hành vi
Governance
RESOLVED
FQN khớp catalog
Cho phép tạo canonical candidate
AMBIGUOUS
Nhiều entity có thể khớp
NEEDS_REVIEW; không đoán
NOT_FOUND
Không tìm thấy catalog entity
Unresolved; yêu cầu bổ sung metadata
DYNAMIC
Tên bảng hình thành runtime
Giữ evidence; không materialize sai
UNSUPPORTED
Parser chưa hiểu pattern
Fail-closed; taxonomy nhất quán
Breaking-change rules
Phát hiện removed/renamed column, downstream impact và critical warning bằng rule có thể tái hiện.
Human checkpoint
Reviewer chỉnh mapping/SQL, xem history, approve hoặc reject trước khi publish.
Luồng xử lý một thay đổi code
TAMETRA · Data Lineage Agent
10
1
Upload file / chọn repository
2
Parse read-write & mappings
3
Chuẩn hóa Lineage IR
4
Resolve FQN với OpenMetadata
5
Đánh giá ambiguity / breaking change
6
Tạo proposal + evidence
7
Human approve / reject
8
Publish + audit
Security & RBAC: chặn ở backend, không chỉ UI
TAMETRA · Data Lineage Agent
11
Role
Access mode
Quyền
admin
FULL_AGENT
Catalog · analysis · proposal · execution · Git publish
user
FULL_AGENT
Toàn quyền Agent theo scope hiện tại
viewer
CATALOG_ONLY
Chỉ metadata/lineage qua OpenMetadata MCP
thiếu / lạ
CATALOG_ONLY
Fail-closed; không có quyền ghi
UI control
Ẩn upload, repository, proposal và execution để đúng trải nghiệm.
Backend control
403 tại endpoint có side effect; catalog-only flow không gọi write service.
Trust boundary
Gateway verify Keycloak, xóa client headers rồi inject role đã xác thực.
Kết quả evaluation V1
24 deterministic cases · 29/08/2026
TAMETRA · Data Lineage Agent
12
91,67%
Case pass
97,22%
Partial credit
96,97%
Table F1
96,30%
Column F1
100%
Precision
0
Critical failures
Evidence coverage 100% · False resolution 0% · Brier / ECE 0,292
Tính khả thi kỹ thuật
TAMETRA · Data Lineage Agent
13
Khía cạnh
Bằng chứng
Đánh giá
Core lineage
24 ground-truth cases
Khả thi; cần mở rộng dialect
Safety
False resolution = 0; critical = 0
Có nền tảng production-safe
Traceability
Evidence coverage = 100%
Có thể audit
Multi-file
Extended repository suite PASS
Flow đã chứng minh
UI
Extended 26/26; regression 108/108
Có test bảo vệ
Deployment
Container · Kubernetes · Argo CD
Có đường rollout/rollback
Roadmap phát triển theo gate
TAMETRA · Data Lineage Agent
14
Phase
Ưu tiên
Exit criteria
P0 · Correctness
Sửa CAST; chuẩn hóa window
24/24; F1 = 1.0; safety giữ nguyên
P1 · Generalization
Repo thật; PySpark column lineage
Báo cáo theo dialect/pattern
P1 · Trust
Confidence calibration
Brier/ECE giảm trên validation set
P1 · Security
Keycloak verified gateway
Viewer catalog-only; write = 403
P2 · Production
Live eval + concurrent load
Có resolution/SLO baseline
P2 · Learning
Cost · CSAT · drift
Feedback loop và alerts
P3 · Automation
Policy auto-approval low-risk
Chỉ mở sau gate dài hạn
15