分析脈絡
拆解方式
- 盤點 6 個 Skills 的定位、職責邊界與協作關係
- 展示 business-glossary 的 Eval 評測數據(16 題,+45pp)
- 論述知識閉環機制與從個人→團隊的影響力擴展
資料來源與欄位
- Skills SKILL.md 定義檔 × 5
- business-glossary References × 18
- Eval grading.json × 32(16 題 × with/without)
- Hub 報告清單(8 份報告、52 個版本)
數據分析 Agent 系統架構總覽
5 個 Skills 分三層運作:知識層提供業務定義與產業洞察、查詢層安全生成 SQL、產出層渲染分析報告。所有 Skill 共享 business-glossary 作為 SSOT。
18 篇 Reference · SSOT
OTA 廣告策略顧問 · 產業知識
知識回收 · 持續累積
Text2SQL · dry_run 安全機制
Plotly 圖表 · HTML 報告 · Hub
正確率 48.8% → 93.8% (+45pp)
Skills 詳細介紹
每個 Skill 有明確的職責邊界和觸發條件,CLAUDE.md 中定義的分工規則確保問題被路由到正確的 Skill。
工作流程示例
一個典型分析需求如何在多個 Skills 之間流轉,展示 Skill 間的協作模式。
dm/customer-and-product.md → 確認新客定義總結:為什麼這件事值得做
解決的核心問題
- 業務知識散落 → 集中為 18 篇 SSOT Reference,任何人都能查到一致的定義
- AI 回答不可靠 → 透過 Eval 驗證,正確率從 48.8% 提升至 93.8%(+45pp)
- 分析從零開始 → 報告迭代機制讓每次分析都在前版基礎上累積
技術深度
- 設計了 SSOT + 信心門檻 + 知識閉環 + Eval 驅動的完整架構
- 開發了 5 個 Python 工具模組(BQClient、ChartBuilder、ReportRenderer、Interactive、HubPublisher)
- 建立了 16 題評測框架,用數據而非感覺驅動迭代
從個人到組織的影響力
這套系統的價值不只在於提升個人效率,更在於它是一個「知識資產化」的範本。透過 knowledge-capture 的閉環機制,每次使用都在增強系統——這意味著團隊中的每一位成員都能受益於所有人累積的知識,而不只是自己的經驗。這是從「個人能力」到「組織能力」的關鍵跨越。
知識管理閉環
business-glossary(查閱)→ knowledge-capture(回收)形成閉環,每次對話都在增強系統知識。Confluence Agent 作為外部知識的補充來源。
Reference 知識庫結構
18 篇 Reference 文件按資料架構層級組織(DM / DW / General),涵蓋 KKday 數據團隊日常工作的所有業務知識。
Skill 評測:16 題業務知識問答
建立 16 個測試案例,涵蓋訂單會計、客戶分群、資料架構等核心議題。每題對比「有 business-glossary Skill」vs「純 LLM」的回答品質。
Skills 知識量與報告產出
6 個 Skills 共計 73 KB 的 SKILL.md 定義 + 18 篇 Reference 文件。data-analysis 已產出 8 份報告、52 個版本迭代。
從個人到團隊的影響力
Skills 系統不只是個人效率工具,更是知識資產的載體。從個人建構 → 小組標準化 → 組織規模化,三階段擴展影響力。
關鍵技術決策
建構這套系統過程中的四個核心設計決策,每一個都直接影響系統的可用性和可擴展性。