輝達 GTC Taipei 登場，國泰金控（2882）今年首度與輝達合作技術實施。今（21）日宣布自家大型語言模型的訓練成果，以及對於未來「台灣金融代理」（AI Agent）實踐的規劃。
去年，國泰金控領先市場推出自家生成式 AI 技術框架——「GAIA」，更宣布以 AI 即服務（AI as a service）策略，全面提升該金控在數位、數據、技術轉型的效益，發展多元 AI 智能的應用。面對需求碎片化、風控難度高、資訊量暴增、流程複雜等市場挑戰，盼透過導入多元 AI 解決方案，加速國泰金在數位、資料與科技領域的轉型進程。
作為這項策略藍圖的一環，國泰金攜手輝達，共同研究如何運用其 AI 雲端平台「NeMo」在符合法規與商業需求的前提下，於本地端安全部署大型語言模型，以契合台灣的監管環境與市場需求。根據發表成果顯示，大型語言模型在處理專業金融知識上的可行性，為區域內具規模、特定領域的 AI 應用奠定基礎。同時提出在台灣金融業導入 AI 智慧代理的發展藍圖，突顯國泰在技術領域的領導地位與對創新的承諾。
國泰金控副總經理暨國泰世華銀行數據長梁明喬表示，運用台灣本地金融授信知識、法規文獻及實務案例等作為訓練語料，在模型上利用輝達 NeMo 框架進行預訓練（Pre-training）、微調（Fine-tuning）等技術手法，藉輝達的加速運算，完成 70～80億參數量的大型語言模型訓練。再透過知識蒸餾（Knowledge Distillation）與輝達 NeMo Curator 框架，擴增訓練資料達 4～5倍，大幅縮短資料準備時間，亦輔以輝達 TensorRT 框架加速模型評估流程。
梁明喬指出，成果顯示，此模型不僅能精準回應進階金融問答，亦具備通過進階授信人員證照考試能力，展現 AI 在金融領域的應用潛力。
隨著全球 AI 技術快速演進，AI Agent 正為新一代人工智慧的發展趨勢。相較傳統具對話功能的工具型 AI，AI Agent 具備環境感測、記憶與自主規劃能力，能根據情境變化主動推論、規劃並執行任務，象徵 AI 由「回應式工具」正式邁入「主動型代理」的新階段。對內可協助包含內部員工文件摘要生成、內部知識查詢作業流程優化。
而在金融場域中，AI Agent 的應用潛力無窮，惟目前市面上多數屬通用大型語言模型，對於台灣在地金融知識、專業術語及產業實務掌握仍不足，難以準確回應台灣市場金融用戶的需求。此次，國泰金運用Ｃ威達加速運算的優勢，充分展現金融機構如何結合專有與產業特定資料，進一步提升大型語言模型的應用效能。
AI Agent 於金融場景的應用具深遠潛力，目前多數大型語言模型仍屬於通用型，缺乏深入理解台灣金融業特定需求的能力，因此難以完全滿足本地機構與使用者的精細要求。國泰金使用輝達加速運算平台的成果，展示了金融機構如何結合專有和產業特定資料以超越基礎大型語言模型。
梁明喬強調，國泰金將持續與輝達合作，推進具更廣泛金融知識與實務應用能力的領域專屬大型語言模型。展望未來，金控將持續強化 AI Agent 的適應性推理、複雜決策輔助與情境感知任務執行等能力，涵蓋從交易處理、服務自動化到智慧資訊擷取等多元應用，盼開啟以AI驅動的智慧金融創新服務新時代。
