永豐金加速數位轉型 打造首個雲端公開資料平臺「爬蟲館」
(永豐金數位科技團隊建立集團共享資料交換機制,打造永豐第一個「雲端服務公開資料平臺爬蟲館」。圖/永豐金控提供)
爲確保資料內容的正確性、完整性,以利發展各式應用服務,加速數位轉型的執行,永豐金控建立集團共享資料交換機制,打造永豐第一個「雲端服務公開資料平臺爬蟲館」,善用爬蟲運行應用特性,整合雲端無伺服器技術,提供具豐富、多樣、易取用的純雲端資料應用服務讓集團同仁有效使用外部公開資料服務。
永豐金控指出,該平臺自2021年第4季開發至今,已完成逾100項外部公開資料集供應,預計2022年底將達160項以上,目前所提供之公開資料類型涵蓋政府公開資料類、總體經濟類、金融商品類等。
永豐金控在今年第一季提出未來三年(2022年至2024年)四大策略,其中之一爲「加速推動數位變革」,透過積極投入新興科技應用並導入先進AI模型落實智慧營運。永豐金控表示,以往各單位對於數位資料之需求,除了內部資料,對於外部資料需求常常因爲業務急迫性而選擇自行研發或委外進行資料採集解決方案,進而造成專案執行資源重複與浪費。
另一方面,各單位自行開發之爬蟲程式,如遇到單位當責人員異動,在管理上容易有維運風險。透過建立集團一致的公開資料平臺—爬蟲館,彙集各單位需求,以開放的雲端資料平臺提供豐富、多樣、易取用的共享資料交換機制,並確保資料內容的正確性、完整性,以利發展各式自動化應用服務,加速數位轉型的執行。在平臺上線後,各單位對外部公開資料有需求時,也逐漸習慣會先到爬蟲館平臺上面查詢利用,同時也解決了爬蟲的維運管理風險。
永豐金控表示,目前爬蟲館在三個面向進行發展推廣,在「雲端導入面」實踐集團多雲策略,藉由第一個無個資的雲端服務,累積內部同仁在雲端導入之技術能力與維運管理經驗,朝Cloud Ready目標邁進。
「數據供應服務面」建立自動化外部公開資料採集、平臺監控管理機制及統一平臺爬蟲開發標準;「數據治理面」設置外部公開資料欄位格式標準化規範,同時建構爬蟲開發專案流程,提升爬蟲開發專案執行效率。未來永豐金控將逐步規劃完成集團內爬蟲統一管理,有效減少開發資源耗費,讓「雲端服務公開資料平臺—爬蟲館」成爲金控內外部公開資料供應統一入口。