台灣第一個繁中企業大型語言模型的應用與機會

近半年來,各式生成式AI工具的出現,引起許多人關注,預期在技術或工作流程層面將帶來極大影響。根據麥肯錫(McKinsey&Co.)最新研究顯示,生成式AI每年可創造出相當於2.6至4.4兆美元的經濟價值,並有75%的企業使用生成式AI提供價值,這些企業包括客戶營運、行銷、軟體工程、研發領域,顯見生成式AI對產業帶來的影響將會逐步增大。

台灣智慧雲端服務公司副總經理黃世民表示,目前企業如果想導入生成式 AI,可以採用OpenAI的API,不過OpenAI所釋出的模型,使用範圍有限,且無法依需求及模型表現調整模型架構。因此,台灣智慧雲端服務公司運用「台灣杉二號」AI 超級電腦的強大算力,推出福爾摩沙大模型(FFM,Formosa Foundation Model),讓企業能有效應用大型語言模型。FFM 是基於「Bloom」大型語言模型,加強優化繁體中文語料的預訓練模型,模型參數高達 1760 億,且同時支援多國語言,並且加入台灣在地知識資料,使 FFM能有更精準且符合在地文化認知的表現。

為什麼企業需要專屬的生成式AI解決方案呢?

以ChatGPT為例,當使用者與ChatGPT互動時,它同時也在收集互動過程中所輸入的資料與生成的內容,並將這些資訊變成訓練的養分。因此,如果這些輸入的內容包含了公司的營業資料或特定產業知識,那麼,他人極有可能透過與ChatGPT的對談,就能夠得到機密資料。

黃世民說,考量到資安隱私、法令遵循與合規管理,FFM 採用「租戶隔離機制」,確保用戶儲存資料的安全性及資料不會拿來再利用,以避免所生成的內容洩漏企業資料,除了提高安全性外,也有更多彈性的設定,如:生成創造力、工程參數及最大生成 Token 數等,讓企業能放入自己的資料,成為專屬大腦。

FFM 也提供 AFS(AI Foundry Service)解決方案,目前已應用在客戶服務、法律、專利、醫療、長照、ESG、教育、公共服務等領域。AFS 主要有兩種模型優化的方式,第一是「AFS Platform」,以 PaaS 的服務,透過 No Code 方式調整模型參數及自有模型優化;第二則是「AFS Shuttle」,提供企業以低成本的方式,在排定的優化工程服務期間快速驗證。

若企業有模型部屬的需求,也有兩種方式可以選擇,第一種是 AFS Cloud,將已完成優化的模型託管在台智雲的雲端服務,達到租戶隔離、高可靠、低延遲三個特性,適合已大幅度採用雲端服務的產業,如:電商、零售、服務業、支付業;第二種是 AFS Appliance,提供從資料整理、資料準備、模型優化、模型驗證到模型部署與推論,一站式的解決方案,適合需要地端部署的企業,如:金融、醫療、法律、半導體業。如下圖所示。

黃世民指出,目前已有許多企業使用 FFM 的解決方案,例如華碩集團便應用於行銷文案的生成,包括Slogan、產品規格摘要說明等;也可以企業將FFM應用於智能客服,達到超擬真對話。

目前,台智雲更與華碩集團攜手打造「AI FACTORY 加速器計畫」透過豐富多元的雲平台資源與技術支援協助,為提供 AI 新創夥伴更完善的商業發展,自即日起至 12/31(日) 止,報名審核成為「台智雲加速器夥伴」(點此報名),便可享有拓展資源:華碩產業鏈商機媒合、生成式 AI 平台運算額度、生成式 AI 專業應用課程、技術團隊諮詢服務、應用場域商機媒合等,更多拓展資源詳見 簡章說明

想了解更多 FFM 企業級大型語言模型細節,請參考【AI CAFÉ 線上聽】企業級大型語言模型訓練優化與導入方案。(文章整理:Celine)