研華推出GenAI Studio邊緣AI軟件平臺
2025年初,全球AIoT平臺與服務(wù)提供商研華科技宣布推出一款新的軟件產(chǎn)品——GenAI Studio,該產(chǎn)品是研華Edge AI SDK的一部分,主要目標(biāo)是為了滿足對成本效益高、本地部署的大語言模型(LLM)解決方案日益增長的需求。
加速人工智能發(fā)展,應(yīng)對行業(yè)挑戰(zhàn)
作為研華邊緣AI軟件開發(fā)工具包(Edge AI SDK)的一部分,GenAI Studio致力于解決行業(yè)痛點(diǎn),例如縮短工廠操作員等待關(guān)鍵信息的時(shí)間,減輕醫(yī)療專業(yè)人員的文檔工作負(fù)擔(dān)。其無代碼、成本效益高的平臺簡化了大語言模型(LLM)的采用,使企業(yè)能夠快速高效地部署AI解決方案,從而提高生產(chǎn)力和運(yùn)營效率。
GenAI Studio為研華Edge AI SDK構(gòu)建,憑借其多功能的LLM平臺,具備出色的本地和云端LLM集成能力,支持包括OpenAI、Gemini、Anthropic和Ollama在內(nèi)的多種LLM。此外,它還引入了全參數(shù)微調(diào)功能,針對GPU資源有限的環(huán)境進(jìn)行了優(yōu)化,實(shí)現(xiàn)了更廣泛的可訪問性和性能提升。
GenAI Studio為大語言模型(LLM)開發(fā)提供了一整套全面的工具:
首先是集成微調(diào)與推理服務(wù):GenAI Studio將微調(diào)與推理功能相結(jié)合,最大化硬件利用率,實(shí)現(xiàn)資源的更靈活、高效分配。
再次,該平臺具備高級GPU資源管理與任務(wù)調(diào)度的能力:這些功能使用戶能夠優(yōu)化AI硬件性能,提升高價(jià)值設(shè)備的成本效益。
隨著AI的迅猛發(fā)展,對易于獲取的大語言模型解決方案的需求日益凸顯,但許多公司因資源有限而受阻。研華邊緣AI軟件開發(fā)工具包(Edge AI SDK)通過提供一套工具來應(yīng)對這一挑戰(zhàn),該工具能夠高效地評估、開發(fā)和部署邊緣AI應(yīng)用。例如,傳統(tǒng)上需要超過30個(gè)、每個(gè)擁有48GB內(nèi)存的GPU來微調(diào)一個(gè)700億參數(shù)的大語言模型,而使用研華Edge AI SDK,僅需4個(gè)GPU即可完成。這代表著資源需求減少了87%,顯著降低了成本,使大語言模型解決方案更加觸手可及。
借助研華的GenAI Studio和邊緣AI服務(wù)器AIR-520,賦能AI創(chuàng)新
為與GenAI Studio相輔相成,研華的AIR - 520邊緣AI服務(wù)器提供了一個(gè)強(qiáng)大的硬件平臺,配備了NVIDIA RTX GPU和Phison AI SSD。這種整合交付了可靠、高效的計(jì)算能力,旨在滿足制造業(yè)、醫(yī)療保健、零售等行業(yè)的AI應(yīng)用需求。
研華Edge AI SDK軟件開發(fā)工具包:從模型微調(diào)到部署簡化工作流程
研華Edge AI SDK軟件開發(fā)工具包是一個(gè)為無縫邊緣AI開發(fā)設(shè)計(jì)的全集成平臺。憑借預(yù)配置的硬件和優(yōu)化調(diào)整的軟件,它提供了即插即用的體驗(yàn),能夠?qū)崿F(xiàn)成本效益高的大語言模型定制、無縫工具包兼容以及大規(guī)模邊緣部署的輕松管理。研華邊緣AI軟件開發(fā)工具包以可靠性、可擴(kuò)展性和用戶友好性為設(shè)計(jì)理念,簡化了通往AI創(chuàng)新的道路。它現(xiàn)在包括三個(gè)核心組件:
1.GenAI Studio:便于在本地以成本效益高的方式創(chuàng)建、評估和集成定制的大語言模型。
2.推理套件:能夠快速優(yōu)化和評估與嵌入式操作系統(tǒng)兼容的高效AI運(yùn)行時(shí)。
3.操作平臺:為大規(guī)模邊緣部署中的AI模型和應(yīng)用更新提供高效管理,整合MLOps以簡化操作。
(圖:研華GenAI Studio操作界面)
研華通過其Edge AI SDK軟件開發(fā)工具包以及新增的GenAI Studio軟件模塊,提升了企業(yè)更高效、更低成本地開發(fā)和部署AI解決方案的能力。
關(guān)于研華:
研華成立于1983年,以“智能地球的推手”作為企業(yè)品牌愿景,一直專注深耕于工業(yè)物聯(lián)網(wǎng)、嵌入式物聯(lián)網(wǎng)、智慧城市三大市場。為迎接物聯(lián)網(wǎng)、大數(shù)據(jù)與人工智能的大趨勢,研華提出以邊緣智能和研華工業(yè)云平臺為核心的物聯(lián)網(wǎng)軟、硬件解決方案,協(xié)助客戶伙伴串接產(chǎn)業(yè)鏈。研華業(yè)務(wù)分布全球28個(gè)國家,擁有近9000名員工,以強(qiáng)大的技術(shù)服務(wù)及營銷網(wǎng)絡(luò),為客戶提供本土化響應(yīng)的便捷服務(wù)。此外,研華也積極協(xié)同伙伴共創(chuàng)產(chǎn)業(yè)生態(tài)圈,加速實(shí)踐產(chǎn)業(yè)智能化的目標(biāo)。 (公司網(wǎng)站:www.advantech.com.cn )
關(guān)于研華IoT嵌入式平臺事業(yè)群(EIoT , Advantech Embedded IoT Group)
研華嵌入式物聯(lián)網(wǎng)平臺事業(yè)群提供全系列嵌入式計(jì)算機(jī)板卡、智能系統(tǒng)、外圍模塊、軟件服務(wù)經(jīng)銷以及客制化設(shè)計(jì)導(dǎo)入服務(wù),涵蓋全產(chǎn)品研發(fā)設(shè)計(jì)、制造與全球銷售與服務(wù),并專注垂直產(chǎn)業(yè)發(fā)展。為迎接物聯(lián)網(wǎng)、大數(shù)據(jù)與人工智能的發(fā)展,我們還提供從邊緣運(yùn)算(Edge Computing)到云服務(wù)(Cloud Services) 的物聯(lián)網(wǎng)整合解決方案,包含但不限于AIW無線解決方案、IoT Gateway 網(wǎng)關(guān)、EIS邊緣智能服務(wù)器及DeviceOn智能化設(shè)備維運(yùn)管理軟件、WISE-PaaS物聯(lián)網(wǎng)軟件平臺及主流第三方云服務(wù)平臺,更針對人工智能應(yīng)用推出一系列Edge AI模塊,推理系統(tǒng)及產(chǎn)業(yè)解決方案,專注產(chǎn)業(yè)物聯(lián)網(wǎng)解決方案開發(fā)及區(qū)域深耕。(服務(wù)專線/QQ:400-001-9088,微信公眾號:研華嵌入式物聯(lián)網(wǎng))

提交
研華模塊化電腦SOM-7583:打造人形機(jī)器人超強(qiáng)“小腦”控制器
為什么選擇Windows on Arm?
新品 | 研華攜手高通,引領(lǐng)工業(yè)Wi-Fi 7解決方案新時(shí)代
研華以Edge Computing & Edge AI ,助力工業(yè)AI從技術(shù)創(chuàng)新到應(yīng)用落地
新品 | 研華國產(chǎn)系列存儲SSD“盾AMF-SY111”