一、國產(chǎn)大模型進入應(yīng)用拐點，開啟AI應(yīng)用元年

DeepSeek橫空出世，大模型技術(shù)拐點已至，技術(shù)突破引爆應(yīng)用革命。DeepSeek開啟了大模型應(yīng)用的潘多拉盒子?，F(xiàn)在是大模型應(yīng)用的黃金時期。

1、DeepSeek V3/R1開源，大模型性能好，推理成本低。應(yīng)用大模型的門檻降下來了，一統(tǒng)了中國大模型江湖。

2、AI Agent成了大模型應(yīng)用公認的應(yīng)用形式，企業(yè)現(xiàn)在切入AI Agent應(yīng)用正當時。

二、政務(wù)需求定制化的知識庫治理和AI agent應(yīng)用開發(fā)

原因是通用的基礎(chǔ)大模型基本無法滿足我們的實際業(yè)務(wù)需求。必須做知識庫治理，做提示詞工程設(shè)計，做agent開發(fā)，做工作流重構(gòu)，拆解成數(shù)字人員工崗位。

1、有以下有幾方面原因：

1）知識的局限性：（缺企業(yè)私有知識庫）

模型自身的知識完全源于它的訓(xùn)練數(shù)據(jù)，而現(xiàn)有的大模型的訓(xùn)練集基本都是構(gòu)建于網(wǎng)絡(luò)公開的數(shù)據(jù)，對于一些實時性的、非公開的或離線的數(shù)據(jù)是無法獲取到的，這部分知識也就無從具備。

2）幻覺問題：（沒有私有知識庫，幻覺無法抑制）

所有的AI模型的底層原理都是基于數(shù)學(xué)概率，其模型輸出實質(zhì)上是一系列數(shù)值運算，大模型也不例外，所以它有時候會一本正經(jīng)地胡說八道，尤其是在大模型自身不具備某一方面的知識或不擅長的場景。而這種幻覺問題的區(qū)分是比較困難的，因為它要求使用者自身具備相應(yīng)領(lǐng)域的知識。

三、政企為啥要私有化部署

1、數(shù)據(jù)安全性：

對于企業(yè)來說，數(shù)據(jù)安全至關(guān)重要，沒有企業(yè)愿意承擔數(shù)據(jù)泄露的風(fēng)險，將自身的私域數(shù)據(jù)上傳第三方平臺進行訓(xùn)練。這也導(dǎo)致完全依賴通用大模型自身能力的應(yīng)用方案不得不在數(shù)據(jù)安全和效果方面進行取舍。

四、硬件配置選擇和應(yīng)用選擇

DeepSeek模型能力分級適用使用場景：

1、嘗鮮版

1）PC帶一張英偉達4090卡，輕量級推理版本14B

2）個人辦公助理，代碼補齊，文檔處理

2、政企辦公助手

1）英偉達八卡4090一體機/H20，或者昇騰910B八卡一臺，標準級推理版本32B/70B
2）文檔生成，會議紀要記錄，報告整理，代碼輔助
 
3、政企生產(chǎn)應(yīng)用

1）一臺8卡H20/H800，信創(chuàng)：兩臺臺昇騰八卡910B，專業(yè)級推理版本（滿血版671B）
2）企業(yè)需要的各類AI應(yīng)用都可以定制開發(fā)，不夠再橫向擴展。

4、總結(jié)

政企用，兩個選擇，一個辦公助手，一個應(yīng)用開發(fā)。

1）32B/70B，

一臺英偉達4090/5090/H20，4卡/8卡

信創(chuàng)：一臺昇騰910B

2）滿血671B，

一臺英偉達H20/H800，8卡

信創(chuàng)兩臺/四臺昇騰910B

免責聲明：本文來源于“數(shù)字化轉(zhuǎn)型分享”公眾號，本文僅代表作者個人觀點，不代表薩科微及行業(yè)觀點，只為轉(zhuǎn)載與分享，支持保護知識產(chǎn)權(quán)，轉(zhuǎn)載請注明原出處及作者，如有侵權(quán)請聯(lián)系我們刪除。

企業(yè)咨詢和陪跑請掃碼聯(lián)系