工業(yè)機(jī)器人

人工智能:24年較廣泛的匯編

ainet.cn   2025年01月06日

1、基礎(chǔ)概念

1.1 基礎(chǔ)定義

大模型(Large Model,也稱基礎(chǔ)模型,即 Foundation Model)是指容量較大,用于深度學(xué)習(xí)任務(wù)的模型,通常具有海量的參數(shù)和復(fù)雜的架構(gòu)。大模型具有更好的通用性、精度和效率,可以通過預(yù)訓(xùn)練或其他方式在大型數(shù)據(jù)集上進(jìn)行學(xué)習(xí),再通過微調(diào)高效地處理計算機(jī)視覺、自然語言處理等復(fù)雜任務(wù)。隨著大模型技術(shù)的不斷發(fā)展,關(guān)于“大模型”的標(biāo)準(zhǔn)也不斷發(fā)生新的變化。早期,數(shù)百萬或幾千萬個參數(shù)的模型就被認(rèn)為是“大模型”。但現(xiàn)在,由于模型的參數(shù)量和計算復(fù)雜度都在不斷增加,數(shù)億甚至數(shù)十億個參數(shù)的模型也越來越多。

ChatGPT 對大模型的解釋更為通俗易懂,重點(diǎn)突出類似人類的歸 納和思考能力:大模型本質(zhì)上是一個使用海量數(shù)據(jù)訓(xùn)練而成的深度神經(jīng)網(wǎng)絡(luò)模型,其巨大的數(shù)據(jù)和參數(shù)規(guī)模,實(shí)現(xiàn)了智能的涌現(xiàn),展現(xiàn)出類似人類的智能。

業(yè)界把大模型通常分為通用大模型、行業(yè)大模型兩類。行業(yè)大模型是指在特定行業(yè)領(lǐng)域應(yīng)用的大型語言模型。與通用大模型相比,行業(yè)大模型更加專注于某個特定的行業(yè),例如政務(wù)、金融、醫(yī)療、法律等。行業(yè)大模型通過在該行業(yè)的領(lǐng)域數(shù)據(jù)上進(jìn)行訓(xùn)練和優(yōu)化,可以更好地理解和處理該行業(yè)的專業(yè)術(shù)語、規(guī)范和語義。行業(yè)大模型的發(fā)展得益于大數(shù)據(jù)和深度學(xué)習(xí)等技術(shù)的進(jìn)步,以及對各個行業(yè)特定需求的理解。通過訓(xùn)練行業(yè)大模型,可以利用模型的語言理解和生成能力來解決該行業(yè)中的各種問題。

1.2 常用名詞

大語言模型( Large Language Model):通常是具有大規(guī)模參數(shù)和計算能力的自然語言處理模型,例如 OpenAl 的 GPT-4 模型。這 些模型可以通過大量的數(shù)據(jù)和參數(shù)進(jìn)行訓(xùn)練 ,以生成人類類似的文本或回答自然語言的問題。大型語言模型在自然語言處理、文本生成和智能對話等領(lǐng)域有廣泛應(yīng)用。

視覺大模型:視覺大模型是指具有千萬級別或更多參數(shù)的神經(jīng)網(wǎng)絡(luò)模型,這些模型在計算機(jī)視覺領(lǐng)域中廣泛應(yīng)用。視覺大模型可以用于圖像分類、目標(biāo)檢測、語義分割等任務(wù),具有很高的準(zhǔn)確性和泛化能力。一般使用卷積神經(jīng)網(wǎng)絡(luò)( CNN)或可變形卷積神經(jīng)網(wǎng)絡(luò)(Transformers)進(jìn)行構(gòu)建。

多模態(tài)大模型:多模態(tài)大模型指的是將文本、圖像、視頻、音頻等多模態(tài)信息聯(lián)合起來進(jìn)行訓(xùn)練的模型。

涌現(xiàn)能力:在特定任務(wù)上,隨著模型規(guī)模提升,模型性能突然出現(xiàn)顯著提升,不再是通常的線性增長,而是呈指數(shù)級快速上漲,出現(xiàn)原來不具備的能力。

GPT( Generative Pretrained Transformer) :是基于深度學(xué)習(xí)技術(shù),用于自然語言處理的預(yù)訓(xùn)練模型。旨在生成自然語言文本并處理各種自然語言處理任務(wù),如文本生成翻譯、摘要等。它通常在單向生成的情況下使用,即根據(jù)給定的文本生成連貫的輸出。

ChatGPT: ChatGPT是人工智能技術(shù)驅(qū)動的自然語言處理工具,專注于對話和交互式對話。它經(jīng)過特定的訓(xùn)練,以更好地處理多輪對話和上下文理解。ChatGPT 設(shè)計用于提供流暢、連貫和有趣的對話體驗(yàn),以響應(yīng)用戶的輸入并生成合適的回復(fù)。

AIGC(Artificial Intelligence Generated Content):指基于生成對抗網(wǎng)絡(luò)、大型預(yù)訓(xùn)練模型等人工智能的技術(shù)方法 ,通過已有數(shù)據(jù)的學(xué)習(xí)和識別,以適當(dāng)?shù)姆夯芰ι上嚓P(guān)內(nèi)容的技術(shù)。例如,通過輸入關(guān)鍵詞、描述或樣本,AIGC 可以生成與之相匹配的文章、圖像、音頻等。

1.3 相關(guān)特性

大模型很大程度依賴于人工智能本身的特征,除此之外還有許多自身獨(dú)特的特征,許多專家、學(xué)者從不同角度進(jìn)行了總結(jié)。本文在借鑒專家總結(jié)的基礎(chǔ)上,凝練出大模型的以下 5 個特征:

1)大規(guī)模:大模型包含數(shù)十億個參數(shù),模型大小可以達(dá)到數(shù)百GB 甚   至更大。巨大的模型規(guī)模使大模型具有強(qiáng)大的表達(dá)能力和學(xué)習(xí)能力。

2)高性能:大模型通常具有更強(qiáng)大的學(xué)習(xí)能力和泛化能力,能夠在各種任務(wù)上表現(xiàn)出色,包括自然語言處理、圖像識別、語音識別等。

3)多任務(wù):大模型通常會一起學(xué)習(xí)多種不同的NLP 任務(wù),如機(jī)器翻  譯、文本摘要、問答系統(tǒng)等。這可以使模型學(xué)習(xí)到更廣泛和泛化的語言理解能力。

4)大訓(xùn)練:大模型需要海量的數(shù)據(jù)來訓(xùn)練,通常在 TB 以上甚至 PB   級別的數(shù)據(jù)集。只有大量的數(shù)據(jù)才能發(fā)揮大模型的參數(shù)規(guī)模優(yōu)勢。

5)大資源:訓(xùn)練大模型通常需要數(shù)百甚至上千個 GPU,以及大量的時 間,通常在幾周到幾個月。

1.4 產(chǎn)業(yè)分布

大模型產(chǎn)業(yè)按照上中下游可劃分為底層算力服務(wù)商、大模型建設(shè)商、以及行業(yè)解決方案提供商。

底層算力服務(wù)商:主要包括數(shù)據(jù)、網(wǎng)絡(luò)、訓(xùn)練工具、芯片等資源,其中英偉達(dá)單卡芯片支持完成百億參數(shù)級的模型訓(xùn)練工作,為大模型訓(xùn)練提供硬件基礎(chǔ);華為、百度、阿里、騰訊等大型企業(yè)開發(fā)專有的網(wǎng)絡(luò)協(xié)議,并結(jié)合硬件和芯片,為訓(xùn)練提供高帶寬的網(wǎng)絡(luò)基礎(chǔ)。

通用大模型建設(shè)商:科技企業(yè)與研究機(jī)構(gòu)積極布局訓(xùn)練框架、模型庫、訓(xùn)練集和工具平臺,不斷優(yōu)化算法和架構(gòu),加快大模型的訓(xùn)練部署,在搜索、對話、推薦等基礎(chǔ)功能方面已經(jīng)形成較為成熟的解決方案。

行業(yè)解決方案提供商:相關(guān)行業(yè)廠商可以針對相關(guān)需求進(jìn)行特定集的訓(xùn)練,從而使大模型工具能夠賦能復(fù)雜的政務(wù)場景,例如政務(wù)大模型、辦公協(xié)同大模型、智能助手、智能客服機(jī)器人、工業(yè)智能等。同時,大模型在應(yīng)用過程中產(chǎn) 生的數(shù)據(jù)反哺給訓(xùn)練集 ,使大模型更加精準(zhǔn)有效。

1.5 政策引導(dǎo)

國家:早在 2017 年 , 國務(wù)院就發(fā)布了《新一代人工智能發(fā)展規(guī)劃》 ,強(qiáng)調(diào)人工智能是引領(lǐng)未來的戰(zhàn)略性技術(shù),要把人工智能發(fā)展放在國家戰(zhàn)略層面來系統(tǒng)布局,預(yù)計到 2025 年, 國家會“初步建立人工智能法律法規(guī)、倫理規(guī)范和政策體系,形成人工智能安全評估和管控能力”。近幾年,以 ChatGPT 為代表的生成式人工智能技術(shù)高速發(fā)展,但是這種技術(shù)在為社會帶來便利的同時也帶來了相關(guān)的法律風(fēng)險。在此背景下,國家網(wǎng)信辦等七部門正式發(fā)布了《生成式人工智能服務(wù)管理暫行辦法》(以下簡稱《辦法》),對生成式人工智能進(jìn)行專項 監(jiān)管,于 2023 年 8 月 15 日施行?!掇k法》從技術(shù)發(fā)展與治理、服務(wù)  規(guī)范、監(jiān)督檢查和法律責(zé)任等方面對生成式人工智能發(fā)展和應(yīng)用提出  指導(dǎo)和要求。

北京:2023 年 5 月,北京市政府印發(fā)《北京市促進(jìn)通用人工智能創(chuàng)新發(fā)展的若干措施》,針對提升算力資源統(tǒng)籌供給能力、提升高質(zhì)量數(shù)據(jù)要素供給能力、系統(tǒng)構(gòu)建大模型等通用人工智能技術(shù)體系、推動通用人工智能技術(shù)創(chuàng)新場景應(yīng)用、探索營造包容審慎的監(jiān)管環(huán)境五大方向,提出 21 項具體措施。同月印發(fā)《北京市加快建設(shè)具有全球影響力的人工智能創(chuàng)新策源地實(shí)施方案( 2023-2025 年)》對本市人工智能發(fā)展戰(zhàn)略進(jìn)行系統(tǒng)部署和優(yōu)化,從突破關(guān)鍵技術(shù)、夯實(shí)底層基礎(chǔ)、構(gòu)建產(chǎn)業(yè)方陣、推動場景建設(shè)、構(gòu)建創(chuàng)新生態(tài)五大方向進(jìn)行工作部署。

上海:為貫徹國家發(fā)展新一代人工智能的戰(zhàn)略部署 ,推動上海大模型創(chuàng)新發(fā)展,2023 年 10 月,上海政府部門制定《上海市推動人工智能大模型創(chuàng)新發(fā)展若干措施( 2023-2025 年) 》、《推動區(qū)塊鏈、大模型技術(shù)賦能生產(chǎn)性互聯(lián)網(wǎng)服務(wù)平臺發(fā)展實(shí)施方案》等文件,從著力支持大模型創(chuàng)新能力、提升創(chuàng)新要素供給能級、推進(jìn)大模型創(chuàng)新應(yīng)用、營造一流創(chuàng)新環(huán)境 4 個方面,制定了相關(guān)措施。

廣東:2023 年 11 月,廣東省政府發(fā)布《關(guān)于加快建設(shè)通用人工 智能產(chǎn)業(yè)創(chuàng)新引領(lǐng)地的實(shí)施意見》,到 2025 年,智能算力規(guī)模實(shí)現(xiàn)全國第一、全球領(lǐng)先 ,通用人工智能技術(shù)創(chuàng)新體系較為完備,人工智 能高水平應(yīng)用場景進(jìn)一步拓展,核心產(chǎn)業(yè)規(guī)模突破 3000 億元,企業(yè)  數(shù)量超 2000 家;2023 年 12 月,廣東省政務(wù)服務(wù)數(shù)據(jù)管理局印發(fā)《廣東省加快數(shù)字政府領(lǐng)域通用人工智能應(yīng)用工作方案》,將全面深化“數(shù)字政府 2.0”建設(shè)。

安徽:2023 年 10 月,安徽省政府印發(fā)《安徽省通用人工智能創(chuàng) 新發(fā)展三年行動計劃( 2023—2025 年) 》 ,抓新一輪人工智能革命 機(jī)遇 ,依托大模型、大數(shù)據(jù)、大算力支持通用人工智能發(fā)展 ,推進(jìn)政府部門運(yùn)用人工智能技術(shù)改進(jìn)工作流程 ,健全多部門協(xié)同、扁平化管理機(jī)制 ,切實(shí)以高水平專業(yè)化能力更好推動高質(zhì)量發(fā)展。

福建:2023 年 9 月,福建省政府印發(fā)《福建省促進(jìn)人工智能產(chǎn)業(yè)發(fā)展十條措施》 ,提出布局提升算力基礎(chǔ)、提供普惠算力服務(wù)、推動數(shù)據(jù)開放應(yīng)用、加強(qiáng) 關(guān)鍵技術(shù)攻關(guān)、支持企業(yè)做大做強(qiáng)、鼓勵企業(yè)入園集聚發(fā)展、推廣典 型應(yīng)用場景、 引進(jìn)領(lǐng)軍人才團(tuán)隊、豐富教育培訓(xùn)體系、營造良好發(fā)展環(huán)境等十項措施。

省份

政策名稱

印發(fā)單位

時間

國家

《“數(shù)據(jù)要素 X”三年行動計劃(2024-2026 年)》

國家數(shù)據(jù)局

2023 年 12 月

《電子信息制造業(yè) 2023-2024 年穩(wěn)增長行動方 案》

工業(yè)和信息化部

2023 年 8 月

《生成式人工智能服務(wù)管理暫行辦法》

國家互聯(lián)網(wǎng)信息辦公室

2023 年 7 月

北京

《北京市加快建設(shè)具有全球影響力的人工智能創(chuàng) 新策源地實(shí)施方案( 2023-2025 年)》

北京市人民政府

2023 年 5 月

《北京市促進(jìn)通用人工智能創(chuàng)新發(fā)展的若干措施》

北京市人民政府辦公廳

2023 年 5 月

《北京市通用人工智能產(chǎn)業(yè)創(chuàng)新伙伴計劃》

北京市經(jīng)濟(jì)和信息化局、 市科委、中關(guān)村管委會、 市發(fā)展改革委

2023 年 5 月

《北京市促進(jìn)未來產(chǎn)業(yè)創(chuàng)新發(fā)展實(shí)施方案》

北京市人民政府辦公廳

2023 年 9 月

《人工智能算力券實(shí)施方案( 2023—2025 年)》

北京市經(jīng)濟(jì)和信息化局

2023 年 10 月

上海

《上海市推動人工智能大模型創(chuàng)新發(fā)展若干措施 (2023-2025 年)》

市經(jīng)濟(jì)信息化委、市發(fā)展 改革委、市科委、市委網(wǎng) 信辦、市財政局

2023 年 11 月

《上海市促進(jìn)人工智能產(chǎn)業(yè)發(fā)展條例》

上海市第十五屆人民代 表大會常務(wù)委員會

2022 年 10 月

《徐匯區(qū)關(guān)于支持人工智能大模型發(fā)展的若干意 見》

徐匯區(qū)科學(xué)技術(shù)委員會

2023 年 11 月

《推動區(qū)塊鏈、大模型技術(shù)賦能生產(chǎn)性互聯(lián)網(wǎng)服務(wù) 平臺發(fā)展實(shí)施方案》

上海市經(jīng)濟(jì)和信息化委 員會

2023 年 10 月

廣東

《廣東省人民政府關(guān)于加快建設(shè)通用人工智能產(chǎn) 業(yè)創(chuàng)新引領(lǐng)地的實(shí)施意見》

廣東省人民政府

2023 年 11 月

《廣東省加快數(shù)字政府領(lǐng)域通用人工智能應(yīng)用工 作方案》

廣東省政務(wù)服務(wù)數(shù)據(jù)管 理局

2023 年 12 月

安徽

《安徽省通用人工智能創(chuàng)新發(fā)展三年行動計劃 (2023—2025  年)》

安徽省科技廳

2023 年 10 月

《安徽省數(shù)字政府大模型場景應(yīng)用清單(第一批)》

安徽省數(shù)據(jù)資源局

2023 年 12 月

福建

《福建省促進(jìn)人工智能產(chǎn)業(yè)發(fā)展十條措施》

福建省人民政府

2023 年 9 月


1.6 市場規(guī)模

通過對市場規(guī)模數(shù)據(jù)的分析,能較為直觀地體現(xiàn)出企業(yè)對大模型應(yīng)用落地的熱情。大模型市場競爭格局呈現(xiàn)百舸爭流之勢,根據(jù)國際數(shù)據(jù)公司 IDC 預(yù)測,全球 AI 計算市場規(guī)模將從 2022 的 195.0 億美元增長到 2026 年的 346.6 億美元。其中,生成式 AI 計算市場規(guī)模將從 2022 年的 8.2 億美元增長到 2026 年的 109.9 億美元。

同時,IDC 對基于大模型的 AI 市場規(guī)模進(jìn)行了預(yù)測,預(yù)計中國人工智能市場規(guī)模在 2023 年將超過 147 億美元,到 2026 年這一規(guī)模將超過 263 億美元,對于大模型,市場都抱有較強(qiáng)的期待和較樂觀的預(yù)期,各行業(yè)需求正大力推動 AI 的發(fā)展,將推動市場的持續(xù)增長。

1.7 生態(tài)布局

大模型產(chǎn)業(yè)生態(tài)涉及基礎(chǔ)設(shè)施、模型與工具以及行業(yè)應(yīng)用,各類人工智能企業(yè)、研究機(jī)構(gòu)及硬件廠商已紛紛入局。報告從算力、數(shù)據(jù)、工具、應(yīng)用四個方面進(jìn)行產(chǎn)業(yè)生態(tài)分析。

算力:對于大模型的研發(fā)來說,最大的挑戰(zhàn)之一就是對龐大的算力基礎(chǔ)設(shè)施的需求?!吨袊斯ぶ悄苡嬎懔Πl(fā)展評估報告》(以下簡稱《報告》)從產(chǎn)業(yè)規(guī)模、行業(yè)算力變化、算力發(fā)展趨勢等多個維度,量化反映出人工智能算力正在加快成為創(chuàng)新力。從市場規(guī)???,2023年我國人工智能算力市場規(guī)模將達(dá)到 664 億元 ,同比增長 82.5%,人工智能算力需求快速增長。從行業(yè)滲透率看,互聯(lián)網(wǎng)行業(yè)作為人工智  能技術(shù)應(yīng)用的主陣地居于首位,電信、金融和制造業(yè)排名靠前。從地區(qū)分布看,《報告》公布的城市人工智能算力排行中,北京、杭州、深圳、上海、蘇州排名前五,智算中心的建設(shè)是拉動地區(qū)實(shí)現(xiàn)人工智能發(fā)展的重要驅(qū)動力。從應(yīng)用場景看,知識管理、對話式應(yīng)用、代碼生成等是企業(yè)應(yīng)用人工智能的主要場景。目前, 67%的中國企業(yè)已經(jīng)開始探索人工智能的應(yīng)用機(jī)會或已經(jīng)開始進(jìn)行相關(guān)資金投入,中國的人工智能技術(shù)應(yīng)用已經(jīng)邁入加速階段。

數(shù)據(jù):我國有著大量優(yōu)質(zhì)、結(jié)構(gòu)化的數(shù)據(jù)集。受益于移動互聯(lián)網(wǎng) 時代積累的海量用戶、應(yīng)用和數(shù)據(jù),互聯(lián)網(wǎng)企業(yè)在自有數(shù)據(jù)上更具特色化和獨(dú)占性,疊加更強(qiáng)大的數(shù)據(jù)處理能力,從而能夠通過數(shù)據(jù)優(yōu)勢帶來模型訓(xùn)練成果的差異。例如, 阿里在研發(fā) M6(中文預(yù)訓(xùn)練模型)時,構(gòu)建了最大的中文多模態(tài)預(yù)訓(xùn)練數(shù)據(jù)集 M6-Corpus,包含超過1.9TB 圖像和292GB文本,涵蓋百科全書、網(wǎng)頁爬蟲、問答、論壇、產(chǎn)品說明等數(shù)據(jù)來源,并設(shè)計了完善的清潔程序以確保數(shù)據(jù)質(zhì)量。百度ERNIE 模型的訓(xùn)練數(shù)據(jù)集中也運(yùn)用了大量百度百科、百度搜索以及百度知識圖譜等生態(tài)內(nèi)數(shù)據(jù),通過更高質(zhì)量的數(shù)據(jù)保障了模型的訓(xùn)練效果。

序號

數(shù)據(jù)集

來源

主要內(nèi)容

1

中文維基百科數(shù)據(jù)集

維基百科

維基百科中的中文文本數(shù)據(jù)

2

百度百科數(shù)據(jù)集

百度百科

百度百科中的中文文本數(shù)據(jù)

3

中文自然語言處理數(shù) 據(jù)集( CLUE)

CLUE

中文常用詞停用詞數(shù)據(jù)集、漢語拆字詞表、中文詞表、  人名語料庫、中文縮寫數(shù)據(jù)庫、中文專業(yè)領(lǐng)域詞庫、 中文敏感詞庫、維基百科詞條(104 萬)、新聞?wù)Z料  json 版(250 萬篇)、百科類問答 json 版(150 萬)、 社區(qū)問答 json 版(410 萬)、翻譯語料(520 萬對) 等

4

WuDaoCorpora

北京智源 人工智能 研究院

中文文本數(shù)據(jù)集 ( 3TB)、多模態(tài)數(shù)據(jù)集 ( 90TB) 與中文對語改據(jù)集( 181G) ,使用 30 億個網(wǎng)頁作  為原始致?lián)?,并從中提取高文本密度的文本內(nèi)容。

5

中文自然語言處理共 享平臺( ChineseNLP)

清華大學(xué) 自然語言 處理與社 會人文計  算實(shí)驗(yàn)室

包括新聞、論壇、微博、問答等

6

百度中文問答數(shù)據(jù)集 (DuReader)

百度擔(dān)索引擎數(shù)據(jù)、 百度知道    問答社區(qū)

從真實(shí)的匿名用戶查詢中采樣 ,數(shù)據(jù)量 831.3K。DuReader 2.0 版本包含超過  300K 個問題、140 萬 份證據(jù)文件和 660K 個人工生成的答案。

7

人民日報數(shù)據(jù)集

人民日報

由人民日報語料庫1998 版和 2014版生成 ,包含人名、地名和機(jī)構(gòu)名3 類常見的實(shí)體類型。

 

工具:在模型與工具方面,科技巨頭企業(yè)以及研究機(jī)構(gòu)積極布局 CV、 NLP、多模態(tài)等多個方向的訓(xùn)練框架、模型庫、工具平臺及模型托管交易平臺,大幅降低大模型快速訓(xùn)練部署的算力依賴。

應(yīng)用:隨著前沿技術(shù)推動產(chǎn)業(yè)全鏈條升級,大模型正在滲透至千行百業(yè)。從大模型應(yīng)用類型來看,國外研發(fā)的大模型主要以通用大模型為主,而我國國產(chǎn)大模型更加貼近產(chǎn)業(yè)端,呈現(xiàn)出行業(yè)大模型占比較高的發(fā)展形態(tài)。大模型的價值在于應(yīng)用,要在多樣化的實(shí)際應(yīng)用場景中賦能數(shù)字經(jīng)濟(jì)、數(shù)字社會和數(shù)字政府的發(fā)展。將大模型切實(shí)投入到城市發(fā)展、金融科技、生物醫(yī)藥、工業(yè)制造、科學(xué)研究等領(lǐng)域,在實(shí)體產(chǎn)業(yè)落地,為社會經(jīng)濟(jì)帶來實(shí)實(shí)在在的價值。在我國,利用大模型加速千行百業(yè)的數(shù)字化、智能化轉(zhuǎn)型,深耕實(shí)體經(jīng)濟(jì)行業(yè) ,正在成為業(yè)界的共同選擇。

2、主流大模型

2.1 百度:文心大模型

文心大模型4.0具備強(qiáng)大的理解、生成、邏輯和記憶的能力。根據(jù)百度官方公眾號,文心一言于203年8月31日向全社會開放,至今已有超7000萬用戶。10月17日,在百度世界2023大會上,文心大模型4.0版本正式發(fā)布。文心4.0實(shí)現(xiàn)了基礎(chǔ)模型的全面升級,在理解、生成、 邏輯和記憶能力上都有著顯著提升,其中邏輯的提升幅度達(dá)到理解的近3倍,記憶的提升幅度也達(dá)到了理解的2倍多。

百度智能云:伴隨著文心大模型4.0的發(fā)布,客戶對A I大模型的需求有望打開云業(yè)務(wù)新的增長空間。生成式A I和LLM的增速快。大模型的2B需求分為幾個層面:1)API調(diào)用:文心4.0已開放面向企業(yè)客戶的API,目前文心大模型API的調(diào)用量呈指數(shù)級增長。2)大模型解決方案:百度具備完善的芯片、框架、模型、應(yīng)用四層技術(shù)棧,支持企業(yè)客戶基于文心大模型構(gòu)建企業(yè)級大模型和行業(yè)應(yīng)用,也支持企業(yè)客戶基于文心千帆平臺訓(xùn)練自己的大模型。

目前大模型可應(yīng)用于電商、短視頻、教育、游戲、醫(yī)療、金融等六大行業(yè):

1)電商行業(yè):通過使用大模型,可以幫助電商平臺提升    用戶體驗(yàn)、增加銷售額同時大大降低運(yùn)營成本;

2)短視頻行業(yè):可以實(shí)現(xiàn)內(nèi)容創(chuàng)作文本的輸出,提高短視頻內(nèi)容創(chuàng)作者的效率;

3)教育行業(yè):可以幫助提升教育教學(xué)效果、個性化教育水平、輔助教育決策能力;

4)游戲行業(yè):在研發(fā)端,可以提升游戲設(shè)計、游戲   代碼開發(fā)的工作效率;在體驗(yàn)端,可以輔助開發(fā)者提供游戲優(yōu)化方案,提升游戲體驗(yàn);

5)醫(yī)療行業(yè):為醫(yī)生提供更加準(zhǔn)確和全面的   診斷和治療建議,以及幫助醫(yī)生進(jìn)行疾病檢測和預(yù)測;

6)金融行業(yè):幫助銀行和金融機(jī)構(gòu)進(jìn)行風(fēng)險評估、市場預(yù)測和欺詐檢測等任務(wù)。

文心大模型重構(gòu)廣告系統(tǒng),2023年 9月7日,百度營銷發(fā)布全球首個AI Native營銷平臺“輕舸” 。通過文心大模型重構(gòu)廣告系統(tǒng),提升廣告素材 創(chuàng)作效率和定向能力,“輕舸”可以自然語言和表達(dá)、高效推送、隨時調(diào)度A I能力,大大提升投放效率,便利用戶投放。至今已有數(shù) 千名廣告客戶采用新廣告系統(tǒng),采用這些新功能的廣告客戶實(shí)現(xiàn)了平均高個位數(shù)的轉(zhuǎn)化率提升。

運(yùn)用文心大模型的能力重構(gòu)旗下應(yīng)用,為用戶帶來全新AI原生體驗(yàn)。百度目前已經(jīng)基于文心大模型重構(gòu)了百度文庫、地圖、網(wǎng)盤、如流等原有應(yīng)用,也推出了新的AI原生應(yīng)用百度GBI和Comate代碼助手。重構(gòu)后的AI原生應(yīng)用,在用戶量、活躍度等數(shù)據(jù)指標(biāo)方面實(shí)現(xiàn)顯著增長。例如,百度文庫AI新功能累計使用用戶達(dá)3000萬,付費(fèi)率明顯提升;百度網(wǎng)盤個人助理“云一朵”用戶累計突破2000萬。各應(yīng)用AI功能:“云一朵”可以幫助用戶答疑解惑、總結(jié)文檔和視頻、提供創(chuàng)作靈感;AI向?qū)Э梢蕴峁╊A(yù)估行程、沿途規(guī)劃、安排聚會地點(diǎn)等服務(wù);百度文庫AI助理可以進(jìn)行內(nèi)容總結(jié)、創(chuàng)作、PPT編輯等。

2.2 阿里巴巴:通義大模型

通義大模型:包括統(tǒng)一底座“M6-OFA”,三大通用模型“通義-M6”“通義-AliceMind”“通義-視覺大模型”,以及行業(yè)層面的不同垂直領(lǐng)域?qū)I(yè)模型。

阿里云戰(zhàn)略為“A I驅(qū)動,公共云優(yōu)先”。

淘寶問問,是淘寶App推出的ToC AI應(yīng)用,可以根據(jù)用戶輸入信息,通過深度合成算法解答用戶問題,提供內(nèi)容建議及相關(guān)商品 推薦,目前淘寶問問僅向C端使用者開放,底層模型為通義千問。      自上線測試版以來,累計使用人次超500萬;淘寶問問處理的需求中25%是非購物類場景需求,未來有望開拓購物之外的 更多使用場景,向泛生活消費(fèi)類平臺轉(zhuǎn)型;未來有望以接口方式向B端商家開放,助力其將品牌內(nèi)容、商品優(yōu)勢更高效傳達(dá)給消費(fèi)者,同時了解消費(fèi)者更長尾的購物需求。

釘釘開放智能化底座AI PaaS給企業(yè)客戶,AI PaaS包含模型調(diào)度平臺、模型訓(xùn)練平臺和插件開發(fā)平臺三個部分,降低企業(yè)開發(fā)運(yùn)維的門檻,幫助企業(yè)數(shù)據(jù)與大模型建立聯(lián)系。目前釘釘軟件的訂閱服務(wù)客戶已經(jīng)超過了10萬家,付費(fèi)DAU達(dá)到2300萬。

萬相臺無界版和阿里媽媽百靈是阿里媽媽推出的兩大ToB一站式智能營銷投放產(chǎn)品,其中萬相臺無界版以GMV為導(dǎo)向,側(cè)重站內(nèi)投放; 阿里媽媽百靈整合站內(nèi)外媒體資源,側(cè)重品牌營銷。二者依托阿里媽媽專屬A I大模型,將消費(fèi)者觸達(dá)、營銷推廣等多種經(jīng)營場景智能化, 助力商家降本增效。具體案例:日系洗護(hù)類品牌Clay nal就轉(zhuǎn)變了以品類詞為核心的投放方式,利用萬相臺無界版7大場景能力找到了全新爆款群,收藏    加購成本降低了12%,ROI提升了近24%。

2.3 騰訊:混元大模型

混元大模型是騰訊自研的通用大語言模型。具有超千億的參數(shù)規(guī)模、超2萬億tokens的預(yù)訓(xùn)練語料。23年9月,騰訊混元大模型正式通過騰訊云對外開放。用戶可以直接調(diào)用API接口,或者將騰訊混元作為基底模型,在公有云上進(jìn)行精調(diào)。

騰訊云行業(yè)大模型方案,依托騰訊云TI平臺,打造行業(yè)大模型精選商店,為客戶提供MaaS(Model-as-a-Service)一站式服務(wù)。超過180個騰訊內(nèi)部業(yè)務(wù)已接入騰訊混元,包括騰訊會議、騰訊文檔、企業(yè)微信、騰訊廣告和微信搜一搜等。我們認(rèn)為,SaaS產(chǎn)品在接入混元大模型后,不僅帶來了更豐富的A I功能,也提供了新的銷售機(jī)會,有望帶動SaaS產(chǎn)品用戶數(shù)和客單價的提升。

混元助手,是基于騰訊混元大模型的多模態(tài)對話Bot產(chǎn)品。隨著騰訊混元大模型首批通過備案,混元助手以微信小程序的形式陸續(xù)面向公眾開放。在場景的A I聊天頁面之外,還在“靈感發(fā)現(xiàn)”頁面提供了多個場景化的應(yīng)用。

騰訊會議:A I小助手,已經(jīng)上線部分功能。提供會前日程協(xié)調(diào)、會中問答、會后智能紀(jì)要、會議待辦項等新功能。其中,“智能錄制不限次(包括智能紀(jì)要)”已經(jīng)加入付費(fèi)版本專屬權(quán)益,有望帶動騰訊會議付費(fèi)率的提升。

騰訊文檔:智能助手。支持?jǐn)?shù)十種文本創(chuàng)作場景,提供文檔創(chuàng)作、文本潤色、文本校閱、表格公式及圖表生成等能力,提高創(chuàng)作效率,提升創(chuàng)作體驗(yàn)。目前智能助手已經(jīng)率先嵌入智能文檔中,需要申請后參與試用;未來還將嵌入智能表格、PPT、思維導(dǎo)圖等文檔類型。參照Notion A I,智能助手有望帶動騰訊文檔付費(fèi)率和客單價的提升。

增強(qiáng)廣告定向和歸因的準(zhǔn)確性:2022年6月,騰訊廣告對外公布了借助大模型降本增效的進(jìn)展:首先以混元A I大模型助力系統(tǒng)   深刻理解廣告內(nèi)容,其次以精排大模型提升廣告和用戶的匹配準(zhǔn)確率。騰訊連續(xù)4個季度在業(yè)績公告中提及機(jī)器學(xué)習(xí)平臺升級   和廣告A I模型。

A I智能化創(chuàng)作廣告素材:騰訊廣告以騰訊混元大模型為基礎(chǔ),結(jié)合廣告應(yīng)用場景,實(shí)現(xiàn)含文生圖及文生視頻在內(nèi)的多種智能化廣告素材創(chuàng)作能力,滿足千人千面。目前,騰訊廣告“A I創(chuàng)意工作臺”已覆蓋電商、文旅、閱讀資訊、游戲等多個行業(yè)場景, 針對閱讀行業(yè)還在持續(xù)打磨古言、都市、玄幻等小說人物形象模型,已從9月份開始陸續(xù)為廣告主提供“素材創(chuàng)作” 、“二次   編輯&一鍵投放” 、“商品生成”等核心能力。

2.4 字節(jié)跳動:云雀大模型

A I方面的積累主要集中在機(jī)器翻譯、智能語音、視頻圖像和多模態(tài)四個領(lǐng)域。自研原生多模態(tài),目前多模態(tài)模型主要是基于開源基礎(chǔ)的各個模態(tài)子模型:非自回歸模型DA-Transformer、端到端語音到文本翻 譯模型ConST、多顆粒度的視覺語言模型X-VLM、圖片和文本統(tǒng)一生成模型DaVinci等。多模態(tài)模型應(yīng)用廣泛:抖音、今日頭條、剪映等產(chǎn)品層面推出過繪畫類、特效類、視頻剪輯、視頻生成等AIGC功能。

火山引擎發(fā)布大模型服務(wù)平臺“火山方舟”,可為開發(fā)者和企業(yè)提供模型訓(xùn)練、推理、評測、精調(diào)  等全方位的平臺服務(wù)(MaaS,即Model-as-a-Service)?;鹕揭鎸⒆止?jié)跳動快速發(fā)展過程中積累的增長方法、技術(shù)能力和工具開放給外部企業(yè),提供云基礎(chǔ)、 視頻與內(nèi)容分發(fā)、數(shù)智平臺VeDI、 人工智能、開發(fā)與運(yùn)維等服務(wù),幫助企業(yè)在數(shù)字化升級中實(shí)現(xiàn)持續(xù)增長。

豆包是字節(jié)推出的大模型產(chǎn)品,可以通過網(wǎng)頁直接訪問,包括豆包本身以及其他  多功能小助手,如聊天小寧、寫作助手、智能體創(chuàng)建助手、A I圖片生成、A I漫畫生成、英語學(xué)習(xí)助手、MUSE音樂電臺等。

“悟空搜索”的應(yīng)用程序更名為“小悟空”,其主要特色是提供“無廣告搜索”體驗(yàn)。小悟空應(yīng)用內(nèi)集成了一系列基于   大語言模型的A I工具,這些工具支持智能對話和輔助推薦功能。

2.5 智譜

大模型GLM-130B,并基于此推出對話模型ChatGLM,開源單卡版模型ChatGLM-6B,并推出A I提效助手智譜清言(ChatGLM)。AIGC模型及其產(chǎn)品矩陣包括高效率代碼模型CodeGeeX、多模態(tài)理解模型CogVLM和文生圖模型CogView等;建立大模型MaaS 開放平臺,致力于A I生態(tài)建設(shè)。

產(chǎn)品

功能介紹

應(yīng)用實(shí)例

底層模型

A I開放平臺

為開發(fā)者提供開放平臺,使其通過API調(diào)用,實(shí)現(xiàn)基于ChatGLM系列模型(ChatGLM-130B、ChatGLM-  6B、GLM-130B)、CodeGeeX代碼大模型、多模態(tài)大 模型(CogView、CogVideo)快速搭建A I應(yīng)用。

電子簽約SaaS提供商上上簽集成GLM-130B大模型與行業(yè)數(shù)據(jù),推出簽約智能產(chǎn)品Hubble哈勃。

-

ChatGLM(智譜清言)

基于ChatGLM2開發(fā)的千億參數(shù)對話模型,支持多輪 對話,具備內(nèi)容創(chuàng)作、信息歸納總結(jié)、代碼生成等 能力。

代碼生成能力:支持100余種編程語言,幫助用戶快速準(zhǔn)確生成代碼。

ChatGLM3:具問答和對話功能的千億中英語言  模型,不同于 BERT、GPT-3 以及 T5 的架構(gòu), 是一個包含多目標(biāo)函數(shù)的自回歸預(yù)訓(xùn)練模型。

CodeGeeX

基于CodeGeeX代碼大模型的全能的智能編程助手, 支持主流編程語言,并適配多種主流IDE。

可實(shí)現(xiàn)代碼的生成與補(bǔ)全、自動添加注釋、 代碼翻譯以及智能問答等功能。

CodeGeeX:千億級參數(shù)的多編程語言代碼生成  大模型,在超過 20 種編程語言的大型代碼語  料庫上進(jìn)行預(yù)訓(xùn)練。

寫作蛙

免費(fèi)智能寫作工具,可生成AI原創(chuàng)內(nèi)容創(chuàng)意以及完 成各種文本任務(wù),如文章、報告、新聞稿、營銷文 案等。

可根據(jù)不同創(chuàng)作模板完成不同類型的文案創(chuàng)作,如“元旦祝福”、“文章潤色”等。

GLM(General Language Model):通用語言模 型,通過自回歸空白填充目標(biāo)進(jìn)行預(yù)訓(xùn)練,并  可在各種自然語言理解和生成任務(wù)上進(jìn)行微調(diào)。

小呆對話

基于GLM模型的智能對話機(jī)器人,可根據(jù)用戶定義的人設(shè)切換對話風(fēng)格、進(jìn)行有情感地流暢表達(dá)。

可創(chuàng)造多種不同人設(shè),如“林妹妹” 、“帶貨主播”等。

GLM

CogView/Cog   Video

基于CogView/CogViedeo大模型的文(中文)生圖工具

可根據(jù)用戶輸入的中文文字描述生成相關(guān)圖片/視頻。

•  CogView:全球首個中文的全領(lǐng)域文到圖生成模型,40億級參數(shù);
  •  CogVideo:是全球首個開源的大規(guī)模文本到視頻生成模型,90億級參數(shù)。

2.6 百川

百川智能先后發(fā)布Baichuan-7B/13B,Baichuan2-7B/13B四款開源模型和Baichuan-53B、Baichuan2-53B、Baichuan2-192K、Baichuan2-Turbo四款閉源模型,并與國家級科研機(jī)構(gòu)鵬城實(shí)驗(yàn)室共同發(fā)布基于國產(chǎn)算力訓(xùn)練的最長上下文窗口大模型“鵬城-百川·腦海33B”。

模型

基本信息

Baichuan-7B

基于Transformer結(jié)構(gòu),在大約1.2萬億tokens上訓(xùn)練而成,參數(shù)量70億,支持中英雙語,上下文窗口長度為4096。

Baichuan-   13B

在Baichuan-7B的基礎(chǔ)上提升參數(shù)量到130億,在高質(zhì)量語料上訓(xùn)練1.4萬億tokens(同等級別開源模型中訓(xùn)練數(shù)據(jù)最多,超LLaMA-13B 40%);同時開源  預(yù)訓(xùn)練模型(Baichuan-13B-Base)和對齊模型(Baichuan-13B-Chat) ,服   務(wù)于開發(fā)者與普通用戶。

Baichuan-   53B

得益于團(tuán)隊的搜索引擎背景,Baichuan-53B采用高質(zhì)量知識數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練, 并通過搜索增強(qiáng)(融合指令意圖理解、智能搜索和結(jié)果增強(qiáng)等關(guān)鍵組件)減   少模型幻覺;此外,進(jìn)行對齊調(diào)整以使模型同人類價值觀對齊,從而生成“更令人滿意”的回復(fù)內(nèi)容。

Baichuan2-  7B/13B

包括Baichuan2-7B、Baichuan2-13B,基于2.6萬億高質(zhì)量多語言數(shù)據(jù)訓(xùn)練而   成,在數(shù)學(xué)、代碼、安全、邏輯推理、語義理解等能力有顯著提升。

Baichuan2-  53B

對Baichuan-53B各項能力進(jìn)行提升(邏輯推理+100%,數(shù)學(xué)+31%,語言理解+29%,文本創(chuàng)作+18%,知識問答+9%) ,重點(diǎn)升級邏輯推理與數(shù)學(xué)能力;通過  高質(zhì)量數(shù)據(jù)體系和搜索增強(qiáng)極大降低模型幻覺;開放API接口,以方便企業(yè)與  開發(fā)者將其集成至自己的應(yīng)用程序或服務(wù)中。

Baichuan2-  192K

上下文窗口長度高達(dá)192K,在長窗口文本生成質(zhì)量、長上下文理解以及長文   本問答、摘要等方面全面領(lǐng)先Claude2;通過算法和工程優(yōu)化,實(shí)現(xiàn)窗口長度  和模型性能之間的平衡;以API調(diào)用和私有化部署的方式提供給企業(yè)用戶。

Baichuan2-  Turbo

融合長上下文窗口和搜索增強(qiáng),鏈接大模型與領(lǐng)域知識、全網(wǎng)知識;支持多   種文檔(PDF、Word)上傳及網(wǎng)址輸入;開放API。

 

2.7 月之暗面


基于千億大模型的智能助手Kimi Chat,核心能力為長文本能力(Long Context):2023年10月9日,Moonshot A I推出首款產(chǎn)品,擁  有長達(dá)20萬漢字的上下文處理能力,據(jù)Moonshot A I官方,這是目前全球市場上能夠產(chǎn)品化使用的大模型服務(wù)中所能支持的最長上下文輸入長度。此外,Kimi Chat還可處理多種文檔格式(如PDF、Excel等),具備較強(qiáng)的多語言能力,以及調(diào)用搜索引擎獲取信息,旨在為用戶提供強(qiáng)大、智能的對話伙伴,并為其工作、學(xué)習(xí)、生活提供助力。

應(yīng)用實(shí)例

核心優(yōu)勢

Kimi  Chat根據(jù)提供的文章鏈接,快速總結(jié)分析公眾號長文;
  Kimi Chat根據(jù)提供的上市公司財報,快速總結(jié)要點(diǎn);

處理長文本:依靠長文本技術(shù),Kimi Chat擁有長達(dá)20萬漢字的  上下文處理能力,這意味著其能夠覆蓋更多應(yīng)用場景,且可直接基于全文理解進(jìn)行問答和信息處理,  從而極大程度上解決大模型的“幻覺”問題。

可閱讀長篇中文小說(如《三體》),并梳理內(nèi)容概要、角色介紹等

支持多語言:相比當(dāng)前市面上以英文為基礎(chǔ)訓(xùn)練的大模型服務(wù),Kimi Chat在中文上具備顯著優(yōu)勢,實(shí)際使用效果能夠支持約20 萬漢字的上下文,2.5 倍于 Claude-100k(實(shí)測約8萬字),8 倍于 GPT-4-32k(實(shí)測約2.5萬字)。

可基于長篇小說、游戲設(shè)定進(jìn)行角色扮演,不會在多次對話   后脫離設(shè)定

長程注意力機(jī)制:Kimi Chat 通過創(chuàng)新的網(wǎng)絡(luò)結(jié)構(gòu)和工程優(yōu)化, 可在千億參數(shù)下實(shí)現(xiàn)無損的長程注意力機(jī)制,不依賴于滑動窗   口、降采樣、小模型等對性能損害較大的方案。

可一次接收多篇上市公司財報并進(jìn)行市場分析;
  可一次接收多份出差發(fā)票并整理相關(guān)信息
  可一次接收多份求職簡歷并根據(jù)用戶需求篩選排序出Top5求   職者

可處理多種文檔格式:Kimi Chat可處理多種文檔格式(包括PDF、Excel、CSV等)


3、大模型的建設(shè)規(guī)劃

關(guān)于實(shí)施?規(guī)模AI的最重要能?的經(jīng)驗(yàn)證據(jù):?多與?員和流程相關(guān),變?管理、產(chǎn)品開發(fā)技能和?作流能力,如新技術(shù)、角色明晰、流程重新構(gòu)想、AI?才和負(fù)責(zé)任的AI治理,最重要的技術(shù)能?與數(shù)據(jù)和平臺相關(guān),最重要的算法能?是AI模型的質(zhì)量和性能。正如?家領(lǐng)先AI企業(yè)的?級主管所說,“我們堅信成功的關(guān)鍵能?圍繞?才和流程的卓越展開。您需要具備特定的技能,如數(shù)據(jù)科學(xué)、對創(chuàng)新的?般熱情,以及重新構(gòu)想和實(shí)施新?法的能?。AI技術(shù)是令?驚奇的,但我們努?避免被其迷惑”。在實(shí)戰(zhàn)中,大約70%的挑戰(zhàn)與?員和流程有關(guān),?約20%是技術(shù)問題,只有10%涉及??智能算法。

如何快速有效地從人工智能中獲得價值的七點(diǎn)建議:

1 確?頂層的?膽戰(zhàn)略承諾,并準(zhǔn)備在多年內(nèi)?持它。

2 通過包括簡化?常業(yè)務(wù)流程、轉(zhuǎn)變整個業(yè)務(wù)功能和開發(fā)具有AI優(yōu)勢的產(chǎn)品在內(nèi)的平衡項?組合,最?程度地實(shí)現(xiàn)AI的潛在價值。

3 專注于較少但影響更?的重點(diǎn)項?,首先從對?到三個?投資回報、易實(shí)施的開始投資這?進(jìn)程。

4 確保存在?于這些規(guī)劃的最低可?基礎(chǔ)設(shè)施,特別是與IT系統(tǒng)集成和獲取?質(zhì)量數(shù)據(jù)??。

5 確定您公司在已知關(guān)鍵成功能???與領(lǐng)先者的能?差距,并?投資來構(gòu)建這些能?。最初可能需要專注于與技術(shù)和數(shù)據(jù)相關(guān)的問題,但涉及?員和流程的能??關(guān)重要,需要密切和?期關(guān)注。

6 確保實(shí)施治理側(cè)重于端到端的轉(zhuǎn)型、?員和流程,包括重新設(shè)計?作?式、培養(yǎng)?才、重新構(gòu)想流程和加強(qiáng)有效決策,并解決對采納新解決?案的抵觸情緒。

7 通過透明度、控制和問責(zé)制,在所有執(zhí)行項目中建?防護(hù)措施,以負(fù)責(zé)任地建設(shè)??智能,確保符合道德和法律要求,管理業(yè)務(wù)?險。

關(guān)于數(shù)字轉(zhuǎn)型和??智能成熟度的研究,發(fā)現(xiàn)98%的公司?少在嘗試使???智能,但只有26%的公司開發(fā)了必要的能?,超越概念驗(yàn)證,并開始獲取價值。僅有4%的公司處于??智能創(chuàng)新的最前沿,系統(tǒng)地構(gòu)建??智能能?,并在整個組織中擴(kuò)展應(yīng)?。

說到底,人工智能、大模型、機(jī)器人交互等等,所帶來的價值還是使用者的戰(zhàn)略、思維、技巧和堅持來決定的。

(來源超哥看天)

標(biāo)簽:大模型 GPT 我要反饋 
泰科電子ECK、ECP系列高壓直流接觸器白皮書下載
ABB協(xié)作機(jī)器人,自動化從未如此簡單
優(yōu)傲機(jī)器人下載中心
2024全景工博會
專題報道
2023-2024 智能·零碳成果展映
2023-2024 智能·零碳成果展映

“2023-2024智能·零碳成果展映”展示國內(nèi)外企業(yè)推進(jìn)“雙碳”實(shí)踐的最新成果,鼓勵更多企業(yè)、科研機(jī)構(gòu)、投資機(jī)構(gòu)等廣泛... [更多]

中國國際進(jìn)口博覽會
中國國際進(jìn)口博覽會

11月5日至10日,第七屆中國國際進(jìn)口博覽會在國家會展中心(上海)舉行。152個國家、地區(qū)和國際組織,近3500家參展企... [更多]

2024 工博會 | 直播探館 · 全景解讀
2024 工博會 | 直播探館 · 全景解讀

第二十四屆中國工博會于9月24日至28日在國家會展中心(上海)舉行,展會以“工業(yè)聚能 新質(zhì)領(lǐng)航”為全新主題。 [更多]