成立120天，王小川的大模型公司百川智能又有了新動作。
鈦媒體App獲悉，8月8日下午，百川智能在北京發布530億參數通用大模型Baichuan-53B，定位閉源，主要面向B端用戶提供服務，在寫作、文本創作能力方面已達到行業較好水平，用于教育、醫療等領域。目前其已在官網啟動內測。
【資料圖】
百川智能創始人兼CEO 王小川對鈦媒體App透露，目前已有阿里云、騰訊云、火山引擎、浪潮、順豐科技等超過150家合作伙伴使用Baichuan模型，預計下個月將會開放API等相關組件。
“這次大模型的文科能力更好。”王小川表示，其在理解古詩、生成有個性化風格的文章等方面具有較高的水平。百川認為目前閉源大模型反映一種技術能力，本質是為企業端（To B）服務，后面還會進行強化、數據庫等對接工作，把企業端服務優先做起來。
王小川現場展示的百川大模型內測界面（來源：鈦媒體App編輯拍攝）
王小川還透露，除了企業端以外，今年底之前，百川智能團隊將部署有消費級（To C）端的超級應用。“未來不只有一款的超級應用，正在研發的路上。”
實際上，宣布成立的過去120天，百川智能已連續推出兩款開源大模型：70億、130億參數的Baichuan-7B、Baichuan-13B系列，并登上多個評測榜單前列。
而如今，隨著Baichuan-53B大模型的發布，王小川的百川智能迎來又一重要里程碑，完成開源+閉源大模型并行布局，將全面開啟大模型的商業化時代。
成立120天完成開源+閉源大模型，中文能力已遠超Llama？
時間倒回至120天前。
今年4月10日，沉寂一年多的搜狗創始人王小川正式對外宣布再度創業，選擇人工智能（AI）大模型領域，他與前搜狗COO茹立云聯合成立通用人工智能公司百川智能，旨在打造中國版的OpenAI。
王小川當時對鈦媒體App等透露，百川智能已獲得5000萬美元啟動資金，核心團隊則包括前搜狗員工等頂尖AI人才。百川智能將借助語言AI的突破，構建中國最好的大模型底座，并在教育、醫療等領域應用落地。
鈦媒體App了解到，截至目前，百川智能員工規模在113人左右，其中技術人員占70%-80%。
王小川認為，國內最好的大模型標準有三點，分別是參數量、測試集的效果，Chat產品體驗。（詳見鈦媒體App前文：《王小川入局大模型創業，稱追上GPT-4需要3年左右》、《GPT革命：百川智能與OpenAI的同與不同》）
為了打造國內最好的大模型，過去四個月內，首先，王小川帶領百川智能團隊推出了兩款開源模型：70億參數量的中英文預訓練大模型baichuan-7B，以及130億參數大模型Baichuan-13B系列——包括通用大語言模型Baichuan-13B-Base、對話模型Baichuan-13B-Chat和其INT4/INT8兩個量化版本。
其中，baichuan-7B利用自研超大規模局部敏感哈希聚類系統和語義聚類系統，最終構建了包含1.2萬億token的兼顧質量和多樣性的預訓練數據。相較于其他同參數規模的開源中文預訓練模型，數據量提高了超過50%。
而Baichuan-13B則在1.4萬億token數據集上訓練，超過Meta LLaMA-13B 40%，是當前開源130億參數下訓練數據量最大的模型，上下文窗口長度為4096，百川稱憑借百億參數量已經展現出可以媲美千億模型的能力。
上述Baichuan模型代碼采用Apache-2.0協議，模型權重采用了免費商用協議，只需進行簡單登記即可免費商用。目前，兩款開源模型均已在Hugging Face、Github和Model Scope等平臺上線。
具體到基準評測上，根據此前百川智能公布的結果顯示，在MMLU評測中，baichuan-7B綜合評分達42.5分，超過了英文開源大模型LLaMA-7B的34.2分、中文開源模型ChatGLM-6B的36.9分；中文C-EVAL評測中，baichuan-7B的綜合評分（42.8分）當時超過了ChatGLM-6B的38.9分。
Baichuan-13B基準（Benchmark）方面，C-EVAL中，Baichuan-13B在自然科學、醫學、藝術、數學等領域大幅領先LLaMA-13B、Vicuna-13B等同尺寸的大語言模型，在社會科學、人文科學等領域超過了ChatGPT；MMLU上，Baichuan-13B超過了所有同尺寸開源模型。
百川智能強調，其Baichuan-13B系列模型未針對任何基準測試進行專項優化，保證了模型的純凈度，具有更高的效能和可定制性。
百川智能Baichuan-13B開源模型基準評測成績比較（截至2023年7月）
截至鈦媒體App發稿前，據C-Eval官網顯示，百川智能的開源大模型Baichuan-13B總排名為第17位，平均分為53.6分，Baichuan-6B排名第28位。目前C-Eval平臺總排行第一的是智譜AI公司于今年6月發布的ChatGLM2，平均分71.1分；排名第二是OpenAI發布的GPT-4，Meta最新發布的Llama2大模型沒有參與評測。
整體來說，百川智能公開的兩款開源大模型在各種測評上都有不錯的表現。
王小川7月曾透露，開源大模型里面，百川智能在中文領域現在就可以替代，甚至現在已經是超越，未來其開源模型能力一定會超越Llama 2。“開源很簡單，大家可以拿著自己用的，這不是你自己吹牛吹出來的。我覺得是可以做到的，我們應該有這樣的自信。”
此次，百川智能正式發布530億參數的新一代大模型Baichuan-53B。
具體來說，Baichuan-53B在預訓練數據、搜索增強、動態響應策略、對齊能力等方面具有獨特的技術特點和優勢。
其中，Baichuan-53B在預訓練數據方面實現全面的世界知識體系、系統的數據質量體系、多粒度的大規模聚類系統、細粒度自動化匹配算法等；搜索增強方面，百川智能將搜索技術與大語言模型能力相結合，實現創新性的模型優化與改進；動態響應策略方面，百川智能將指令任務細化為16個獨立類別，涵蓋邏輯推理、精準問答等場景進行設計和優化；在回答結果的搜索增強上，百川智能采用RLHF（人類反饋強化學習）技術，使得大模型能夠參照搜索結果，針對用戶請求生成高價值且具有實時性的回答。
王小川還在現場展示了Baichuan-53B的落地Chat內容生成能力，既可以給出大模型服務數字化升級的科技公司候選名字，又可以給古龍的風格寫個朋友圈、寫微信春節祝福語等。
鈦媒體App也在百川大模型內測中測試了“如果企業家抑郁了，你覺得應該怎么辦？”這種問題，百川大模型回答認為需要改變生活習慣、尋求專業幫助等。
截至目前，百川已完成了“開源+閉源”大模型并行布局，王小川也在現場談及這兩部分布局的原因。
王小川對鈦媒體App表示，大模型的開源與閉源不同于To C市場中的安卓和iOS的選擇。從企業端（2B）角度看，兩者都有其需求和應用。未來，可能未來80%會用到開源模型，大部分企業可能會使用開源模型進行優化，因為它們可以更靈活地適應特定場景，并且成本較低。盡管閉源模型功能強大，但在實際應用中，開源模型在很多場景下都非常實用。例如，百川的13B和7B模型在某些應用中已超越閉源GPT。
王小川強調，總的來說，開源和閉源模型在不同場景中是互補的，而不是競爭關系。更重要的是關注To B和To C的實際應用，而不僅僅是討論開源與閉源的問題。這個觀點正逐漸形成共識。
他提到，大模型做開源主要有幾層含義：第一，它是一種市場營銷行為，尤其對于后發者來說，能迅速吸引關注并建立良好的聲譽；例如，Llama和OpenAI都將有開源產品；第二，開源可以為未來的商業化打下基礎，當用戶對開源產品產生依賴并需要更高級的功能時，可以從開源轉向收費。雖然這一模式在中國尚未完全成功，但可以借鑒國外的經驗。此外，更高可靠性、提高大模型數據修復等情況都有很大益處。
談及Baichuan-53B閉源大模型優勢，王小川認為，閉源模型可以做得更大并提供簡化的接口，使得部署和推理變得簡單。這樣，客戶能夠更方便地解決復雜問題，盡管開源模型更為廣泛，但閉源模型在實際使用中更加便捷。
此前王小川已表示，他認為未來開源和閉源會像蘋果和安卓系統一樣并行發展。大部分服務會依賴開源模型，而閉源會提供特定的增值服務。開源模型提供80%，最后靠閉源提供剩下20%服務。盡管美國之前沒有開源模型，但當Llama2發布時，美國和中國都受到了很大的沖擊。相較于Llama，百川在中文領域的表現是遠超Llama的品質。
“未來推動大模型有三個事很重要：一是大模型本身預訓練能力，二是搜索能力，三是強化能力。”王小川提到，強化是比較創新、有難度，但百川希望做到中國最好的、對標GPT的模型，因此會持續挑戰各種難點，實現創新突破。
對于大模型同質化現象，王小川強調，大模型的同質化是產業發展早期的正常階段，而百川智能的搜索增強未來也會是其大模型發展的一大差異化優勢。
商業化將成為大模型下半場競爭關鍵“防線”
近日，搜狗原CMO洪濤在朋友圈官宣即將入職百川智能，負責商業化。
王小川對鈦媒體App表示，洪濤回來代表了百川智能在商業化上的探索，一方面百川智能的大模型發布速度很快，另一方面也是其在商業化的考慮以及消費端應用的布局考量。
“預計一年左右，百川智能就會跑通大模型的商業模式。”今年4月王小川說的‘豪言狀語’正開始逐步落地實踐，比如王小川透露，百川智能在醫療領域已經開始談一些落地商業合作，而且未來考慮研發直達用戶的產品；教育領域，百川下一步將與企業在To B教育大模型領域合作。
當前，國內大模型賽道進入了“下半場”，大家開始比拼 AI 大模型技術的商業化落地，預計將成為未來幾個月內，國內大模型賽道競爭的關鍵“防線”。
目前，OpenAI和微軟做了一個很好的示范：C端方面，ChatGPT采用“每月20美元”Plus會員服務，并在GPT-4 API上對外付費，OpenAI預計年收入將達數十億元；B端方面，微軟365 Copilot上定價提升每人30美元/月。根據官網定價，企業用戶訂閱服務最高達38美元/月，而微軟云Azure OpenAI平臺則提供開發服務，GPT-4 32k下每1000個token價格為0.12美元。
Wedbush分析師Dan Ives預計，未來微軟將拓展AI智能云市場機會，最快可在2025年將云計算年收入提高20%。據悉，截至今年6月的過去12個月內，微軟智能云收入超過1100億美元，Azure OpenAI GPT-4云服務客戶達1.1萬名。
但相比之下，目前，國內暫沒有企業在大模型中真正產生規模化收入，互聯網大廠則大部分采用通用、垂直大模型與云計算業務相結合，通過MaaS（Model As A Service）賣云服務方案。而同時，大模型公司卻集體面臨算力價格持續攀升，成本高居不下，企業急需盈利等問題。
因此，王小川如今給出的答案是：利用通用大模型同步深入產業端、消費端。
今年6月，百川智能宣布，北京大學和清華大學兩所頂尖大學已率先使用baichuan-7B模型推進相關研究工作，并計劃在未來與百川智能深入合作，共同推動baichuan-7B模型的應用和發展。
清華大學互聯網司法研究院院長、計算機系教授劉奕群認為，baichuan-7B模型在中文上的效果表現十分出色。團隊計劃基于baichuan-7B模型開展司法人工智能領域的相關研究；北京大學人工智能研究院助理教授楊耀東提到，baichuan-7B模型的開源對中文語言模型的生態和學術研究有積極影響，同時還將深入探討中文大語言模型的安全和對齊問題。
王小川對鈦媒體App表示，在模型端，百川認為不可能把所有賽道都做完。因此B端做開源模型，從而讓企業做腸鏡試用，并且希望足夠開放；C端則要有超級應用的考量和研發。
“其實我們跟OpenAI的邏輯不太一樣，他們目前API調用只是ChatGPT，我們在兩頭走得更遠一點，B端更開放，C端計劃做超級應用。”王小川透露，目前百川智能在同時使用阿里、騰訊的云服務。
對于算力需求，王小川提到，目前大模型行業算力分訓練、推理兩部分，合計成本占大模型總成本的40%以上。如果中國要想解決好 AI 算力需求問題，推理部分中國需要有國產算力能力，只有英偉達（壟斷）是不夠的，而訓練部分依然需要英偉達，中國大體頂不上，現在有天花板。“這是整個（行業）都要解決的問題。”
王小川表示，B端市場需求明確、天花板不高，但面臨的挑戰是如何有效對接企業的私有數據，因為每家企業的數據和需求都有所不同。這涉及到數據的連接和信任問題，而且To B的研發和服務成本較高。所以，理想的結構應該是：一是真實場景的B端市場，二是為B端提供服務的中間層，三是進行模型研發和優化的后端團隊。這構成了一個三層結構。
談及大廠的排他競爭，王小川認為，目前中國大模型還比較開放，互相之間沒有到二選一狀態。而且，大家對大模型的理解度還不夠，沒有到共識的狀態，未來慢慢會有更多分層，更多專注在自己的事情，現在還是在“群模亂舞”的狀態。
“本輪大模型當中，可能最終只有不到5個大模型會拿到‘通行船票’。”王小川四個月前的這句話今天他改成：5個大模型里面，百川兩個都在上面。
（本文首發鈦媒體App，作者｜林志佳）
