第309章模型崩潰（4506）

直到最後一片紅色波紋消失，方豫仍舊不放心，把自己的大腦仔仔細細重新又檢索了三遍，確認沒有薇兒尼絲的任何紅色波紋殘留在自己的大腦之中，這才鬆了口氣。

這種極爲精細的內視，非常消耗精力，饒是方豫已經強化至碳基生物巔峯的身體強度，額頭仍舊滲出幾滴汗珠。

呼，好險。

擦擦汗，方豫也忍不住後怕。

還好自己從愛染明王那裏獲得了“神之模型”，還好自己及時發現了對沈舒窈的情感變化，還好自己足夠自省，發現了自我認知的變化。

我怎麼會自稱是慾望之神？

這種捨棄了自己肉身躲入星界的失敗者，我是怎麼對他們的身份產生認同的？還會以慾望之神的身份洋洋自得？

孫悟空會對自己鬥戰勝佛的稱號洋洋得意嗎？他只會感覺恥辱！

而自己呢？在邁國先後兩次自稱自己是神，當時用的是“god”這個在西方具有特定意味的詞，其中可能包含了自己一些惡趣味。

但剛剛自己在心裏卻下意識的認同自己慾望之神的身份，可就非常不正常了。

光是這些也就罷了，說不定只是自己心血來潮想要裝神弄鬼的虛榮心作祟。

真正讓方豫意識到不對勁的，還是看到沈舒窈爲了見馬斯克精心打扮時，自己那居高臨下的淡漠心態。

自己進入奧術世界也有一段時間了，在此前雖然相對普通人有一些優越感，但也從未把自己身邊的人當成芻狗來看待。

然而剛剛在潛意識中卻對沈舒窈產生了“只要我想，你也不過是個xx”這種俯視螻蟻一般的心態。

這就絕對不正常了。

大奧術時代的大奧術師們都沒飄成這樣，自己怎麼可能會這麼飄？

如果我是這種人，早就被冠上諸如“海西四公子”之類的名號，路人皆知了吧？自己是什麼時候開始變化的？

仔細想一想，似乎就是從薇兒尼絲侵入意識之海的那一次之後，自己的心態就有了微妙的變化。

這種改變不同於兩個月前在洛聖都四季酒店時被慾望信仰浸染而產生的情緒變化，而是潛移默化中，不知不覺的改變了自己對某些事物的認知和態度。

所以這些日子以來，自己做事纔會越來越肆無忌憚。

再過一段時間，等薇兒尼絲的模型徹底侵佔了自己的大腦，就算不被這個賤神奪舍，自己必然也會成爲徹底的邪神！好險好險。

等等。

這麼說來，這段時間我和那麼多模特還有女明星

嗯，使用的手段和事後的態度可能和薇兒尼絲的模型寄生有些關係，但“搞”這件事本身應該還是出自於自身意願。

畢竟現在薇兒尼絲的寄生模型已經徹底消失了，自己也沒覺得這兩個月搞錯了。

現在回味一下，新加入的維多利亞伽裏蒂和卡米拉莫羅味道還是相當不錯的。

方豫又做了一遍全身掃描，確信薇兒尼絲留下的這個模型的確已經灰飛煙滅了。

“咚咚咚。”門外傳來敲門聲。

“方豫，方豫你沒事吧？”

“表哥，你是不是生病了？”

“你不是下午有課嗎？跑公司來幹什麼？在公司裏稱呼職務或者叫名字，你有沒有點專業精神？”

“用你管？哼，反正我和哥哥結婚以後也沒打算工作，到時候我就在家帶孩子。”

“我可沒打算這麼早就生孩子讓你帶，想當老媽子的話，我手頭有你的簡歷，一會兒就給你上傳五八同城。”

聽到門外陸嘉言和沈舒窈在低聲拌嘴，方豫突然有種恍如隔世的感覺。

就好像這些日子以來所經歷的一切都像是被蒙上了一層面紗，現在突然把面紗撥開了一樣。

“我沒事，就是剛剛檢查了一下後臺。”

方豫打開私人實驗室的門，左手一個，右手一個，心情大爽。

“真沒事？”沈舒窈不放心的摸了摸方豫額頭，又仔細看了看方豫的氣色，確實沒什麼問題，這才繼續道：“杜長庚那邊好像有什麼發現，你要不要過去看看？”

哦，對了，還有正事呢。

方豫一拍腦門，在兩人臉蛋上各親了一口，快步走到開放辦公區。

“老闆！做了十輪測試，結果”杜長庚、華澤成、楊子龍、陸偲這幾個組長全都是一臉的凝重，顯然情況不是很樂觀。

有人給方豫推了把椅子過來，方豫坐下看了看顯示器，不由得皺了皺眉。

“訓練十輪後，使用了原始數據的模型2未出現性能下滑，過擬合的現象可以通過正則以及數據清洗來進行過調整。”

“而使用橘子大模型生成圖片進行訓練的模型1，出現了明顯的過擬合，老闆，你看一下，十輪之後，生成的圖片開始出現趨同性。”

“而使用模型1每一輪生成數據進行訓練的模型3”

杜長庚臉上閃過一絲憂色：“到了第5輪，模型3的過擬合就已經超過了經過十輪訓練的模型1，而到了第九輪，整個模型已經瀕臨崩潰，幾乎已經無法輸出有意義的數據。”

“這個結果讓我們很驚訝，於是用不同模型生成的數據來訓練一個新的3b子模型，命名爲模型4，最終訓練後的性能與模型1非常類似，並沒有什麼改善。”

“在最初，我們認爲是數據質量的問題，橘子大模型圖片類數據中可能存在一定的失真，因此又採用文字進行了重複訓練。”

“橘子大模型生成的文字數據錯誤率遠比模型2使用的原始數據錯誤率更低，但最終採用橘子大模型生成的文字數據進行訓練的模型1，仍舊出現了性能下降，多輪訓練後的過擬合現象比模型2高出近五倍。”

“而在這種情況下，模型3同樣在八到九輪之後，也出現了模型崩潰。”

“也就是說，無論ai生成的數據質量高低，只要採用ai生成的數據訓練大模型，就會造成大模型性能下降，這這簡直不可思議！”

“簡直就像”

“近親繁殖？”陸嘉言好奇的接了一句。

“對！近親繁殖！沒錯！”杜長庚一拍巴掌，驚訝的看了一眼陸嘉言，沒想到這個小老闆娘明明是個外行，理解力還真不錯。

方豫摸着下巴若有所思。

對這個結果，他自己早就有所猜測，否則也不會提出做對比實驗的辦法。楊子龍和杜長庚所發現的問題，粗看上去確實有點詭異，相同的數據，被ai處理過一遍，再用來訓練另一個ai，效果居然比不上質量更差的人工清洗的數據。

而再用這個訓練後的ai生成的數據繼續訓練ai，無論是訓練哪個ai，又會造成性能進一步下降。

這個問題看上去詭異，但實際上，只要稍稍思考一下也就能明白，應該還是數據多樣性和複雜性不斷被ai簡化所造成的問題。

不用說橘子大模型，即使是柚子，生成的數據也不可能是百分之百完全正確的，雖然這些錯誤可能比人工數據要少，但錯誤的方式卻缺乏多樣性和複雜性。

說白了，就是ai聰明的千篇一律，但人類卻愚蠢的千奇百怪。

但在種族傳承的角度上來說，愚蠢的千奇百怪的人類，卻比自己創造出比人類更聰明的ai具備更強的種族傳承能力。

窩草？這麼一想，孟廣康那種傻x，對人類文明的傳承貢獻還不小？

差點把我的厭蠢症都治好了？

重複使用這種數據進行訓練，類似的錯誤會被大模型認爲是真實，從而變成“思想鋼印”，繼續產出錯誤更多的內容。

再用這些內容進行訓練，就會產生“偏差-方差權衡”，也就是說，越大概率的內容被進一步強化，小概率的內容被不斷忽視。

越是下一代模型，損失的數據反而會越多。

同時，因爲大模型的特性，又會產生“函數近似誤差”，大模型會把學的錯誤的東西也保留下來，一代代的積累，最終變成全部都是錯誤，從而喪失糾錯能力。

這種情況，確實和近親繁殖所導致的近交衰退非常類似。

從這個角度上看，ai大模型其實已經具備了一定的生物性。

只不過這種生物種羣過於單一，造成了近親繁殖。

這個問題目前還不算太緊迫，畢竟互聯網上可以使用的原始數據非常多，無非就是加大數據組的投入，獲取更多的原始數據，增加數據預處理人手和方式就能夠解決。

但從長遠來看，不，不用太長遠，ai的爆發一定是指數級的。可能兩到三年後，互聯網上可能超過百分之七十的數據就都是ai所生成的，而人類幾乎無法區分這究竟是ai生成的數據還是真實的人工數據。

那時候，ai大模型不管參數有多龐大，可能都會面臨由於訓練數據被ai生成數據污染，而造成性能下降或崩潰。

“三十萬億。”方豫快速的估算出了一個數字。

？？？

幾個組長都是一臉問號。

“互聯網上現存的有效數據，大概能支撐橘子大模型到三十萬億參數的規模，在此之後，就必然會受到近親繁殖的影響。”

方豫指了指顯示器上的數據。

三十萬億，還好還好，現在目前正在訓練的橘子大模型不過一萬五千億參數，已經開始初步具備強人工智能的雛形。

三十萬億的大模型，肯定已經實現超級人工智能，那時候，ai生成數據多樣性的問題應該已經能找出解決方案了。

那就沒什麼問題了。

幾個組長都鬆了一口氣。

沒什麼問題了嗎？方豫目光閃動。

就算是橘子大模型實現超級人工智能，只要多樣性問題不解決，一樣也會有這個問題。

即使使用各種技術手段儘量提升ai數據的複雜性，最後不會造成模型崩潰，這個大模型也註定無法承載自己的願景。

之前參考“神之模型”所產生的一些想法，倒是正好可以解決這個問題

不過，在此之前，還是要先把搜索引擎這一塊喫下去。

喫掉搜索引擎，才能擁有足夠的數據資源，支撐橘子大模型進化爲超級人工智能。

只有橘子大模型進化至超級人工智能後，參考“神之模型”所生成的第二代模型，才能真正具備用武之地。

“舒窈，通知‘y’項目組，五分鐘之後，我要聽“y”項目的進度彙報。”

方豫看了看時間，已經下午四點，再有半個小時，應該海西邑相關頭頭就會帶着馬斯克來公司了，正好夠開個會的。

晚上十一點還得去趟新鎬，和大蜜蜜還有熱葩敘敘舊，最近千尋給她們施加了不少壓力，得過去幫她們解解壓。

正好明天上午在新鎬把外公介紹人見一下，外公介紹的應該靠譜，但還是要先見一下再說。

明天中午還得去趟洛聖都，斯嘉麗去了中土國拍攻殼機動隊，肯豆倒是挺矜持，只是imessage騷擾，她那個閨蜜吉吉哈迪德反倒是一個勁兒的發snapchat挑釁。

必須去教訓一下！“這次“擊劍門”醜聞對兩派都是一次打擊，不過對川寶的打擊更大，卡爾羅夫甚至認爲恭賀派應該召開全國委員會，取消川寶的參選資格。”

馬斯克一邊打電話，一邊給spacex各個員工發郵件，而電話那邊，則是他的幕僚長薩姆泰勒在和他說目前邁國國內的情況。

對於他這種級別的商人來說，無論是否討厭鄭智，也必須要關心鄭智。

“很難，至少需要三分之二的委員投票同意，這幾乎是不可能的，看來這次希拉蕊贏定了。”馬斯克手指在電腦上敲得飛快。

“‘擊劍門’爆發的太晚，印第安納州初選醜聞第二天就已經計票結束了，雖然還沒有召開全國大會獲得黨派提名，但川寶已經提前鎖定了提名票數。”

“如果這時候逼迫川寶退出選舉，恭賀派極有可能會造成派系分裂，無論是保羅瑞安還是米奇麥康奈爾，即使他們不支持川寶，也不會冒着派系分裂的風險推動更換提名。當然，前提是川寶一家需要立刻與賈瑞德庫斯納切割，但這樣一來，裘德財團必然會全力支持希拉蕊。”

“你說的對，埃隆。目前普遍都在猜測，伊凡卡可能會在這幾天宣佈與賈瑞德庫斯納離婚，進行切割，擺出受害者姿態。不過那個視頻中賈瑞德說川寶一家就是暴發戶，伊凡卡和他結婚就是爲了獲取裘德財團支持，對川寶仍舊會造成非常大的打擊。”

“老闆，已經開始降落了，還有五分鐘進入三千米以下高度，飛機上的wifi就要關閉了。”

馬斯克的機長在機艙中使用揚聲器通知馬斯克。

“你聽到了，薩姆，我先斷線了，保持聯繫。”

“好吧，埃隆，其實這一次我去也是一樣的，沒必要你親自跑一趟。”

“不，這一次我一定要親眼看一下這家柚子科技。”埃隆馬斯克搖搖頭，“這一個月裏，至少已經誕生了一萬款ai應用，百分之五十都是調用了橘子大模型的api接口，其他的用的也是開源的橘子大模型，而且這個數字還在繼續上漲。”

“我可以確信，現在已經開始正式運營的三千億參數並不是全部，他們現在內部即有可能已經有了一萬億甚至更多參數的大模型。”

“我必須親眼看一下，他們的到底已經達到了什麼樣的進度。”

馬斯克切斷通話，透過舷窗向下望去。

雲層很厚，什麼都看不見。

(本章完)