又到周五,沈語熙入職永恒智能已經四天。這些天,除了惡補人工智能相關的技術之外,她還搜羅了幾乎所有市面上能找到的寫作和筆記類的應用軟件,進行詳細分析研究。
然而,在進入實質性産品設計階段前,她感到需要先弄清楚,為什麼林浩在那次宣布“靈筆”項目的會議上說,“靈筆”的核心競争力在于“不斷學習、記憶用戶寫作的内容和語言風格”以及“輕松應付超長上下文記憶情境”。據她這兩天對競品的分析來看,市場上現有的産品在人工智能輔助寫作方面,确實都做不到林浩說的這兩點。
沈語熙越來越習慣于在遇到疑問時直接在slack上詢問優雅:“優雅,對于人工智能模型來說,學習、記憶用戶寫作的内容和語言風格,支持超長上下文記憶,這些很難嗎?”
沒過多久,優雅就發來了詳盡的回複:“目前大多數人工智能模型都是基于gpt架構開發的。這類模型不具備持續學習和記憶的能力,其‘記憶’更多是依賴于用戶的輸入。當用戶提出問題時,之前的對話内容會作為上下文一并輸入模型,使模型能夠在回應中反映出對之前内容的‘記憶’。但由于算力的限制,上下文的長度必須有一定的約束,否則将會帶來不可承受的計算壓力。因此,系統會逐漸丢棄比較早期的内容,這也就意味着模型會“遺忘”它們。而且,對這類模型進行個性化訓練的成本極高,針對每個用戶進行獨立訓練幾乎是不切實際的。”
沈語熙進一步追問:“那‘螢火蟲20’是如何突破這些限制的呢?它不是基于gpt架構的嗎?”
“據我所知,‘螢火蟲10’确實是gpt架構的。但林浩并沒有和我談起過‘螢火蟲20’的技術架構,我猜測他可能會基于他自己的enica技術來開發‘螢火蟲20’。如果真是如此,那麼超長上下文記憶,以及個性化訓練,這些對于‘螢火蟲20’來說都不成問題。enica技術源自林浩在斯坦福攻讀碩士學位時讀到的一篇論文,全名是“enlightenedneuraliion≈ap;prehensionarchitecture(enica)”。由于它隻是描述了一個抽象的純理論框架,幾乎沒有人認為它有實際價值。林浩讀到時卻如獲至寶,就此将它作為自己的研究方向,并為之努力多年。如今已經成功将它轉化為可工程化實現的技術,它可以極大地降低模型的訓練和運行的硬件要求。在極緻優化的情形下,與常規的gpt架構的模型相比,它的性能可以提升十萬倍的數量級。另外,我就是林浩基于enica技術開發的第一個模型。”優雅在解答中還順帶提到了自己的來曆。
“十萬倍?”沈語熙不敢相信。果真如此的話,林浩在立項會議上宣稱的“一百倍性能提升”,以及在新聞發布會上宣布的“五十倍性能提升”,是多麼的保守啊。
“是的,不過我需要強調這是在‘極緻優化’的情形下,并不容易做到。考慮到開發成本和實際可行性,一般來說,百倍數量級的性能提升是比較現實的。”優雅補充說明。
沈語熙打算找沈蔚進一步了解“螢火蟲20”的技術細節。
公司的現有為數并不多的開發人員,都集中在華瑞銀行項目的合規問題上。因此,“靈筆”項目組目前實質上,隻有沈語熙和沈蔚兩人。
但沈語熙發現沈蔚似乎正深陷于他的工作中,不便被打擾的樣子。于是她轉頭望向林浩,卻發現他也正看着她,兩人的目光在空中交彙。沈語熙報之以微笑,站起身朝他走去。
“林浩,我想了解‘螢火蟲20’的一些技術細節,如果你現在有空的話,可以跟我講一講嗎?”
“當然,沒問題。”林浩邊答應着邊站起身,和沈語熙一起走進會議室。
兩人在會議室裡坐定後,林浩先開口道:“這幾天的工作感受如何?”
請勿開啟浏覽器閱讀模式,否則将導緻章節内容缺失及無法閱讀下一章。
相鄰推薦:被我弟的女神看上了怎麼辦 老婆每天都要錢 穿成男主心魔怎麼破 神秘讓我強大 超能至上,開局成為雙系超能者 這個道士有點懶,可他無敵啊 嫁給一個老皇帝 變成喪屍後,狼狗前男友求複合 魔教夫人失憶了+番外 女上 (綜漫同人)殺死一隻偵探的虛+番外 豪門聯姻後假少爺天天裝乖 反派們的崽崽會讀心 超神學院之銀翼之羽 赴火 惡犬難馴 灼灼新婚 雙向奔赴 九位師娘頂不住,催我下山 首輔夫人是妖貓