人工智能領(lǐng)域頂級學術(shù)會議NIPS 2024最佳論文近日出爐，北京大學和字節(jié)跳動團隊一篇關(guān)于視覺自回歸模型的論文位列其中。而該文的第一作者，正是此前被字節(jié)跳動起訴索賠800萬元的前實習生田某某。
北京大學和字節(jié)跳動團隊獲獎?wù)撐慕貓D。
所謂自回歸模型，其原理是基于序列前面的值（上下文）來預測生成后面的值，如GPT等大語言模型就是典型的自回歸模型。
北京大學和字節(jié)跳動團隊這篇獲獎?wù)撐�，則展示了自回歸模型在圖像生成領(lǐng)域的潛力。該文提出名為Visual Autoregressive Modeling（VAR，視覺自回歸模型）的新型圖像生成范式，能夠快速學習視覺分布，并具有良好的泛化能力，從而驗證了在圖像領(lǐng)域，VAR模型也擁有自然語言處理領(lǐng)域自回歸模型的擴展定律（Scaling Law）和零樣本泛化能力。
具體效果上，VAR模型的圖像生成質(zhì)量、推理速度和可擴展性等性能，超越了圖像生成領(lǐng)域中常用的擴散模型（Diffusion Transformer）。而在VAR模型提出前，自回歸模型在圖像生成領(lǐng)域的表現(xiàn)顯著落后于擴散模型。
NIPS（神經(jīng)信息處理系統(tǒng)大會）每年12月舉行，被視為機器學習領(lǐng)域最具影響力的會議之一，與ICML（國際機器學習大會）齊名。2024年的NIPS將于12月10日至12月15日在加拿大溫哥華召開。
上述獲獎?wù)撐氖艿酵饨珀P(guān)注，部分緣于作者身份。在字節(jié)跳動實習期間，北京大學在讀博士生田某某以第一作者發(fā)表這篇論文，但目前已陷入和字節(jié)跳動的司法糾紛。
南都11月27日報道，字節(jié)跳動起訴前實習生田某某篡改代碼攻擊公司內(nèi)部模型訓練一案，已獲北京市海淀區(qū)人民法院正式受理，案由為侵權(quán)責任糾紛。字節(jié)跳動請求法院，判令田某某賠償公司侵權(quán)損失800萬元及合理支出2萬元，并公開賠禮道歉。（詳見：前實習生篡改代碼攻擊大模型訓練，字節(jié)跳動起訴索賠800萬）
談及起訴緣由，字節(jié)跳動內(nèi)部人士介紹，由于田某某為在讀博士生，公司將其辭退后首先交由校方處理。但在事件處理期間，田某某多次對外否認，稱攻擊模型訓練任務(wù)的不是自己，而是別的實習生�？紤]到田某某完全沒有意識到錯誤，且涉事行為已觸犯公司安全紅線，公司最終決定向法院起訴，以表明公司嚴肅態(tài)度、杜絕類似事件再次發(fā)生。
11月5日，字節(jié)跳動內(nèi)部通報披露，2024年6月至7月，集團商業(yè)產(chǎn)品與技術(shù)部門前實習員工田某某，因?qū)F隊資源分配不滿，通過編寫、篡改代碼等形式惡意攻擊團隊研究項目的模型訓練任務(wù)，造成資源損耗。公司已與其解除實習協(xié)議，同步陽光誠信聯(lián)盟及企業(yè)反舞弊聯(lián)盟，并同步至其就讀學校處理。
南都記者多次通過郵箱、社交平臺等渠道和田某某聯(lián)系，均未收到回復。
采寫：南都記者 楊柳
