剛剛,OpenAI安全副總裁、北大校友Lilian Weng宣布離職,有時間寫了||北大

推文發(fā)布后,OpenAI 內(nèi)外的一些知名人士為其送上了祝福,包括著名研究科學家 Noam Brown、OpenAI 首席信息安全官 Dane Stuckey、思維鏈提出者 Jason Wei 等等。

當然,許多友也紛紛送上了自己的祝福,畢竟她不僅在 OpenAI 推動了安全相關的研究和實踐,偶爾更新的 Lil’Log 也實實在在地幫助了很多人。

Lilian Weng 地址:https://lilianweng.github.io/

以下是她與團隊分享的離職信的中文版:

親愛的朋友們,

我做出了離開 OpenAl 的艱難決定。11 月 15 日將是我在辦公室的最后一天。

OpenAl 是我成長為科學家和團隊領導者的地方,我將永遠珍惜與我一路共事和結(jié)交的朋友在一起的時光。OpenAl 團隊一直是我的知己、老師,也是我身份認同的一部分。

我還記得 2017 年 OpenAl 的使命讓我多么著迷,一群人夢想著一個不可能實現(xiàn)的科幻未來。在這里,我一開始研究的是全棧機器人難題 —— 從深度強化學習算法到感知再到固件 —— 目標是教會單臺機械手如何解決魔方問題。整個團隊花了兩年時間,但我們最終做到了。

當 OpenAl 進入 GPT 范式,我們開始探索將最佳 AI 模型部署到現(xiàn)實世界的方法時,我組建了第一個應用研究(Applied Research)團隊,推出了微調(diào) APl、嵌入 APl 和審核端點的初始版本,為應用安全工作奠定了基礎,并為許多早期 API 客戶提供了新的解決方案。

GPT-4 發(fā)布后,我被要求接受一項新挑戰(zhàn),重新考慮 OpenAl 安全系統(tǒng)的愿景,并將工作集中在一個擁有完整安全椎棧的團隊之下。那是我曾做過的最困難、壓力最大又最激動人心的事情之一。現(xiàn)在,安全系統(tǒng)(Satety Systems)團隊有超過 80 位出色的科學家、工程師、產(chǎn)品經(jīng)理、政策專家,而且我為我們作為一個團隊所取得的一切成就感到非常自豪。我們一起成為了每次發(fā)布的基石 —— 從 GPT-4 及其視覺和 turbo 版本到 GPT Store、語音功能和 o1。我們在訓練這些模型使其既強大又負責任方面所做的工作為行業(yè)樹立了新的標準。我為我們在 o1-preview 模型方面取得的最新成就感到特別自豪,它是我們迄今為止最安全的模型,在保持其實用性的同時,表現(xiàn)出對越獄攻擊的卓越抵抗力。

我們一起取得了令人矚目的成就:

  • 我們訓練模型使其明白,通過遵循一套定義明確的模型安全行為政策,可以讓其很好地拒絕敏感或不安全的請求,包括何時拒絕或不拒絕,從而在安全性和實用性之間取得良好的平衡。

  • 在每次模型發(fā)布時,我們都提高了其對抗穩(wěn)健性,包括防御越獄攻擊、指令層次結(jié)構(gòu)以及通過推理大幅提升穩(wěn)健性。我們在透明度方面的承諾都已體現(xiàn)在我們詳細的模型系統(tǒng)卡中。

  • 我們開發(fā)了業(yè)界領先的具有多模態(tài)能力的審核模型,并免費分享給了公眾。我們目前在更通用的監(jiān)控框架和增強的安全推理能力方面的工作將為許多的安全工作流提供支持。

  • 我們?yōu)榘踩珨?shù)據(jù)記錄、指標、儀表板、主動學習管道、分類器部署、推理時間過濾和全新的快速響應系統(tǒng)建立了工程開發(fā)基礎。

回顧我們所取得的成就,我為安全系統(tǒng)團隊的每個人都感到驕傲,我非常有信心團隊將繼續(xù)蓬勃發(fā)展。我愛你們??。

現(xiàn)在,在 OpenAl 工作了 7 年后,我準備重新開始并探索一些新東西。OpenAl 正處于火箭般的增長軌跡上,我只希望這里的每個人都一切順利。

附言:我的還在,會繼續(xù)下去。我可能很快就會有時間更頻繁地更新它,也可能會有許多時間來編程;)

愛你們的,

Lilian

Lilian Weng 介紹

Lilian Weng 是 OpenAI 華人科學家,她 2018 年加入 OpenAI,參與了 GPT-4 項目的預訓練、強化學習 & 對齊、模型安全等方面的工作。她本科畢業(yè)于北大,曾前往香港大學進行短期交流,博士畢業(yè)于印第安納大學伯明頓分校。

根據(jù)領英資料顯示,Lilian Weng 在 OpenAI 已經(jīng)工作了近 7 年時間,擔任安全研究副總裁一職。

2021 年 - 2023 年工作期間,Lilian Weng 建立并領導了應用人工智能研究團隊,包括產(chǎn)品研究、合作伙伴研究和應用安全,從而使得 OpenAI 的 API 更強大、更實用、更安全。

之前,她還是 OpenAI 機器人團隊的技術主管,專注于訓練關于機器人任務的算法,如教機械手如何解決魔方、旋轉(zhuǎn)方塊等。

在加入 OpenAI 之前,她還在 Facebook、Dropbox 從事軟件工程和數(shù)據(jù)科學方面的工作。

Google Scholar 顯示,Lilian Weng 論文引用量超過 13000 多次。

閑暇時間,Lilian Weng 還寫了一些關于 AI 的文章,她的深入、細致,具有前瞻性,被很多 AI 研究者視為重要的參考資料(見文末「擴展閱讀」)。感興趣的讀者可以前去閱讀。

? 版權(quán)聲明
評論 搶沙發(fā)
加載中~
每日一言
不怕萬人阻擋,只怕自己投降
Not afraid of people blocking, I'm afraid their surrender