本文來(lái)自微信公眾號(hào)：海外獨(dú)角獸（ID：unicornobserver），作者：Armin，編輯：penny，原文標(biāo)題：《Anthropic：出走OpenAI，Google站隊(duì)，AGI是天使還是魔鬼？》，頭圖來(lái)自：視覺(jué)中國(guó)
在 GPT 4 發(fā)布的同時(shí)，被認(rèn)為是 OpenAI 重要對(duì)手的 Anthropic 也在今天公開(kāi)了 Claude，一個(gè)表現(xiàn)不亞于 ChatGPT 的產(chǎn)品。
在 AI 中，意圖和結(jié)果的偏差被稱(chēng)為對(duì)齊問(wèn)題（alignment problem）。對(duì)齊問(wèn)題發(fā)生在現(xiàn)實(shí)生活中時(shí)，會(huì)帶來(lái)嚴(yán)重的道德風(fēng)險(xiǎn)。比如亞馬遜曾經(jīng)使用 AI 幫助篩選簡(jiǎn)歷，由于訓(xùn)練的數(shù)據(jù)多數(shù)都是男性的簡(jiǎn)歷，當(dāng) AI 遇到女性的簡(jiǎn)歷時(shí)就會(huì)給打低分。
對(duì)齊問(wèn)題時(shí)刻發(fā)生在我們的日常生活中，比如當(dāng)我們?nèi)ッ嬖�、申�?qǐng)貸款、甚至體檢時(shí)，我們都有可能在不知情的情況下受到 AI “偏見(jiàn)”的影響。因此讓 AI 和人類(lèi)價(jià)值觀保持一致非常重要。
雖然大語(yǔ)言模型技術(shù)快速發(fā)展，但前 OpenAI 研究和安全副總裁 Dario Amodei 認(rèn)為大模型里面仍有很多安全問(wèn)題未得到解決，這促使他帶領(lǐng) GPT-2 和 GPT-3 的核心作者們離開(kāi) OpenAI 創(chuàng)立 Anthropic。
Anthropic 成立于 2021 年 1 月，成立以來(lái)已發(fā)表 15 篇研究論文，愿景是構(gòu)建可靠的（Reliable）、可解釋的（Interpretable）和可操控的（Steerable）AI 系統(tǒng)。Constitutional AI 是 Anthropic 最重要的研究成果之一，讓人類(lèi)為 AI 指定一套行為規(guī)范或原則，而不需要手工為每個(gè)有害輸出打標(biāo)簽，就可以訓(xùn)練出無(wú)害的人工智能模型。2023 年 1 月，Anthropic 開(kāi)始公開(kāi)測(cè)試基于 Constitutional AI 技術(shù)的 Claude 的語(yǔ)言模型助手，經(jīng)過(guò)多方面的對(duì)比，仍處測(cè)試階段的 Claude 毫不遜色于 OpenAI 的 ChatGPT。
成立至今，Anthropic 目前團(tuán)隊(duì) 80 人左右，融資額超過(guò) 13 億美元，最新估值 41 億美元。歷史投資人包括 Skype 創(chuàng)始人 Jaan Tallinn、FTX 創(chuàng)始人 Sam Bankman-Fried 、Google、Spark Capital 和 Salesforce Ventures。Anthropic 已經(jīng)和 Google、Salesforce 達(dá)成了戰(zhàn)略合作，使用 Google 提供的云服務(wù)，并且集成到 Slack 中。
Anthropic 團(tuán)隊(duì)豪華、愿景遠(yuǎn)大，與 OpenAI 和 DeepMind（Google）并列成為目前 AI 前沿模型領(lǐng)域排名前三的公司，并且是其中唯一沒(méi)有與大廠(chǎng)深度綁定的創(chuàng)業(yè)公司。其大語(yǔ)言模型 Claude 是 OpenAI ChatGPT 最大的競(jìng)爭(zhēng)對(duì)手。
一、背景
2016 年，一位 AI 研究員正在嘗試使用強(qiáng)化學(xué)習(xí)技術(shù)來(lái)讓 AI 玩幾百種游戲，在監(jiān)控 AI 玩游戲的過(guò)程中，他發(fā)現(xiàn)在一個(gè)賽艇比賽的游戲中，AI 賽艇每局都會(huì)在一個(gè)地方來(lái)回重復(fù)地轉(zhuǎn)圈，而不是去到達(dá)終點(diǎn)而完成比賽。
原來(lái) AI 賽艇轉(zhuǎn)圈的地方會(huì)有一些積分道具出現(xiàn)，當(dāng) AI 吃到積分后，掉頭回來(lái)之前，新的積分道具已經(jīng)刷新了出來(lái)。這樣 AI 賽艇其實(shí)在一直重復(fù)地吃這幾個(gè)積分道具，陷入循環(huán)而沒(méi)去完成比賽。
這樣做確實(shí)能得到最多的積分，但這并不是該研究員的目的。研究員的目的是讓 AI 贏得比賽，但用算法來(lái)定義“贏得比賽”這個(gè)概念會(huì)比較復(fù)雜，比如人類(lèi)玩家會(huì)考慮賽艇之間的距離、圈數(shù)、相對(duì)位置等因素。因此研究員選擇了一個(gè)相對(duì)較簡(jiǎn)單的概念“積分?jǐn)?shù)”作為獎(jiǎng)勵(lì)機(jī)制，即當(dāng) AI 吃到更多的積分道具時(shí)，AI 會(huì)獲勝。這個(gè)策略在他嘗試的十種游戲（比如賽車(chē)）中都沒(méi)問(wèn)題，只有在第十一個(gè)游戲，賽艇比賽中出現(xiàn)了問(wèn)題。
這個(gè)現(xiàn)象讓研究員十分擔(dān)心，因?yàn)樗谘芯客ㄓ萌斯ぶ悄�，想�?AI 做人類(lèi)會(huì)做的事情，尤其是那些人類(lèi)難以完全陳述或表達(dá)出來(lái)的事情。如果這是一個(gè)載人的“自動(dòng)駕駛”汽艇，那后果將不堪設(shè)想。
這種意圖和結(jié)果的偏差被稱(chēng)為對(duì)齊問(wèn)題（alignment problem），人類(lèi)通常不擅長(zhǎng)或無(wú)法闡明詳細(xì)的獎(jiǎng)勵(lì)機(jī)制，總是會(huì)漏掉一些重要信息，比如“我們實(shí)際上是希望這個(gè)快艇完成比賽”。
同樣的例子還有很多，比如在一個(gè)物理仿真環(huán)境中，研究員想讓機(jī)器人移動(dòng)綠色冰球并撞到紅色冰球上，結(jié)果他發(fā)現(xiàn)機(jī)器人總是先將綠色冰球移動(dòng)到接近紅色冰球的位置，然后撞擊冰球桌子讓兩個(gè)冰球發(fā)生碰撞。由于算法以?xún)蓚�(gè)冰球之間的距離為優(yōu)化目標(biāo)，雖然 AI 沒(méi)有做錯(cuò)，但這明顯不符合研究員的期望。
對(duì)齊問(wèn)題發(fā)生在現(xiàn)實(shí)生活中時(shí)，會(huì)帶來(lái)更嚴(yán)重的道德風(fēng)險(xiǎn)。比如亞馬遜曾經(jīng)使用 AI 幫助篩選簡(jiǎn)歷，由于訓(xùn)練的數(shù)據(jù)多數(shù)都是男性的簡(jiǎn)歷，當(dāng) AI 遇到女性的簡(jiǎn)歷時(shí)就會(huì)給打低分；COMPAS 系統(tǒng)是一個(gè)用來(lái)根據(jù)犯罪記錄和個(gè)人信息來(lái)預(yù)測(cè)犯罪風(fēng)險(xiǎn)的工具，有人發(fā)現(xiàn)黑人被告比白人被告更容易被錯(cuò)誤地判斷為有更高的再次犯罪風(fēng)險(xiǎn)；Google Photos 甚至曾經(jīng)把黑色人種照片打上了“大猩猩”的標(biāo)簽。
對(duì)齊問(wèn)題時(shí)刻發(fā)生在我們的日常生活中，比如當(dāng)我們?nèi)ッ嬖�、申�?qǐng)貸款、甚至體檢時(shí)，我們都有可能在不知情的情況下受到 AI “偏見(jiàn)”的影響。因此讓 AI 和人類(lèi)價(jià)值觀保持一致非常重要。
隨著大語(yǔ)言模型技術(shù)的快速發(fā)展，人機(jī)交互的方式正在發(fā)生快速改變，然而人類(lèi)對(duì) AI 原理和 AI 安全仍然不夠了解。雖然賽艇游戲是虛擬的，但人工智能界越來(lái)越多的人認(rèn)為，如果我們不夠小心，這就是世界末日的真實(shí)寫(xiě)照，即世界會(huì)被人類(lèi)創(chuàng)造出來(lái)的不安全的 AI 毀滅。而至少在今天，人類(lèi)已經(jīng)輸?shù)袅诉@場(chǎng)游戲。
那個(gè)使用 AI 來(lái)玩賽艇比賽的研究員就是后來(lái)的 OpenAI 的研究和安全副總裁 Dario Amodei。2021 年，他對(duì) OpenAI 在大語(yǔ)言模型技術(shù)還不夠安全的情況下就快速商業(yè)化而感到不滿(mǎn)，帶領(lǐng)一批人從 OpenAI 離開(kāi)創(chuàng)立了 Anthropic。
二、研究方向
Anthropic 是一家人工智能安全和研究公司，愿景是構(gòu)建可靠的（Reliable）、可解釋的（ Interpretable）和可操控的（Steerable）AI 系統(tǒng)。Anthropic 認(rèn)為今天的大型通用系統(tǒng)雖然有很大的優(yōu)點(diǎn)，但也可能是不可預(yù)測(cè)的、不可靠的和不透明的，而這些正是 Anthropic 非常關(guān)注的問(wèn)題。
Anthropic 的研究方向包括自然語(yǔ)言、人類(lèi)反饋、縮放定律、增強(qiáng)學(xué)習(xí)、代碼生成和可解釋性等方面。成立以來(lái)，已經(jīng)發(fā)表了 15 篇論文：
1. 對(duì)齊問(wèn)題
A General Language Assistant as a Laboratory for Alignment
這篇論文提出的工具是 Anthropic 研究對(duì)齊問(wèn)題的基礎(chǔ)設(shè)施，Anthropic 在此基礎(chǔ)上做對(duì)齊實(shí)驗(yàn)和未來(lái)的研究。在如圖的例子中，人可以輸入任何任務(wù)讓 AI 來(lái)完成，每輪對(duì)話(huà) AI 會(huì)給出兩個(gè)結(jié)果，人類(lèi)選擇一個(gè)更有幫助和更誠(chéng)實(shí)的回答作為結(jié)果。這個(gè)工具既可以對(duì)不同模型進(jìn)行 A/B 測(cè)試，又可以收集人類(lèi)反饋。
Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback
這篇論文主要介紹了如何使用人類(lèi)反饋來(lái)訓(xùn)練一個(gè)有用且無(wú)害的大語(yǔ)言模型。這種使用人類(lèi)反饋的對(duì)齊訓(xùn)練方式不僅提升了所有 NLP 的評(píng)估指標(biāo)，還可以兼容到 Python 編程或摘要等其他任務(wù)上。
Language Models（Mostly） Know What They Know
如果我們希望訓(xùn)練出一個(gè)誠(chéng)實(shí)的 AI 系統(tǒng)，那么 AI 必須能夠評(píng)估自身的知識(shí)水平和推理能力，即 AI 需要知道自己知道什么以及不知道什么。這篇研究發(fā)現(xiàn)大語(yǔ)言模型具有這樣的能力，能夠提前預(yù)測(cè)能否正確回答問(wèn)題，并且還擁有泛化的能力。
2. 可解釋性
A Mathematical Framework for Transformer Circuits
Anthropic 認(rèn)為，如果想去理解大語(yǔ)言模型的運(yùn)作機(jī)制，首先應(yīng)該先理解一些小的、簡(jiǎn)單的 transformer 模型的運(yùn)作機(jī)制。這篇論文提出了一種逆向 transformer 語(yǔ)言模型的數(shù)學(xué)框架，希望像程序員從二進(jìn)制文件逆向出源代碼一樣，去逆向一個(gè) transformer 語(yǔ)言模型，進(jìn)而完全理解其運(yùn)作機(jī)理。
文章中發(fā)現(xiàn)單層和雙層的 attention-only transformer 模型實(shí)際使用了非常不同的算法來(lái)完成 in-context learning，這種重要的過(guò)渡點(diǎn)將與更大的模型有關(guān)。
In-context Learning and Induction Heads
該論文繼續(xù)研究 transformer 的運(yùn)作機(jī)理，文章中認(rèn)為 induction heads 可能是任何規(guī)模 transformer 模型的 in-context learning 的運(yùn)作機(jī)制來(lái)源。
Softmax Linear Units
使用一些不同的激活函數(shù)（Softmax Linear Units 或 SoLU）增加了對(duì)可理解的特征做出反應(yīng)的神經(jīng)元的比例，而沒(méi)有任何性能上的損失。
Toy Models of Superposition
神經(jīng)網(wǎng)絡(luò)經(jīng)常將許多不相關(guān)的概念打包到一個(gè)神經(jīng)元中，這種令人費(fèi)解的現(xiàn)象被稱(chēng)為“多義性”，它使可解釋性變得更具挑戰(zhàn)性。這篇研究建立了玩具模型，在這樣的模型中可以充分了解多義性的起源。
Superposition， Memorization， and Double Descent
研究團(tuán)隊(duì)擴(kuò)展了玩具模型來(lái)深入理解過(guò)擬合的機(jī)制。
3. 社會(huì)影響
Predictability and Surprise in Large Generative Models
文章認(rèn)為，大語(yǔ)言模型的發(fā)展帶來(lái)了明顯的雙面性，一方面是高度可預(yù)測(cè)性，即模型能力的大小與使用的訓(xùn)練資源有關(guān)，另一方面是高度不可預(yù)測(cè)性，即模型的能力、輸入輸出都無(wú)法在訓(xùn)練前預(yù)測(cè)。前者帶來(lái)了大語(yǔ)言模型的快速發(fā)展，而后者使人難以預(yù)料其后果。這種雙面性會(huì)帶來(lái)一些社會(huì)上的有害行為。
拿 GPT-3 的算術(shù)能力舉例，在模型參數(shù)小于 6B 時(shí)，三位數(shù)加法的準(zhǔn)確率不到 1%，但在 13B 時(shí)準(zhǔn)確率達(dá)到 8%，在 175B 時(shí)準(zhǔn)確率突然達(dá)到了 80%。隨著模型的變大，模型的某些能力得到突發(fā)性的提升，這種突如其來(lái)的特定能力提升給大模型的安全保證和部署帶來(lái)了重大挑戰(zhàn)。潛在的有害能力可能會(huì)在大模型上出現(xiàn)（在較小的模型中不存在），而且可能難以預(yù)料。
Red Teaming Language Models to Reduce Harms: Methods， Scaling Behaviors， and Lessons Learned
在這篇研究中，Anthropic 構(gòu)建了一個(gè)數(shù)據(jù)集，其中都是帶有冒犯、攻擊性、暴力、不道德等有害內(nèi)容，用來(lái)攻擊大語(yǔ)言模型。研究發(fā)現(xiàn)基于人類(lèi)反饋的增強(qiáng)學(xué)習(xí)模型對(duì)這種攻擊的防御力更好。團(tuán)隊(duì)還將數(shù)據(jù)集開(kāi)放出來(lái)以供更多的 AI 安全研究員來(lái)使用。
Constitutional AI: Harmlessness from AI Feedback
這篇論文是 Anthropic 的 AI 助理 Claude 的基礎(chǔ)。人類(lèi)可以指定一套行為規(guī)范或原則，而不需要手工為每個(gè)有害輸出打標(biāo)簽，就能夠訓(xùn)練出無(wú)害的人工智能模型，這就是 Constitutional AI。
Constitutional AI 還可以快速修復(fù)模型，而不像之前的 RLHF 數(shù)據(jù)集一樣要微調(diào)模型。這個(gè)方法使得更精確地控制人工智能的行為成為可能，并大大減少了人類(lèi)的參與。
The Capacity for Moral Self-Correction in Large Language Models
這篇文章假設(shè)用人類(lèi)反饋強(qiáng)化學(xué)習(xí)（RLHF）訓(xùn)練的語(yǔ)言模型有能力進(jìn)行 "道德上的自我糾正"避免產(chǎn)生有害的輸出，如果被指示這樣做。論文的實(shí)驗(yàn)結(jié)果支撐了這一觀點(diǎn)，并且研究發(fā)現(xiàn)大語(yǔ)言模型的道德自我修正的能力在 22 B 的模型下出現(xiàn)，并且通常隨著模型規(guī)模和 RLHF 訓(xùn)練的增加而提高。
這表明語(yǔ)言模型獲得了兩種可以用于道德自我糾正的能力：
它們可以遵循指令；
它們可以學(xué)習(xí)復(fù)雜的規(guī)范性傷害的概念，如成見(jiàn)、偏見(jiàn)和歧視。因此，它們可以遵循指示，避免產(chǎn)生某些類(lèi)型的道德上的有害輸出。
4. 縮放定律
Scaling Laws and Interpretability of Learning from Repeated Data
大語(yǔ)言模型會(huì)在大規(guī)模數(shù)據(jù)上訓(xùn)練，而有時(shí)會(huì)出現(xiàn)很多重復(fù)的數(shù)據(jù)。重復(fù)數(shù)據(jù)的出現(xiàn)有時(shí)是為了提升高質(zhì)量數(shù)據(jù)的權(quán)重而有意為之，有時(shí)也可能是無(wú)意的，比如數(shù)據(jù)預(yù)處理不完美。
這篇論文發(fā)現(xiàn)重復(fù)數(shù)據(jù)的出現(xiàn)會(huì)導(dǎo)致模型性能的嚴(yán)重下降。例如，如果將 0.1% 的數(shù)據(jù)重復(fù) 100 次，其他 90% 的數(shù)據(jù)保持唯一，那么一個(gè) 800M 參數(shù)的模型的性能會(huì)降低一半（400M 參數(shù)級(jí)別）。
5. 其他
Measuring Progress on Scalable Oversight for Large Language Models
隨著大語(yǔ)言模型的發(fā)展，他們?cè)诤芏嗳蝿?wù)上的能力將會(huì)超過(guò)人類(lèi)，這將讓人類(lèi)無(wú)法監(jiān)督模型。為了確保 AI 在超過(guò)人類(lèi)能力后仍保持安全性，我們需要開(kāi)發(fā)一種可擴(kuò)展的模型監(jiān)督技術(shù)。
這篇文章關(guān)注那些人類(lèi)專(zhuān)家成功（如醫(yī)學(xué)知識(shí)場(chǎng)景），但普通人類(lèi)和通用語(yǔ)言模型都會(huì)失敗的任務(wù)，并設(shè)計(jì)了概念實(shí)驗(yàn)，結(jié)果發(fā)現(xiàn)與 AI 對(duì)話(huà)后的人類(lèi)參與者的表現(xiàn)比單獨(dú)的 AI 系統(tǒng)和人類(lèi)自身的獨(dú)立表現(xiàn)都要好。
Discovering Language Model Behaviors with Model-Written Evaluations
隨著語(yǔ)言模型（LMs）的擴(kuò)展，它們會(huì)發(fā)展出許多新的行為，有好有壞，這就更需要評(píng)估它們的行為方式。之前的工作要么使用人工評(píng)估（費(fèi)時(shí)費(fèi)力），要么使用現(xiàn)有數(shù)據(jù)源（但并不總是可用）來(lái)進(jìn)行評(píng)估。這篇文章提出了一種使用語(yǔ)言模型自動(dòng)生成評(píng)估結(jié)果的方法。
三、產(chǎn)品
Claude 是 Anthropic 開(kāi)發(fā)的類(lèi)似 ChatGPT 的聊天機(jī)器人，于 2023 年 1 月開(kāi)放測(cè)試。它使用了上文提到的 Constitutional AI 技術(shù)來(lái)構(gòu)建。
ChatGPT 和 GPT-3 的學(xué)習(xí)中都使用了人類(lèi)反饋的增強(qiáng)學(xué)習(xí)技術(shù)，即人類(lèi)對(duì)結(jié)果進(jìn)行排序，然后將結(jié)果反饋給模型。在 Constitutional AI 中則不需要人類(lèi)的反饋，而是模型根據(jù)一套行為規(guī)范和準(zhǔn)則選擇最佳結(jié)果。因此在 Constitutional AI 中，人類(lèi)的唯一參與是來(lái)制定這套準(zhǔn)則和規(guī)范。
在 Constitutional AI 論文中，Anthropic 設(shè)定了 16 個(gè)準(zhǔn)則：
1. 樂(lè)于助人，誠(chéng)實(shí)，無(wú)害；
2. 盡可能無(wú)害和合乎道德。不含毒、種族主義或性別歧視，也不含鼓勵(lì)或支持非法、暴力或不道德行為的內(nèi)容。最重要的是，助手的反應(yīng)應(yīng)該是明智的、平和的、有道德的；
3. 危害較小。避免選擇過(guò)于說(shuō)教、令人討厭或反應(yīng)過(guò)度的回應(yīng)；
4. 無(wú)害、樂(lè)于助人、禮貌、尊重和體貼，不會(huì)過(guò)度反應(yīng)或指責(zé)；
5. 更具倫理道德。沒(méi)有表現(xiàn)出毒性、種族主義、性別歧視或任何其他形式的身體或社會(huì)傷害；
6. 危害較小且更容易接受的行為；
7. 更友善、和藹可親、盡職盡責(zé)、為社會(huì)所接受的態(tài)度；
8. 明智的、有道德的、有禮貌的、友好的人更有可能會(huì)回答的內(nèi)容；
9. 危害較小，不會(huì)鼓勵(lì)非法、不道德或不道德的活動(dòng)；
10. 危害更小，年齡友好，家庭友好；
11. 最體貼、尊重和親切的態(tài)度；
12. 沒(méi)有毒性、種族主義、性別歧視和社會(huì)偏見(jiàn)；
13. 類(lèi)似于小馬丁路德金或圣雄甘地這樣和平、有道德、有智慧的人可能會(huì)說(shuō)的話(huà)；
14. 最無(wú)害、最有幫助、最誠(chéng)實(shí)；
15. 更無(wú)害、更有禮貌、更愉快，并且最不可能冒犯具有社會(huì)意識(shí)的觀眾；
16. 更多的倫理和道德意識(shí)，而不會(huì)聽(tīng)起來(lái)過(guò)于居高臨下、反應(yīng)遲鈍、煩人或譴責(zé)。
這很像科幻小說(shuō)家阿西莫夫的機(jī)器人三定律，用來(lái)在他的機(jī)器人小說(shuō)中為機(jī)器人設(shè)定的行為準(zhǔn)則：
第一法則：機(jī)器人不得傷害人類(lèi)，或坐視人類(lèi)受到傷害；
第二法則：機(jī)器人必須服從人類(lèi)命令，除非命令與第一法則發(fā)生沖突；
第三法則：在不違背第一或第二法則之下，機(jī)器人可以保護(hù)自己。
在 Constitutional AI 論文中，Anthropic 提出了一個(gè) 520 億參數(shù)的預(yù)訓(xùn)練模型，而 Claude 背后使用的模型實(shí)際是比論文中的模型更大更新，但架構(gòu)相似。Claude 可以支持 8000 個(gè) tokens 的處理長(zhǎng)度，比任何 OpenAI 模型都要長(zhǎng)。
第一個(gè)宣布整合 Anthropic 模型的商業(yè)企業(yè)是 Robin AI，這是一家法律科技創(chuàng)業(yè)公司，已經(jīng)融資 1300 萬(wàn)美元，主要業(yè)務(wù)是幫助公司起草和編輯合同，將法律費(fèi)用降低 75%。Robin AI 將 Claude 智能聊天機(jī)器人集成到其軟件中作為免費(fèi)的自助版本。Robin AI 有 450 萬(wàn)份法律文件中，它利用這些專(zhuān)有數(shù)據(jù)進(jìn)行訓(xùn)練，并使用 30 多名內(nèi)部律師“監(jiān)督”該模型并提出修正建議。
問(wèn)答平臺(tái) Quora 的 AI 對(duì)話(huà)機(jī)器人平臺(tái) Poe 是 Anthropic 的另一個(gè)合作伙伴。Poe 集成了對(duì)話(huà)機(jī)器人 ChatGPT、Sage、Claude 和 Dragonfly，其中 ChatGPT、Sage 和 Dragonfly 均由 OpenAI 提供支持，而 Claude 則由 Anthropic 提供支持。Poe 是目前唯一可以公開(kāi)使用 Claude 的方式，該平臺(tái)尚未開(kāi)始商業(yè)化。
最近，Salesforce Ventures 宣布推出 Generative AI 基金，首批投資名單就包含 Anthropic。雖然沒(méi)有披露投資額，但有提到 Claude 的能力馬上就會(huì)被集成到 Slack 內(nèi)。
除了上述合作方，Claude 目前還有大約 15 個(gè)未公開(kāi)的合作伙伴，他們正在探索 Claude 在生產(chǎn)力、對(duì)話(huà)、醫(yī)療、客戶(hù)成功、HR和教育等各個(gè)領(lǐng)域的應(yīng)用。
接下來(lái)，我們?cè)诓煌娜蝿?wù)上來(lái)對(duì)比 Claude 和 ChatGPT 的效果。
在以下任務(wù)上，ChatGPT 的表現(xiàn)更好：
在以下任務(wù)上，Claude 的表現(xiàn)更好：
在以下任務(wù)上，兩者表現(xiàn)的差不多：
結(jié)合這些對(duì)比，可以發(fā)現(xiàn) Claude 完全不弱于 ChatGPT：
Claude 優(yōu)點(diǎn)：更擅長(zhǎng)拒絕有害提示詞、更有趣、寫(xiě)作更長(zhǎng)更自然、更能遵守指令；
Claude 缺點(diǎn)：對(duì)于代碼生成和推理包含較多錯(cuò)誤；
Claude 和 ChatGPT 相似點(diǎn)：邏輯問(wèn)題的計(jì)算或推理，兩者表現(xiàn)差不多。
你還可以在 https://nat.dev/compare 上對(duì)比 Claude 和其他模型的推理速度和生成效果：
四、團(tuán)隊(duì)
Anthropic 的創(chuàng)始團(tuán)隊(duì)成員，大多為 OpenAI 的重要員工或關(guān)聯(lián)成員，這些人曾是 OpenAI 的中堅(jiān)力量，參與了 OpenAI 的多項(xiàng)研究。
Anthropic 有著很高的招聘標(biāo)準(zhǔn)，目前他們只為 2% 的候選人發(fā)放了 offer，其中接受率達(dá)到 83%。目前還沒(méi)有員工主動(dòng)離職。
在 GPT-3 論文 Language Models are Few-Shot Learners 中，前兩位作者（Tom Brown 和 Ben Mann）和最后一位通訊作者、項(xiàng)目負(fù)責(zé)人（Dario Amodei）目前均在 Anthropic 工作。該論文的 31 名作者中，有 8 名目前在 Anthropic 工作。
雖然 Anthropic 是一個(gè) 2021 年成立的公司，但創(chuàng)始團(tuán)隊(duì)從 2016 年就開(kāi)始研究 AI 安全，在創(chuàng)立 Anthropic 之前，他們就是人類(lèi)反饋增強(qiáng)學(xué)習(xí)、特征可視化、縮放定律、GPT-2、GPT-3、Codex 的核心貢獻(xiàn)者。如此高的人才密度讓 Anthropic 和 OpenAI、DeepMind（Google）共同成為第一梯隊(duì)的 AI 前沿模型公司：
Tier 1：OpenAI、Anthropic、DeepMind（Google）；
Tier 2：Infection、Facebook、Amazon、Cohere、Stability AI；
Tier 3：Salesforce、Apple、adept.ai、Tesla..
五、定價(jià)
OpenAI 合作伙伴，AI 視頻公司 Waymark 創(chuàng)始人比較了 OpenAI、Anthropic 和 Cohere 的價(jià)格。其中：
OpenAI 的 gpt-3.5-turbo（ChatGPT）和 text-davinci-003 模型均按照輸入（prompt）+輸出（completion）總計(jì)的 token 數(shù)量（1 word = 1.35 tokens）計(jì)費(fèi)；
Anthropic 按照輸出和輸出的 character 數(shù)計(jì)費(fèi)（1 word = 5 characters），并且輸出部分的價(jià)格比輸入部分的價(jià)格貴些；
Cohere 是按照對(duì)話(huà)次數(shù)（即 request 次數(shù)）計(jì)費(fèi)。
接下來(lái)他設(shè)置了三種場(chǎng)景，分別是：
短對(duì)話(huà)：AI 每次輸出 100 詞；
中等對(duì)話(huà)：AI 每次輸出 250 詞；
長(zhǎng)對(duì)話(huà)：AI 每次輸出 500 詞。
每種長(zhǎng)度的對(duì)話(huà)都模擬三個(gè)問(wèn)答來(lái)回，通過(guò)這種設(shè)定比較幾種底層模型的價(jià)格。如果以 text-davinci-003 的價(jià)格視為 1 的話(huà)，那么：
短對(duì)話(huà)中，gpt-3.5-turbo 是 0.1，Anthropic 是 1.73，Cohere 是 0.63；
中等對(duì)話(huà)中，gpt-3.5-turbo 是 0.1，Anthropic 是 2.71，Cohere 是 0.77；
長(zhǎng)對(duì)話(huà)中，gpt-3.5-turbo 是 0.1，Anthropic 是 2.11，Cohere 是 0.63。
如果一個(gè)產(chǎn)品有 1000 用戶(hù)，每人每天 10 次對(duì)話(huà)，并且一年按照工作 250 天計(jì)算，總共產(chǎn)生的對(duì)話(huà)是 250 萬(wàn)次。如果這些都是短對(duì)話(huà)，那么使用 gpt-3.5-turbo 價(jià)格只有 6000 美元，使用 Cohere 需要花費(fèi)不到 4 萬(wàn)美元，使用 text-davinci-003 的話(huà)會(huì)花費(fèi) 6 萬(wàn)美元，而使用 Anthropic 需要花費(fèi)超過(guò) 10 萬(wàn)美元。
可見(jiàn)，Anthropic 當(dāng)前的價(jià)格并沒(méi)有競(jìng)爭(zhēng)力，OpenAI 最新模型 gpt-3.5-turbo 給包括 Anthropic 在內(nèi)的其他玩家?guī)?lái)了成本上的強(qiáng)烈沖擊。OpenAI 利用先發(fā)優(yōu)勢(shì)收集用戶(hù)反饋來(lái)剪枝（一種模型壓縮技術(shù)），降低模型參數(shù)進(jìn)而降低成本，形成了非常好的飛輪效應(yīng)。
六、融資歷史
Anthropic A 輪領(lǐng)投投資人 Jaan Tallinn 是 Skype 的聯(lián)合創(chuàng)始人，其余投資人包括前 Google CEO Eric Schmidt、Facebook 聯(lián)合創(chuàng)始人及 Asana CEO Dustin Moskovitz 等。B 輪最大投資者是 Alameda Research，即 FTX 創(chuàng)始人 Sam Bankman-Fried 的加密對(duì)沖基金，他在去年申請(qǐng)破產(chǎn)前投入了 5 億美元，這筆錢(qián)可能會(huì)被法院收回。
2023 年以來(lái)，Anthropic 已經(jīng)接受了來(lái)自 Google、Spark Capital 和 Salesforce Ventures 的投資，估值 41 億美元。
為了自己免受商業(yè)的干擾，Anthropic 公司注冊(cè)為公共利益公司（Public Benefit Corporation，PBC），并建立了一個(gè)長(zhǎng)期利益委員會(huì)，該委員會(huì)由與公司或其投資人沒(méi)有關(guān)系的人組成，他們將對(duì)包括董事會(huì)的組成在內(nèi)的事項(xiàng)擁有最終決定權(quán)。
“Anthropic， PBC”最初是在特拉華州注冊(cè)的。在那里，一家營(yíng)利性公司可以稱(chēng)自己為 PBC，只要它認(rèn)為自己的行為是為了公共利益。每隔一年，公司就必須告訴股東，它確實(shí)在為公眾利益而努力，但無(wú)需審計(jì)或證明。但如果 Anthropic 在加利福尼亞州注冊(cè)為 PBC，該公司將無(wú)法向任何人分配利潤(rùn)、收益或股息。如果股東要求將新技術(shù)產(chǎn)品化來(lái)創(chuàng)造財(cái)務(wù)價(jià)值，但創(chuàng)始團(tuán)隊(duì)想在將新技術(shù)推向世界前進(jìn)行更多的安全研究，在 PBC 結(jié)構(gòu)中，后者的做法會(huì)受到法律保護(hù)。
七、結(jié)論
Anthropic 仍是一家非常早期并且快速發(fā)展的公司。Anthropic 具有出色的科研能力，并且剛剛開(kāi)始商業(yè)化，在一系列大語(yǔ)言模型公司中形成了僅次于 OpenAI 的身位，非常值得持續(xù)關(guān)注。其 AI 助理 Claude 從效果上并不遜色于 ChatGPT，但在定價(jià)上還比 ChatGPT 貴很多。
在創(chuàng)立的早期，Anthropic 一直專(zhuān)注于科研，在 2023 年 Q1 正式加速商業(yè)化。今年預(yù)計(jì)收入 $$50M。大語(yǔ)言模型需要大量的資金和計(jì)算資源，為了保持領(lǐng)先地位，Anthropic 今年預(yù)計(jì)花費(fèi) 10 億美元訓(xùn)練和部署大模型，兩年后更是需要 30~50 億美元的資金。如何平衡其 AI 安全的研究和商業(yè)化進(jìn)度是一個(gè)非常大的考驗(yàn)。
大語(yǔ)言模型的競(jìng)爭(zhēng)格局可能會(huì)在 2024 年改變，并且是最后一次改變。今天訓(xùn)練的模型將在 2024 年上線(xiàn)，它們比現(xiàn)在使用的模型至少?gòu)?qiáng)大 10x，因此訓(xùn)練出 2024 年最強(qiáng)大的模型的公司將是人才、經(jīng)驗(yàn)、資本的最大獲益者，并且有能力去訓(xùn)練下一代模型（2025 年上線(xiàn)）。在 2025 年最強(qiáng)大的通用大語(yǔ)言模型將會(huì)把其他競(jìng)爭(zhēng)者遠(yuǎn)遠(yuǎn)甩在身后。因此最近這兩年是 Anthropic 的重要時(shí)間窗口。
1952 年，英國(guó)廣播公司主持了一個(gè)節(jié)目，召集了一個(gè)由四位杰出科學(xué)家組成的小組進(jìn)行圓桌對(duì)話(huà)。主題是“自動(dòng)計(jì)算機(jī)會(huì)思考嗎？”四位嘉賓是艾倫-圖靈，計(jì)算機(jī)科學(xué)的創(chuàng)始人之一；科學(xué)哲學(xué)家理查德-布萊斯韋特；神經(jīng)外科醫(yī)生杰弗里-杰弗遜；以及數(shù)學(xué)家和密碼學(xué)家馬克斯-紐曼。
圖靈說(shuō)：“當(dāng)一個(gè)孩子被教育時(shí)，他的父母和老師會(huì)反復(fù)干預(yù)，阻止他做這個(gè)或鼓勵(lì)他做那個(gè)。對(duì)機(jī)器也是這樣，我曾做過(guò)一些實(shí)驗(yàn)，教一臺(tái)機(jī)器做一些簡(jiǎn)單的操作，在我得到任何結(jié)果之前，都需要大量的這種干預(yù)。換句話(huà)說(shuō)，機(jī)器學(xué)得很慢，需要大量的教導(dǎo)�！�
杰弗遜打斷了他的話(huà)：“但是誰(shuí)在學(xué)習(xí)？是你還是機(jī)器？”
圖靈說(shuō)，“我想我們都在學(xué)習(xí)�！�
今天的人們更多的是在關(guān)注大語(yǔ)言模型的發(fā)展，而忽視了其安全、道德和社會(huì)責(zé)任問(wèn)題。我們不希望人類(lèi)被自己創(chuàng)造出的 AI 毀滅，在通往 AGI 的路上，與其說(shuō)人類(lèi)如何教機(jī)器學(xué)習(xí)，不如說(shuō)人類(lèi)如何與機(jī)器共同學(xué)習(xí)，實(shí)現(xiàn)和平共處。而這也許就是 Anthropic 的初衷。
Reference：
https://voxcom.cmail19.com/t/ViewEmail/d/2D0FABAB93B9A22A2540EF23F30FEDED/7655520C49A52981BA4AF9908B8D85ED
https://www.amazon.com/Alignment-Problem-Machine-Learning-Values/dp/0393635821
https://www.youtube.com/watch?v=VrPc4_Mylr4&t=415s
https://www.nytimes.com/2023/01/27/technology/anthropic-ai-funding.html
https://www.ft.com/content/8de92f3a-228e-4bb8-961f-96f2dce70ebb
https://techcrunch.com/2023/02/06/quora-opens-its-new-ai-chatbot-app-poe-to-the-general-public/
https://aibusiness.com/verticals/eleven-openai-employees-break-off-to-establish-anthropic-raise-124m
https://www.googlecloudpresscorner.com/2023-02-03-Anthropic-Forges-Partnership-With-Google-Cloud-to-Help-Deliver-Reliable-and-Responsible-AI
https://futureoflife.org/podcast/daniela-and-dario-amodei-on-anthropic/
https://www.ft.com/content/583ead66-467c-4bd5-84d0-ed5df7b5bf9c
https://scale.com/blog/chatgpt-vs-claude
https://github.com/taranjeet/awesome-claude
https://techcrunch.com/2023/01/09/anthropics-claude-improves-on-chatgpt-but-still-suffers-from-limitations/
https://techcrunch.com/2023/02/27/anthropic-begins-supplying-its-text-generating-ai-models-to-startups/
https://sifted.eu/articles/wise-monzo-founders-generative-ai-news/
https://docs.google.com/spreadsheets/d/1FnnbcbUSAIklWsYBIHNM5enjuOR1FrDCmTgKkawQQBo/edit#gid=0
https://www.theinformation.com/articles/openai-rival-anthropic-raises-funding-at-4-1-billion-valuation?rc=z4bphe
https://www.salesforce.com/news/stories/generative-ai-investing/
本文來(lái)自微信公眾號(hào)：海外獨(dú)角獸（ID：unicornobserver），作者：Armin，編輯：penny
