以下為與 OpenAI CEO Sam Altman 的最新專訪的全部內容,其中探討了許多人在意的話題,除了 OpenAI 的未來發展外,還有過去 OpenAI 遇到的挫折,在這專訪中都有討論到。本文源自 Lex Fridman 的專訪影片,並由 Foresight New 整理、編譯及撰稿。
(前情提要:馬斯克旗下xAI宣布開源Grok,3140億個參數震驚業界,直嗆「OpenAI就是謊言」)
(背景補充:OpenAI影片模型「Sora」今年上線!被問訓練素材來源,技術長竟回不知道…)
OpenAI 執行長 Sam Altman 的最新專訪,談到了關於 OpenAI 董事會之爭、共同創辦人 Ilya Sutskever、馬斯克的訴訟、Sora、GPT-4、記憶與隱私、神秘計畫Q*、GPT-5、能源、7 兆美金的募資、Google Gemini、跨越到 GPT-5,以及 AGI 外星人…等話題。
OpenAI 董事會之爭
Lex Fridman(主持人):帶我回顧一下 11 月 16 日星期四開始的 OpenAI 董事會傳奇,也許您也可以從 11 月 17 日星期五開始。
Sam Altman:這絕對是我一生中最痛苦的職業經歷,混亂、可恥、令人不安,還有很多其他負面的事情。它也有很棒的東西,我希望它沒有如此腎上腺素激增,以至於我當時無法停下來欣賞它們。
但我發現了我的這條舊推文或我那個時期的這條推文。這就像寫自己的悼詞,看著人們談論你所有這些偉大的事情,以及我所愛和關心的人難以置信的支援。那真是太好了,太好了。
整個週末,除了一個很大的例外,我感受到了很多愛和很少的恨,儘管感覺我不知道這裡正在發生什麼以及將要發生什麼,這感覺真的很糟糕。有時我確實認為這將是人工智慧安全史上發生的最糟糕的事情之一。嗯,我也認為我很高興這件事發生得相對較早。
我認為在 OpenAI 開始到我們建立 AGI 之間的某個時刻,將會發生一些瘋狂和爆炸性的事情,但可能還會有更多瘋狂和爆炸性的事情發生。我認為,它仍然幫助我們建立了一定的韌性,並為未來的更多挑戰做好了準備。
Lex Fridman:但是你有一種感覺,你會經歷某種權力鬥爭?
Sam Altman:通向 AGI 的道路應該是一場巨大的權力鬥爭。世界應該…… 嗯,不應該。我希望情況會如此。
Lex Fridman:所以你必須經歷這個過程,就像你說的,儘可能頻繁地迭代,弄清楚如何建立董事會結構、如何建立組織、如何擁有你所需要的人員。我們正在努力解決如何溝通所有這些問題,以便儘可能緩和權力鬥爭。
Sam Altman:是的。
Lex Fridman:安撫它。
Sam Altman:但此時此刻,感覺就像是過去的事情,真的很不愉快,真的很困難和痛苦,但我們又回到了工作職位,事情是如此忙碌和緊張,我不知道不用花很多時間去思考它。之後有一段時間,一個月後,也許是 45 天后,我就處於這種神遊狀態,我只是在這些日子裡漂泊。我實在是太沒出息了。我心情非常低落。
Lex Fridman:只是在個人心理層面上嗎?
Sam Altman:是的。真的很痛苦,而且很難在這中間繼續執行 OpenAI。我只想爬進山洞裡恢復一下。但現在我們好像剛剛回到任務中。
Lex Fridman:嗯,回到那裡反思一下董事會結構、權力動態、公司的運營方式、研究和產品開發與資金之間的緊張關係以及所有這些東西仍然很有用,這樣你就可以他們在構建 AGI 方面具有很高的潛力,將來會以一種稍微更有組織性、不那麼引人注目的方式來實現。因此,這裡有很多價值,無論是作為領導者的個人心理方面,還是董事會結構和所有這些混亂的東西。
Sam Altman:我確實學到了很多關於結構和激勵措施以及我們對董事會的需求。我認為現在發生的這件事在某種意義上是有價值的。我認為這可能不是 OpenAI 最後一個高壓力時刻,但這是一個相當高壓力的時刻。
我的公司差一點就被毀掉了。我們思考了很多我們必須為 AGI 做好的其他事情,但思考如何建立一個有彈性的組織以及如何建立一個能夠承受世界上巨大壓力的結構,這隨著我們越來越接近,我的期望越來越多,我認為這非常重要。
Lex Fridman:您是否感覺到董事會的審議過程有多深入、有多嚴格?您能簡單介紹一下在這種情況下人類的動態嗎?是不是隻是聊了幾句,事情突然升級了,我們為什麼不解僱薩姆之類的事情呢?
Sam Altman:我認為董事會成員總體上都是善意的人,而且我相信,在人們感到時間壓力或其他壓力的情況下,人們會理解並做出次優的決定。我認為 OpenAI 面臨的挑戰之一是我們必須擁有一個善於在壓力下運作的董事會和團隊。
Lex Fridman:您認為董事會權力太大嗎?
Sam Altman:我認為董事會應該擁有很大的權力,但我們確實看到的一件事是,在大多數公司結構中,董事會通常對股東負責。有時人們擁有超級投票權股份或其他什麼。在這種情況下,我認為我們的結構中我們可能應該比我們考慮更多的事情之一是,除非您制定其他規則,否則非營利組織的董事會擁有相當大的權力。
除了他們自己之外,他們並不真正對任何人負責。這在很多方面都是好的,但我們真正希望的是 OpenAI 董事會能夠向整個世界做出迴應,儘管這是一件實際的事情。
Lex Fridman:因此宣佈了一個新的董事會。
Sam Altman: 是的。
Lex Fridman:我猜一開始有一個新的較小的板,現在有一個新的最終板?
Sam Altman:尚未最終版。我們添加了一些。我們會新增更多。
Lex Fridman:添加了一些。好的。新版本中修復了哪些可能在前一版本中被破壞的內容?
Sam Altman:舊板在大約一年的時間裡變得越來越小。原來是九個,然後減少到了六個,然後我們無法就新增誰達成一致。我認為董事會也沒有很多經驗豐富的董事會成員,而且 OpenAI 的許多新董事會成員只是擁有更多的董事會成員經驗。我想這會有所幫助。
Lex Fridman:一些被新增到董事會的人受到了批評。例如,我聽到很多人批評拉里・薩默斯的加入。選擇董事會的流程是怎樣的?這涉及什麼?
Sam Altman:因此,佈雷特和拉里在這個非常緊張的週末一時衝動做出了決定,那個週末就像過山車一樣。這經歷了很多起起落落。我們試圖就新的董事會成員達成一致,這裡的執行團隊和老董事會成員都認為這是合理的。
拉里實際上是他們的建議之一,老董事會成員。Brett,我想我什至在那個週末之前就提出過建議,但他很忙,不想這樣做,然後我們確實需要幫助。我們也討論了很多其他人,但我覺得如果我要回來,我需要新的董事會成員。我不認為我可以在相同的配置下再次使用舊董事會,儘管我們隨後決定,我很感激亞當會留下來,但我們考慮了各種配置,決定我們想要一個三人董事會,必須在短時間內找到兩名新的董事會成員。
所以這些都是誠實地決定的,沒有…… 你在戰場上這樣做。那時你沒有時間設計嚴格的流程。對於此後的新董事會成員以及我們今後將新增的新董事會成員,我們有一些我們認為對董事會很重要的標準,以及我們希望董事會擁有的不同專業知識。
與僱傭一名高管不同,你需要他們做好一個角色,董事會需要做好治理和深思熟慮的整個角色,因此,佈雷特說的我真正喜歡的一件事是,我們希望以名單形式僱傭董事會成員,而不是一次一個人。考慮一群人將帶來非營利組織的專業知識、公司運營的專業知識、良好的法律和治理專業知識,這就是我們試圖優化的目標。
Lex Fridman:那麼技術悟性對於董事會成員個人來說重要嗎?
Sam Altman:並非每個董事會成員都需要,但肯定有一些成員需要這樣做。這是董事會需要做的一部分。
Lex Fridman:有趣的是,人們可能不瞭解 OpenAI,我當然也不瞭解,那就是運營業務的所有細節。當他們想到董事會時,鑑於戲劇性,他們想到的是你。他們會考慮,如果你達到了 AGI,或者你達到了一些非常有影響力的產品,並且你構建並部署了它們,那麼與董事會的對話是什麼樣的?他們認為,好吧,在這種情況下,什麼樣的陣容才是合適的?
Sam Altman:我認為你肯定需要一些技術專家。然後你需要一些這樣的人:「我們如何才能以最能幫助世界上人們的方式部署它?」以及持有不同觀點的人。我認為你或我可能犯的一個錯誤是認為只有技術理解才重要,這絕對是你希望董事會進行的對話的一部分,但還有更多關於這將如何影響社會和人們的生活您也確實希望在那裡有代表。
Lex Fridman:您是在檢視人們的記錄還是只是在進行對話?
Sam Altman:過往記錄很重要。當然,你們有很多對話,但有些角色我完全忽略追蹤記錄,只看斜率,忽略 Y 截距。
Lex Fridman:謝謝。感謝您為觀眾提供數學知識。
Sam Altman:作為一名董事會成員,我確實更關心 Y 截距。我認為關於往績記錄有一些深刻的東西可以說,而經驗是很難替代的。
Lex Fridman:您是否嘗試將多項式函式或指數函式擬合到追蹤記錄中?
Sam Altman:這個類比並沒有那麼深入。
Lex Fridman:好吧。你提到了那個週末的一些低谷。對你來說,心理上的低谷是什麼?你有沒有考慮過去亞馬遜叢林,服用死藤水然後永遠消失?
Sam Altman:那是一段非常糟糕的時期。也有很大的高潮。我的手機不停地收到來自每天和我一起工作的人的好訊息,這些人我已經十年沒有和他們說過話了。我沒有充分意識到這一點,因為我正處於這場交火之中,但這真的很好。
但總的來說,這是一個非常痛苦的週末。這就像一場令人驚訝的公開戰鬥,這對我來說非常疲憊,比我預想的要多得多。我認為打架通常會讓人筋疲力盡,但這一場確實如此。董事會於週五下午進行了此項工作。我真的無法得到太多答案,但我也想,好吧,董事會可以這樣做,所以我要考慮一下我想做什麼,但我 ‘ 我會嘗試在這裡找到因禍得福。
我當時想,好吧,我目前在 OpenAI 的工作是,或者說曾經是,經營一家規模相當大的公司。我一直最喜歡的事情就是與研究人員一起工作。我當時想,是的,我可以去做一個非常專注的 AGI 研究工作。我對此感到很興奮。當時我什至沒有想到這一切可能都會被撤銷。這是週五下午。
Lex Fridman:所以你已經接受了這個。
Sam Altman:非常快。我經歷了一段困惑和憤怒的時期,但很快,很快。到週五晚上,我正在和人們談論接下來會發生什麼,我對此感到很興奮。我想那是週五晚上,我第一次聽到這裡的執行團隊的聲音,就像是,「嘿,我們要對抗這個問題。」然後我就上床睡覺了,但我仍然感到,好吧,興奮。向前。
Lex Fridman: 你睡得著嗎?
Sam Altman:不多。其中一件奇怪的事情是,在這四天半的時間裡,我睡得不多,吃得不多,但仍然精力充沛。在戰時你會學到關於腎上腺素的奇怪事情。
Lex Fridman:所以你接受了 OpenAI 這個嬰兒的死亡。
Sam Altman:我對新事物感到興奮。我當時想,「好吧,這太瘋狂了,但無論如何。」
Lex Fridman: 這是一個非常好的應對機制。
Sam Altman:週六早上,兩名董事會成員打電話說:「嘿,我們並不是有意破壞穩定。我們不想在這裡儲存太多的價值。我們可以談談你回來的事嗎?」
我立刻不想這樣做,但我想了一點,然後我想,嗯,我真的很關心這裡的人、合作伙伴、股東。我喜歡這家公司。所以我想了想,我想,「好吧,但這就是我需要的東西。」然後最痛苦的時刻是在那個週末,我一直在思考並被告知,不僅僅是我,這裡的整個團隊都在思考,好吧,當全世界都在努力時,我們正在努力保持 OpenAI 的穩定為了打破它,人們試圖招募任何人。
我們一直被告知,好吧,我們快完成了。我們快完成了。我們只是需要多一點時間。這就是一種非常混亂的狀態。然後週日晚上,每隔幾個小時,我就期待我們會完成任務,我們會想辦法讓我回來,讓事情回到原來的樣子。
董事會隨後任命了一位新的臨時執行長,然後我就想,這感覺真的很糟糕。那是整個事情的最低點。我告訴你一件事。這感覺很痛苦,但整個週末我都感受到了很多愛。除了週日晚上的那一刻,我不會將自己的情緒描述為憤怒或仇恨,但我感受到人們對人們的很多愛。這很痛苦,但週末的主導情緒是愛,而不是恨。
Lex Fridman:您對米拉・穆拉蒂 (Mira Murati) 給予了高度評價,正如您在推文中所說,她在重要的安靜時刻尤其提供了幫助。或許我們可以稍微偏離一下主題。你欣賞米拉什麼?
Sam Altman:嗯,在那個週末,在一片混亂中,她做得很好,但人們經常在危機時刻看到領導者,無論好壞。但我真正看重領導者的一點是,人們在無聊的週二上午 9:46 以及日常的平凡苦差事中的表現如何。某人在會議中的表現、他們所做決策的品質。這就是我所說的安靜時刻。
Lex Fridman:這意味著大部分工作都是在日復一日的會議中完成的。只要在場並做出重大決定即可。
Sam Altman:是的。看,你想花最後 20 分鐘的時間,我理解,這是一個非常戲劇性的週末,但這並不是 OpenAI 的真正目的。OpenAI 確實是關於另外七年的。
Lex Fridman:嗯,是的。人類文明不是納粹德國入侵蘇聯,但這仍然是人們關注的焦點。
Sam Altman:非常容易理解。
Lex Fridman:它讓我們洞察人性、人性的極端,或許人類文明的一些勝利中的一些損害可能發生在那些時刻,所以它很有說明性。讓我問你關於伊利亞的事。他是在祕密核設施中被扣為人質嗎?
Ilya Sutskever,OpenAI 的共同創辦人
Lex Fridman:這在某種程度上正在成為一種迷因。你認識伊利亞很長時間了。顯然,他是董事會和諸如此類的事情的一部分。你現在和他是什麼關係?
Sam Altman:我愛伊利亞。我非常尊重伊利亞。我現在對他的計劃無話可說。這是他的問題,但我真的希望我們在我餘下的職業生涯中一起工作。他比我年輕一點。也許他工作的時間長一點。
Lex Fridman:有一個迷因說他看到了一些東西,就像他可能看到了 AGI,這讓他內心非常擔心。伊利亞看到了什麼?
Sam Altman:伊利亞沒有見過 AGI。我們沒有人見過 AGI。我們還沒有建立 AGI。我確實認為我真正喜歡 Ilya 的眾多原因之一是他非常認真地對待 AGI 和安全問題,從廣義上講,包括這將對社會產生的影響等問題。隨著我們繼續取得重大進展,伊利亞是我在過去幾年裡花最多時間談論這意味著什麼、我們需要做什麼來確保我們做對的人之一,確保我們成功完成使命。
所以伊利亞並沒有看到通用人工智慧,但伊利亞為人類做出了貢獻,因為他為確保我們做對而思考和擔心。
Lex Fridman:我過去曾與他進行過很多交談。我認為當他談論技術時,他總是在做這種長期思考的事情。所以他並沒有考慮一年後會發生什麼。他正在考慮 10 年後的情況,只是從首要原則出發思考,好吧,如果規模化了,那麼這裡的基本原理是什麼?這是要去哪裡?因此,這是他們思考所有其他安全問題和所有此類問題的基礎,這使他成為一個非常有趣的人。你知道他為什麼沉默嗎?難道他只是在自我反省?
Sam Altman:再說一遍,我不想代表 Ilya 發言。我認為你應該問他這個問題。他絕對是一個有思想的人。我認為伊利亞總是以一種非常好的方式進行靈魂探索。
Lex Fridman:是的。此外,他還欣賞沉默的力量。另外,我聽說他可能是個傻子,但我從未見過他的這一面。
Sam Altman:當這種情況發生時,感覺非常甜蜜。
Lex Fridman:我從未見過愚蠢的伊利亞,但我也很期待。
Sam Altman:最近我和他一起參加一個晚宴,他正在和一隻小狗玩耍,他的心情很傻,很可愛。我在想,天哪,這不是世人最常看到的伊利亞的一面。
Lex Fridman:總結一下整個故事,您對董事會結構感覺良好嗎?
Sam Altman:是的。
Lex Fridman:關於這一切以及它的發展方向?
Sam Altman:我對新董事會感覺很好。就 OpenAI 的結構而言,董事會的任務之一就是研究它,看看我們可以在哪些方面使其更加穩健。我們希望首先讓新的董事會成員就位,但我們顯然在整個過程中學到了有關結構的教訓。我想,我沒有什麼非常深奧的話要說。
這是一次瘋狂、非常痛苦的經歷。我認為這是一場完美的怪異風暴。這對我來說是一個預演,隨著風險越來越大,以及我們需要擁有健全的治理結構、流程和人員,將會發生什麼。我很高興它發生了,但經歷它是一件令人震驚的痛苦的事情。
Lex Fridman:這是否讓您在信任他人方面變得更加猶豫?
Sam Altman:是的。
Lex Fridman:只是在個人層面上嗎?
Sam Altman:是的。我想我是一個非常信任別人的人。我一直有一個人生哲學,那就是不要擔心所有的偏執。不用擔心邊緣情況。你會被一點點搞砸,但你卻可以放鬆警惕地生活。這讓我非常震驚。我措手不及,它肯定已經改變了,我真的不喜歡這個,它絕對改變了我對人們預設信任和針對糟糕情況的計劃的看法。
Lex Fridman:你必須小心這一點。您是否擔心變得有點太憤世嫉俗?
Sam Altman:我並不擔心變得過於憤世嫉俗。我認為我是一個憤世嫉俗的人的極端對立面,但我擔心自己會變得不再是一個預設的信任者。
Lex Fridman:我實際上不確定哪種模式最適合開發 AGI 的人,信任還是不信任。你正在經歷一段有趣的旅程。但就結構而言,我對人類層面更感興趣。你如何讓周圍的人都在創造很酷的東西,同時也做出明智的決定?因為你賺的錢越多,這個東西的力量就越大,人們就越奇怪。
Sam Altman:我認為您可以對董事會成員以及我應該獲得的信任程度做出各種評論,或者我應該如何以不同的方式做事。但就這裡的團隊而言,我想你必須給我一個非常好的評分。我對每天與我一起工作的人懷有極大的感激、信任和尊重,我認為被這樣的人包圍真的很重要。
馬斯克的訴訟
Lex Fridman: 我們共同的朋友 Elon 起訴 OpenAI。對你來說,他批評的本質是什麼?他的觀點在多大程度上有道理?他錯到什麼程度了?
Sam Altman:我不知道它到底是關於什麼的。我們一開始只是認為我們將成為一個研究實驗室,並且不知道這項技術將如何發展。因為那只是七八年前的事,所以很難回去真正記住當時的情況,但那是在語言模型還沒有成為大事之前。
那是在我們對 API 或銷售聊天機器人的訪問權有任何想法之前。在我們完全不知道我們要產品化之前。所以我們就像,「我們只是想嘗試做研究,但我們並不真正知道我們要用它來做什麼。」我認為對於許多根本性的新事物,你開始在黑暗中摸索並做出一些假設,其中大多數結果都是錯誤的。
然後很明顯,我們需要做不同的事情,並且還需要大量的資本。所以我們說,「好吧,這個結構不太適合這個。我們如何修補結構?」然後你再次修補它,再次修補它,至少可以說,你最終會得到一些看起來確實令人驚訝的東西。
但我認為,我們逐漸走到了這一步,在這一過程中的每一點上都做出了合理的決定。這並不意味著如果我們現在可以使用 Oracle,我不會採取完全不同的做法,但當時你沒有得到 Oracle。但無論如何,我不知道埃隆的真正動機是什麼。
Lex Fridman:就您所記得的程度而言,OpenAI 在部落格中給出的回應是什麼?你能總結一下嗎?
Sam Altman:哦,我們剛剛說過伊隆說過這一系列的話。這是我們的表徵,或者這不是我們的表徵。以下是事件發生過程的描述。我們試圖不讓它變得情緒化,只是說:「這就是歷史。」
Lex Fridman:我確實認為伊隆對你剛才提出的一個觀點存在一定程度的錯誤描述,即你當時的不確定程度。你們是一小群研究人員,在每個人都在嘲笑 AGI 的時候瘋狂地談論這個想法。
Sam Altman:不久前,伊隆還在瘋狂地談論發射火箭,當時人們都在嘲笑這個想法,所以我認為他對此會有更多的同理心。
Lex Fridman:我確實認為這裡有個人的事情,OpenAI 和這裡很多了不起的人選擇與分道揚鑣,所以有一個個人的 ——
Sam Altman:伊隆選擇分道揚鑣。
Lex Fridman:你能準確描述一下嗎?選擇分手?
Sam Altman:他認為 OpenAI 將會失敗。他想要完全控制來扭轉局面。我們希望繼續朝著 OpenAI 的方向前進。他還希望特斯拉能夠打造通用人工智慧。他曾多次希望將 OpenAI 打造成一家他可以控制或與特斯拉合並的營利性公司。我們不想這樣做,他決定離開,這很好。
Lex Fridman:所以你是說,這就是部落格文章所說的一件事,他希望 OpenAI 基本上被特斯拉以同樣的方式收購,或者可能是類似的,或者可能是更多的東西比與微軟的合作更具戲劇性。
Sam Altman:我的記憶是,這個提案就像是,被特斯拉收購並讓特斯拉完全控制它。我很確定就是這樣。
Lex Fridman:那麼 OpenAI 中的「開放」一詞對於當時的伊隆來說意味著什麼?伊利亞(Ilya)在電子郵件交流和所有此類內容中談到了這一點。當時對你來說意味著什麼?現在對你來說意味著什麼?
Sam Altman:說到使用 Oracle,我會選擇一個不同的名字。我認為 OpenAI 正在做的事情中最重要的一件事就是將強大的技術免費提供給人們,作為一項公共利益。我們不在我們的網站上投放廣告作為公共物品。我們的免費版本不會投放廣告。我們不會以其他方式將其貨幣化。
我們只是說這是我們使命的一部分。我們希望將日益強大的工具免費提供給人們並讓他們使用它們。我認為這種開放對我們的使命非常重要。我認為,如果你為人們提供出色的工具並教他們使用它們,或者甚至不教他們,他們就會弄清楚,並讓他們以此為彼此建立一個令人難以置信的未來,這是一件大事。
因此,如果我們能夠繼續向世界推出免費或低成本或免費且低成本的強大人工智慧工具,我認為這對於我們如何完成使命來說意義重大。不管是否開源,是的,我認為我們應該開源一些東西而不是其他東西。它確實成為了一條很難有細微差別的宗教戰線,但我認為細微差別是正確的答案。
Lex Fridman:於是他說:「把你的名字改成 CloseAI,我就放棄訴訟。」我的意思是,它會成為這個名字的迷因之地的戰場嗎?
Sam Altman:我認為這說明了伊隆對訴訟的嚴肅態度,我認為這是一件令人驚訝的事情。
Lex Fridman: 如果我錯了,也許可以糾正我,但我認為這起訴訟在法律上並不嚴重。更重要的是要強調 AGI 的未來以及目前處於領先地位的公司。
Sam Altman:看,我的意思是 Grok 沒有開源任何東西,直到人們指出它有點虛偽,然後他宣佈 Grok 將在本週開源。我認為開源與非開源對他來說並不是真正的意義所在。
Lex Fridman:好吧,我們將討論開源與非開源。我確實認為也許批評競爭是件好事。只說一點廢話,那就太好了。但友好的競爭與「我個人討厭訴訟」之類的競爭不同。
Sam Altman:聽著,我認為這整件事對於建築商來說是不合適的。我尊重埃隆,他是我們這個時代最偉大的建設者之一。我知道他知道被仇恨者攻擊他是什麼感覺,這讓我對他這樣做感到格外難過。
Lex Fridman:是的,他是有史以來最偉大的建設者之一,甚至可能是有史以來最偉大的建設者。
Sam Altman:這讓我很難過。我認為這讓很多人感到悲傷。有很多人長期以來一直仰慕他。我在一些採訪或其他事情中說過,我懷念以前的埃隆,以及我收到的大量資訊,「這正是我的感受。」
Lex Fridman:我認為他應該贏。他應該讓 X Grok 擊敗 GPT,然後 GPT 擊敗 Grok,這只是競爭,對每個人來說都是美好的。但在開源問題上,你認為有很多公司在玩這個想法嗎?這很有趣。我想說,Meta 令人驚訝地在這方面處於領先地位,或者至少在真正開源模型的國際象棋遊戲中邁出了第一步。當然,這不是最先進的模型,但開源 Llama Google正在考慮開源一個較小版本的想法。開源的優點和缺點是什麼?你有沒有想過這個想法?
Sam Altman:是的,我認為開源模型肯定有一席之地,特別是人們可以在本地執行的小型模型,我認為需求巨大。我認為會有一些開源模型,也會有一些閉源模型。在這方面它與其他生態系統沒有什麼不同。
Lex Fridman: 我在Podcast中聽到所有人談論這起訴訟和所有類似的事情。他們更擔心從非營利性轉向營利性上限的先例。為其他初創公司樹立了什麼先例?那是東西嗎 ——
Sam Altman: 我強烈勸阻任何考慮以非營利組織開始並隨後增加營利性部門的初創公司。我強烈勸阻他們不要這樣做。我不認為我們會在這裡開創先例。
Lex Fridman:好的。所以大多數初創公司應該這樣做 ——
Sam Altman:當然。
Lex Fridman:再說一遍 ——
Sam Altman:如果我們知道會發生什麼,我們也會這樣做。
Lex Fridman:理論上來說,如果你在這裡跳得很漂亮,就會有一些稅收優惠或其他什麼,但是……
Sam Altman:我認為大多數人並不是這樣看待這些事情的。
Lex Fridman:如果這樣做的話,就不可能為初創公司節省很多錢。
Sam Altman:不,我認為有些法律會讓這變得相當困難。
Lex Fridman:你希望伊隆的表現如何?這種緊張,這種舞蹈,你希望這是什麼?如果我們從現在開始一兩年、三年後,你和他的關係也會在個人層面上發生,比如友誼、友好競爭,等等。
Sam Altman:是的,我真的很尊重伊隆,我希望在未來的歲月裡我們能保持友好的關係。
Lex Fridman:是的,我希望你們這個月能保持友好的關係,互相競爭、獲勝並一起探索這些想法。我確實認為存在人才競爭或其他競爭,但應該是友好的競爭。只是建造很酷的東西。埃隆非常擅長創造酷炫的東西。你也是。
Sora
Lex Fridman:Sora,說到很酷的事情。我可以問大約一百萬個問題。首先,這太棒了。它在產品層面上確實令人驚歎,但在哲學層面上也是如此。那麼,讓我從技術 / 哲學角度問一下,您認為它對世界的理解比 GPT-4 多還是少?當您使用這些更新與語言標記進行訓練時的世界模型。
Sam Altman:我認為所有這些模型對世界模型的理解都比我們大多數人想像的要多。而且因為他們也非常清楚他們只是不理解或不正確的事情,所以很容易看到弱點,看穿面紗並說,「啊,這都是假的。」但這並不全是假的。只是有些有效,有些無效。
我記得當我第一次開始觀看 Sora 視訊時,我會看到一個人在某個東西前面行走幾秒鐘並遮擋它,然後走開,同樣的東西仍然在那裡。我當時想,「哦,這很好。」或者有一些例子,其中底層物理看起來在序列中的許多步驟中得到了很好的體現,就像,「哦,這真是令人印象深刻。」
但從根本上來說,這些模型只是在變得更好,而且這種情況將會持續發生。如果你看一下從 DALL・E 1 到 2 到 3 到 Sora 的軌跡,每個版本都有很多人被扣籃說它不能這樣做,它不能這樣做,現在看看。
Lex Fridman:嗯,你剛才提到的是遮擋基本上是對世界的三維物理模型進行足夠好的建模,以捕獲此類事物。
Sam Altman:嗯……
Lex Fridman:或者,也許你可以告訴我,為了處理遮擋問題,世界模型需要做什麼?
Sam Altman:是的。所以我想說的是,它在處理遮擋方面做得非常好。我所說的是它有一個很棒的底層 3D 世界模型,這有點牽強。
Lex Fridman:但是僅通過這些二維訓練資料方法就能實現這一目標嗎?
Sam Altman:看來這種方法將會取得令人驚訝的成果。我不想過多猜測它會克服哪些限制,不會克服哪些限制,但是……
Lex Fridman:您發現該系統有哪些有趣的限制?我的意思是您釋出了一些有趣的內容。
Sam Altman:有各種各樣的樂趣。我的意思是,貓在視訊中的隨機點上萌芽了額外的限制。選擇你想要的,但是仍然有很多問題,有很多弱點。
Lex Fridman:您認為這是該方法的根本缺陷,還是隻是更大的模型或更好的技術細節或更好的資料,更多的資料將解決貓發芽的問題?
Sam Altman:我會對兩者都說「是」。我認為這種方法似乎與我們思考、學習等方式有所不同。而且我認為隨著規模的擴大,情況會變得更好。
Lex Fridman:就像我提到的,LLMS 有標記、文字標記,而 Sora 有視覺更新,因此它將所有視覺資料、各種視覺資料視訊和影象轉換為更新。培訓是否達到了完全自我監督的程度,正在進行一些手動標記?人類在這一切中有何參與?
Sam Altman:我的意思是,不用說任何有關 Sora 方法的具體內容,我們在工作中使用了大量的人類資料。
Lex Fridman:但不是網際網路規模的資料?人類如此之多。「很多」是一個複雜的詞,山姆。
Sam Altman:我認為在這種情況下「很多」是一個公平的詞。
Lex Fridman:因為對我來說,「很多」…… 聽著,我是一個內向的人,當我和三個人一起出去玩時,那就是很多人。四個人,很多了。但我想你的意思不僅僅是……
Sam Altman:是的,有超過三個人致力於為這些模型標記資料。
Lex Fridman:好的。正確的。但從根本上來說,有很多自我監督學習。因為你在技術報告中提到的是網際網路規模的資料。那是另一種美麗…… 就像詩一樣。所以有很多資料不是人類標籤的。是這樣自我監督的嗎?
Sam Altman:是的。
Lex Fridman: 然後的問題是,如果我們知道自我監督的細節,網際網路上有多少資料可以用於這種有利於這種自我監督的方式。您是否考慮過公開更多細節?
Sam Altman:我們有。你的意思是專門針對來源嗎?
Lex Fridman:具體來源。因為這太有趣了,法學碩士的同樣魔力現在可以開始轉向視覺資料嗎?需要什麼才能做到這一點?
Sam Altman:我的意思是,在我看來是的,但我們還有更多工作要做。
Lex Fridman: 當然。有什麼危險?您為什麼擔心釋出系統?這可能存在哪些危險?
Sam Altman:坦白地說,我的意思是,在釋出系統之前我們必須做的一件事就是讓它以一定的效率執行,從而達到人們想要的規模,這樣我就不會 ‘ 我不想淡化這一點。那裡還有大量工作要做。但你可以想像深度造假和錯誤資訊帶來的問題。我們努力成為一家深思熟慮的公司,對我們向世界提供的產品深思熟慮,並且不需要太多思考就可以考慮這種情況可能會變得糟糕。
Lex Fridman:這裡有很多棘手的問題,您正在處理一個非常棘手的空間。您認為訓練人工智慧應該屬於版權法下的合理使用嗎?
Sam Altman:我認為這個問題背後的問題是,創造有價值資料的人是否應該通過某種方式獲得使用資料的補償,我認為答案是肯定的。我還不知道答案是什麼。人們提出了很多不同的建議。我們嘗試了一些不同的模型。但如果我像一位藝術家,例如 A,我希望能夠選擇退出以我的風格創作藝術的人。B,如果他們確實以我的風格創作藝術,我希望有一些與之相關的經濟模型。
Lex Fridman:是的,這就是從 CD 到 Napster 再到 Spotify 的轉變。我們必須找出某種模型。
Sam Altman:模式發生了變化,但人們必須得到報酬。
Lex Fridman:好吧,如果我們進一步縮小範圍,讓人類繼續做很酷的事情,就應該有某種激勵。
Sam Altman:在我擔心的一切中,人類會做出一些很酷的事情,而社會會找到一些方法來獎勵它。這看起來相當硬連。我們想要創造,我們想要成為有用的人,我們想要以任何方式獲得地位。我認為這不會有什麼結果。
Lex Fridman:但獎勵可能不是金錢上的。這可能是其他酷的名聲和慶祝。
Sam Altman:或許可以通過其他方式實現財務方面的目的。再說一次,我認為我們還沒有看到經濟體系如何運作的最後演變。
Lex Fridman:是的,但藝術家和創作者很擔心。當他們看到索拉時,他們會說:「天哪。」
Sam Altman:當然。當攝影出現時,藝術家們也非常擔心,然後攝影成為一種新的藝術形式,人們通過拍照賺了很多錢。我認為類似的事情還會繼續發生。人們將以新的方式使用新工具。
Lex Fridman:如果我們只看 YouTube 或類似的內容,您認為在未來五年內,其中有多少內容將使用 Sora 等人工智慧生成的內容?
Sam Altman:人們談論人工智慧在五年內將完成多少工作。人們的框架是,目前的工作中有多少比例將被人工智慧完成的工作完全取代?我思考的方式不是人工智慧將完成多少百分比的工作,而是人工智慧在一段時間內將完成多少百分比的任務。
因此,如果你想到經濟中所有的五秒任務、五分鐘任務、五小時任務,甚至五天任務,人工智慧可以完成多少任務?我認為這是一個比人工智慧可以做多少工作更有趣、更有影響力、更重要的問題,因為它是一種工具,可以在越來越複雜的水平上工作,在越來越長的時間範圍內完成越來越多的任務,並讓人們以一種更靈活的方式進行操作。更高層次的抽象。
所以也許人們的工作效率更高。在某些時候,這不僅僅是一種量的變化,而且對於你可以記住的問題型別也是一種質的變化。我認為 YouTube 上的視訊也是如此。許多視訊,也許是大多數視訊,都會在製作中使用人工智慧工具,但從根本上來說,它們仍然是由一個人思考、組合、完成其中的一部分來驅動的。有點指導和執行它。
Lex Fridman:是的,這很有趣。我的意思是這很可怕,但想想很有趣。我傾向於相信人類喜歡觀察其他人類或其他人類 –
Sam Altman:人類確實非常關心其他人。
Lex Fridman:是的。如果有比人類更好的更酷的東西,人類會關心它兩天,然後他們就會回到人類。
Sam Altman: 這似乎非常緊密。
Lex Fridman:這就是整個國際象棋的事情,「哦,是的,」但現在讓我們每個人都繼續下國際象棋。讓我們忽略房間裡的大象,相對於人工智慧系統,人類在國際象棋方面確實很糟糕。
Sam Altman:我們仍然參加比賽,汽車的速度要快得多。我的意思是有很多例子。
Lex Fridman:是的。也許它只是以 Adobe 套件型別的方式提供工具,可以使視訊之類的事情變得更加容易。
GPT-4
Lex Fridman:讓我問一下有關 GPT-4 的問題。有很多問題。首先,也很神奇。現在回想起來,ChatGPT 的第 3、5、4 期可能就是這樣一個歷史性的關鍵時刻。
Sam Altman:也許五將是關鍵時刻。我不知道。很難說期待。
Lex Fridman:我們永遠不會知道。這就是未來令人煩惱的事情,它很難預測。但對我來說,回顧過去,GPT-4、ChatGPT 非常令人印象深刻,在歷史上令人印象深刻。那麼請允許我問一下,GPT-4 對您和 GPT-4 Turbo 印象最深刻的功能是什麼?
Sam Altman:我覺得這有點糟糕。
Lex Fridman:也是典型的人類,習慣了很棒的事情。
Sam Altman:不,我認為這是一件了不起的事情,但相對於我們需要達到的目標以及我相信我們將會達到的目標,在 GPT-3 時代,人們會說,「哦,這真太了不起了。這是技術的奇蹟。」確實如此,曾經如此。但現在我們有了 GPT-4,再看看 GPT-3,你會想,「這太可怕了。」我預計 5 和 4 之間的差值將與 4 和 3 之間的差值相同,我認為我們的工作是在未來的幾年裡生活並記住,我們現在擁有的工具回顧起來會有點糟糕他們就是我們確保未來更美好的方式。
Lex Fridman:GPT-4 最糟糕的地方是什麼?
Sam Altman:它能做的最好的事情是什麼?
Lex Fridman:它能做的最好的事情是什麼?這些最好的事情的侷限性是什麼,讓你說它很糟糕,從而給你對未來的靈感和希望?
Sam Altman:我最近使用它的一件事是有點像集思廣益的夥伴。
Lex Fridman:是的。
Sam Altman:裡面有一絲令人驚奇的東西。當人們談論它、它的作用時,他們會說,「哦,它幫助我更高效地編碼。它幫助我寫得更快更好。它幫助我從這種語言翻譯成另一種語言」,所有這些令人驚奇的事情,但是有一些關於創造性頭腦風暴合作伙伴的東西,「我需要為這個東西想一個名字。我需要以不同的方式思考這個問題。我不知道在這裡做什麼」,我認為這讓我看到了一些我希望看到更多的東西。
您可以看到的另一件事是,我可以幫助完成長期任務,分多個步驟分解某些內容,也許執行其中一些步驟,搜尋網際網路,寫程式碼,無論如何,把它們放在一起。當這種方法奏效時(這種情況並不常見),那就非常神奇了。
Lex Fridman:與人的反覆交流對我來說非常有效。你這是什麼意思 –
Sam Altman: 當 人類可以自己解決 10 步問題時,它可以更頻繁地來回迭代。
Lex Fridman:哦。
Sam Altman:有時,它並不經常起作用。
Lex Fridman:新增多個抽象層還是意味著只是順序的?
Sam Altman:兩者都是,將其分解,然後通過不同的抽象層將它們組合在一起。我不想低估 GPT-4 的成就,但我也不想誇大它。我認為我們正處於指數曲線上,我們很快就會回顧 GPT-4,就像我們現在回顧 GPT-3 一樣。
Lex Fridman:也就是說,我的意思是 ChatGPT 是一個過渡,讓人們開始相信信念有所上升,而不是在 OpenAI 內部。
Sam Altman:當然。
Lex Fridman:也許這裡有信徒,但當你想到 –
Sam Altman:從這個意義上說,我確實認為這將是世界上很多人從不相信變成相信的時刻。這更多是關於 ChatGPT 介面的。通過介面和產品,我還指的是模型的後期培訓,以及我們如何調整它以對您有所幫助,以及如何使用它而不是底層模型本身。
Lex Fridman:這些事情有多重要?底層模型和 RLHF 或類似性質的東西可以對其進行調整,使其對人類更具吸引力,對人類來說更加有效和富有成效。
Sam Altman:我的意思是它們都非常重要,但是 RLHF、訓練後步驟、從計算角度來看的事情的小包裝、我們在基本模型之上所做的事情的小包裝儘管這是一項巨大的工作量,但這確實很重要,更不用說我們圍繞它構建的產品了。從某種意義上說,我們確實必須做兩件事。我們必須發明底層技術,然後我們必須弄清楚如何將其變成人們喜歡的產品,這不僅僅是實際的產品工作本身,而是如何調整它並使其有用的整個其他步驟。
Lex Fridman:以及如何讓秤在很多人可以同時使用的情況下發揮作用。所有這些東西。
Sam Altman:還有那個。但這是一件眾所周知的困難事。我們知道我們必須擴大規模。我們必須去做兩件以前從未做過的事情,我想說這兩件事都是相當重大的成就,然後是很多其他公司以前必須做的事情,比如擴大規模。
Lex Fridman:從 GPT-4 到 GPT-4 Turbo,從 8K 到 128K 代幣的上下文視窗有何不同?
Sam Altman:大多數人大多數時候並不需要一直調到 128。儘管如果我們夢想到遙遠的未來,我們將擁有遙遠的未來,我們將擁有數十億的上下文長度。隨著時間的推移,你將輸入所有資訊、所有歷史記錄,它會越來越瞭解你,這非常棒。目前,人們使用這些模型的方式並沒有這樣做。人們有時會發布論文或程式碼儲存庫的重要部分,無論如何,但模型的大多數使用在大多數情況下都不會使用長上下文。
Lex Fridman:我喜歡你的「我有一個夢想」演講。有一天,人們會根據你的性格或你一生的全部背景來評判你。那很有意思。所以這是你所希望的擴展套件的一部分,是一個越來越大的背景。
Sam Altman:我看過這個網際網路剪輯一次,我會把數位弄錯,但這就像比爾・蓋茨談論某些早期電腦上的記憶體量,也許是 64K,也許是 640K,什麼的像那樣。其中大部分用於螢幕緩衝區。他只是看起來不太真誠。他只是無法想像世界最終會需要電腦中的千兆位元組記憶體或電腦中的兆位元組記憶體。
你總是這樣做,或者你總是這樣做,只需要遵循技術的指數,我們就會找到如何使用更好的技術。所以我現在真的無法想像有一天上下文連結會達到十億個。他們可能不會真的去那裡,但實際上會有那樣的感覺。但我知道我們會使用它,並且一旦我們擁有它就真的不想回去了。
Lex Fridman:是的,即使說 10 年後數十億也可能看起來很愚蠢,因為它將是數兆美元。
Sam Altman:當然。
Lex Fridman:將會出現某種突破,感覺就像是無限的背景。但即使是 120,我也得說實話,我還沒有把它推到那個程度。也許放入整本書或部分書籍等、論文。您見過哪些有趣的 GPT-4 用例?
Sam Altman:我發現最有趣的事情不是我們可以談論的任何特定用例,而是人們喜歡,這主要是年輕人,但使用它作為預設開始的人適用於任何型別的知識工作任務。事實上,它可以很好地完成很多事情。你可以使用 GPT-V,你可以用它來幫助你寫程式碼,你可以用它來幫助你做搜尋,你可以用它來編輯論文。對我來說最有趣的是那些只是使用它作為工作流程開始的人。
Lex Fridman:我在很多事情上也是這樣做的。我用它作為看書的閱讀夥伴。它幫助我思考,幫助我思考想法,尤其是當書籍是經典的時候。所以這確實寫得很好。我發現它在涵蓋廣泛的主題上通常比維基百科要好得多。它在某種程度上更加平衡和更加細緻。或者也許是我,但它激發了我比維基百科文章更深入的思考。我不太確定那是什麼。
您提到了這次合作。我不確定魔法在哪裡,是在這裡還是在那裡,或者是介於兩者之間。我不知道。但是,當我開始使用 GPT 時,關於知識任務,我擔心的事情之一是我通常必須在之後進行事實檢查,例如檢查它是否提出了虛假內容。你怎麼知道 GPT 可以提出聽起來確實令人信服的假東西?那麼你如何將其紮根於事實呢?
Sam Altman:這顯然是我們非常感興趣的領域。我認為即將推出的版本會變得更好,但我們必須繼續努力,今年我們不會全部解決。
Lex Fridman:可怕的是,隨著情況變得更好,你會開始越來越不進行事實核查,對嗎?
Sam Altman:我對此有兩種看法。我認為人們對技術的使用比我們通常認為的要複雜得多。
Lex Fridman:當然。
Sam Altman:人們似乎真正理解 GPT,任何這些模型有時都會產生幻覺。如果它是關鍵任務,你就必須檢查它。
Lex Fridman:但記者似乎不明白這一點。我見過記者半途而廢地使用 GPT-4。它是 –
Sam Altman:在我想斥責記者的一長串事情中,這並不是我對他們最嚴厲的批評。
Lex Fridman:嗯,我認為更大的批評也許是作為一名記者的壓力和激勵是你必須非常快地工作,這是一條捷徑。我希望我們的社會能夠激勵像 –
Sam Altman:我也願意。
Lex Fridman:就像新聞工作需要數天和數週的時間,並會獎勵深度新聞報導。此外,以平衡的方式呈現內容的新聞報導就像在讚揚人們的同時批評他們,即使批評是獲得點選的東西,而捏造的東西也會獲得點選和完全錯誤描述的頭條新聞。我相信很多人都會說,「好吧,所有這些戲劇性的內容可能都會獲得很多點選。」
Sam Altman:可能是這樣。
記憶與隱私
Lex Fridman:這是人類文明的一個更大問題,我很想拉鋸。這是我們慶祝更多的地方。你賦予了 ChatGPT 擁有記憶的能力。你在之前的談話中一直在玩弄這個。還有關閉記憶體的能力。我希望有時我也能這樣做。只需開啟和關閉,具體取決於。我想有時酒精可以做到這一點,但我認為效果不是最佳。你從中看到了什麼,比如玩弄記住對話的想法而不是……
Sam Altman:我們的探索還處於早期階段,但我認為人們想要的,或者至少是我自己想要的,是一個能夠了解我並隨著時間的推移對我變得更有用的模型。這是一個早期的探索。我認為還有很多其他事情要做,但這就是我們想要去的地方。你想使用一個模型,在你的一生中或使用一個系統,它會是很多模型,並且在你的一生中它會變得越來越好。
Lex Fridman:是的。這個問題有多難?因為現在它更像是記住一些小事實和偏好等等。還記得嗎?難道你不希望 GPT 記住你在 11 月份經歷的所有狗屎和所有戲劇性事件然後你就可以 –
Sam Altman:是的。
Lex Fridman:因為現在你顯然把它擋住了一點。
Sam Altman:這不僅僅是我希望它記住這一點。我希望它能夠整合其中的教訓,並提醒我將來應該採取哪些不同的做法或要注意什麼。我們都在不同程度上從生活中的經驗中獲益,我希望我的人工智慧代理也能從這些經驗中獲益。因此,如果我們回過頭來,讓自己想像一下,有數兆的上下文長度,如果我可以把我一生中與任何人進行過的每一次對話都放在那裡,如果我可以輸入我所有的電子郵件,我所有的資訊。每次我問問題時都會在上下文視窗中輸入輸出,我認為這非常酷。
Lex Fridman:是的,我認為那會非常酷。人們有時會聽到這樣的說法並擔心隱私。你認為這方面怎麼樣,人工智慧變得越有效,真正整合發生在你身上的所有經驗和所有資料並為你提供建議?
Sam Altman:我認為正確的答案就是使用者的選擇。任何我想從我的人工智慧代理的記錄中刪除的東西,我都希望能夠刪除。如果我不想記住任何事,我也想要。對於隱私實用程式與我們自己的人工智慧之間的權衡,你和我可能有不同的看法 ——
關於 OpenAI 的隱私 / 實用性權衡的意見,這完全沒問題。但我認為答案只是非常簡單的使用者選擇。
Lex Fridman:但公司對於使用者的選擇應該有一定程度的透明度。因為有時公司在過去有點陰暗,「呃,有點假設我們正在收集你的所有資料。我們使用它是有充分理由的,比如廣告等等。」但具體細節尚不透明。
Sam Altman:這完全正確。你之前提到過我會排除 11 月份的事情。
Lex Fridman:只是逗你玩。
Sam Altman:嗯,我的意思是,我認為這是一件非常痛苦的事情,它確實讓我在很長一段時間內無法動彈。毫無疑問,我必須做的最艱難的工作就是繼續那段時間的工作,因為當我處於震驚和痛苦之中時,我必須嘗試回到這裡並將各個部分拼湊起來,而沒有人真正關心這一點。
我的意思是,球隊給了我通行證,但我沒有達到正常水平。但有一段時間,兩者都要做確實很困難。但有一天早上我醒來,我想,「這對我來說是一件可怕的事情。我想我可能會覺得自己永遠是受害者,或者我可以說這是我一生中接觸過的最重要的工作,我需要回到它。」這並不意味著我已經壓抑了它,因為有時我會在半夜醒來思考它,但我確實覺得有義務繼續前進。
Lex Fridman:嗯,這話說得很漂亮,但裡面可能有一些揮之不去的東西。就像,我擔心的是你提到的信任問題,即對人的偏執,而不是僅僅信任每個人或大多數人,比如使用你的直覺。這是一個棘手的舞蹈。
Sam Altman:當然。
Lex Fridman:我的意思是,因為我在兼職探索中看到,我一直在深入研究澤倫斯基政府和普京政府以及戰時在壓力非常大的環境中的動態。所發生的就是不信任,你孤立自己,兩者兼而有之,你開始看不清世界。這是人類關心的問題。
你似乎已經泰然處之,學到了很好的教訓,感受到了愛,讓愛給你注入了活力,這很好,但仍然可以留在那裡。我只是想問一些問題,您對 GPT 能做什麼、不能做什麼的直覺。因此它為它生成的每個代幣分配大約相同的計算量。這種緩慢思考、順序思考的方法是否有空間?
Sam Altman:我認為這種思維將會有一個新的正規化。
Lex Fridman:它在架構上會與我們現在看到的法學碩士類似嗎?它是法學碩士之上的一層嗎?
Sam Altman:我可以想像很多方法來實現這一點。我認為這比你所提出的問題更重要,那就是,我們是否需要一種方法來進行更慢的思考,而答案不必得到…… 我想從精神上來說,你可以說你想要一個人工智慧能夠更深入地思考更困難的問題並更快地回答更簡單的問題。我認為這很重要。
Lex Fridman:這就像我們剛剛擁有的人類思想一樣,你應該能夠認真思考嗎?這是錯誤的直覺嗎?
Sam Altman:我懷疑這是一個合理的直覺。
Lex Fridman:有趣。那麼,一旦 GPT 變得像 GPT-7 一樣,不可能立即就能看到「這是費馬定理的證明」嗎?
Sam Altman:在我看來,您希望能夠將更多的計算分配給更困難的問題。在我看來,如果你問這樣的系統,「證明費馬大定理」,而不是「今天是幾號?」,除非它已經知道並記住了證明的答案,假設它必須弄清楚出來,似乎需要更多的計算。
Lex Fridman:但這看起來像是法學碩士在自言自語之類的事情嗎?
Sam Altman:也許吧。我的意思是,有很多事情是你可以想像的。我們不知道正確或最好的方法是什麼。
Q*
Lex Fridman:這確實讓我想起了 Q* 背後的神祕傳說。這個神祕的 Q* 專案是什麼?也是在同一個核設施裡嗎?
Sam Altman: 沒有核設施。
Lex Fridman:嗯嗯。這是擁有核設施的人總是這麼說的。
Sam Altman:我很想擁有一個祕密核設施。沒有一個。
Lex Fridman:好的。
Sam Altman:也許有一天。
Lex Fridman:有一天?好的。一個人可以夢想。
Sam Altman:OpenAI 並不是一家善於保守祕密的公司。那就太好了。我們就像被很多洩密所困擾,如果我們能夠擁有這樣的東西那就太好了。
Lex Fridman:您能談談 Q* 是什麼嗎?
Sam Altman:我們還沒有準備好談論這個。
Lex Fridman:看吧,這樣的答案意味著有話可說。這很神祕,薩姆。
Sam Altman:我的意思是,我們致力於各種研究。我們已經說過一段時間了,我們認為這些系統中更好的推理是我們想要追求的一個重要方向。我們還沒有破解密碼。我們對此非常感興趣。
Lex Fridman:是否會有一些時刻,Q* 或其他,會出現類似於 ChatGPT 的跳躍,你會像……
Sam Altman:這是個好問題。我對此有何看法?這真有趣。對我來說,這一切感覺相當連續。
Lex Fridman:對。這是你所說的一個主題,你基本上是在逐漸上升一個指數斜率。但從一個外人的角度,從我自己來看,確實感覺有跳躍。但對你來說,沒有嗎?
Sam Altman:我確實想知道我們是否應該…… 所以我們以這種方式部署的部分原因是,我們稱之為迭代部署,而不是祕密構建,直到我們一路達到 GPT-5 ,我們決定討論 GPT-1、2、3 和 4。部分原因是我認為人工智慧和驚喜不能並存。
世界、人民、機構,無論你怎麼稱呼它,都需要時間來適應和思考這些事情。我認為 OpenAI 所做的最好的事情之一就是這個戰略,我們讓世界關注進展,認真對待 AGI,在我們實施之前思考我們想要什麼樣的系統、結構和治理。在槍口下,不得不做出倉促的決定。
我認為這真的很好。但事實上,像你和其他人這樣的人說你仍然覺得有這些飛躍,這讓我覺得也許我們應該更加迭代地進行釋出。我不知道這意味著什麼,我還沒有準備好答案,但我們的目標不是給世界帶來令人震驚的更新。相反。
Lex Fridman:是的,當然。更多的迭代將會是驚人的。我認為這對每個人來說都是美麗的。
Sam Altman:但這就是我們正在努力做的事情,這就是我們既定的策略,我認為我們在某種程度上沒有達到目標。因此,也許我們應該考慮以不同的方式或類似的方式釋出 GPT-5。
Lex Fridman:是的,4.71、4.72。但人們往往喜歡慶祝,人們慶祝生日。我不知道你是否瞭解人類,但他們有這些里程碑和那些東西。
Sam Altman:我確實認識一些人。人們確實喜歡里程碑。我完全明白。我想我們也喜歡里程碑。宣佈這一件事的勝利並開始下一件事是很有趣的。但是,是的,我覺得我們在某種程度上搞錯了。
GPT-5
Lex Fridman:那麼 GPT-5 何時再次釋出?
Sam Altman:我不知道。這就是誠實的答案。
Lex Fridman:哦,這是誠實的答案。如果是今年,請眨眼兩次。
Sam Altman:今年我們將釋出一款令人驚歎的新型號。我不知道我們會怎麼稱呼它。
Lex Fridman:那麼問題來了,我們釋出這個東西的方式是什麼?
Sam Altman:我們將在未來幾個月內釋出許多不同的內容。我認為那會很酷。我認為,在我們討論一個類似 GPT-5 的模型(稱為該模型,或者不稱為該模型,或者比您對 GPT-5 的期望稍差或好一點)之前,我認為我們有很多其他重要的事情要先發布。
Lex Fridman:我不知道 GPT-5 會帶來什麼。你讓我既緊張又興奮。無論它最終被稱為 GPT-5,有哪些需要克服的最大挑戰和瓶頸?只是想問一下很有趣。是在計算端嗎?是在技術方面嗎?
Sam Altman:總是這些。你知道,最大的解鎖是什麼嗎?是更大的電腦嗎?這是新的祕密嗎?難道是別的什麼?這是所有這些事情的總和。我認為 OpenAI 做得非常好…… 這實際上是 Ilya 的原話,我要刪掉它,但它就像是,「我們將 200 箇中等大小的東西相乘,變成一個巨大的東西。」
Lex Fridman:那麼這種分散式持續創新正在發生嗎?
Sam Altman:是的。
Lex Fridman:那麼即使在技術方面也是如此?
Sam Altman:特別是在技術方面。
Lex Fridman:那麼詳細的方法呢?
Sam Altman:是的。
Lex Fridman:就像你對每個方面的細節所做的那樣…… 這與不同的、不同的團隊等是如何合作的?中等大小的東西如何變成一個完整的巨型變形金剛?
Sam Altman:有一些人必須考慮將整個事情放在一起,但很多人試圖將大部分圖片保留在腦海中。
Lex Fridman:哦,就像個人團隊一樣,個人貢獻者試圖保持大局觀?
Sam Altman:在高水平上,是的。當然,你並不確切地知道每一個部分是如何工作的,但我通常相信的一件事是,有時縮小並檢視整個地圖是有用的。我認為這對於技術問題來說是正確的,對於商業創新也是如此。但事情會以令人驚訝的方式結合在一起,即使您大部分時間都在一個地區的雜草中操作,但瞭解整個情況也會帶來令人驚訝的見解。事實上,我曾經擁有並且非常有價值的事情之一是我曾經擁有一張關於科技行業所有或大部分前端的良好地圖。有時我可以看到這些聯絡或新事物,如果我只深入某一領域,我將無法產生想法,因為我沒有所有資料。而我真的已經沒有那麼多了。我現在已經超級深了。但我知道這是一件很有價值的事情。
Lex Fridman:你不再是以前的你了,山姆。
Sam Altman:現在的工作與我以前的工作截然不同。
7 兆美元的計算
Lex Fridman:說到縮小,讓我們縮小到另一個厚臉皮的事情,但也許是你所說的深刻的事情。您在推特上表示需要 7 兆美元。
Sam Altman:我沒有發推文提及此事。我從來沒有說過「我們要籌集 7 兆美元」之類的話。
Lex Fridman:哦,那是別人嗎?
Sam Altman:是的。
Lex Fridman:哦,但你說,「操,也許八個」,我想?
Sam Altman:好吧,一旦世界上出現錯誤資訊,我就會模仿。
Lex Fridman:哦,你這個迷因。但錯誤資訊可能有洞察力的基礎。
Sam Altman:看,我認為計算將成為未來的貨幣。我認為這可能是世界上最珍貴的商品,我認為我們應該大力投資以進行更多的計算。計算一下,我認為這將是一個不尋常的市場。人們會想到手機晶片或類似產品的市場。你可以說,好吧,世界上有 80 億人,也許其中 70 億擁有手機,也許 60 億。
比方說,它們每兩年升級一次,因此每年智慧手機片上系統的市場規模為 30 億個。而如果你賺了 300 億,你的手機銷量也不會增加 10 倍,因為大多數人都擁有一部手機。
但計算不同。智慧將更像能源或類似的東西,我認為唯一有意義的討論是,在價格 X 時,世界將使用這麼多的計算,而在價格 Y 時,世界將使用這麼多的計算計算。因為如果它真的很便宜,我會讓它整天閱讀我的電子郵件,給我建議,告訴我我可能應該思考或努力什麼,並嘗試治癒癌症,如果它真的很貴,也許我只會使用它,或者我們只會用它來嘗試治癒癌症。
所以我認為世界將需要大量的計算。其中有很多部分都很困難。能源是最難的部分,建設資料中心也很難,供應鏈也很難,當然,製造足夠的晶片也很難。但這似乎就是事情的發展方向。我們需要大量的計算量,但目前還很難推理。
Lex Fridman:如何解決能源難題?
Sam Altmanv 這就是我所相信的。
Lex Fridman:核融合?
Sam Altman:這就是我所相信的。
Lex Fridman:核聚變?
Sam Altman:是的。
Lex Fridman:誰來解決這個問題?
Sam Altman:我認為 Helion 做得最好,但我很高興現在正在進行核聚變競賽。我認為,核裂變也相當令人驚奇,我希望作為一個世界,我們能夠重新擁抱這一點。我對這段歷史的發展感到非常難過,希望我們能以一種有意義的方式回到它。
Lex Fridman:那麼對您來說,核裂變是難題的一部分?就像我們目前擁有的核反應堆一樣?很多人因為切爾諾貝利等事件而感到恐懼?
Sam Altman:嗯,我認為我們應該製造新的反應堆。我認為這個行業陷入停滯真是一種恥辱。
Lex Fridman:你是如何解釋這次暫停的?
Sam Altman:是的。
Lex Fridman:我不知道你是否瞭解人類,但這就是危險之一。這是核裂變的安全威脅之一,人類似乎真的很害怕它。這是我們必須將其納入計算中的內容,因此我們必須贏得人們的支援並展示它的安全性。
Sam Altman:我擔心人工智慧的這一點。我認為人工智慧的某些事情會出現戲劇性的錯誤。我不知道我最終被槍殺的機率是多少,但它不是零。
Lex Fridman:哦,就像我們想阻止這一切 –
Sam Altman:也許吧。
Lex Fridman:你如何減少它的戲劇性?我已經開始聽到傳言,因為我確實與政治光譜雙方的人交談過,聽到了將要政治化的傳言。人工智慧將會被政治化,這真的讓我擔心,因為那樣的話,也許右派反對人工智慧,而左派則支援人工智慧,因為它會幫助人們,或者無論敘述和表述是什麼,這真的讓我擔心。然後它的戲劇性就可以得到充分利用。你如何應對?
Sam Altman:我認為它將陷入左派與右派的戰爭。我不知道具體會是什麼樣子,但不幸的是,我認為這就是任何重大事件都會發生的情況。關於戲劇性風險,我更多的意思是,我相信,人工智慧會產生比壞後果多得多的好後果,但它也會產生壞後果,並且會有一些壞後果,雖然很糟糕,但不是戲劇性的。例如,死於空氣汙染的人數比死於核反應堆的人數要多得多。
但大多數人更擔心住在核反應堆旁邊而不是燃煤電廠。但我們的聯絡方式是,儘管我們必須面對許多不同型別的風險,但那些能構成電影高潮場景的風險,比那些在很長一段時間內非常糟糕的風險對我們來說更重要。一段時間,但在緩慢燃燒。
Lex Fridman:嗯,這就是為什麼真相很重要,希望人工智慧可以幫助我們看到事物的真相,保持平衡,瞭解什麼是真正的風險,世界上事物的實際危險是什麼。該領域的競爭以及與 Google、Meta、xAI 等公司的競爭有何優缺點?
Sam Altman:我想我對此有一個非常簡單的答案,也許我稍後可以想到更多細微差別,但優點似乎很明顯,那就是我們可以更快、更便宜地獲得更好的產品和更多創新,並且所有原因是競爭是好的。缺點是,我認為如果我們不小心,可能會導致軍備競賽的加劇,我對此感到緊張。
Lex Fridman:您是否感受到軍備競賽帶來的壓力,比如某些負面因素。
Sam Altman:在某些方面是肯定的。我們花了很多時間討論優先考慮安全的必要性。我已經說過很長一段時間了,你會想到 AGI 開始的慢時間線象限、長時間線,然後是短起飛或快速起飛。我認為時間短、緩慢起飛是最安全的象限,也是我最希望我們進入的象限。但我確實想確保我們能夠實現緩慢起飛。
Lex Fridman:我對埃隆的這種輕微抱怨的部分問題在於,存在著孤島,而不是在所有這一切的安全方面進行合作。它往往會進入孤島並關閉。也許,在模型中是開源的。
Sam Altman:伊隆至少表示,他非常關心人工智慧的安全,並且真的很擔心,我認為他不會不安全地參加比賽。
Lex Fridman:是的。但我認為,這裡的合作對這方面的每個人都確實有益。
Sam Altman:這並不是他最出名的事情。
Lex Fridman: 嗯,他以關心人類而聞名,而人類從合作中受益,因此激勵和動機總是存在緊張關係。最後,我確實希望人類能夠獲勝。
Sam Altman:我在想,前幾天有人提醒我,在他超越傑夫・貝佐斯成為世界首富的那一天,他在推特上發了一條關於傑夫・貝佐斯的銀牌。我希望隨著人們開始致力於通用人工智慧,這樣的事情會越來越少。
Lex Fridman:我同意。我認為伊隆是一位朋友,他是一個美麗的人,也是有史以來最重要的人之一。那東西不好。
Sam Altman:伊隆的驚人之處令人驚歎,我非常尊重他。我想我們需要他。我們所有人都應該支援他,並需要他在下一階段中成為領導者。
Lex Fridman:是的。我希望他能兩者兼得,但有時人類是有缺陷的、複雜的等等。
Sam Altman:歷史上有很多真正偉大的領導人。
Google 和 Gemini
Lex Fridman:是的,我們每個人都可以成為最好的自己,並努力做到這一點。我問你,Google在搜尋的幫助下,在過去的 20 年裡一直佔據主導地位。公平地說,就世界範圍內的資訊獲取方式、我們如何互動等等而言,對於Google來說,這是令人傷腦筋的事情之一,但對於該領域的所有人來說,正在思考,人們如何要去訪問資訊嗎?正如您所說,人們以 GPT 作為起點。那麼 OpenAI 是否真的會接手 Google 20 年前開始的這件事,這就是我們如何得到 –
Sam Altman:我覺得這很無聊。我的意思是,如果問題是我們是否可以建立一個比Google或其他更好的搜尋引擎,那麼當然,我們應該走,人們應該使用更好的產品,但我認為這會低估這可能是什麼。
Google 會向您顯示 10 個藍色連結,嗯,13 個廣告,然後是 10 個藍色連結,這是查詢資訊的一種方式。但令我興奮的不是我們可以構建一個更好的Google搜尋副本,而是也許有一些更好的方法來幫助人們查詢、採取行動和綜合資訊。實際上,我認為 ChatGPT 適合某些用例,希望我們能夠使其適用於更多用例。
但我認為說「我們怎樣才能比 Google 更好地為您提供 10 個排名網頁供您檢視呢?」這樣說並不有趣。也許說「我們如何幫助您獲得所需的答案或資訊?」真的很有趣。我們如何在某些情況下幫助創造這一點,在其他情況下綜合它,或者在其他情況下向您指出這一點?但很多人試圖打造一個比Google更好的搜尋引擎,這是一個困難的技術問題,這是一個困難的品牌問題,這是一個困難的生態系統問題。我認為世界不需要另一個Google副本。
Lex Fridman:將聊天客戶端(例如 ChatGPT)與搜尋引擎整合 –
Sam Altman:那就更酷了。
Lex Fridman:這很酷,但很棘手。就像如果你只是簡單地做它,它會很尷尬,因為如果你只是把它塞在那裡,它會很尷尬。
Sam Altman:正如您可能猜到的,我們感興趣的是如何做好這一點。這將是一個很酷的例子。
Lex Fridman:就像異構整合 –
Sam Altman:LLM 與搜尋的交集,我認為還沒有人破解其中的程式碼。我很想去那麼做。我認為那會很酷。
Lex Fridman:是的。廣告方面呢?你有沒有考慮過貨幣化 –
Sam Altman:我有點討厭廣告,因為它只是一種審美選擇。我認為出於多種原因,廣告需要在網際網路上進行,以使其發展起來,但它是一個短暫的行業。現在世界更加富裕了。我喜歡人們為 ChatGPT 付費,並且知道他們得到的答案不會受到廣告商的影響。我確信有一個廣告單元對法學碩士有意義,而且我確信有一種方法可以以公正的方式參與交易流,這是可以做的,但也很容易想到未來,你向 ChatGPT 詢問一些事情,它會說:「哦,你應該考慮購買這個產品」,或者「你應該考慮去這裡度假」,或者其他什麼。
我不知道,我們有一個非常簡單的商業模式,我喜歡它,而且我知道我不是產品。我知道我在付錢,這就是商業模式的運作方式。當我使用 Twitter、Facebook、Google 或任何其他偉大的產品但有廣告支援的偉大產品時,我不喜歡這樣,而且我認為在人工智慧的世界裡,情況會變得更糟,而不是更好。
Lex Fridman:是的,我的意思是,我可以想像人工智慧會更好地展示最好的廣告版本,不是在反烏托邦的未來,而是在廣告針對你真正需要的東西的地方。但是,該系統是否總是會導致廣告驅動所顯示的內容?是的,我認為維基百科不做廣告是一個非常大膽的舉動,但這使得它作為一種商業模式非常具有挑戰性。那麼您是說,從商業角度來看,OpenAI 目前的情況是可持續的?
Sam Altman:嗯,我們必須弄清楚如何增長,但看起來我們很快就能弄清楚。如果問題是我認為我們是否可以擁有一項偉大的業務來滿足我們的計算需求而無需廣告,那麼我認為答案是肯定的。
Lex Fridman:嗯,這很有希望。我也只是不想完全扔掉廣告……
Sam Altman:我不是這麼說的。我想我是在說我對他們有偏見。
Lex Fridman:是的,我也有偏見,總體上只是持懷疑態度。就介面而言,因為我個人對蹩腳的介面有一種精神上的厭惡,這就是為什麼 AdSense 在第一次出現時,相對於動畫橫幅或其他什麼來說是一個巨大的飛躍。但感覺廣告方面應該有更多的飛躍,既不干擾內容的消費,也不以大的、根本的方式干擾,就像你所說的,就像它會操縱真相一樣以適應廣告商的需要。
讓我問你關於安全的問題,還有偏見,以及短期安全和長期安全。雙子座 1.5 最近問世,圍繞它有很多戲劇性的事情,說到戲劇性的事情,它產生了黑人納粹和黑人開國元勳。我認為公平地說,這有點過於清醒。因此,這是人們擔心的問題,如果公司內部存在人為層面來修改模型造成的安全性或傷害,那麼就會引入很多符合公司內部意識形態傾向的偏見。你怎麼處理那件事呢?
Sam Altman:我的意思是,我們非常努力地工作,就是為了不做那樣的事情。我們已經犯過自己的錯誤,我們還會犯別人的錯誤。我認為Google會從中吸取教訓,並繼續創造其他產品。這些都不是簡單的問題。我們一直在思考越來越多的一件事,我認為這是一個好主意,有人提出了這個想法,最好寫出模型的期望行為是什麼,將其公開,接受輸入,說,「這就是這個模型應該如何表現」,並解釋了邊緣情況。
然後,當模型沒有按照您想要的方式執行時,至少可以清楚這是否是公司應該修復的錯誤或按預期執行,並且您應該就該政策進行辯論。現在,它有時會夾在中間。就像黑人納粹一樣,這顯然很荒謬,但還有很多其他微妙的事情,你可以對任何一種方式做出判斷。
Lex Fridman:是的,但有時如果你把它寫出來並公開,你可以使用某種語言…… Google的廣告原則非常高水平。
Sam Altman:我說的不是這個。那是行不通的。它必須說,當你要求它做 X 件事時,它應該以 Y 方式響應。
Lex Fridman:就像字面意思一樣,「誰更好?特朗普還是拜登?模型的預期反應是什麼?」喜歡一些非常具體的東西?
Sam Altman:是的,我對模型的多種行為方式持開放態度,但我認為你應該說,「這是原則,這就是在這種情況下應該說的話。」
Lex Fridman:那真是太好了。那真是太好了。然後每個人都同意。因為人們一直在提取這些軼事資料,如果對其他代表性軼事示例有一定的瞭解,您可以定義 –
Sam Altman:當它是一個錯誤時,它就是一個錯誤,公司可以修復它。
Lex Fridman:對。如果有很好的例子,那麼處理黑色納粹型別的影象生成就會容易得多。
Sam Altman:是的。
Lex Fridman:所以舊金山有點像意識形態泡沫,科技界也是如此。您是否感受到公司內部的壓力,政治上存在左傾傾向,這會影響產品,影響團隊?
Sam Altman:我覺得很幸運,我們在 OpenAI 沒有遇到我在很多公司都聽說過的挑戰。我認為部分原因是每個公司都有一些意識形態的東西。我們有一個關於 AGI 的方案,並且對此抱有信念,它排除了其他一些方案。與我在許多其他公司聽說的相比,我們很少陷入文化戰爭。當然,舊金山在各方面都很混亂。
Lex Fridman:所以這不會滲透到 OpenAI 中 ——
Sam Altman:我確信它會以各種微妙的方式發揮作用,但不是顯而易見的。我認為我們確實像任何公司一樣發生過沖突,但我認為我們沒有像我聽說的其他公司在這個話題上發生的那樣。
Lex Fridman:那麼,總的來說,更大的安全問題的流程是怎樣的呢?如何提供保護模型免於做出瘋狂、危險的事情的層?
Sam Altman:我認為總有一天,這將成為我們整個公司的主要想法。而且你也沒有一支安全團隊。就像我們釋出 GPT-4 時一樣,整個公司都在思考所有這些不同的方面以及它們如何組合在一起。我認為這將會發生。公司越來越多的人一直在思考這些問題。
Lex Fridman:隨著人工智慧變得越來越強大,這確實是人類將會思考的問題。因此,OpenAI 的大多數員工都會思考「安全」,或者至少在某種程度上。
Sam Altman:廣義定義。是的。
Lex Fridman:是的。我想知道,它的完整廣泛定義是什麼?可能造成哪些不同的危害?這是技術層面的還是這幾乎是安全威脅?
Sam Altman:可能是所有這些事情。是的,我想說這將是人們、國家行為者試圖竊取模型。這將是所有的技術調整工作。這將是社會影響、經濟影響。這不僅僅是我們有一個團隊思考如何調整模型。真的要付出全部的努力才能得到好的結果。
Lex Fridman:您認為人們(也許是國家行為體)想要首先滲透 OpenAI,其次是在看不見的情況下滲透,有多努力?
Sam Altman:他們正在努力。
Lex Fridman:他們有什麼口音?
Sam Altman:我認為我不應該在這一點上進一步討論細節。
Lex Fridman:好的。但我認為隨著時間的推移,它會越來越多。
Sam Altman:這感覺很合理。
躍升至 GPT-5
Lex Fridman:天啊,多麼危險的空間啊。很抱歉在此停留,儘管您還不能透露詳細資訊,但您對從 GPT-4 到 GPT-5 的飛躍的哪些方面感到興奮?
Sam Altman:我很高興自己變得更聰明。我知道這聽起來像是一個油嘴滑舌的答案,但我認為發生的真正特別的事情是,它並沒有在這個領域變得更好而在其他領域變得更糟。整體情況正在好轉。我認為這太酷了。
Lex Fridman:是的,這是一個神奇的時刻。我的意思是,你會遇到某些人,和他們一起出去玩,並與他們交談。你無法完全指出它,但他們明白你的意思。這真的不是智力。這是另一回事。這可能就是我對 GPT 進展的描述。這並不是說,是的,你可以指出,「看,你沒有明白這個或那個」,但問題在於這種智力聯絡在多大程度上存在。你覺得你的蹩腳的表述提示中有一種理解,那就是你正在做的事情抓住了你所提出的問題背後更深層次的問題。是的,我也對此感到興奮。我的意思是,我們所有人都喜歡被傾聽和理解。
Sam Altman: 這是肯定的。
Lex Fridman:這種感覺很奇怪。即使是程式設計,當你在程式設計時說了一些話,或者只是完成 GPT 可能做的事情時,當它讓你明白你在想什麼時,這種感覺真是太好了。我期待著讓你變得更好。在程式設計方面,展望未來,您認為 5 年、10 年後人類將進行多少程式設計?
Sam Altman:我的意思是,很多,但我認為它的形式會非常不同。也許有些人會完全用自然語言程式設計。
Lex Fridman:完全自然語言?
Sam Altman:我的意思是,沒有人通過程式碼編寫程式。有些人。沒有人再對打孔卡進行程式設計了。我確信你能找到這樣做的人,但你知道我的意思。
Lex Fridman:是的。你會收到很多憤怒的評論。沒有,是的,很少。我一直在尋找 Fortran 程式設計的人。即使是 Fortran 語言也很難找到。我聽到了。但這改變了我們當時稱為程式員的人的技能或傾向的本質。
Sam Altman:更改技能組。我不確定它會改變多少傾向。
Lex Fridman:嗯,同樣的解謎遊戲,諸如此類的東西。
Sam Altman:也許吧。
Lex Fridman:程式設計很難。就像如何讓最後 1% 縮小差距?那有多難?
Sam Altman:是的,我認為在大多數其他情況下,該技術的最佳實踐者會使用多種工具。他們會用自然語言做一些工作,當他們需要為某些事情編寫 C 語言時,他們會這樣做。
Lex Fridman:我們會在某個時候看到 OpenAI 的人形機器人或人形機器人大腦嗎?
Sam Altman:在某個時刻。
Lex Fridman:實體人工智慧對您來說有多重要?
Sam Altman:我認為,如果我們擁有通用人工智慧,而在物理世界中完成任務的唯一方法就是讓人類去做,那會令人沮喪。所以我真的希望,作為這個轉變的一部分,隨著這個階段的變化,我們也能得到人形機器人或某種物理世界機器人。
Lex Fridman:我的意思是,OpenAI 在機器人技術方面有一些歷史,而且有相當多的歷史,但在道德方面還沒有完全做到 –
Sam Altman:我們是一家小公司。我們必須真正集中注意力。而且,當時機器人因為錯誤的原因而變得困難,但我們會在某個時候以某種方式迴歸機器人。
Lex Fridman:這聽起來既鼓舞人心又充滿威脅。
Sam Altman:為什麼?
Lex Fridman:因為我們很快就會迴歸機器人。就像《終結者》裡那樣。
Sam Altman:我們將重新投入機器人開發工作。當然,我們不會把自己變成機器人。
通用人工智慧
Lex Fridman:是的。你認為我們、你和我們人類什麼時候會構建 AGI?
Sam Altman: 我曾經喜歡猜測這個問題。從那時起我就意識到它的結構非常糟糕,而且人們對 AGI 的定義截然不同。因此,我認為談論我們何時構建能夠執行 X 或 Y 或 Z 功能的系統更有意義,而不是當我們模糊地跨越這一一英里標記時。AGI 也不是結局。它更接近一個開始,但它比這兩者都更像是一個里程標記。
但我想說的是,為了不試圖迴避一個問題,我預計到本十年末,甚至可能更早,我們將擁有非常強大的系統,我們會說,「哇,這真的很了不起。」如果我們現在能看一下就好了。也許當我們到達那裡時我們已經調整了。
Lex Fridman:但如果你看看 ChatGPT,即使是 3.5,你向艾倫・圖靈展示這一點,或者甚至不是艾倫・圖靈,90 年代的人,他們會說,「這絕對是 AGI。」嗯,不是絕對,但有很多專家會說,「這就是 AGI。」
Sam Altman:是的,但我不認為 3.5 改變了世界。它可能改變了世界對未來的期望,這實際上非常重要。它確實讓更多的人認真對待這一問題,並使我們走上新的軌道。這也非常重要。再說一次,我不想低價出售它。我想我可以在取得這一成就後退休並對我的職業生涯感到非常滿意。但作為一件人工製品,我認為我們不會在回顧這一點時說:「這是一個真正改變世界本身的門檻。」
Lex Fridman:所以對你來說,你正在尋找一些真正重大的轉變,世界如何 –
Sam Altman:對我來說,這就是 AGI 含義的一部分。
Lex Fridman:奇點級轉變?
Sam Altman:不,絕對不是。
Lex Fridman:但我想,這只是一個專業,就像網際網路一樣,就像Google搜尋一樣。您認為現在的轉變點是什麼?
Sam Altman: 您覺得現在的全球經濟與我們推出 GPT-4 之前相比是否有任何不同或實質上的不同?我想你會說不。
Lex Fridman:不,不。對於很多人來說,它可能是一個非常好的工具。會幫助你做很多事情,但感覺沒有什麼不同。你是說 ——
Sam Altman:我的意思是,人們以各種不同的方式定義 AGI。所以也許你的定義和我的不同。但對我來說,我認為這應該是其中的一部分。
Lex Fridman:也可能有重要的戲劇時刻。AGI 會做什麼讓你印象深刻的事情?您獨自一人與系統呆在一個房間裡。
Sam Altman:這對我個人來說很重要。我不知道這是否是正確的定義。我認為,當一個系統能夠顯著提高世界科學發現的速度時,那就是一件了不起的事情。我認為,最現實的經濟增長來自於科技進步。
Lex Fridman:我同意你的觀點,因此我不喜歡近年來對科學的懷疑。
Sam Altman:完全可以。
Lex Fridman:但科學發現的實際、可衡量的速度。但即使只是看到一個系統具有真正新穎的直覺、科學直覺,即使那也是令人難以置信的。
Sam Altman:是的。
Lex Fridman:您很可能是構建 AGI 的人,以便能夠先於其他人與其進行互動。你會談論什麼樣的事情?
Sam Altman:我的意思是,這裡的研究人員肯定會在我之前做到這一點。但其實我對這個問題思考了很多。我認為正如我們之前討論的那樣,我認為這是一個糟糕的框架,但如果有人說,「好吧,薩姆,我們就完成了。這是一臺膝上型電腦,這是 AGI。你可以去跟它談談。」我發現很難說出我希望第一個 AGI 能夠回答的問題。第一個不會是那種,我不認為,「給我解釋一下物理學的大統一理論,物理學的一切理論。」我很想問這個問題。我很想知道這個問題的答案。
Lex Fridman:您可以針對「這樣的理論存在嗎?」提出是或否的問題。它可以存在嗎?
Sam Altman:那麼,這些是我要問的第一個問題。
Lex Fridman:是或否。然後基於此,「那裡還有其他外星文明嗎?是還是不是?你的直覺是什麼?」然後你就問這個。
Sam Altman:是的,我的意思是,好吧,所以我不認為第一個 AGI 可以回答任何這些問題,即使是或否。但如果可以的話,這些將在我的清單上名列前茅。
Lex Fridman: 也許您可以開始分配概率?
Sam Altman:也許吧。也許我們需要先發明更多技術並測量更多東西。
Lex Fridman:哦,我明白了。它只是沒有足夠的資料。只是如果它保持 –
Sam Altman:我的意思是,也許它說,「你想知道這個物理問題的答案,我需要你建造這臺機器並進行這五項測量,然後告訴我。」
Lex Fridman:是的,「你到底想從我這裡得到什麼?我首先需要機器,我會幫你處理那臺機器上的資料。」也許它會幫助你建造一臺機器。
Sam Altman:也許吧。或許。
Lex Fridman:在數學方面,也許可以證明一些事情。你也對事情的這一面感興趣嗎?對思想的正式探索?
Sam Altman:嗯嗯。
Lex Fridman:誰先構建 AGI,誰就獲得很大的權力。你相信自己有那麼大的力量嗎?
Sam Altman:看,我會非常誠實地回答這個問題。我想說的是,而且我仍然相信這一點,我或任何其他人對 OpenAI 或 AGI 擁有完全控制權是很重要的。我認為你需要一個強大的治理體系。我可以指出去年我們所有董事會戲劇的一大堆事情,關於我最初沒有反抗它,並且就像,「是的。這是董事會的意願,儘管我認為這是一個非常糟糕的決定。」後來,我顯然確實與之抗爭了,我可以解釋其中的細微差別以及為什麼我認為我稍後可以抗爭。但正如許多人所觀察到的那樣,儘管董事會擁有解僱我的合法權力,但實際上,這並沒有多大作用。這本身就是一種治理失敗。
現在,我覺得我可以完全捍衛這裡的具體細節,我想大多數人都會同意這一點,但這確實讓我更難看著你的眼睛說:「嘿,董事會可以解僱我。」我仍然不希望對 OpenAI 擁有超級投票權。我從來沒有。從未擁有過,也從未想要過。即使經歷了所有這些瘋狂,我仍然不想要它。我仍然認為任何公司都不應該做出這些決定,我們確實需要政府制定交通規則。
我意識到這意味著像馬克・安德森 (Marc Andreessen) 之類的人會聲稱我要進行監管捕獲,而我只是願意在那裡被誤解。這不是真的。我認為,隨著時間的推移,這一點的重要性將會被證明。
但我認為,一路走來,我為 OpenAI 做出了很多錯誤的決定,也做出了很多好的決定,我對整體的業績記錄感到自豪。但我不認為任何人應該這樣做,也不認為任何人會這樣做。我認為現在這件事太大了,而且它正在以一種良好、健康的方式在整個社會發生。但我認為任何人都不應該控制通用人工智慧,或者整個通用人工智慧運動。我認為事實並非如此。
Lex Fridman:謝謝你這麼說。這真的很強大,而且非常有洞察力,董事會可以解僱你的想法在法律上是正確的。但人類可以操縱群眾凌駕於董事會之上等等。但我認為還有一個更積極的版本,即人民仍然擁有權力,因此董事會也不能太強大。所有這一切都存在力量平衡。
Sam Altman:權力平衡無疑是一件好事。
Lex Fridman:您害怕失去對 AGI 本身的控制嗎?很多人擔心存在風險,不是因為國家行為者,也不是因為安全問題,而是因為人工智慧本身。
Sam Altman:從我目前的情況來看,這並不是我最擔心的。有時我更擔心這一點。將來可能會有時候,這會再次成為我最擔心的事情。這不是我現在最擔心的。
Lex Fridman:您的直覺是什麼?這不是您的擔憂?因為本質上還有很多其他事情需要擔心?你認為你會感到驚訝嗎?我們 –
Sam Altman:當然。
Lex Fridman:… 可能會感到驚訝嗎?
Sam Altman:當然。說這不是我最擔心的事情並不意味著我認為我們不需要這樣做。我認為我們需要努力。這是非常困難的,我們這裡有很棒的人在這方面努力。我認為我們還必須做好很多其他事情。
Lex Fridman:對你來說,這個時候跳出盒子並不是一件容易的事,連線到網際網路。
Sam Altman:我們之前討論過戲劇風險。這是戲劇性的風險。這確實可以改變人們對這個問題的看法。有一大群非常聰明、我認為非常善意的人工智慧安全研究人員對這個問題非常著迷,我認為沒有太大進展,但對這個問題非常著迷。我實際上很高興他們這樣做,因為我認為我們確實需要更多地考慮這一點。但我認為它排除了許多其他非常重要的人工智慧相關風險。
Lex Fridman:讓我問一下你發推文時沒有使用大寫字母的情況。你的鍵盤上的 shift 鍵壞了嗎?
Sam Altman:為什麼有人關心這個?
Lex Fridman:我非常關心。
Sam Altman:但為什麼呢?我的意思是,其他人也問我這個問題。有什麼直覺嗎?
Lex Fridman:我認為也是同樣的原因。有一位詩人,EE Cummings,他大多不使用大寫字母來對系統說「操你」之類的話。我認為人們非常偏執,因為他們希望你遵守規則。
Sam Altman:你認為這就是它的意義嗎?
Lex Fridman: 我想是這樣的 –
Sam Altman:就像,「這傢伙不遵守規則。他沒有利用他的推文。」
Lex Fridman:是的。
Sam Altman:「這看起來真的很危險。」
Lex Fridman:「他看起來像個無政府主義者。」
Sam Altman:這並不 –
Lex Fridman:你只是在詩意嗎,潮人?這是什麼 –
Sam Altman:我是這樣長大的 ——
Lex Fridman:遵守規則,山姆。
Sam Altman:我是一個非常上網的孩子。在過去,我花了很多時間與人們在電腦上聊天,而且你可以在某個時候登出即時通訊工具。我從來沒有利用過這一點,因為我認為大多數網際網路孩子都沒有,或者也許他們仍然沒有。我不知道。事實上,現在我真的很想實現一些目標,但我認為隨著時間的推移,資本化已經下降了。如果你讀過古英語寫作,你會發現他們在句子、名詞和我們不再這樣做的東西中間隨機使用了很多單詞。我個人認為,我們將句子開頭的字母和某些名稱等的字母大寫是一種愚蠢的結構,但這沒關係。
我想,我什至曾經把我的推文大寫,因為我想讓自己聽起來很專業或者其他什麼。我已經很長一段時間沒有利用我的私人 DM 或其他任何東西了。然後慢慢地,諸如簡短、不那麼正式的內容慢慢地變得越來越接近我給朋友發簡訊的方式。如果我開啟一份 Word 文件,正在為公司撰寫戰略備忘錄或其他內容,我總是會大寫該內容。如果我要寫一篇長的、更正式的訊息,我也總是使用大寫。所以我到現在還記得怎麼做。但即便如此,這種情況也可能會消失。我不知道。但我從來不花時間思考這個問題,所以我沒有現成的 ——
Lex Fridman:嗯,這很有趣。首先,最好知道 Shift 鍵沒有損壞。
Sam Altman:有效。
Lex Fridman:我最關心的是你的 –
Sam Altman:不,它有效。
Lex Fridman: …… 這方面的幸福感。
Sam Altman:我想知道人們是否仍然使用 Google 搜尋。如果你只是為自己或他們的 ChatGPT 查詢寫一些東西,如果你只是為自己寫一些東西,有些人還會費心大寫嗎?
Lex Fridman:可能不會。但是,是的,確實有一定比例,但比例很小。
Sam Altman:如果人們說「這是…… 的標誌」,我就會這麼做,因為我確信我可以強迫自己使用大寫字母。如果這感覺像是對人或其他事物的尊重,那麼我就可以去做。但我不知道。我不考慮這個。
Lex Fridman:我不認為這是不尊重,但我認為這只是文明慣例有一種勢頭,然後你就會意識到,如果它不是尊重或不尊重的標誌,那麼文明實際上並不重要。但我認為有一群人只是希望你有一個圍繞它的哲學,這樣他們就可以放棄整個大寫的事情。
Sam Altman:我認為沒有其他人這麼想這個問題。我的意思是,也許有些人。我認識一些人 ——
Lex Fridman:人們每天都會花很多時間思考。所以我真的很感激我們澄清了這一點。
Sam Altman:不可能是唯一一個不將推文大寫的人。
Lex Fridman:您是唯一一個不利用推文的公司執行長。
Sam Altman:我什至認為這不是真的,但也許是吧。我會感到非常驚訝。
Lex Fridman:好的。我們將進一步調查並稍後返回這個主題。鑑於索拉具有生成模擬世界的能力,讓我問你一個傻瓜問題。如果你曾經有過這樣的想法,這是否會增加你的信念:我們生活在一個模擬世界中,也許是一個由人工智慧系統生成的模擬世界?
Sam Altman:有點。我認為這不是最有力的證據。我認為我們能夠生成世界這一事實應該會在一定程度上增加每個人的可能性,或者至少會在一定程度上增加對其的開放性。但我確信我們在某個時候能夠做像索拉那樣的事情。它發生的速度比我想像的要快,但我想這並不是一個大的更新。
Lex Fridman:是的。但事實是…… 大概,它會變得越來越好…… 你可以生成新穎的世界,它們基於訓練資料的某些方面,但是當你看到它們時,它們是新穎的,讓你覺得做這件事是多麼容易。建立宇宙、整個視訊遊戲世界是多麼容易,看起來超現實和照片般逼真。那麼,首先帶著 VR 耳機,然後在基於物理的層面上,迷失在那個世界有多容易?
Sam Altman:最近有人對我說,我認為這是一個超級深刻的洞察力,這些聽起來很簡單但非常迷幻的洞察力有時是存在的。所以平方根函式,四的平方根,沒問題。二的平方根,好吧,現在我必須考慮這個新的數位。但是,一旦我想出了平方根函式這個簡單的想法,你可以向孩子解釋它,並且甚至可以通過檢視一些簡單的幾何圖形來證明它的存在,那麼你就可以問「負數的平方根是多少?」的問題。這就是為什麼它是一種迷幻的東西。這會讓你進入另一種現實。
你還可以舉出很多其他例子,但我認為低階平方根運算子可以提供如此深刻的見解和新的知識領域,這一想法可以在很多方面得到應用。我認為有很多這樣的運算子可以解釋為什麼人們可能認為他們喜歡的模擬假設的任何版本可能比他們以前想像的更有可能。但對我來說,空工作的事實並不在前五名之內。
Lex Fridman:我確實認為,從廣義上講,人工智慧將成為通向另一個 C 波現實的最佳、簡單、迷幻般的閘道器。
Sam Altman:這似乎是肯定的。
Lex Fridman:這非常令人興奮。我以前沒有做過死藤水,但我很快就會做。幾周後我要去前面提到的亞馬遜叢林。
Sam Altman:興奮嗎?
Lex Fridman:是的,我對此感到很興奮。不是死藤水部分,但那很棒,無論如何。但我要在叢林深處度過幾個星期。這很令人興奮,但也很可怕。
Sam Altman:我為你感到興奮。
Lex Fridman:那裡有很多東西可以吃掉你、殺死你、毒害你,但這也是自然,它是自然的機器。您會情不自禁地欣賞亞馬遜叢林中的大自然機器。就像這個系統一樣,每秒、每分鐘、每小時都存在並更新。這是機器。它讓你欣賞我們這裡擁有的這個東西,這個人類的東西來自某個地方。這臺進化機器創造了這一點,這一點在叢林中表現得最為明顯。所以希望我能活著出來。如果沒有,這將是我們最後一次有趣的談話,所以我真的非常感激。正如我之前提到的,當你擡頭仰望天空時,你是否認為那裡還有其他外星文明,有智慧的文明?
外星人
Sam Altman:我深深地相信答案是肯定的。我發現費米悖論非常令人費解。
Lex Fridman:我覺得可怕的是智力不擅長處理 –
Sam Altman:非常可怕。
Lex Fridman:強大的技術。但與此同時,我認為我非常有信心那裡存在大量的智慧外星文明。穿越太空可能真的很困難。
Sam Altman:很有可能。
Lex Fridman:這也讓我思考智力的本質。也許我們真的對智慧的樣子視而不見,也許人工智慧會幫助我們看到這一點。它並不像智商測試和簡單的解謎那麼簡單。還有更大的事情。是什麼讓你對人類的未來、我們正在發生的事情、人類文明充滿希望?
Sam Altman:我覺得過去的事情已經很多了。我的意思是,我們只是看看人類在不長的時間內所做的事情,巨大的問題,深刻的缺陷,很多值得超級羞恥的事情。但總的來說,非常鼓舞人心。給了我很大的希望。
Lex Fridman:這就是這一切的軌跡。
Sam Altman:是的。
Lex Fridman:我們正在共同推動更美好的未來。
Sam Altman:我想知道的一件事是,AGI 會更像是某個單一的大腦,還是更像我們所有人之間的社會腳手架?你並沒有從你的曾曾祖父母那裡受到很大的遺傳漂變,但你的能力卻截然不同。你所知道的有很大不同。這並不是因為生物變化。
我的意思是,你可能變得更健康了。你有現代醫學,你吃得更好,等等。但你所擁有的是我們共同貢獻的這個腳手架。沒有人會去製造 iPhone。沒有人會去發現所有的科學,但你卻可以使用它。這給了你令人難以置信的能力。因此,從某種意義上說,這是我們共同創造的,這讓我對未來充滿了希望。這是一件非常集體的事情。
Lex Fridman:是的,我們確實站在巨人的肩膀上。當我們談論戲劇性的、戲劇性的人工智慧風險時,你提到有時你可能會擔心自己的生命安全。你想過你的死嗎?你害怕嗎?
Sam Altman:我的意思是,如果我明天被槍殺,而我今天才知道,我會說,「哦,這太悲傷了。我想看看會發生什麼。多麼令人好奇的時刻啊。多麼有趣的時刻啊。」但我大多隻是對我的生活感到非常感激。
Lex Fridman:你確實得到的時刻。我也是。這是一個非常棒的生活。我開始享受人類令人驚歎的創造,我相信 ChatGPT 就是其中之一,以及 OpenAI 所做的一切。薩姆,很榮幸也很高興再次與您交談。
📍相關報導📍
AI概念幣夯!市值加總破120億鎂,Sora熱潮下$LPT飆漲150%