新華社斯德哥爾摩10月8日電(記者郭爽)瑞典皇家科學(xué)院8日宣布,將2024年諾貝爾物理學(xué)獎(jiǎng)授予美國(guó)科學(xué)家約翰·霍普菲爾德和英國(guó)裔加拿大科學(xué)家杰弗里·欣頓,以表彰他們?cè)谑褂萌斯ど窠?jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)方面的基礎(chǔ)性發(fā)現(xiàn)和發(fā)明。
10月8日,在瑞典斯德哥爾摩舉行的2024年諾貝爾物理學(xué)獎(jiǎng)公布現(xiàn)場(chǎng),屏幕顯示獎(jiǎng)項(xiàng)得主美國(guó)普林斯頓大學(xué)的約翰·霍普菲爾德和加拿大多倫多大學(xué)的杰弗里·欣頓。新華社記者 彭子洋 攝
瑞典皇家科學(xué)院當(dāng)天發(fā)表公報(bào)說(shuō),今年的兩位諾貝爾物理學(xué)獎(jiǎng)得主使用物理學(xué)工具,為當(dāng)今強(qiáng)大的機(jī)器學(xué)習(xí)技術(shù)奠定了基礎(chǔ)。約翰·霍普菲爾德創(chuàng)建了一種聯(lián)想記憶方法,可以存儲(chǔ)和重構(gòu)圖像或其他類(lèi)型的數(shù)據(jù)模式。杰弗里·欣頓發(fā)明了一種可以自動(dòng)發(fā)現(xiàn)數(shù)據(jù)中屬性的方法,可用于識(shí)別圖片中的特定元素等任務(wù)。
諾貝爾物理學(xué)委員會(huì)主席埃倫·穆恩斯在當(dāng)天的新聞發(fā)布會(huì)上表示,兩名獲獎(jiǎng)?wù)呃媒y(tǒng)計(jì)物理的基本概念設(shè)計(jì)了人工神經(jīng)網(wǎng)絡(luò),構(gòu)建了機(jī)器學(xué)習(xí)的基礎(chǔ)。相關(guān)技術(shù)已被用于推動(dòng)多個(gè)領(lǐng)域的研究,包括粒子物理、材料科學(xué)和天體物理等,也已用于日常生活中的人臉識(shí)別和語(yǔ)言翻譯等。她同時(shí)警告說(shuō),機(jī)器學(xué)習(xí)的快速發(fā)展也引發(fā)了人們對(duì)未來(lái)的擔(dān)憂(yōu),人類(lèi)有責(zé)任以安全且道德的方式使用這項(xiàng)新技術(shù)。
10月8日,在瑞典斯德哥爾摩舉行的2024年諾貝爾物理學(xué)獎(jiǎng)公布現(xiàn)場(chǎng),屏幕顯示獎(jiǎng)項(xiàng)得主美國(guó)普林斯頓大學(xué)的約翰·霍普菲爾德和加拿大多倫多大學(xué)的杰弗里·欣頓。新華社記者 彭子洋 攝
約翰·霍普菲爾德1933年出生于美國(guó)芝加哥,1958年獲得美國(guó)康奈爾大學(xué)博士學(xué)位,現(xiàn)任美國(guó)普林斯頓大學(xué)教授。
杰弗里·欣頓1947年出生于英國(guó)倫敦,1978年獲得英國(guó)愛(ài)丁堡大學(xué)博士學(xué)位,現(xiàn)任加拿大多倫多大學(xué)教授。
欣頓當(dāng)天在接受電話(huà)連線(xiàn)時(shí)表示,獲得諾獎(jiǎng)對(duì)他來(lái)說(shuō)“完全沒(méi)想到”。他指出,相關(guān)技術(shù)將對(duì)社會(huì)產(chǎn)生巨大影響,但也必須警惕技術(shù)可能造成的威脅。
對(duì)于今年的諾貝爾物理學(xué)獎(jiǎng)結(jié)果,不少人認(rèn)為有些出乎意料。諾貝爾物理學(xué)委員會(huì)秘書(shū)烏爾夫·丹尼爾松當(dāng)天在接受新華社記者采訪(fǎng)時(shí)表示,物理學(xué)獎(jiǎng)可以授予理論上、實(shí)驗(yàn)上或者觀(guān)測(cè)上的發(fā)現(xiàn),也可以授予發(fā)明,今年的獲獎(jiǎng)成果從某種意義上講也是一種發(fā)明,一種可以多種方式應(yīng)用的發(fā)明。
今年的獲獎(jiǎng)?wù)呤褂梦锢韺W(xué)工具構(gòu)建了為當(dāng)今強(qiáng)大的機(jī)器學(xué)習(xí)奠定基礎(chǔ)的方法。約翰·霍普菲爾德(John Hopfield)創(chuàng)建了一種可以存儲(chǔ)和重建信息的結(jié)構(gòu)。Geoffrey Hinton發(fā)明了一種可以獨(dú)立發(fā)現(xiàn)數(shù)據(jù)屬性的方法,這對(duì)于現(xiàn)在使用的大型人工神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)已經(jīng)變得很重要。
© Johan Jarnestad/瑞典皇家科學(xué)院
許多人都體驗(yàn)過(guò)計(jì)算機(jī)如何在語(yǔ)言之間進(jìn)行翻譯、解釋圖像甚至進(jìn)行合理的對(duì)話(huà)。也許不太為人所知的是,這種技術(shù)長(zhǎng)期以來(lái)對(duì)研究很重要,包括對(duì)大量數(shù)據(jù)的排序和分析。機(jī)器學(xué)習(xí)的發(fā)展在過(guò)去十五到二十年中呈爆炸式增長(zhǎng),并利用了一種稱(chēng)為人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。如今,當(dāng)我們談?wù)?/span>人工智能時(shí),我們通常指的是這種技術(shù)。
盡管計(jì)算機(jī)無(wú)法思考,但機(jī)器現(xiàn)在可以模仿記憶和學(xué)習(xí)等功能。今年的物理學(xué)獎(jiǎng)得主幫助實(shí)現(xiàn)了這一目標(biāo)。他們利用物理學(xué)的基本概念和方法,開(kāi)發(fā)了利用網(wǎng)絡(luò)結(jié)構(gòu)來(lái)處理信息的技術(shù)。
機(jī)器學(xué)習(xí)與傳統(tǒng)軟件不同,傳統(tǒng)軟件的工作原理就像一種菜譜。該軟件接收數(shù)據(jù),根據(jù)清晰的描述進(jìn)行處理并產(chǎn)生結(jié)果,就像有人收集原料并按照食譜進(jìn)行處理以生產(chǎn)蛋糕一樣。相反,在機(jī)器學(xué)習(xí)中,計(jì)算機(jī)通過(guò)示例進(jìn)行學(xué)習(xí),使其能夠解決過(guò)于模糊和復(fù)雜而無(wú)法通過(guò)逐步指令進(jìn)行管理的問(wèn)題。一個(gè)例子是解釋一張圖片以識(shí)別其中的對(duì)象。
人工神經(jīng)網(wǎng)絡(luò)使用整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)來(lái)處理信息。靈感最初來(lái)自于了解大腦如何運(yùn)作的愿望。 20 世紀(jì) 40 年代,研究人員開(kāi)始圍繞大腦神經(jīng)元和突觸網(wǎng)絡(luò)背后的數(shù)學(xué)進(jìn)行推理。另一個(gè)難題來(lái)自心理學(xué),這要?dú)w功于神經(jīng)科學(xué)家唐納德·赫布(Donald Hebb)的假設(shè),即學(xué)習(xí)是如何發(fā)生的,因?yàn)楫?dāng)神經(jīng)元一起工作時(shí),它們之間的聯(lián)系會(huì)得到加強(qiáng)。
后來(lái),這些想法被嘗試通過(guò)構(gòu)建人工神經(jīng)網(wǎng)絡(luò)作為計(jì)算機(jī)模擬來(lái)重建大腦網(wǎng)絡(luò)的功能。在這些模型中,大腦的神經(jīng)元被賦予不同值的節(jié)點(diǎn)所模仿,而突觸則由節(jié)點(diǎn)之間的連接來(lái)表示,這些連接可以變得更強(qiáng)或更弱。唐納德·赫布的假設(shè)仍然被用作通過(guò)稱(chēng)為訓(xùn)練的過(guò)程更新人工網(wǎng)絡(luò)的基本規(guī)則之一。
© Johan Jarnestad/瑞典皇家科學(xué)院20 世紀(jì) 60 年代末,一些令人沮喪的理論結(jié)果導(dǎo)致許多研究人員懷疑這些神經(jīng)網(wǎng)絡(luò)永遠(yuǎn)不會(huì)有任何實(shí)際用途。然而,人們對(duì)人工神經(jīng)網(wǎng)絡(luò)的興趣在 20 世紀(jì) 80 年代重新被喚醒,當(dāng)時(shí)幾個(gè)重要的想法產(chǎn)生了影響,其中包括今年獲獎(jiǎng)?wù)叩墓ぷ鳌?/span>
想象一下,您正在嘗試記住一個(gè)您很少使用的相當(dāng)不尋常的單詞,例如用于電影院和演講廳中常見(jiàn)的傾斜地板的單詞。你搜索你的記憶。有點(diǎn)像斜坡……也許是徑向……徑向?不,不是那樣。耙子,就是這樣!
這種搜索相似單詞以找到正確單詞的過(guò)程讓人想起物理學(xué)家約翰·霍普菲爾德 (John Hopfield) 在 1982 年發(fā)現(xiàn)的聯(lián)想記憶。Hopfield網(wǎng)絡(luò)可以存儲(chǔ)模式,并有一種重新創(chuàng)建它們的方法。當(dāng)給網(wǎng)絡(luò)一個(gè)不完整或輕微扭曲的模式時(shí),該方法可以找到最相似的存儲(chǔ)模式。
霍普菲爾德此前曾利用他的物理學(xué)背景來(lái)探索分子生物學(xué)的理論問(wèn)題。當(dāng)他受邀參加一個(gè)有關(guān)神經(jīng)科學(xué)的會(huì)議時(shí),他遇到了有關(guān)大腦結(jié)構(gòu)的研究。他對(duì)所學(xué)到的東西很著迷,并開(kāi)始思考簡(jiǎn)單神經(jīng)網(wǎng)絡(luò)的動(dòng)力學(xué)。當(dāng)神經(jīng)元一起行動(dòng)時(shí),它們可以產(chǎn)生新的、強(qiáng)大的特征,而這些特征對(duì)于只關(guān)注網(wǎng)絡(luò)獨(dú)立組件的人來(lái)說(shuō)是不明顯的。
1980 年,霍普菲爾德離開(kāi)了他在普林斯頓大學(xué)的職位,他的研究興趣使他離開(kāi)了物理學(xué)同事們工作的領(lǐng)域,并搬到了整個(gè)非洲大陸。他接受了南加州帕薩迪納市加州理工學(xué)院化學(xué)和生物學(xué)教授職位的邀請(qǐng)。在那里,他可以使用計(jì)算機(jī)資源進(jìn)行免費(fèi)實(shí)驗(yàn)并發(fā)展他關(guān)于神經(jīng)網(wǎng)絡(luò)的想法。
然而,他并沒(méi)有放棄自己的物理學(xué)基礎(chǔ),在那里他找到了靈感,理解了具有許多小組件協(xié)同工作的系統(tǒng)如何產(chǎn)生新的有趣的現(xiàn)象。他特別受益于了解磁性材料,這些材料由于原子自旋而具有特殊特性,這種特性使每個(gè)原子都成為微小的磁鐵。相鄰原子的自旋相互影響;這可以允許形成具有相同方向自旋的域。他能夠利用物理學(xué)描述材料在自旋相互影響時(shí)如何發(fā)展,從而建立一個(gè)具有節(jié)點(diǎn)和連接的模型網(wǎng)絡(luò)。
霍普菲爾德構(gòu)建的網(wǎng)絡(luò)具有通過(guò)不同強(qiáng)度的連接連接在一起的節(jié)點(diǎn)。每個(gè)節(jié)點(diǎn)都可以存儲(chǔ)一個(gè)單獨(dú)的值——在 Hopfield 的第一個(gè)作品中,這個(gè)值可以是 0 也可以是 1,就像黑白圖片中的像素一樣。
霍普菲爾德描述了網(wǎng)絡(luò)的整體狀態(tài),其屬性相當(dāng)于物理學(xué)中自旋系統(tǒng)中的能量;能量是使用一個(gè)公式計(jì)算的,該公式使用節(jié)點(diǎn)的所有值以及它們之間的所有連接強(qiáng)度。 Hopfield 網(wǎng)絡(luò)通過(guò)饋送到節(jié)點(diǎn)的圖像進(jìn)行編程,節(jié)點(diǎn)被賦予黑色 (0) 或白色 (1) 值。然后使用能量公式調(diào)整網(wǎng)絡(luò)的連接,以便保存的圖像獲得低能量。當(dāng)另一種模式被輸入網(wǎng)絡(luò)時(shí),有一個(gè)規(guī)則會(huì)逐個(gè)遍歷節(jié)點(diǎn),并檢查如果該節(jié)點(diǎn)的值發(fā)生變化,網(wǎng)絡(luò)是否具有較低的能量。如果事實(shí)證明,如果黑色像素變成白色,能量就會(huì)減少,它就會(huì)改變顏色。這個(gè)過(guò)程一直持續(xù)到不可能找到任何進(jìn)一步的改進(jìn)為止。當(dāng)達(dá)到這一點(diǎn)時(shí),網(wǎng)絡(luò)通常會(huì)再現(xiàn)其訓(xùn)練時(shí)所用的原始圖像。
如果您只保存一種模式,這可能不會(huì)顯得那么引人注目。也許您想知道為什么不直接保存圖像本身并將其與正在測(cè)試的另一張圖像進(jìn)行比較,但 Hopfield 的方法很特殊,因?yàn)榭梢酝瑫r(shí)保存多張圖片,并且網(wǎng)絡(luò)通??梢詤^(qū)分它們。
霍普菲爾德將在網(wǎng)絡(luò)中搜索已保存的狀態(tài)比作在山峰和山谷中滾動(dòng)一個(gè)球,摩擦力會(huì)減慢其運(yùn)動(dòng)速度。如果球掉落在特定位置,它會(huì)滾入最近的山谷并停在那里。如果給網(wǎng)絡(luò)一個(gè)接近已保存模式之一的模式,它將以同樣的方式繼續(xù)前進(jìn),直到到達(dá)能量景觀(guān)中的山谷底部,從而找到其記憶中最接近的模式。
Hopfield 網(wǎng)絡(luò)可用于重新創(chuàng)建包含噪聲或已部分擦除的數(shù)據(jù)。
© Johan Jarnestad/瑞典皇家科學(xué)院Hopfield 和其他人繼續(xù)開(kāi)發(fā) Hopfield 網(wǎng)絡(luò)功能的細(xì)節(jié),包括可以存儲(chǔ)任何值的節(jié)點(diǎn),而不僅僅是零或一。如果您將節(jié)點(diǎn)視為圖片中的像素,那么它們可以具有不同的顏色,而不僅僅是黑色或白色。改進(jìn)的方法使得保存更多圖片成為可能,并且即使它們非常相似也能夠區(qū)分它們。識(shí)別或重建任何信息都是可能的,只要它是由許多數(shù)據(jù)點(diǎn)構(gòu)建的。
記住圖像是一回事,但解釋它所描繪的內(nèi)容則需要更多。
即使很小的孩子也可以指著不同的動(dòng)物并自信地說(shuō)出它是狗、貓還是松鼠。他們偶爾可能會(huì)出錯(cuò),但很快他們幾乎總是正確的。即使沒(méi)有看到任何圖表或物種或哺乳動(dòng)物等概念的解釋?zhuān)⒆右部梢詫W(xué)到這一點(diǎn)。在遇到每種動(dòng)物的一些例子后,不同的類(lèi)別就會(huì)在孩子的頭腦中就位。人們通過(guò)體驗(yàn)周?chē)沫h(huán)境來(lái)學(xué)習(xí)識(shí)別一只貓,或者理解一個(gè)單詞,或者進(jìn)入一個(gè)房間并注意到某些東西發(fā)生了變化。
當(dāng)霍普菲爾德發(fā)表有關(guān)聯(lián)想記憶的文章時(shí),杰弗里·辛頓正在美國(guó)匹茲堡的卡內(nèi)基梅隆大學(xué)工作。他之前曾在英格蘭和蘇格蘭研究過(guò)實(shí)驗(yàn)心理學(xué)和人工智能,并且想知道機(jī)器是否可以學(xué)習(xí)以與人類(lèi)類(lèi)似的方式處理模式,找到自己的類(lèi)別來(lái)排序和解釋信息。 Hinton 與他的同事 Terrence Sejnowski 一起從 Hopfield 網(wǎng)絡(luò)開(kāi)始,并利用統(tǒng)計(jì)物理學(xué)的思想將其擴(kuò)展以構(gòu)建新的東西。
統(tǒng)計(jì)物理學(xué)描述由許多相似元素組成的系統(tǒng),例如氣體中的分子。追蹤氣體中的所有單獨(dú)分子是困難或不可能的,但可以將它們集中考慮以確定氣體的總體特性,例如壓力或溫度。氣體分子有許多潛在的方式以各自的速度在其體積中擴(kuò)散,但仍然產(chǎn)生相同的集體特性。
可以使用統(tǒng)計(jì)物理學(xué)來(lái)分析各個(gè)組件可以共同存在的狀態(tài),并計(jì)算它們發(fā)生的概率。有些狀態(tài)比其他狀態(tài)更有可能發(fā)生;這取決于可用能量的大小,十九世紀(jì)物理學(xué)家路德維?!げ柶澛梅匠堂枋隽诉@一點(diǎn)。 Hinton 的網(wǎng)絡(luò)利用了該方程,該方法于 1985 年以引人注目的玻爾茲曼機(jī)名稱(chēng)發(fā)布。
玻爾茲曼機(jī)通常與兩種不同類(lèi)型的節(jié)點(diǎn)一起使用。信息被饋送到一組,稱(chēng)為可見(jiàn)節(jié)點(diǎn)。其他節(jié)點(diǎn)形成隱藏層。隱藏節(jié)點(diǎn)的值和連接也為整個(gè)網(wǎng)絡(luò)的能量做出了貢獻(xiàn)。
該機(jī)器通過(guò)應(yīng)用一種規(guī)則來(lái)運(yùn)行,一次更新一個(gè)節(jié)點(diǎn)的值。最終,機(jī)器將進(jìn)入一種狀態(tài),其中節(jié)點(diǎn)的模式可以改變,但整個(gè)網(wǎng)絡(luò)的屬性保持不變。然后,每種可能的模式都將具有特定的概率,該概率由網(wǎng)絡(luò)能量根據(jù)玻爾茲曼方程確定。當(dāng)機(jī)器停止時(shí),它會(huì)創(chuàng)建一個(gè)新的模式,這使得玻爾茲曼機(jī)成為生成模型的早期例子。
© Johan Jarnestad/瑞典皇家科學(xué)院玻爾茲曼機(jī)可以學(xué)習(xí)——不是從指令中學(xué)習(xí),而是從給出的例子中學(xué)習(xí)。它通過(guò)更新網(wǎng)絡(luò)連接中的值來(lái)進(jìn)行訓(xùn)練,以便在訓(xùn)練時(shí)饋送到可見(jiàn)節(jié)點(diǎn)的示例模式在機(jī)器運(yùn)行時(shí)具有最高的可能出現(xiàn)概率。如果在訓(xùn)練過(guò)程中多次重復(fù)相同的模式,則出現(xiàn)該模式的概率會(huì)更高。訓(xùn)練還會(huì)影響輸出與機(jī)器訓(xùn)練示例類(lèi)似的新模式的概率。
經(jīng)過(guò)訓(xùn)練的玻爾茲曼機(jī)可以識(shí)別以前從未見(jiàn)過(guò)的信息中的熟悉特征。想象一下,見(jiàn)到一個(gè)朋友的兄弟姐妹,你立刻就能看出他們一定有親戚關(guān)系。以類(lèi)似的方式,玻爾茲曼機(jī)可以識(shí)別一個(gè)全新的例子,如果它屬于訓(xùn)練材料中找到的類(lèi)別,并將其與不相似的材料區(qū)分開(kāi)來(lái)。
在其原始形式中,玻爾茲曼機(jī)效率相當(dāng)?shù)停⑶倚枰荛L(zhǎng)時(shí)間才能找到解決方案。當(dāng)事物以多種方式發(fā)展時(shí),它會(huì)變得更加有趣,這是 Hinton 不斷探索的。后來(lái)的版本已被精簡(jiǎn),因?yàn)槟承﹩卧g的連接已被刪除。事實(shí)證明,這可能會(huì)使機(jī)器更加高效。
During the 1990s, many researchers lost interest in artificial neural networks, but Hinton was one of those who continued to work in the field. He also helped start the new explosion of exciting results; in 2006 he and his colleagues Simon Osindero, Yee Whye Teh and Ruslan Salakhutdinov developed a method for pretraining a network with a series of Boltzmann machines in layers, one on top of the other. This pretraining gave the connections in the network a better starting point, which optimised its training to recognise elements in pictures.
The Boltzmann machine is often used as part of a larger network. For example, it can be used to recommend films or television series based on the viewer’s preferences.
憑借 20 世紀(jì) 80 年代及以后的工作,John Hopfield 和 Geoffrey Hinton 為 2010 年左右開(kāi)始的機(jī)器學(xué)習(xí)革命奠定了基礎(chǔ)。
我們現(xiàn)在所見(jiàn)證的發(fā)展是通過(guò)訪(fǎng)問(wèn)可用于訓(xùn)練網(wǎng)絡(luò)的大量數(shù)據(jù)以及通過(guò)計(jì)算能力的巨大增長(zhǎng)而實(shí)現(xiàn)的。當(dāng)今的人工神經(jīng)網(wǎng)絡(luò)通常非常龐大并且由許多層構(gòu)成。這些被稱(chēng)為深度神經(jīng)網(wǎng)絡(luò),它們的訓(xùn)練方式被稱(chēng)為深度學(xué)習(xí)。
快速瀏覽一下 Hopfield 1982 年關(guān)于聯(lián)想記憶的文章,可以對(duì)這一發(fā)展提供一些視角。在其中,他使用了一個(gè)有 30 個(gè)節(jié)點(diǎn)的網(wǎng)絡(luò)。如果所有節(jié)點(diǎn)都相互連接,則有 435 個(gè)連接。節(jié)點(diǎn)有其值,連接有不同的強(qiáng)度,總共需要跟蹤的參數(shù)不到 500 個(gè)。他還嘗試了一個(gè)有 100 個(gè)節(jié)點(diǎn)的網(wǎng)絡(luò),但考慮到他當(dāng)時(shí)使用的計(jì)算機(jī),這太復(fù)雜了。我們可以將其與當(dāng)今的大型語(yǔ)言模型進(jìn)行比較,這些模型被構(gòu)建為可以包含超過(guò)一萬(wàn)億個(gè)參數(shù)(一百萬(wàn)個(gè))的網(wǎng)絡(luò)。
許多研究人員現(xiàn)在正在開(kāi)發(fā)機(jī)器學(xué)習(xí)的應(yīng)用領(lǐng)域。哪一個(gè)最可行還有待觀(guān)察,同時(shí)圍繞這項(xiàng)技術(shù)的開(kāi)發(fā)和使用的道德問(wèn)題也存在廣泛的討論。
由于物理學(xué)為機(jī)器學(xué)習(xí)的發(fā)展提供了工具,因此觀(guān)察物理學(xué)作為一個(gè)研究領(lǐng)域如何從人工神經(jīng)網(wǎng)絡(luò)中受益是很有趣的。機(jī)器學(xué)習(xí)早已應(yīng)用于我們之前諾貝爾物理學(xué)獎(jiǎng)所熟悉的領(lǐng)域。其中包括使用機(jī)器學(xué)習(xí)來(lái)篩選和處理發(fā)現(xiàn)希格斯粒子所需的大量數(shù)據(jù)。其他應(yīng)用包括減少黑洞碰撞引力波測(cè)量中的噪音,或?qū)ふ蚁低庑行恰?/span>
近年來(lái),這項(xiàng)技術(shù)也開(kāi)始用于計(jì)算和預(yù)測(cè)分子和材料的特性,例如計(jì)算蛋白質(zhì)分子的結(jié)構(gòu),這決定了它們的功能,或者計(jì)算出材料的哪些新版本可能具有最佳特性用于更高效的太陽(yáng)能電池。
有關(guān)今年獎(jiǎng)項(xiàng)的更多信息,包括英語(yǔ)科學(xué)背景,請(qǐng)?jiān)L問(wèn)瑞典皇家科學(xué)院網(wǎng)站www.kva.se和www.nobelprize.org,您可以在其中觀(guān)看新聞發(fā)布會(huì)的視頻、諾貝爾講座等等。有關(guān)諾貝爾獎(jiǎng)和經(jīng)濟(jì)科學(xué)獎(jiǎng)相關(guān)展覽和活動(dòng)的信息,請(qǐng)?jiān)L問(wèn)www.nobelprizemuseum.se。
約翰·J·霍普菲爾德 (JOHN J. HOPFIELD)
1933 年出生于美國(guó)伊利諾伊州芝加哥。 1958 年獲得美國(guó)紐約州伊薩卡康奈爾大學(xué)博士學(xué)位。美國(guó)新澤西州普林斯頓大學(xué)教授。
GEOFFREY E. HINTON
1947 年出生于英國(guó)倫敦。 1978年獲英國(guó)愛(ài)丁堡大學(xué)博士學(xué)位。加拿大多倫多大學(xué)教授。
“通過(guò)人工神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)機(jī)器學(xué)習(xí)的基礎(chǔ)發(fā)現(xiàn)和發(fā)明”
科學(xué)編輯:Ulf Danielsson、Olle Eriksson、Anders Irb?ck 和 Ellen Moons,諾貝爾物理學(xué)獎(jiǎng)
文本:Anna Davour
譯者:Clare Barnes
插圖:Johan Jarnestad
編輯:Sara Gustavsson
© 瑞典皇家科學(xué)院
2024 年 10 月 8 日
瑞典皇家科學(xué)院決定將2024年諾貝爾物理學(xué)獎(jiǎng)授予
約翰·霍普菲爾德
普林斯頓大學(xué),新澤西州,美國(guó)
杰弗里·辛頓 (Geoffrey E. Hinton)
加拿大多倫多大學(xué)
“通過(guò)人工神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)機(jī)器學(xué)習(xí)的基礎(chǔ)發(fā)現(xiàn)和發(fā)明”
今年的兩位諾貝爾物理學(xué)獎(jiǎng)獲得者使用物理學(xué)工具開(kāi)發(fā)了為當(dāng)今強(qiáng)大的機(jī)器學(xué)習(xí)奠定基礎(chǔ)的方法。約翰·霍普菲爾德(John Hopfield)創(chuàng)建了一種聯(lián)想存儲(chǔ)器,可以存儲(chǔ)和重建圖像以及數(shù)據(jù)中其他類(lèi)型的模式。 Geoffrey Hinton 發(fā)明了一種方法,可以自動(dòng)查找數(shù)據(jù)中的屬性,從而執(zhí)行識(shí)別圖片中特定元素等任務(wù)。
當(dāng)我們談?wù)撊斯ぶ悄軙r(shí),我們通常指的是使用人工神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)。這項(xiàng)技術(shù)最初的靈感來(lái)自于大腦的結(jié)構(gòu)。在人工神經(jīng)網(wǎng)絡(luò)中,大腦的神經(jīng)元由具有不同值的節(jié)點(diǎn)表示。這些節(jié)點(diǎn)通過(guò)類(lèi)似于突觸的連接相互影響,并且可以變得更強(qiáng)或更弱。例如,通過(guò)在同時(shí)具有高值的節(jié)點(diǎn)之間建立更強(qiáng)的連接來(lái)訓(xùn)練網(wǎng)絡(luò)。今年的獲獎(jiǎng)?wù)邚?20 世紀(jì) 80 年代起就在人工神經(jīng)網(wǎng)絡(luò)方面開(kāi)展了重要工作。
約翰·霍普菲爾德發(fā)明了一種網(wǎng)絡(luò),該網(wǎng)絡(luò)使用一種保存和重新創(chuàng)建模式的方法。我們可以將節(jié)點(diǎn)想象為像素。Hopfield 網(wǎng)絡(luò)利用物理學(xué)來(lái)描述材料因原子自旋而產(chǎn)生的特性,這種特性使每個(gè)原子都成為微小的磁鐵。整個(gè)網(wǎng)絡(luò)以相當(dāng)于物理學(xué)中自旋系統(tǒng)能量的方式進(jìn)行描述,并通過(guò)查找節(jié)點(diǎn)之間的連接值進(jìn)行訓(xùn)練,以便保存的圖像具有低能量。當(dāng) Hopfield 網(wǎng)絡(luò)輸入扭曲或不完整的圖像時(shí),它會(huì)系統(tǒng)地通過(guò)節(jié)點(diǎn)工作并更新它們的值,從而使網(wǎng)絡(luò)的能量下降。因此,網(wǎng)絡(luò)逐步工作,找到最接近其輸入的不完美圖像的已保存圖像。
Geoffrey Hinton使用 Hopfield 網(wǎng)絡(luò)作為使用不同方法的新網(wǎng)絡(luò)的基礎(chǔ):玻爾茲曼機(jī)。這可以學(xué)習(xí)識(shí)別給定類(lèi)型數(shù)據(jù)中的特征元素。 Hinton 使用了統(tǒng)計(jì)物理學(xué)中的工具,統(tǒng)計(jì)物理學(xué)是由許多相似組件構(gòu)建的系統(tǒng)科學(xué)。通過(guò)向機(jī)器提供運(yùn)行時(shí)很可能出現(xiàn)的示例來(lái)訓(xùn)練機(jī)器。玻爾茲曼機(jī)可用于對(duì)圖像進(jìn)行分類(lèi)或創(chuàng)建其所訓(xùn)練的模式類(lèi)型的新示例。 Hinton 在這項(xiàng)工作的基礎(chǔ)上,幫助啟動(dòng)了當(dāng)前機(jī)器學(xué)習(xí)的爆炸性發(fā)展。
“獲獎(jiǎng)?wù)叩墓ぷ饕呀?jīng)帶來(lái)了最大的效益。在物理學(xué)中,我們?cè)趶V泛的領(lǐng)域中使用人工神經(jīng)網(wǎng)絡(luò),例如開(kāi)發(fā)具有特定屬性的新材料。”諾貝爾物理學(xué)委員會(huì)主席 Ellen Moons 說(shuō)道。
這些插圖可免費(fèi)用于非商業(yè)目的。屬性“©Johan Jarnestad/瑞典皇家科學(xué)院”。
插圖:2024 年諾貝爾物理學(xué)獎(jiǎng) (pdf)
插圖:自然和人工神經(jīng)元 (pdf)
插圖:記憶存儲(chǔ)在風(fēng)景中 (pdf)
插圖:不同類(lèi)型的網(wǎng)絡(luò) (pdf)
科普背景:他們利用物理學(xué)來(lái)尋找信息模式 (pdf)
科學(xué)背景:“通過(guò)人工神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)機(jī)器學(xué)習(xí)的基礎(chǔ)發(fā)現(xiàn)和發(fā)明”(pdf)
約翰·J·霍普菲爾德 (John J. Hopfield ) 1933 年出生于美國(guó)伊利諾伊州芝加哥。 1958 年獲得美國(guó)紐約州伊薩卡康奈爾大學(xué)博士學(xué)位。美國(guó)新澤西州普林斯頓大學(xué)教授。
Geoffrey E. Hinton,1947 年出生于英國(guó)倫敦。 1978年獲英國(guó)愛(ài)丁堡大學(xué)博士學(xué)位。加拿大多倫多大學(xué)教授。
獎(jiǎng)金金額:1100萬(wàn)瑞典克朗,由獲獎(jiǎng)?wù)咂椒帧?/span>
更多信息:www.kva.se 和 www.nobelprize.org
媒體聯(lián)系人:Eva Nevelius,新聞秘書(shū),+46 70 878 67 63,eva.nevelius@kva.se
專(zhuān)家:Olle Eriksson,+46 18 471 36 25,olle .eriksson@physicals.uu.se和 Anders Irb?ck,+46 46 222 34 93,anders.irback@cec.lu.se ,諾貝爾物理學(xué)委員會(huì)成員。
瑞典皇家科學(xué)院成立于 1739 年,是一個(gè)獨(dú)立組織,其總體目標(biāo)是促進(jìn)科學(xué)發(fā)展并加強(qiáng)科學(xué)在社會(huì)中的影響力。該學(xué)院對(duì)自然科學(xué)和數(shù)學(xué)負(fù)有特殊責(zé)任,但致力于促進(jìn)各學(xué)科之間的思想交流。
Nobel Prize® 是諾貝爾基金會(huì)的注冊(cè)商標(biāo)。
引用本節(jié)
MLA 風(fēng)格:新聞稿。 NobelPrize.org。諾貝爾獎(jiǎng)外展 AB 2024。 周二。 2024 年 10 月 8 日。