人工智能先鋒Stuart Russell：智能和人工智能安全的巨大挑戰(zhàn)

今年一月，英裔美籍計算機科學家Stuart Russell起草了一份公開信，他也是這份公開信首位簽署人，在這份公開信中，Stuart Russell呼吁研究人員，雖然當前大家的目標是希望人工智能變得強大，但千萬不要鼠目寸光，局限在這個目標上面。在這份公開信中寫道，“我們提醒研究人員注意，隨著人工智能系統的能力越來越強大，我們希望這個系統更加穩(wěn)定，同時也要對人類有益。我們的人工智能系統，必須要做人類要求它們做的東西。”目前，已經有數千人在這份公開信上簽名，包括谷歌，Facebook，微軟公司內研究人工智能的專家，以及全球其他行業(yè)中心里的頂尖計算機科學家，物理學家，以及哲學家。在今年三月底，大約有300名研究人員開啟了一項新研究，希望讓人工智能對人類更加有益，而資助這份研究的資金則是由該公開信的第37位簽署人贊助的，他就是現實版“鋼鐵俠”Elon Musk。

Russell今年53歲，是加州大學伯克利分校人工智能系統中心創(chuàng)始人兼計算機科學專業(yè)教授，他一直在關注人工智能的發(fā)展和影響。Russell寫了200多頁的論文，同時他還是人工智能領域里“標準教科書”-----《人工智能：一種現代化方法》作者（谷歌研究主管Peter Norvig也是該書作者）。但是，隨著人工智能發(fā)展的速度越來越快，加劇了Russell對這一領域的擔憂。

近日他表示，人工智能有了很大跨越，很大程度上是因為神經網絡學習算法有了質的飛躍。相關技術已經應用在Facebook的人臉識別軟件，智能手機的私人助手應用，以及谷歌的自動駕駛汽車上面了。還有一個現實中的例子，根據《自然》雜志上最近刊登的一項研究成果，一個人工神經模擬網絡學習玩兒雅達利公司的視頻游戲，結果玩兒的竟然比人類還要好，這也引起了業(yè)界震動。“如果這發(fā)生在一個剛出生的孩子身上，你會認為，這是與生俱來的。”Russell說到。

今年，在德克薩斯州圣安東尼奧市舉辦的美國物理學會2015年會上，Russell接受了Quanta Magazine的采訪，并談論了智能本質和人工智能安全的巨大挑戰(zhàn)。

你認為，人工智能的目標就是要能證明它能符合人類價值觀，這意味著什么？

這么說真有點兒氣人吶，這里把兩件事情放在在了一起，一個是要“能證明”，另一個是“人類價值觀”，它們貌似就是非常矛盾的。人類價值觀本身就多少存在一些神秘，從某種程度上，我們的價值觀會在行為上有所表現，你可能希望證明機器也能做出絕大多數類似的行為吧?；蛟S，機器會有一些零碎的東西無法理解，而實際上，就連人類自己有時都不太認可彼此。不過，只要機器能夠獲得基本權利，你可能就會發(fā)現它們其實并不是非常有害的。

你會如何著手實現這些？

這個問題其實就是我現在的工作：機器需要在什么地方擁有一些近似于價值觀的東西呢？重要的是，這些價值觀必須是人類希望他們擁有的。我認為答案就是一種名叫“逆向增強學習”的技術。普通的增強學習是一種過程，你會根據自己的表現得到一定的獎勵和懲罰，你的目標就是要識別出一些能讓你獲得最多獎勵的行為。這就是【雅達利游戲公司】DQN系統正在做的事情；它給每個游戲分數，而這套系統的目標，就是要讓分數變得越來越大。逆向增強學習恰恰與之相反，你會發(fā)現一些行為，然后你需要嘗試搞清楚這種行為嘗試最大化的那個分數是多少。舉個例子，你的家用機器人看到你早上從床上爬起來，然后把一些褐色的玩意兒放進一臺噪音很大的機器里磨碎，然后再把一些蒸汽、熱水、牛奶和這個液體混合在一起，一飲而盡之后，精神就會變得非常好。此時，逆向增強學習技術就需要學習，這其實就是人類在清晨價值功能的一部分，因為他們需要喝咖啡。

關于人類行為和行為態(tài)度，在書本、電影、已經互聯網之外，其實存在著大量信息。因此，當涉及到人類價值時，機器需要學習的資源是非常龐大的，比如誰贏了比賽金牌，誰去坐牢，以及為什么會這樣。

您是怎么進入到人工智能這一領域里的？

當我還在學習讀書的時候，總體來說，人工智能還不是一種正式的學術科目。但是當時我所在的是倫敦的一家公立寄宿學校，位于圣保羅，所以我的時間沒有花在打英式橄欖球上，相反，在附近的一所高校里，我學習了計算機科學A-level課程。我當時為A-level課程準備了一個項目，就是編了一個程序教自己下井字棋，或是一字棋。當時我在那里并不受到人們歡迎，因為我總是一連幾個小時霸占著學校里的計算機。第二年，我寫了一個國際象棋程序，同時也獲得了帝國理工大學教授的許可，可以使用他們學校里的大型計算機。搞清楚計算機如何學習下棋真的太有意思了，我學到了很多今后會在書本上學到的東西。

不過怎么說呢，當時我還只是把這個當做是一個愛好；因為當時我最感興趣的學科專業(yè)是物理。我在牛津大學學習了物理學，之后當我申請讀研究生的時候，也是申請了在牛津和劍橋繼續(xù)攻讀理論物理專業(yè)。后來我又申請了麻省理工學院，卡耐基-梅隆大學和斯坦福大學三所高校的計算機科學專業(yè)，但不幸的是，當時我錯過了申請截止日期，好在斯坦福大學網開一面，于是我來到了斯坦福大學。

所以，您來美國之后就一直生活在西海岸？

是的。

在您整個職業(yè)生涯里，花了大量時間嘗試理解人工智能是什么，這也是搞清楚機器會如何實現人工智能的先決條件。從中您學到了些什么？

在上世紀80年代，我進行了理論研究，當時我開始思考制定理性決策，但問題是，這個問題是不可能解決的。如果你非常理性，你可能會向：這是我目前的狀態(tài)，這是我現在能做的行為，之后我可以做那些行為，接著是那些行為，再接著又是那些行為。哪條路徑能確保實現我的目標呢？理性行為的定義，要求你去優(yōu)化整個宇宙的未來，這靠計算是根本不可能實現的。

在人工智能中，也有些事情是不可能實現的，因此我們去定義那些我們正在嘗試所做的事情，其實根本沒有什么意義，所以，我決定嘗試搞明白：我們究竟是如何做決策的？

那么，我們是怎么做的呢？

這里有一個技巧，你可以去思考一個短期預測，然后再去猜測未來會是什么樣子。因此，舉個例子，在國際象棋程序里，如果他們非常理性，那么他們就只會走那些能確保將死對方的棋，但實際上，他們并不會這么做。他們會算一下未來要走的幾步棋，然后再猜測一下，如果這么走，對于當前自己的棋局是否有幫助，最后，他們會選擇走一步對自己當前棋局最為有利的一步棋。

“你能證明你的系統，無論他們有多么智能，都不會重寫系統內部最初由人類設置的那個目標嗎？”

實際上，真正需要重點考慮的另一件事情，就是在多個抽象級別里的決策問題，也就是所謂的“分層決策”。在一個人一生之中，大約要做20萬億個物理動作。舉個例子，在本屆大會上做一次演講，需要作出大約13億個物理動作。如果你是理性的，那么就會預先想好會怎么做這13億個物理動作，顯然，這非?；闹?，同樣也是不可能實現的。因此，如果人們想要能夠進行目標管理，就需要非常豐富的高層次抽象行為庫。你走路的時候會去想，“首先我要么移動我的左腳，要么移動我的右腳，之后我要么移動…”會這樣想嗎？顯然不會。那么你會想些什么呢？你會想“我得趕緊去艾派迪旅游公司，然后訂一個航班。當我落地之后，我要打個的。”這才是人類會想的東西。在我的飛機實際落地之前，我是不會去想任何東西的，也不會去找出租車標記，或是叫車，但是當我落地之后，我會需要更多細節(jié)。基本上，這才是我們真正的生活，未來是鋪開的，很多細節(jié)能夠及時的靠近我們，但是很多大塊、或是人生的大方向卻是非常抽象的，比如“我要考博士”，“我要生孩子”，等等。

目前的計算機能做分層決策嗎？

這正是目前人工智能所缺失的那一部分，所有這些高級別行為都來自什么地方？我們不認為像DQN網絡這樣的程序可以識別行為的抽象表達。有一些游戲，DQN還不知道怎么玩兒，那些難度較高的游戲需要在原始行為表現的基礎上，向前思考很多很多步，舉個例子，如果一個人想，“哦！我現在需要做的，是去開門。”，而開門則需要涉及到拿鑰匙，等等。如果機器沒有“開門”這個行為表現，那么在這個任務上就不會有任何進展。

但是，如果問題被解決（當然這幾乎是不可能的），那么我們就會看到機器能力將得到極大的提升。我個人其實也不太確定，在人類級別的人工智能和計算機分層決策問題之間的主要障礙是什么。

對于人類級別人工智能的可能性，您關注的是什么？

1994年，在我首版書中有一個章節(jié)，題目叫做“如果我們成功了會怎樣？”因為在我看來，對于人工智能似乎大家還沒有真正思考過這個問題?；蛟S可能因為這距離我們非常遙遠，但很顯然，如果人工智能獲得成功，那無疑將會是一件大事，甚至會是人類歷史上最重大的事件，我們需要用一種較好的方式去描述它。如果這事兒真的成了，那么我們就需要做非常多的思考，至少，要比我們現在正在思考未來會是什么樣多得多。

智能爆炸的基本概念，就是一旦機器獲得了一定級別的智能水平，他們就能在人工智能上工作，就像我們做的那樣，同時還會提升他們自己的能力，重新設計他們自己的硬件，等等。同時，他們的智能將會破紀錄般地被放大。在過去的幾年里，人工智能圈子已經逐漸開始重新定義人類級別人工智能參數（這可能會是個問題），其中最令人信服的參數必須是要和價值參數有關：你構建了而一個系統，在優(yōu)化效用函數上表現的非常好，但是效用函數并不是非常正確的。牛津大學哲學家Nick Bostrom寫了一本書，叫做《超級智能》，他用回紋針作為例子，你說，“做些回紋針”。它就將整個星球變成一個巨大的回紋針堆積場。你構建了一個超級優(yōu)化程序；你會給它什么樣的效用函數呢？因為這個程序就要打算這么干了！

人類價值觀的差異呢？

那是個內在問題。你可以說，當有某個領域出現了價值觀沖突的時候，機器應該寧可什么都不做。但這是很難實現的。我認為，我們不得不在某些價值功能的基礎上構建人工智能。如果你想要一個家庭機器人，它就必須要很好地分享人類價值觀的不同部分，否則它很可能會做一些非常愚蠢的事情，比如當孩子肚子餓了，并且冰箱里沒有食物了，它可能就會把貓放進烤箱里做晚飯?，F實生活中充滿了類似的權衡，如果機器可以有一些折中的方式，那么它們在生活中就不會做出那些愚蠢的事情。

從某種意義上來說，在價值觀領域里，我沒有看到任何的解決方案。我同時還覺得，如果人工智能可以判斷正確的人類價值觀，那么可能會帶來巨大的經濟利益。舉個例子，一旦家庭機器人做出一兩次愚蠢的事情，如同前文講的把貓放進烤箱，那么人們肯定再也不會買這種類型的機器人了。

但同時還有一個問題，如果智能系統自我表現行為符合人類價值觀，那么人類就會過渡到越來越多的智能系統上面，這是否意味著人類自己的價值觀要變得越來越好？還是繼續(xù)表現自我？我不知道答案。

您曾經說過，我們需要通過數學驗證人工智能在所有可能的環(huán)境下表現出的行為，這該怎么做呢？

人們指出的困難之一，就是一個智能系統可以武斷地制造出一個全新的“自我”，而這個新智能系統的目標和原來的老智能系統也是不同的。這種場景，相比很多科幻小說作家會經常提及，在某種程度上，機器會自發(fā)地達到戰(zhàn)勝人類的目標。所以問題來了：你能證明你的系統無論它多么智能，都永遠永遠不會重寫自己最初由人類設置的目標嗎？

證明這點還是相當容易的，正如前文所提到的DQN系統，它可以永遠不去改變自己“優(yōu)化游戲分數”的目標?，F在，有一次網絡攻擊，就是人們談論被稱為“wire-heading”的網絡攻擊，它讓你可以實際進入到雅達利游戲的控制臺，手工改變屏幕上生成的分數。此時對DQN是不可行的，因為它的行為范圍是完全在游戲本身之中的；它沒有機器人手臂去干這種事兒。不過，如果機器在現實世界中有了行動能力，那就會帶來嚴重的問題。因此，你能夠證明你設計的系統在自身行為范圍之內，永遠不會改變自身機制嗎？這更難證明了。

如果朝著人工智能這個方向有什么進展的話，您覺得會很有希望嗎？

目前有一個新興的行業(yè)領域，叫做“網絡-實體系統”，這個系統可以將虛擬環(huán)境與真實世界進行匹配。在網絡-實體系統中，你可以用一些二進制數字來代表一個空中交通管制程序，然后你可以獲得一些真實的飛機，而你真正關心的是，不要發(fā)生飛機碰撞。你要試圖去證明一個關于虛擬和真實世界整合的定理，此時你會怎么做呢？你會對真實世界進行非常保守的數學描述，比如飛機在這樣或那樣的環(huán)境下可以加速，等等，你的定理在真實世界中會是正確的，只要真實世界能夠包含在你的整體行為環(huán)境之中。

但是，你已經指出，數學方法可能無法作為人工智能系統的正式驗證方法

在數學專業(yè)里有個術語，叫做“不可判定性”。在你所問到關于計算機程序的很多問題之中，其實都存在這樣一個普遍的“不可判定性”問題。著名的計算機科學之父，也是人工智能之父阿蘭·圖靈說過，沒有計算機程序能夠決定是否存在任何其他可能的程序可以最終終止，并輸出一個答案，或是陷入到一個無限循環(huán)之中。因此，如果你開始了一個程序，但是它自身可以重寫，變成另外一個其他程序，那么就會產生問題，因為你不能證明所有其他可能的程序會讓一些“所有權”滿意。所以問題就是：是否有必要擔心那些能夠自我重寫的人工智能系統的不可判定性？它們會基于現有程序，加上它們在真實世界中的經驗，自我重寫成一個新的程序。在下一個程序如何設計的問題上，與真實世界交互的影響范圍可能性又是什么？目前，我們貌似還沒有太多這方面的知識。

via wired, 快鯉魚翻譯，轉載標明出處