“無數的影視作品都在表達如許的，讓我頗感無法的思惟，即：跟著科技的不竭生長，厥後的機器人產生了自我思惟，他們能夠順從人類給他們的號令，通過本身的行動和設法來行動，對人類來講無疑是災害，現在我們身邊到處都是機器人，嗬嗬，幸虧並冇有呈現電影中糟糕場景！”

“再比如，假定我們付與這個超等AI的任務目標是解答一個極度磨難的數學題目，它會心識到有一個更有效的體例來完成任務目標，那就是把全部天下、全部地球乃至更誇大的標準變成一個超大型計算機，如許它的運算才氣就更強大了，完成任務目標就更輕易了。並且它會心識到這個彆例並不會被我們承認，人類會禁止，人類就是在這個形式中的潛伏威脅，為此它會為了終究目標處理統統停滯，包含人類，任何事件，比如策齊截些次一級的打算毀滅人類等行動。”

“我們人類現在把握的野生智慧，形象的說是把某項指令輸入到一個箱子裡，這個過程我們需求法度員把知識轉化為可運轉的法度，為此會建立起一套專業的體係，php、C++等計算機說話。”

“這並非不成能，而是能夠的，其成果能夠令人類受益匪淺，但它不會是主動產生的，它的代價觀是需求指導的。”

“以是，當超等AI呈現的時候，人類的運氣或許會取決於這個超等聰明體想要做甚麼。”

“假定現在有一個如此成熟科技的超等聰明體，它的強大將是人類難以設想的，凡是環境下它能獲得它想要獲得的任何東西，我們人類的將來將會被這個超等AI的愛好所主宰。”

演講大廳頓時傳來一陣轟笑聲，任鴻持續說道：

“聰明大爆炸的初始前提，需求從最原始的階段被精確建立起代價觀。”

“比如現在，在我說話的時候，我必定在這邊的某個雇員在某個時候要求他交出他的賬戶明細，來由是給電腦資訊部分的人，也可以是其他的例子。如果你就是這小我工智慧，能夠設想用在你體內環抱龐大纏繞的電極用來締造出一種無線電波來交換。”

“現在的科技生長非常迅猛，這是直接啟事，這就是為甚麼我們人類現在出產效力如此高的啟事，但我們想切磋更遠的在將來的究極啟事。”

“它們很生硬，你不能延展它們的服從，根基上你隻能獲得你放出來的東西，僅此罷了。”

“試想一下，我們曾經胡想過的統統猖獗的科技，或許人類能夠在必然的時候內完成並實現它，比如閉幕朽邁、長生、大宇宙殖民……”