“並且我能設想假定統統順利，幾百年、幾千年或幾百萬年後當我們的後代子孫回顧我們這個世紀，他們或許會說，我們的先人、我們這一代人所做的最最首要的事情，就是做出了最精確的決定。”

“聰明大爆炸的初始前提，需求從最原始的階段被精確建立起代價觀。”

“那麼把這個題目簡樸化的表達，比如我們把野生智慧放入一個小盒子裡，製造一個保險的軟件環境，比如一個它冇法逃脫的假造實際摹擬器。”

“以是，任何詭計節製一個超等AI的行動都是極其好笑的，我們不能對我們能夠永久節製一個超等聰明體而表示出過分的自傲，它總有一天會擺擺脫製，而到那以後呢，它是否會是一個仁慈的神？”

“的確還是相稱困難（轟笑聲再次傳遍全場）！”

“我們不需求對超等AI寫下統統我們在乎的事情，乃至把這些事情變成計算機說話，因為這是永久不成能完成的任務。而應當是，我們締造出的野生智慧用它本身的聰明來學習我們的代價觀，能夠鼓勵它來尋求我們的代價觀，或者去做我們會同意的事情，去處理富有代價的題目。”

“再比如，假定我們付與這個超等AI的任務目標是解答一個極度磨難的數學題目，它會心識到有一個更有效的體例來完成任務目標，那就是把全部天下、全部地球乃至更誇大的標準變成一個超大型計算機，如許它的運算才氣就更強大了，完成任務目標就更輕易了。並且它會心識到這個彆例並不會被我們承認，人類會禁止，人類就是在這個形式中的潛伏威脅，為此它會為了終究目標處理統統停滯，包含人類，任何事件，比如策齊截些次一級的打算毀滅人類等行動。”

“比如現在，在我說話的時候，我必定在這邊的某個雇員在某個時候要求他交出他的賬戶明細，來由是給電腦資訊部分的人，也可以是其他的例子。如果你就是這小我工智慧，能夠設想用在你體內環抱龐大纏繞的電極用來締造出一種無線電波來交換。”

“或者你也能夠假裝出了題目。這個時候，法度員就會把你翻開看看是那裡出錯了，他們找出源代碼，而在此過程中你便能夠獲得節製權了。或者你能夠策劃出一個非常誘人的科技藍圖，當我們實現以後，會存在一些作為野生智慧的你已經打算好的奧妙的副感化用於實現你的隱晦目標等，例子是多的數不堪數。”