人工智能(AI)研究正在朝著人類級(jí)或超人類智能機(jī)器的長(zhǎng)期目標(biāo)大步邁進(jìn),然而,如果它以目前的形式取得成功,很可能給人類帶來災(zāi)難性的影響。原因在于,人工智能的“標(biāo)準(zhǔn)模型”要求機(jī)器去追求人類指定的固定目標(biāo)。我們無法完全正確地指定目標(biāo),也無法預(yù)測(cè)或預(yù)防追求錯(cuò)誤目標(biāo)的超能力機(jī)器在全球范圍內(nèi)會(huì)造成的傷害。我們已經(jīng)看到了一些例子,比如社交媒體算法利用人們的偏好來優(yōu)化點(diǎn)擊量,這給民主體制帶來了災(zāi)難性的后果。