核心提示:視頻中，一群神似《黑鏡III》中機(jī)器殺人蜂的小型機(jī)器人，通過人臉定位瞬間殺死了正在上課的一眾學(xué)生，場面血腥。

上周，在日內(nèi)瓦舉辦的聯(lián)合國特定常規(guī)武器公約會(huì)議上，一段可怕的視頻公諸于眾:視頻中，一群神似《黑鏡III》中機(jī)器殺人蜂的小型機(jī)器人，通過人臉定位瞬間殺死了正在上課的一眾學(xué)生，場面血腥。

伯克利大學(xué)教授、資深A(yù)I研究者Stuart Russell在視頻的最后提醒人們，想象一下，這些致命的自動(dòng)武器一旦落入恐怖分子之手，可能造成怎樣的后果。

先來看看視頻里幾個(gè)可怕的畫面:

一個(gè)體型類似蜜蜂的小型機(jī)器人飛入會(huì)場并輕易躲過演講人抓捕，其擁有 anti-sniper 技術(shù)，完全基于 AI。

這個(gè)小東西蘊(yùn)含可怕的黑科技:廣角攝像頭、傳感器、面部識(shí)別，且在其中部，還有3克炸藥。

來看看它的攻擊效果，一擊而中，極端致命。

看到這個(gè)武器，小編立馬想起了《三體》里一種終極形態(tài)的武器--"水滴"，它形狀與普通水滴相似，由被強(qiáng)互作用力緊密鎖死的質(zhì)子與中子構(gòu)成，密度巨大，無堅(jiān)不摧，僅一個(gè)水滴就能接連摧毀人類的一千多艘飛船，打擊方式也是直接、精準(zhǔn)穿透關(guān)鍵部位，和這段視頻里一樣。

視頻最后還演示了一段飛行機(jī)器人集體攻擊人類的畫面，通過面部識(shí)別定位，輕易殺死了正在上課的一班學(xué)生。

殺手機(jī)器人真的來了么?

在視頻結(jié)尾，Russell發(fā)出警告，盡管這段視頻和其中的殺人機(jī)器人并非真實(shí)，但視頻中的科技目前已經(jīng)存在。要避免視頻中的悲劇發(fā)生，我們需要盡快行動(dòng)。

這段視頻發(fā)布在本月13-17日的聯(lián)合國特定常規(guī)武器公約會(huì)議上，這一會(huì)議由"殺手機(jī)器人禁令運(yùn)動(dòng)"(Campaign to Stop Killer Robots)組織，超過七十個(gè)國家的代表出席。

殺手機(jī)器人:未來無人戰(zhàn)爭之憂

今年8月20日，在墨爾本舉行的2017國際人工智能聯(lián)合大會(huì)上，包括美國特斯拉電動(dòng)汽車公司CEO伊隆·馬斯克、DeepMind聯(lián)合創(chuàng)始人穆斯塔法·蘇萊曼在內(nèi)的116位機(jī)器人和人工智能公司創(chuàng)始人發(fā)表公開信，呼吁聯(lián)合國在國際范圍內(nèi)禁止"致命性自主武器系統(tǒng)"的使用。

公開信指出，致命性自主武器系統(tǒng)足以構(gòu)成第三次武器革命的威脅--前兩次革命分別是火藥和核武器。這種技術(shù)一旦開發(fā)成功，將有可能把戰(zhàn)爭沖突升級(jí)至從未有過的規(guī)模，而且會(huì)達(dá)到人類難以控制的速度。公開信的簽署者們認(rèn)為，致命性自主武器可能成為獨(dú)裁者和恐怖分子殘害無辜的手段，或者被黑客挾持。

致命性自主武器系統(tǒng)實(shí)際上是一種軍用機(jī)器人，它可以不經(jīng)過人類干預(yù)，自主選擇和攻擊包括人員和裝備在內(nèi)的軍事目標(biāo)，所以也被叫做"殺手機(jī)器人"。目前，擁有"人格"的智能技術(shù)尚未被從科幻電影搬到現(xiàn)實(shí)中，但是與此有關(guān)的技術(shù)的確正在朝著這個(gè)方向發(fā)展。

有人認(rèn)為，在未來，致命性自主武器系統(tǒng)如果應(yīng)用于戰(zhàn)爭，在軍事方面會(huì)起到許多正面作用。例如，降低己方士兵的風(fēng)險(xiǎn)，降低人與人之間近距離戰(zhàn)爭的代價(jià)。此外，自主武器系統(tǒng)也省去了軍人的薪水、住房、養(yǎng)老、醫(yī)療等開銷，又在速度、準(zhǔn)確性上高于人類，而且不用休息。有別于人類戰(zhàn)斗員會(huì)在戰(zhàn)場上出現(xiàn)心理和情緒波動(dòng)的特點(diǎn)，人工智能武器更穩(wěn)定，并且能夠抵達(dá)人類不可及之處，完成搜救和保護(hù)任務(wù)。

西安政治學(xué)院軍事法學(xué)系教授宋新平分析，致命性自主武器的運(yùn)用，意味著自然人在武裝沖突中直接發(fā)揮的作用越來越小，武器所發(fā)揮的作用則越來越大，將影響并改變未來戰(zhàn)場的戰(zhàn)斗員構(gòu)成與戰(zhàn)斗能力的變化，特別是這種武器的集群式運(yùn)用，對(duì)未來作戰(zhàn)的指揮體制、力量運(yùn)用、供給保障等方面將產(chǎn)生革命性影響。

正在海上進(jìn)行試驗(yàn)的美國Sea Hunter自主戰(zhàn)艦

爭議"殺手機(jī)器人"

但是，隨著致命性自主武器系統(tǒng)的發(fā)展，它所帶來的爭議也越來越強(qiáng)烈。

首先，有人擔(dān)憂，機(jī)器打仗使得人員傷亡大大減少，反過來又會(huì)降低戰(zhàn)爭發(fā)動(dòng)的門檻，武裝沖突發(fā)生的機(jī)會(huì)會(huì)增加，而戰(zhàn)爭的人員損失將從戰(zhàn)斗員轉(zhuǎn)移到交火區(qū)域的平民。

其次，如同所有戰(zhàn)爭中的武器一樣，致命性自主武器系統(tǒng)要運(yùn)用在戰(zhàn)爭中，必須符合《日內(nèi)瓦公約》，即國際人道法。反對(duì)者認(rèn)為，該武器系統(tǒng)違反國際人道法中的"區(qū)分原則"，即機(jī)器人武器很難做到和人類一樣區(qū)分平民與戰(zhàn)斗員、有戰(zhàn)斗能力的戰(zhàn)斗員和喪失戰(zhàn)斗能力的戰(zhàn)斗員(如傷者、病者及戰(zhàn)俘)，以及作戰(zhàn)人員和攜帶輕武器從事非戰(zhàn)斗任務(wù)的人員。

在倫理方面，致命性自主武器運(yùn)用于未來的武裝沖突中，這意味著將剝奪自然人生命的權(quán)利交給非自然人。有學(xué)者認(rèn)為，這是將人的生命和人格尊嚴(yán)交給機(jī)器來判定，不具有平等性，也是對(duì)人類生命權(quán)以及人格尊嚴(yán)的侮辱。

法律上的責(zé)任更是不能忽略。自主武器兼具"戰(zhàn)斗員"和"戰(zhàn)斗武器"兩種角色，如果它違背國際人道法，國際社會(huì)將面臨如何追究責(zé)任的問題，而被追究的主體應(yīng)該是設(shè)計(jì)者、制造者、操作者還是機(jī)器本身?

今年8月發(fā)出的公開信不是伊隆·馬斯克等人第一次對(duì)致命性自主武器系統(tǒng)提出警示。早在2015年，同樣在國際人工智能聯(lián)合大會(huì)上，物理學(xué)家斯蒂芬·霍金、蘋果聯(lián)合創(chuàng)始人史蒂夫·沃茲尼亞克等1000多名人工智能領(lǐng)域?qū)＜衣?lián)合譴責(zé)人工智能時(shí)代的軍備競賽，呼吁禁止自主武器。容易引發(fā)軍備競賽、威脅世界和平，是反對(duì)者擔(dān)憂的原因之一。

但是，也有人認(rèn)為以上反對(duì)意見作為禁用致命性自主武器的理由站不住腳。研究人工智能哲學(xué)的復(fù)旦大學(xué)教授徐英瑾在《技術(shù)與正義:未來戰(zhàn)爭中的人工智能》一文中進(jìn)行了反駁。比如，對(duì)于"無人智能武器的出現(xiàn)，會(huì)使得殺戮變得更為容易，因此，也會(huì)使得軍事暴力在未來變得更為頻繁"的說法，徐英瑾提出，按照殺戮效率提高會(huì)對(duì)和平構(gòu)成威脅的邏輯，那是否為了降低殺戮效率，就制造盡量劣質(zhì)的槍支，鼓勵(lì)士兵降低擊中率?這顯然是荒謬的，相反，人工智能技術(shù)運(yùn)用于軍事，會(huì)使得人類作戰(zhàn)意圖得到更精確的貫徹，可使得正義戰(zhàn)爭快速結(jié)束。

人工智能公司、國際組織紛紛呼吁禁止致命性自主武器系統(tǒng)，但現(xiàn)狀是，至今國際社會(huì)仍然沒有就致命性自主武器系統(tǒng)問題達(dá)成統(tǒng)一認(rèn)識(shí)，甚至還沒有統(tǒng)一的定義。

聯(lián)合國《特定常規(guī)武器公約》成員國已經(jīng)建立了一個(gè)致命性自主武器系統(tǒng)的政府專家小組，這個(gè)小組的第一次會(huì)議預(yù)定將于今年11月召開。伊隆·馬斯克等公開信簽署者希望專家小組努力尋求方法，防止這類武器的軍備競賽，保護(hù)平民免受武器濫用的傷害，避免這些技術(shù)給世界的未來帶來嚴(yán)重的后果。