這種技術一旦開發成功
將可能把戰爭沖突升級至從未有過的規模
而且會達到人類難以控制的速度
電影《終結者：創世紀》劇照
殺手機器人：
未來無人戰爭之憂
本刊記者 / 楊智傑
本文首發於總第 825 期《中國新聞周刊》
" 我能和你們一起嗎？"2078 年的天狼星 6B 行星上，手拿泰迪熊的小男孩孤零零地站在危機四伏的廢墟裡對聯盟軍人求助，畫面溫情。但他們很快就發現，這個男孩竟然是由聯盟研制的電子殺人武器 " 尖叫者 "（screamer）自我進化而成的。故事從此刻開始緊張起來，原先用來絞殺敵人的小型機器人喬裝來到主人面前，它的武器鋸齒圓輪飛向瞭人類。
這是 1995 年好萊塢推出的電影《異形終結》的一幕。 從上世紀後期至今，《西部世界》《終結者》《我，機器人》等科幻電影和小說就開始展現人類設計並主導的 " 殺手機器人 " 最終成為反叛者，擁有獨立意識，從戰爭的輔助工具轉變為與人類為敵的殺戮者。
耶魯大學生物倫理學研究員瓦拉赫等人在《道德機器：如何教會機器人辨明是非》一書中提到，人工智能技術最有前途的應用領域有三個：軍用機器人，以減少人力投入和傷亡；性愛機器人，滿足單身人士的生理需求以降低性犯罪率；工業機器人，以應對人口老齡化帶來的用工荒。
然而，人們在享受機器人帶來的進步的同時，也從未停止過擔心。尤其是在進入 21 世紀的第二個十年以後， AlphaGo 戰勝世界圍棋冠軍，國際知名技術公司開發的無人駕駛汽車紛紛上路 ……
隨著人工智能的不斷發展，人們對軍事領域 " 殺手機器人 " 的擔憂也由虛構空間開始轉向瞭真實世界。
未來的無人戰爭
今年 8 月 20 日，在墨爾本舉行的 2017 國際人工智能聯合大會上，包括美國特斯拉電動汽車公司 CEO 伊隆 · 馬斯克、DeepMind 聯合創始人穆斯塔法 · 蘇萊曼在內的 116 位機器人和人工智能公司創始人發表公開信，呼籲聯合國在國際范圍內禁止 " 致命性自主武器系統 " 的使用。
公開信指出，致命性自主武器系統足以構成第三次武器革命的威脅——前兩次革命分別是火藥和核武器。這種技術一旦開發成功，將有可能把戰爭沖突升級至從未有過的規模，而且會達到人類難以控制的速度。公開信的簽署者們認為，致命性自主武器可能成為獨裁者和恐怖分子殘害無辜的手段，或者被黑客挾持。
致命性自主武器系統實際上是一種軍用機器人，它可以不經過人類幹預，自主選擇和攻擊包括人員和裝備在內的軍事目標，所以也被叫做 " 殺手機器人 "。目前，擁有 " 人格 " 的智能技術尚未被從科幻電影搬到現實中，但是與此有關的技術的確正在朝著這個方向發展。
當然，無人武器系統並不等同於致命性自主武器，它還包括自動化武器和遙控武器。軍事科學院系統工程研究院曹華陽博士及其團隊較早就開始關註這個領域的相關問題，他們在最近發表的論文《致命性自主武器系統的定義方法》中區分瞭 " 自動化 " 和 " 自主性 " 的概念。
自動化武器，以自足完備和獨立的方式運行，在設定好的可控環境中嚴格執行預編程行動或序列。它們的攻擊目標、攻擊決策以及攻擊方式都是由人類預先設定的。遙控武器，一般由戰區之外的操作員控制著進行戰鬥，可以被固定在一處，也可以自行移動。而自主性武器的特殊之處是，在某些關鍵性的能力（如決定人類的生命）方面，機器可能給出並執行自己的決策，而不是按照人類預先設定好的程序或者人類遠程的遙控來執行。
實際上，目前的軍事武器技術已經不止停留在自動化水平上。北京一名不願透露姓名的軍事專傢對《中國新聞周刊》介紹，在自動化時期，例如美軍艦艇上的 " 密集陣系統 "，可以實現對攻擊范圍內所有目標無差別地發起自動打擊。而目前的人工智能技術已經可以進一步做到對目標進行識別，在武器系統內對不同目標采取不同反應。
例如，2016 年 8 月，美軍測試瞭一款 6 旋翼小型無人機，該系統安裝瞭人工智能軟件，不需人類操縱即可自行搜尋並識別村莊裡手持 AK-47 沖鋒槍的人。
據上述軍事專傢介紹，具備無人特征的武器的初級形態是由人類全程遙控的，目前技術先進的國傢已經掌握這一水平的技術，如遙控無人機、遙控炮臺、遙控戰車等。
自主程度中等的半自動武器，在面對一些簡單問題時，不需要人類指揮即可自行解決，隻在面對復雜環境和關鍵問題時需要人類控制。當前美國的 SSV 地面戰車、德國的 MV4 爆炸物處理機器人即可以實現這類效果。除此之外，軍事領域比較知名的半自動武器還有韓國三星生產的 SGR-A1 哨兵機器人、英國的 Taranis 無人機、俄羅斯的 Uran-9 坦克機器人、美國的 Sea Hunter 自主戰艦等。
自主程度最高的則是全自主武器，它可以自行在戰場上執行完整的任務，但目前還沒有具備這種能力的武器系統出現。
伴隨著機器人武器的發展和擴散，國外有軍事專傢和機器人專傢預測，在 20 到 30 年內，人類就可以開發出號稱 " 殺手機器人 " 的全自主武器。
有人認為，在未來，致命性自主武器系統如果應用於戰爭，在軍事方面會起到許多正面作用。例如，降低己方士兵的風險，降低人與人之間近距離戰爭的代價。此外，自主武器系統也省去瞭軍人的薪水、住房、養老、醫療等開銷，又在速度、準確性上高於人類，而且不用休息。有別於人類戰鬥員會在戰場上出現心理和情緒波動的特點，人工智能武器更穩定，並且能夠抵達人類不可及之處，完成搜救和保護任務。
西安政治學院軍事法學系教授宋新平分析，致命性自主武器的運用，意味著自然人在武裝沖突中直接發揮的作用越來越小，武器所發揮的作用則越來越大，將影響並改變未來戰場的戰鬥員構成與戰鬥能力的變化，特別是這種武器的集群式運用，對未來作戰的指揮體制、力量運用、供給保障等方面將產生革命性影響。
爭議 " 殺手機器人 "
但是，隨著致命性自主武器系統的發展，它所帶來的爭議也越來越強烈。
首先，有人擔憂，機器打仗使得人員傷亡大大減少，反過來又會降低戰爭發動的門檻，武裝沖突發生的機會會增加，而戰爭的人員損失將從戰鬥員轉移到交火區域的平民。
其次，如同所有戰爭中的武器一樣，致命性自主武器系統要運用在戰爭中，必須符合《日內瓦公約》，即國際人道法。反對者認為，該武器系統違反國際人道法中的 " 區分原則 "，即機器人武器很難做到和人類一樣區分平民與戰鬥員、有戰鬥能力的戰鬥員和喪失戰鬥能力的戰鬥員（如傷者、病者及戰俘），以及作戰人員和攜帶輕武器從事非戰鬥任務的人員。
在倫理方面，致命性自主武器運用於未來的武裝沖突中，這意味著將剝奪自然人生命的權利交給非自然人。有學者認為，這是將人的生命和人格尊嚴交給機器來判定，不具有平等性，也是對人類生命權以及人格尊嚴的侮辱。
法律上的責任更是不能忽略。自主武器兼具 " 戰鬥員 " 和 " 戰鬥武器 " 兩種角色，如果它違背國際人道法，國際社會將面臨如何追究責任的問題，而被追究的主體應該是設計者、制造者、操作者還是機器本身？
今年 8 月發出的公開信不是伊隆 · 馬斯克等人第一次對致命性自主武器系統提出警示。早在 2015 年，同樣在國際人工智能聯合大會上，物理學傢斯蒂芬 · 霍金、蘋果聯合創始人史蒂夫 · 沃茲尼亞克等 1000 多名人工智能領域專傢聯合譴責人工智能時代的軍備競賽，呼籲禁止自主武器。容易引發軍備競賽、威脅世界和平，是反對者擔憂的原因之一。
但是，也有人認為以上反對意見作為禁用致命性自主武器的理由站不住腳。研究人工智能哲學的復旦大學教授徐英瑾在《技術與正義：未來戰爭中的人工智能》一文中進行瞭反駁。比如，對於 " 無人智能武器的出現，會使得殺戮變得更為容易，因此，也會使得軍事暴力在未來變得更為頻繁 " 的說法，徐英瑾提出，按照殺戮效率提高會對和平構成威脅的邏輯，那是否為瞭降低殺戮效率，就制造盡量劣質的槍支，鼓勵士兵降低擊中率？這顯然是荒謬的，相反，人工智能技術運用於軍事，會使得人類作戰意圖得到更精確的貫徹，可使得正義戰爭快速結束。
徐英瑾也不同意軍用機器人的殺戮無心理壓力的說法，他認為，一些設計者會在軟件層面模擬出 " 憐憫 " 等人類情緒，故殺戮效率高並不等於濫殺無辜。
徐英瑾也不贊同自主武器系統會造成戰爭門檻降低的說法。他認為，即使沒有致命性自主武器，西方軍事強國與弱國相比已經擁有巨大的軍事優勢，但是發動戰爭還要考慮各國憲法以及政治和經濟因素。任何戰爭都無法避免，特別計較機器帶來的誤傷，是設置瞭雙重標準。相反，高度自主化技術可能還會減少誤傷。
關於致命性自主武器的討論是伴隨著近些年人工智能技術的快速進步而出現的。2012 年，人權觀察組織發表《失去人性：反對殺人機器人》的報告，呼籲世界各國政府禁止全自主武器系統。同時，美國、英國、日本等國傢也從 2012 年起對本國自主武器研發情況進行討論和規定。聯合國《特定常規武器公約》締約國自 2014 年起，即以非正式專傢會議的形式專門討論致命性自主武器系統。
人工智能公司、國際組織紛紛呼籲禁止致命性自主武器系統，但現狀是，至今國際社會仍然沒有就致命性自主武器系統問題達成統一認識，甚至還沒有統一的定義。
正在海上進行試驗的美國 Sea Hunter 自主戰艦
據曹華陽等人分析，各國間存在分歧的根本原因在於各自的國傢利益。智能化、無人化武器已經在現代軍事行動中展現出特有的優勢，美、英、以色列等技術先進的國傢不希望其自主武器系統相關裝備和技術的發展受到限制，因而傾向於將致命性自主武器限定為 " 未來的武器系統 "，從而避免現有無人裝備受到軍備控制。
而自主武器系統技術門檻高、經費投入大，中小發展中國傢難以超越，為避免在未來戰爭中陷入有人裝備對抗無人系統的不利局面，它們則期望將致命性自主武器的范疇擴大，並通過限制性條款制約此類武器的部署和應用，古巴等國更是在致命性自主武器定義尚未明確的情況下就要求禁止該系統。
聯合國《特定常規武器公約》成員國已經建立瞭一個致命性自主武器系統的政府專傢小組，這個小組的第一次會議預定將於今年 11 月召開。伊隆 · 馬斯克等公開信簽署者希望專傢小組努力尋求方法，防止這類武器的軍備競賽，保護平民免受武器濫用的傷害，避免這些技術給世界的未來帶來嚴重的後果。
