圖為印尼獅航波音737 MAX 8客機。據報道
，印尼獅航是波音公司737 MAX飛機的最大客戶之一，正在考慮改用空客SE，計劃暫停與美國飛機製造商簽訂的現有訂單。圖片來源：視覺中國

最近波音飛機的墜落，嚴格說是人工智能影響人類的災難性事件，也是智能化係統功能失效的典型案例。

波音737MAX8是波音成熟度最高的機型，燃料消耗是同類機型的30%，但發動機更改導致飛機機頭容易抬高。因此，它使用了一個機動特性增強係統（MCAS），在飛機迎角過大時該係統會自動下調機頭以進入它設定的安全狀態。但從最近發生的事故來看
，MCAS更像波音公司在737MAX8飛機上埋的炸彈。

獅航空難事故調查已有結論，其直接原因是機頭左側攻角傳感器故障，使MCAS錯誤地連續26次進入自殺式俯衝。獅航飛行員曾33次(ci)試(shi)圖(tu)拉(la)升(sheng)機(ji)頭(tou)
，但(dan)最(zui)終(zhong)人(ren)工(gong)操(cao)作(zuo)沒(mei)能(neng)成(cheng)功(gong)糾(jiu)偏(pian)。埃(ai)塞(sai)俄(e)比(bi)亞(ya)航(hang)空(kong)空(kong)難(nan)事(shi)故(gu)調(tiao)查(zha)還(hai)在(zai)進(jin)行(xing)，但(dan)從(cong)已(yi)經(jing)披(pi)露(lu)的(de)信(xin)息(xi)可(ke)以(yi)判(pan)斷(duan)，飛(fei)機(ji)在(zai)起(qi)飛(fei)後(hou)，連(lian)續(xu)出(chu)現(xian)了(le)爬(pa)升(sheng)和(he)下(xia)降(jiang)兩(liang)種(zhong)飛(fei)行(xing)姿(zi)態(tai)，飛(fei)行(xing)員(yuan)稱(cheng)無(wu)法(fa)控(kong)製(zhi)飛(fei)機(ji)

，最(zui)後(hou)導(dao)致(zhi)墜(zhui)毀(hui)。

這兩起事故都是智能化係統功能錯誤導致的飛機失控，屬功能安全事故。

什麼是功能安全

功能安全是一門安全工程學科，專門研究複雜控製係統的功能失效避免。它的基礎標準是2000年發布的IEC61508。近20年來，針對各領域的安全相關係統，已經發展出一個標準族群。

功能安全主要從3個方向展開研究：預期功能安全、硬(ying)件(jian)隨(sui)機(ji)性(xing)失(shi)效(xiao)避(bi)免(mian)和(he)係(xi)統(tong)性(xing)失(shi)效(xiao)避(bi)免(mian)。其(qi)中(zhong)
，預(yu)期(qi)功(gong)能(neng)安(an)全(quan)是(shi)係(xi)統(tong)性(xing)失(shi)效(xiao)的(de)一(yi)部(bu)分(fen)，它(ta)要(yao)求(qiu)全(quan)麵(mian)識(shi)別(bie)受(shou)控(kong)設(she)備(bei)中(zhong)的(de)所(suo)有(you)危(wei)險(xian)
，並(bing)把(ba)風(feng)險(xian)控(kong)製(zhi)在(zai)可(ke)容(rong)忍(ren)範(fan)圍(wei)之(zhi)內(nei)。一(yi)旦(dan)受(shou)控(kong)設(she)備(bei)中(zhong)包(bao)含(han)智(zhi)能(neng)化(hua)係(xi)統(tong)時(shi)就(jiu)極(ji)富(fu)挑(tiao)戰(zhan)——這也是目前麵臨的新問題。

硬件隨機性失效避免要求組成安全相關係統的硬件係統必須具有足夠的可靠性、足夠的容錯能力和診斷覆蓋率，係統性失效避免則要避免所有可能導致係統性失效的錯誤和故障，如軟件功能安全
、環境適應性、檢測到故障時的係統行為等。

功能安全標準規定了各種原則
、方法，是多個行業多年經驗的總結
，對於提高複雜控製係統與保護係統執行功能的可靠性，具有十分重要的指導意義。

MCAS存在的功能安全問題

埃塞俄比亞航空和獅航墜機事故原因都聚焦在波音737MAX8飛機的MCAS上。MCAS是一個安全相關係統
，從功能安全視角看，它存在多個問題。

首先是設計缺陷，體現在：第一
，波音公司在加裝MCAS係統時，忽視了發動機更改會使飛機容易在大迎角飛行時失速，違背了本質安全原則；第二
，對MCAS係統的危險評估定為有害等級而不是災難級
，定級有誤

，說明設計者對MCAS失效可能造成的後果嚴重性估計不足，對這個係統的軟硬件都沒有配置足夠的魯棒性；第三，係統容錯能力不足，即使是有害等級，MCAS係統僅采集左側傳感器數據作為啟動條件也是不符合要求的
；第四
，對安全關鍵部件（如攻角傳感器）的故障，沒有診斷和報警

；第五，出現死亡俯衝時，沒有明顯提示警告機組人員；第六，波音公司的培訓資料從未提及該項功能，也沒有任何特別的培訓課程。

其次是維護和操作問題。一個細節是，獅航飛機空難前帶著這個故障飛行了4次之多，事故前一天還出現過機頭持續下壓的危險狀況，直到飛行員關閉MCAS才安全降落。此外
，獅航的維修工作及程序未能解決涉事客機的問題，而客機關鍵零件（攻角傳感器）的安裝及校準記錄不完整未受到重視。

最後是監管問題。波音737MAX8在美聯邦航空管理局進行新飛機的安全批準時，為了加快進度，把該機型MCASxitongdeanquanpinggujiaogeileboyin，bingyaoqiugongchengshijiakuaijianzhajindu。zhejidajiangdilejianguandeliduheyouxiaoxing。tongshi
，zheyeweifanlegongnenganquanbiaozhundeguiding，“對於失效後會導致嚴重後果的安全相關係統
，必須由獨立的第三方評估後給出合格與否的結論”。

此外
，波音提交的報告數據與實際不符，評估報告未發現MCAS的諸多設計缺陷，評估未要求飛行手冊上標注MCAS且未要求特別的培訓等，都是監管上的紕漏。

功(gong)能(neng)安(an)全(quan)標(biao)準(zhun)要(yao)求(qiu)采(cai)用(yong)全(quan)生(sheng)命(ming)周(zhou)期(qi)來(lai)管(guan)理(li)安(an)全(quan)相(xiang)關(guan)係(xi)統(tong)
，設(she)計(ji)者(zhe)有(you)責(ze)任(ren)設(she)計(ji)高(gao)安(an)全(quan)完(wan)整(zheng)性(xing)等(deng)級(ji)的(de)安(an)全(quan)相(xiang)關(guan)係(xi)統(tong)，維(wei)護(hu)者(zhe)有(you)責(ze)任(ren)維(wei)護(hu)安(an)全(quan)相(xiang)關(guan)係(xi)統(tong)
，監(jian)管(guan)者(zhe)有(you)責(ze)任(ren)獨(du)立(li)評(ping)估(gu)安(an)全(quan)相(xiang)關(guan)係(xi)統(tong)的(de)功(gong)能(neng)安(an)全(quan)性(xing)能(neng)。但(dan)如(ru)果(guo)在(zai)設(she)計(ji)上(shang)存(cun)在(zai)本(ben)質(zhi)缺(que)陷(xian)，那(na)麼(me)僅(jin)靠(kao)維(wei)護(hu)難(nan)以(yi)提(ti)高(gao)安(an)全(quan)相(xiang)關(guan)係(xi)統(tong)執(zhi)行(xing)功(gong)能(neng)的(de)可(ke)靠(kao)性(xing)。設(she)計(ji)者(zhe)要(yao)考(kao)慮(lv)到(dao)維(wei)護(hu)者(zhe)和(he)使(shi)用(yong)者(zhe)的(de)能(neng)力(li)限(xian)製(zhi)。

新技術下複雜係統

麵臨更多安全挑戰

聯想到獅航飛行員努力奮鬥拉了33cijitourengshibaizhuiji，tingdaoaisaiebiyahangkongdefeixingyuanjingkongdibaogaowufakongzhifeijideshengyin
，suoyourendouhuixintengbuyi。womenbujinyaowen
，zaizhinenghuashidai

，womenyingruhequlibihai？

從智能製造到人工智能、從5G到工業互聯網，新的熱點層出不窮
，新的技術不斷更新換代，智能化係統越來越複雜。互聯互通、信息集成
，要將係統所有邊界情況一網打盡是天方夜譚。這種情況下，無論是設計者還是監管部門都嚴重缺乏經驗
，麵臨“你不知道自己不知道什麼”的困境。

我們批評波音自己對自己的係統進行評估

，但實際上，對於類似MCAS這樣的係統

，監管部門的理解和評測能力很可能不足，也沒有相應的標準。對複雜的智能化係統進行功能安全評測一直是業內難題。

在智能化係統控製的飛機、自動駕駛汽車、現代化的工廠中
，人的錯誤可能是導致事故的重要原因。比如2009年6月1日法航447墜(zhui)落(luo)事(shi)件(jian)中(zhong)
，空(kong)速(su)管(guan)結(jie)冰(bing)導(dao)致(zhi)飛(fei)行(xing)控(kong)製(zhi)係(xi)統(tong)進(jin)入(ru)故(gu)障(zhang)模(mo)式(shi)
，副(fu)駕(jia)駛(shi)持(chi)續(xu)拉(la)杆(gan)的(de)錯(cuo)誤(wu)動(dong)作(zuo)導(dao)致(zhi)飛(fei)機(ji)失(shi)速(su)墜(zhui)落(luo)。在(zai)波(bo)音(yin)這(zhe)架(jia)飛(fei)機(ji)上(shang)，駕(jia)駛(shi)員(yuan)與(yu)MCAS一直在搶奪控製權，最終駕駛員失敗了。在危急時刻，該聽誰的
？這需要針對每個功能進行認真研究。

另外，機器學習具有“黑箱”特質（不確定性）

，麵mian對dui相xiang同tong情qing況kuang時shi可ke能neng會hui產chan生sheng不bu同tong結jie果guo。數shu據ju采cai集ji和he學xue習xi係xi統tong的de不bu完wan善shan
，也ye可ke能neng導dao致zhi無wu意yi的de偏pian差cha和he數shu據ju失shi真zhen問wen題ti。以yi自zi動dong駕jia駛shi汽qi車che為wei例li，機ji器qi學xue習xi訓xun練lian的de自zi動dong駕jia駛shi汽qi車che很hen有you可ke能neng在zai學xue習xi了le相xiang關guan“學習資料”之後，仍會選擇徑直撞向穿熒光綠色背心的建築工人。

因此
，當我們推行智能化與人工智能技術時
，必須同步研究功能安全。

為智能製造保駕護航

波音飛機墜機事件不是孤立的功能安全事故案例。近年來的特斯拉和優步自動駕駛汽車事故、大眾汽車變速箱機電單元問題導致汽車失速事故、遼寧鋼鐵廠鋼包控製係統功能失效事故、美國得州煉油廠因液位計失靈導致的爆炸事故等，都是由於設備故障導致係統失控，最終發生嚴重事故。

麵對更新換代的新技術和“層出不窮”的(de)熱(re)點(dian)，我(wo)們(men)必(bi)須(xu)理(li)解(jie)風(feng)險(xian)埋(mai)藏(zang)在(zai)哪(na)裏(li)
，能(neng)夠(gou)識(shi)別(bie)出(chu)那(na)些(xie)未(wei)知(zhi)且(qie)不(bu)安(an)全(quan)的(de)部(bu)分(fen)，然(ran)後(hou)將(jiang)它(ta)們(men)的(de)風(feng)險(xian)控(kong)製(zhi)在(zai)可(ke)容(rong)忍(ren)範(fan)圍(wei)之(zhi)內(nei)
，對(dui)它(ta)們(men)進(jin)行(xing)區(qu)分(fen)，拿(na)出(chu)化(hua)解(jie)風(feng)險(xian)的(de)方(fang)案(an)並(bing)對(dui)其(qi)進(jin)行(xing)驗(yan)證(zheng)。需(xu)要(yao)製(zhi)定(ding)標(biao)準(zhun)規(gui)範(fan)行(xing)業(ye)行(xing)為(wei)
，比(bi)如(ru)，製(zhi)定(ding)安(an)全(quan)標(biao)準(zhun)以(yi)規(gui)範(fan)數(shu)據(ju)采(cai)集(ji)和(he)學(xue)習(xi)係(xi)統(tong)的(de)開(kai)發(fa)行(xing)為(wei)，從(cong)而(er)減(jian)少(shao)人(ren)工(gong)智(zhi)能(neng)係(xi)統(tong)無(wu)意(yi)的(de)偏(pian)差(cha)和(he)數(shu)據(ju)失(shi)真(zhen)問(wen)題(ti)。

埃(ai)塞(sai)俄(e)比(bi)亞(ya)航(hang)空(kong)和(he)獅(shi)航(hang)空(kong)難(nan)是(shi)巨(ju)大(da)的(de)悲(bei)劇(ju)，所(suo)有(you)新(xin)技(ji)術(shu)失(shi)敗(bai)導(dao)致(zhi)的(de)事(shi)故(gu)都(dou)是(shi)人(ren)為(wei)的(de)災(zai)難(nan)。看(kan)到(dao)這(zhe)些(xie)災(zai)難(nan)，不(bu)禁(jin)對(dui)智(zhi)能(neng)化(hua)和(he)人(ren)工(gong)智(zhi)能(neng)等(deng)新(xin)技(ji)術(shu)心(xin)存(cun)敬(jing)畏(wei)。希(xi)望(wang)我(wo)們(men)能(neng)深(shen)入(ru)研(yan)究(jiu)功(gong)能(neng)安(an)全(quan)技(ji)術(shu)，用(yong)標(biao)準(zhun)和(he)法(fa)規(gui)來(lai)保(bao)障(zhang)新(xin)技(ji)術(shu)在(zai)安(an)全(quan)的(de)框(kuang)架(jia)內(nei)發(fa)展(zhan)。而(er)任(ren)何(he)一(yi)項(xiang)新(xin)技(ji)術(shu)
，也(ye)隻(zhi)有(you)在(zai)解(jie)決(jue)了(le)安(an)全(quan)問(wen)題(ti)之(zhi)後(hou)
，才(cai)能(neng)真(zhen)正(zheng)為(wei)用(yong)戶(hu)所(suo)接(jie)受(shou)。

（作者係機械工業儀器儀表綜合技術經濟研究所副總工程師、功能安全中心主任


，國家安全生產專家組成員，國際權威機構認證的功能安全專家。）