美國國防部頂層採辦文件DoDI 5000.02(2017版)規定,國防部各部局應在里程碑B和C以及做出批生產決策之前針對所有武器系統重大國防採辦項目開展獨立的保障評估,以評估產品保障策略的充分性,確定:可能驅動未來使用與保障費用的特徵、有助於降低費用的系統設計變更,以及管理費用的有效策略。這些審查的重點是全壽命保障計劃的實施和執行情況,包括核心保障分析以及建制保障能力的建立;在實現初始作戰能力之後,國防部各部門應至少每5年就進行一次獨立的後勤評估。國防部部局應向負責後勤和裝備完好性的國防部助理部長提供評估結果。評估的重點是武器系統層面的產品保障性能,看其是否能夠滿足作戰人員的需求,達到保障指標,並提供最佳的結果。這些評估必須對使用與保障費用進行專門評估,以識別和說明導致使用與保障費用上漲的因素,並採取相關策略來降低這些費用。評估結果將為全壽命週期保障計劃和相關分析的更新提供信息。
根據上述要求,美國國防部和各軍種分別制定了相關保障評估手冊,指導軍方主持對項目壽命週期各階段的產品保障工作開展情況進行獨立審查和評估。作為獨立保障評估的一部分,在里程碑決策前要對法規、條例和部門規定的文件的完整性和一致性進行審查和評估,評估重點放在項目規劃和方法是否有基礎,是否能夠成功實施等方面。
一、裝備保障評估的內涵及時機
裝備保障評估(LA),美陸軍和海軍稱其為獨立保障評估(ILA),美空軍稱為保障健康評估(LHA)。它是對項目的保障性規劃進行的一種分析,是衡量武器裝備採辦項目的產品保障(持續保障)質量、持續保障(保障性)規劃執行情況和有效性的一種評估方法。保障評估不是一種符合性審查,而是對項目辦公室的產品保障策略的合理性和有效性進行評估,並評估該產品保障策略如何能經濟有效地成功使用一個系統。保障評估不僅是對後勤保障工作的評估,它還要評估項目如何規劃、執行和保障正在採辦和持續保障的武器系統,所以是全面的項目評估。 保障與系統工程、簽約、財務、試驗和鑑定、製造及項目的其他專業領域相綜合,對於恰當的保障規劃和執行至關重要。因此,在保障評估過程中對上述綜合程度應加以評估。許多專業領域、組織和利益相關方都影響產品保障經理成功執行保障性計劃的能力,例如,要求衝突,缺乏資金,設計不足等,需要將這些因素作為有負面影響記錄的評估的一部分加以考慮。保障評估最好由一個與所評估項目沒有直接關係的中立主題專家組獨立承擔。
美軍採辦項目在每個所需的階段或決策點之前進行保障評估,向高層領導提交保障評估的結果和證明。對於里程碑B、C以及批產決策,應在採辦類型為I、II類的階段或決策點之前至少30日,向國防部負責裝備完好率的副部長助理提交證明。各部門的報告應根據部門指令編寫和分發。對於初始作戰能力後保障評估,應根據“初始作戰能力後評估”中確定的觸發條件來決定評估時機,但間隔不得超過5年。
二、美軍裝備保障評估的程序方法
美軍裝備保障評估的一般流程為:規劃和組織、執行評估、評估結果的報告、評估發現缺陷的改進等。詳細內容見美國防部2011年7月出版的後勤保障評估指南(Logistics Assessment Guidebook)。
(1)保障評估的規劃與組織
保障評估的規劃與組織旨在確保充分做好正確進行保障評估的準備工作。保障評估的規劃與組織過程如下圖所示,包括4個步驟。
保障評估的規劃與組織的過程
第1步:選擇團隊主管和成員
根據部門中已確定的執行要求,選擇一位合適的團隊主管來組建評估團隊。團隊主管和團隊成員如果不屬於被評項目的管理辦公室,則評估的客觀性可能會更高。各部門可在各自的評估過程指南中定義資質和獨立性要求。
第2步:召開預評估會議
團隊主管與項目經理、產品保障經理或指定人員召開預評估會議,共同討論,以明確:支持評估的項目辦公室、評估團隊主管和成員的責任,審查的目的、範圍、時間和程序,回答問題的領域專家,評估準則和評級程序,安全要求和協議,如何核發報告草案和最終報告等一系列事項。
第3步:公佈保障評估公告
宣佈保障評估的官方信函由各部門自行規定,但該公告一般由團隊主管所在組織或項目辦公室代表、項目執行官或被評系統所屬系統司令部發送。公告的內容應包括保障評估的日期、範圍、團隊成員名單、文件申請表、會議地點、進度、議程、保密性和聯絡信息。該公告分發給參與方和利益相關方。
第4步:交付文件
項目辦公室一般至少在公佈簡報之前一週向保障評估團隊主管提供先前已同意的申請文件。文件應是預評估會議和後續會議期間確認的最新版本。
總之,保障評估的規劃與組織過程的可交付成果包括:團隊成員名單、保障評估公告/進度和項目文件。
(
2)保障評估過程保障評估程序列出了按照綜合產品保障要素評估準則,成功進行保障評估的基本方法,如下圖所示,包括第5至第10步各步驟。
執行評估的過程
第5步:召開首次會議
首次會議上會向保障評估團隊提供關於項目背景、當前狀態和後勤結構的信息依據,同時對在評估期間期望得到的結果進行評審。此次會議應提供三份簡報:項目簡報、保障簡報和團隊簡報。
項目簡報:項目簡報一般由項目經理或項目副經理提交,對採辦項目的基本情況加以說明。
保障簡報:保障簡報一般由項目的產品保障經理提交,它涉及將由保障評估團隊審查的每個保障性領域。
團隊簡報:團隊簡報由保障評估團隊主管提交,向保障評估團隊成員和項目人員提供關於進行審查的信息。
第6步:審查要求和能力
審查的基本項目要求包括:性能協議;關鍵性能參數;關鍵系統屬性及初始能力文件、能力開發文件和能力生產文件中的關鍵系統參數(取決於項目的不同階段) ;採辦項目基線;採辦計劃;採辦策略以及隨附的壽命週期持續保障計劃。
第7步:審查保障文件和規劃
審查採辦策略、壽命週期保障計劃、系統工程計劃、設計規範和保障性實施計劃,確保基本要求已經轉化成保障要求。壽命週期持續保障計劃應影射到主要保障技術文件和保障進度表中,並獲得產品保障預算和資金的支持。系統工程計劃需要充分反映壽命週期持續保障計劃或其輔助性獨立保障性分析策略和計劃中所需的保障性分析,以確保及時執行、集成以及影響被審查系統的固有設計。
審查每個綜合產品保障要素的主要文件和次要文件,以確保進一步詳細說明保障要求,並己經進行了所需的分析。這包括在每一財年向每個綜合產品保障要素撥款時對保障資金要求、撥款額以及二者間的增量進行的審查。這還包括了相關的資金文件和證據,以確保每個綜合產品保障要素的資金要求己得到適當的確認,而且資金可供使用,同時還確定了存在的差額。
無論保障策略是什麼,都要在保障評估過程中審查12個綜合產品保障要素。另外,“產品保障預算和資金”以及“環境、安全與職業健康”分別是產品保障管理和設計接口的子要素。它們一般需要具備這些領域專業背景的領域專家執行評估,建議應將它們與其各自的母要素和設計分開進行評估。
第8步:審查合同文件
審查合同,確保已對相應要素進行了確認,並對其保障性要求的充分性進行了評估。審查應包括對以下問題的評估:
——保障性要求及相關可靠性、可用性和維修性要求。
——對所需保障性及相關可靠性、可用性、維修性、保障性進行的試驗和分析,以及使用這些試驗和分析的結果對設計造成的影響。
——遵守關鍵完工日期和交付日期。
如果有的話,還應審查下一階段的招標方案是否充分滿足壽命週期持續保障計劃/初始能力文件/能力開發文件/能力生產文件(視情況而定)以及其他相關項目文件的要求。這對於確保規劃的完整性至關重要。
同樣地,應審查野戰機構的任務分配文件和過程(現有的和推薦的),以確保政府支持的各項活動得以妥善進行,還應確保為這些活動合理分配任務並適度提供資助。
第9步:審查綜合主計劃和綜合總進度
根據綜合主計劃和綜合總進度審查綜合產品保障要素評估準則。審查任務是否合理,評估在已分配的進度和人員範圍內完成每個保障性相關任務的可能性。
第10步:編寫缺陷報告
保障評估團隊成員應依據參考文獻1的附錄A 中包含的評估準則、其部門的保障評估標準以及所有指揮或系統司令部補充的政策或準則進行審查。每個部門可將進行評估和記錄所有注意事項的方法或者過程記錄下來。問題總結應確定評估中的標準(以及該標準適用的參考)、所有缺陷、若不解決缺陷造成的影響、建議行動,以及項目代表是否同意所記載的事實,評估的每個綜合產品保障要素的結果總結(包括所有差異)向決策制定者提供了每個綜合產品保障要素的總體情況,並作為最佳實踐包括在報告中。團隊主管應審查團隊成員轉交的所有問題或缺陷是否準確,以確保團隊成員給定的建議等級與評級標準相一致。
上述保障評估過程可交付的成果為缺陷和建議草案報告。
下面第三部分“保障評估報告內容”提供了保障評估缺陷和建議內容、保障評估結果分級準則以及建議報告格式。
(3)保障評估準則
無論採用哪種保障策略(例如,建制保障、基於性能的保障、傳統交易性保障),評估受審系統的保障性工作規劃和狀況時,都應根據參考文獻1的附錄A“綜合產品保障要素評估準則”以及各部門的要求進行。這些準則與美國國防部定義的12項綜合產品保障要素一致。這些準則根據經證明可以獲得最佳保障性的國防部政策和最佳實踐制定,不針對特定的部門或平臺,具有全軍通用性。部門、平臺或系統司令部專用的要求可經對這些準則的補充或調整形成。另外,如果修改項目要求和採辦策略,需要對評估準則做進一步調整。保障評估團隊應根據這些表格確定與保障性有關的文件是否對保障性有影響。表1和表2節選自參考文獻1的附錄A
表1 產品保障管理評估標準(節選)
表2 設計接口評估標準(節選)
(4)評估和報告結果
本部分介紹瞭如何編制保障評估報告,如何與項目辦公室協調,以及將報告遞交給主管項目執行官或系統司令部。保障評估報告將作為項目執行官或系統司令部做出項目保障證明決策的依據。
保障評估團隊主管負責監督草案保障的編寫。報告編寫過程如下(如下圖):
評估和報告結果的過程
第11步:起草報告
團隊主管和團隊成員(連同項目辦公室) :
——記錄所有缺陷和建議,採用各部門的內部格式或過程將這些缺陷和建議編入報告。
——向項目經理、產品保障經理及項目辦公室其他主要人員簡要彙報並提供評估的初步結果,以確保報告內容的準確性和可理解性,討論的內容包括以下幾方面。①評估概述;②每項缺陷的總結;③項目評級,包括各個評估;④關於需要制定行動計劃的問題的任何後續討論;⑤正式發佈報告前,最終報告的協調工作。
——確保缺陷報告描述了保障評估團隊解決缺陷問題的建議措施,幷包括綠、黃、紅三個等級。評級標準如表3至表5所示。
第12
步:發佈最終報告根據部門政策分發最終報告。如果是聯合項目,還應向相應的項目執行官和部門採辦執行官提供一份保障評估報告。
第13步:發佈產品保障證明
收到最終報告後,每個部門確定的主管認證機構應根據表3至表5所列評級標準對I 類和II類採辦項目的報告進行認證,對於III類及以下采辦項目,由各個部門自行決定是否認證。應在一個里程碑或決策點之前30 天向負責裝備完好率的國防部助理部長幫辦提交證明,證明應包含完整的保障評估報告內容。證明類別有:準備好進行(綠)、在一定條件下進行(黃/黃褐色)、未準備好進行(紅)。
表3 持續保障要素評級標準(適用於初始作戰能力前保障評估)
表4 項目總體評級和認證標準(適用於初始作戰能力保障前保障評估)
表5 綜合產品保障要素評級和項目總體評級標準
(適用於初始作戰能力後保障評估)
上述過程的可交付成果包括:保障評估報告和產品保障證明信。
(5)解決缺陷問題
本部分旨在確保保障評估報告所確認的問題得到妥善解決。這是整個保障評估過程中最重要的環節。為了確保缺陷問題得到妥善解決,負責全程跟蹤結果的組織(一般是保障評估團隊主管和產品保障經理)必須與項目辦公室保持溝通,直到驗證每個缺陷問題得以解決。
缺陷問題的解決過程如下圖所示。
缺陷問題的解決過程
第14步:糾正措施及保障評估結束。
由項目經理負責執行並完成糾正措施。將糾正措施的實施和完成情況以書面形式記錄到活動計劃與階段內,必須提交給負責跟蹤糾正措施的組織,一般都提交給保障評估團隊主管。項目辦公室和團隊主管將商定何時提交這些措施情況的定期報告。當所有糾正措施圓滿結束時,保障評估結束。應記錄最終糾正措施情況和保障評估結束情況,並在完成時向部門領導彙報。
此過程可交付的成果包括:狀況報告;團隊主管對狀況報告的反應或指示;向相應的項目經理、里程碑決策權威和負責裝備完好率的國防部助理部長幫辦提交的終止保障評估的備忘錄。
三、保障評估報告內容
本部分介紹的保障評估報告的內容是針對需要向美國防部主管裝備完好性的助理部長幫辦提供保障評估信息的採辦項目而言的。對於向國防部各部門提供報告的項目的保障評估報告的內容應按照各部門政策的要求提供。
保障評估報告的主要內容包括簡介、保障評估概要、項目總的風險評級和保障評估風險矩陣、總結四部分,各部分內容分述如下:
(1)簡介
——項目(明確項目)
——採辦類別(明確採辦類別)
——下一階段(明確下一階段和日期)
——階段決策機構(明確階段決策機構)
——項目執行官(明確項目執行官代碼或名稱)
——項目經理(明確項目代碼或名稱)
——系統說明(在該決策期間涉及的系統的簡要描述)
——保障方案(產品保障方案的簡要描述)
——保障評估審查目的(涉及的里程碑/事件)
——保障評估審查範圍(明確在該決策期間涉及的系統的技術狀態)
——審查日期(評估開始和結束)
(2)保障評估概要
對每個要素的評級進行彙總,如下表6所列。對於初始作戰能力前保障評估,要素評級標準如表3所示;對於初始作戰能力後保障評估,要素評級標準見表5。
表6持續保障要素評級概要示例
表注:*“產品保障預算和資金”以及“環境、安全與職業健康”是產品保障管理和設計接口的子單元。它們一般需要具備這些領域專業背景的領域專家執行評估。
(3)項目總的風險評級和保障評估風險矩陣
用下圖所示的風險矩陣識別項目的總體風險等級。對於初始作戰能力前保障評估,項目總體評級和認證準則如表4所示;對於初始作戰能力後保障評估,項目總體評級準則見表5。
保障評估風險矩陣
根據總體評級結果,以圖表的形式說明項目保障方面的總體風險。採辦決策者可以據此瞭解項目的其他風險,包括性能風險、費用風險和進度風險。里程碑決策權威也可以在審查期間瞭解同一水平上的保障風險。藉助保障評估結果決策表(表7)和可能性決策表(表8),可總體歸納根據風險矩陣得出的問題。
表7獨立保障評估結果決策表
表8獨立保障評估可能性決策表
(4)總結
此部分提供一份紅色和黃色問題的總結,總結中應對問題進行簡要描述,並擬定糾正措施和完成糾正措施的時間安排。還可提供總結項目總體健康情況、相關風險和解決風險所需的任何其他詳細資料。
四、初始作戰能力後評估
本節介紹了專用於初始作戰能力後保障評估的過程,討論了前述的為項目在初始作戰能力前實施的保障評估過程與初始作戰能力後實施的保障評估過程之間的差異。這裡不再重複闡述初始作戰能力前後評估之間相同的過程。
(1)目的和意義
執行初始作戰能力後保障評估,是為了評估項目經理向用戶交付的系統是否可以按照採辦項目的要求進行保障,是否按照項目規劃文件執行,是否超出估算的擁有費用(即使用與保障費用),以及進度狀況。說明先前評估過程中發現的缺陷,如可靠性低等,同時對雖按照要求進行規劃,但是要求本身也不充分的綜合產品保障要素進行評估。如果威脅或保障態勢發生變化,那麼保障評估應審查“按計劃的”保障性態勢,確定如何在新環境內以最好方式為武器系統提供保障。
在武器系統研製過程中,各採辦里程碑之前執行的保障評估用於支持各里程碑決策。但是,初始作戰能力後評估結果是對武器系統部署後的一個大致印象,併為系統自身的審查提供依據。初始作戰能力後保障評估將主管部門、使用人員和利益相關方聚集到一起,解決從使用開始便可能出現的任何不足或問題。初始作戰能力後保障評估代表系統壽命週期中採辦與持續保障之間的關鍵過渡點。評估結果可以影響以後對系統改進或升級的要求,並影響以後通過後續採辦計劃滿足的能力要求。
建立初始作戰能力後保障評估制度,可以使在研系統的項目經理和產品保障經理知曉計劃的產品保障策略的實際結果將在系統部署後將由高層利益相關方評估,從而對項目經理和產品保障經理施加影響。初始作戰能力後保障評估將根據適用性會涉及每個綜合產品保障要素,包括項目要求文件中確立的服役指標。總之。初始作戰能力後保障評估有助於項目經理成功實施產品保障策略的全壽命管理。
(2)評估時機
應在初始作戰能力後持續開展保障評估。實施初始作戰能力後保障評估的默認期間是每5 年一次。即使在5 年期之前已經達到初始作戰能力狀態,仍然建議在大批量生產決策後第5 年開展首次初始作戰能力後保障評估。但是以往最佳實踐表明,某些條件會使初始作戰能力後保障評估提前進行。這些條件包括以下幾方面:
——如果使用可用度(Ao)或裝備可用度(Am)比規定要求低15%且連續4 個報告期(例如 3個季度)均如此,那麼各自的部門將啟動保障評估。
——如果“擁有費用”關鍵系統屬性(KSA)大於規定要求的15%且連續4 個報告期均如此,那麼各自的部門將啟動保障評估。
——如果業務案例分析支持對產品保障策略及有關合同進行重要更改。
——當執行初始使用與維修的作戰指揮官提出申請時。
——當項目風險因素表明應進行早期初始作戰能力後評估時(部門特權)。
(3 )評估準則
初始作戰能力後保障評估重點聚焦項目迄今為止的執行情況。在實施保障評估前應滿足以下准入準則:
——項目已達到正式的初始作戰能力(大批量生產後5 年)。
——鑑於已經達到初始作戰能力狀態並開始使用已部署的系統,知曉實際保障成本和支出情況,完成了項目全壽命費用估算更新。
——壽命週期持續保障計劃(LCSP)已經按要求更新。
——先前系統審查或者保障評估後、對項目施加的任何其他准入準則。
——初始作戰能力後評估準則參見參謀文獻1中附錄A 第2 部分。初始作戰能力後保障評估至少包括(根據適用性)以下幾方面。
——確認實際保障性性能符合項目能力生產文件(CPD)和(或)作戰部隊“用戶”性能協議(如果適用)中保障關鍵性能參數/關鍵系統屬性(KPP/KSA)明確的設計門限值。
——確認壽命週期費用估算。
——審查全壽命保障資金準備情況。
——評估壽命週期持續保障計劃中描述的全壽命保障策略是否正在按計劃執行,或者是否已經修改以確保充分支持主設計和基於更新的保障分析對產品保障做出的改進。
——確認技術狀態控制是令人滿意的。
——評估是否存在過時淘汰和漸失的製造源及材料短缺問題。
——與產品保障集成方和產品保障供應方一起確認實際費用和性能是否在業務案例分析已確立的費用與性能基線範圍內。
——評估訓練效果、客戶滿意度及產品改進。
——評估技術狀態情況報告,包括髮起部門所有物資、政府所有物資以及工廠資產。
——評估武器系統供應鏈。
——評估系統持續保障相關的合同履行情況。
——評估技術、製造或供應過時淘汰風險。
——解決試驗鑑定問題。
——結合來自大批量生產決策的費用分析,評估迄今的實際費用是否反映擁有費用的預測和趨勢。
——確認合同訂購的所有技術數據是否圓滿交付,是否經過政府驗收,包括確認恰當的數據權和交付數據上的分發標記。
——評估總的系統和持續保障效能,包括系統/分系統故障率、停機時間、再次出動準備時間、相關的延誤時間、效能許用值等。
——評估初始產品保障是否滿足作戰司令部和修理設施的性能和費用預期。
——評估客戶滿意度(對成品的性能及總體保障性工作的滿意程度)
——決定持續保障策略將如何演進,以適應持續的系統效能、經濟可承受性和執行情況。
(4)評估程序
初始作戰能力後評估採用的程序基本上與前面介紹的程序相同。但下面的幾個步驟有所不同。
——第2 步對於初始作戰能力後評估,需要申請一份根據參考文獻[1]中的附錄A 第2 部分加以剪裁的評估準則列表。
——第7 步審查要求、能力及指標:一般情況下過程沒有變化,但有些待審查文件或材料可能有所不同,或者由於作戰概念或威脅可能已經更改了原始要求。
——第8 步審查保障文件與執行:一般情況下過程沒有變化,但有些待審查文件或材料可能有所不同。
——第11步起草報告:初始作戰能力後保障評估評級準則與初始作戰能力前保障評估評級準則不同。
——第12 步發佈最終報告:部門規定的初始作戰能力後保障評估的報告分發可能不同。最終報告還應提交給負責裝備完好性的國防部助理部長幫辦辦公室。
——第13 步發佈產品保障證明。評級和認證準則參見參考文獻[1]中附錄C的表C-3。單個軍種或部門的政策與管控方法將說明正式的持續保障審查與簡報如何為展示初始作戰能力後評估結果提供後續決策論壇。
(
5)評級與認證總體項目和每個綜合產品保障要素將根據參考文獻[1]中附錄C的第II部分的準則接受評級。項目認證依據的也是這些準則。這些準則不同於初始作戰能力前保障評估的評級準則。
小結
美軍型號實踐經驗表明,越早識別和糾正產品保障問題,節省和避免費用的潛力越大。為了保障採辦項目的保障性規劃、管理的質量,美軍要求項目經理必須持續評估系統性能、經濟承受性、保障性、費用和進度,並利用這些關鍵因素對項目作出權衡決策。里程碑決策權威必須確認系統生存性、項目滿足既定的性能要求的能力,並在重大采辦項目評審和里程碑決策點確認能否實現總擁有費用目標。要想部署一個可保障的系統,至關重要的是在項目早期可以影響設計時進行保障評估,並在每個里程碑對保障性規劃進行再評估,然後隨著設計的成熟需定期進行評估。特別是在當今的採辦項目變得越來越複雜,而且與其他系統緊密集成的情況下,保障評估還為高層決策者在項目內和各種不同項目之間進行戰略權衡提供關鍵信息。
張寶珍女士已為《空天防務觀察》撰寫7篇專欄文章,如下表:
<table><tbody>序號
篇名
發表日期
1
“向左移”——美軍改進武器裝備研製試驗與評價的重要策略
2016年9月12日
2
美軍通用自動測試系統技術“五步走”發展策略取得重大進展——美海軍eCASS系統進入批產階段
2017年3月6日
3
基於性能的全壽命保障——武器裝備保障模式的發展方向
2018年4月17日
4
美軍武器裝備“六性”(RMS)數據資源建設分析
12月12日
5
美軍武器裝備試驗與鑑定策略的發展演變
12月20日
6
美軍裝備全壽命保障管理工具系列之一:持續保障成熟度
2019年4月22日
7
美軍裝備全壽命保障管理工具之二:保障評估/獨立保障評估(即本篇)
4月26日
有興趣的讀者,可點擊相關文章的“篇名”閱讀原文。
(中國航空工業發展研究中心 張寶珍)
您可以下載航空工業發展中心航空行業信息港“ADR之聲”APP,第一時間掌握航空行業最新動態、資訊、報告、分析和解讀!
1、點擊本文頂部藍色“空天防務觀察”字樣,點擊“關注”;
2、在微信的“通訊錄”-“公眾號”中,點擊右上角的“+”號,輸入“AerospaceWatch”查到到本公眾號之後點擊,再點擊“關注”;
3、長按下面的圖片,選擇“識別圖中二維碼”,關注本號:
您還可以關注我中心“民機戰略觀察”公眾號,掌握和深入瞭解民用航空領域動向和進展!
您也可以關注我中心“航空科普”公眾號,探索航空事業的前世今生!
本篇供稿:系統工程研究所
運 營:李沅栩
閱讀更多 空天防務觀察 的文章