說起銀行，可能大家最熟悉的在日常生活中，享受著他們提供的存貸款、行內外轉賬、快捷支付等種種便利的金融服務。對于使用者來講感知到這些金融服務的好壞，很大程度上取決于自己在使用這些服務過程中的主觀體驗，這些看似簡單的金融服務實際上已經隨著祖國的高速發展走過了30年（1989-2019）的崢嶸歲月，而銀行業IT也是在所有金融行業中投入規模最大、要求標準最高的行業，接下來我們一起粗略探究下這個神秘且錯綜復雜的IT世界。

穩定可靠安全

雖然說今天國內大大小小的銀行有4千多家，但是在國內干銀行這個生意從來都不是件簡單的事，權且不說起步資金、牌照的問題，光是這兩年，銀保監會出臺的各類防范金融風險的管理要求，都能堆起一層樓那么高。在防風險的行業大背景下，那對外提供的金融服務就必須是穩定、可靠、安全，這就需要銀行籌建各類業務系統來共同保障支撐，按照銀行常規的分類大致包含渠道整合類、客戶服務類、應用集成類、產品服務類、管理分析類等各維度的業務系統，這些系統通常又會被集中在銀行諸多自建數據中心進行統一運維管理。雖然這樣做的成本非常高，但在國內稍微上規模的銀行，基本都是采用自建數據中心的方式來保障數據安全。

拿我們接觸比較多的手機銀行來說，一筆行內轉賬動作，都至少會涉及好幾套業務系統共同配合完成（跨行轉賬更復雜），每套業務系統之間的訪問鏈路一般稱之為交易路徑，每套業務系統內都包含很多邏輯應用模塊、軟件/應用實例、相關系統/處理單元等邏輯節點，這些還通常都是軟件部分，它們又被部署在不同數據中心不同機房的基礎架構/通用資源、設備環境基礎設施上，只有同時保證所有與之相關IT軟硬件的穩定、可靠、安全運行，才能保障轉賬這個動作可以正常運行。

至于每筆轉賬是否真正成功還需要考慮是否金額大小、雙方賬戶金額增減一致、雙方賬戶是否被標記老賴、受法律約束人員以及法規安全類系統進一步檢驗。

這一切看起來異常的復雜，隨著規模和復雜度的攀升，靠人肉來運維保障肯定不現實，因此采用適當的工具替代人肉是必選之路，而這些工具體現在IT層面上大致分為：面向機房基礎環境運維管理、網絡資源運維管理、系統資源運維管理以及應用資源運維管理四部分。由于每部分工作內容差異較大，在數據中心中也通常會被劃分在不同的部門獨立開展，當然數據中心還有其它非常多的職能部門來共同保障銀行業務的正常運行，本次我們重點先聊下這四部分比較通用運維管理工作內容及其使用的工具。

機房基礎環境

數據中心的機房基礎環境是業務系統、IT設備安身立命的地方，也是每家銀行在前期重點投資的地方，其主要包含機柜、空調、消防、安防、弱電、UPS等最基礎的機房環境設施，在數據中心通常由設備管理/基礎設施部門負責管理，他們的目標是保障機房環境及硬件系統可用性、可靠性和可維護性，因此工作內容大致會涉及：

1. 數據中心機房環境規劃建設（機房、機柜、服務器和網絡設備、綜合布線等），制定相關的管理原則、方案和實施流程；

2. 負責機房基礎環境（風火水電、溫濕度、視頻等各類硬件設備）及系統的建設、運維和管理；

3. 負責各類計算機設備、基礎環境設備出入機房審批登記及各類硬件設備的擴容升級、微碼升級、老化更新、故障修復、維修配件及耗品需求管理；

4. 負責機房環境日常管理，進出入機房內/外部人員進行授權和審批登記管理、日常巡檢等；

5. 其他雜項工作，如機房內部環境，是否有易燃易爆物體，需要及時清理。

為了實現日常運維管理工作高效運轉，他們通常會采購大量不同門類的系統，其中包括安防類系統（園區樓宇的安全防護，門禁，視頻等監控）、消防類系統（機房內煙霧探測器，滅火設施等管理）、環境檢測類（機房內溫濕度、漏水、氣體等檢測）、供電設施類（機房內配電設備，發電機、UPS、機柜PDU管理）、散熱類系統（空調設備，新風及冷水機組等監控）、資產管理類系統（機房內軟硬件基礎設施、資源生命周期監控管理）等諸多與基礎設施相關的運維管理工具。

隨著新興技術的革新，又催生出一批基于RFID的資產管理、人員定位系統，基于激光雷達圖像識別的智能巡檢機器人以及基于數字孿生技術構建出立體式、可視化的新一代數據中心管理軟件，這些新型工具與過往傳統工具相互銜接配合，目前已經基本可以讓管理人員足不出戶就能實時掌控機房基礎環境中的各類有效信息，大大提升管理效率。

網絡運維管理

如果把機房基礎環境當做一個人的身體，那數據中心網絡則相當于人身體的骨骼和神經，負責維系各肢體的有序運行，也是數據中心建設前期重點投資的地方，其主要包含網關、路由器、交換機、防火墻、負載均衡、入侵檢測、AC控制器、光傳輸設備、域名解析等最基礎的網絡通信設備，在數據中心通常由網絡通訊/網絡管理部門負責管理。由于網絡運行的質量、穩定性會受到傳輸、交換和終端等諸多不確定因素干擾，時常成為運維故障中的背鍋俠，但是他們也是能人輩出的地方，從他們的工作內容大致也能看出一些端倪：

1. 負責建立全行網絡建設總體架構規劃、網絡運維管理流程和工作機制制定；

2. 負責各類基礎網絡設備、網絡安全設備、網絡管理工具以及網絡通訊線路等的實施、運維和管理；

3. 負責定制全行網絡設備擴容升級、老化更新以及網絡通訊線路開通、關閉，軟件版本升級、VLAN/Zone劃分和監控運維管理；

4. 負責全行骨干、外聯、局域、園區網絡訪問可用性和訪問質量保障、網絡性能優化、策略管理、故障排查、網絡病毒查殺和網絡安全防護；

5. 不僅負責數據中心內部局域網的運維管理，還會涉及總部終端網絡接入&重點線路保障、數據中心和各一級分行、海外分行的骨干網絡、第三方合作單位的外聯線路質量保障。

這么復雜紛繁交織的網絡設備、線路管理依靠人肉來運維肯定是行不通的，因此在數據中心發展初期，最不能或缺的就是網管工具，時至今日還有一些城商行依然維持著一套網管工具包打天下的局面，但是隨著數據中心的規模和復雜度的不斷攀升，需要更加精細化的網絡運維管理，因此出現了資產管理類系統(設備、端口、線路、IP等資產資源管理工具)、配置管理類系統（對設備運行參數、業務策略配置工具，由于各品牌設備可能存在自身的私有協議，因此可能涉及多套各廠商配置管理工具）、流量分析類系統（抓包解包、協議分析等工具）、故障管理類系統(采集、分析、告警上報工具)、性能管理類系統（網絡性能、設備性能、終端性能、組件性能工具）、維護類系統(告警處置、工單流轉、知識庫、運維文檔等工具)、安全管理類系統(入侵防護、態勢分析、用戶行為分析、日志分析等工具)等諸多與網絡相關的運維管理工具，隨著傳統網絡開始逐步向SDN轉變又會帶來一系列新的運維管理工具。下圖是我們在某個客戶項目中需要對接到很小一部分工具列表。

看到網絡團隊內這么多零零散散的工具，于是很多小伙伴會問他們怎么能用的過來？是的，這也是整個網絡運維中大家比較頭疼的事情，雖然說購買了如此多的工具，但是這些工具直接又相互隔離分散，從OpenView出現那個年代如何打通設備、端口、線路之間的銜接關系，再疊加上告警、性能、日志等信息及自動化操作一直是網管工具的夢想，只是當時受限于技術門檻一直遲遲未能實現，目前來看市場上已經有國產軟件實現這一目標，正在以一種新的運維模式改善現狀。

系統運維管理

如果說機房基礎環境相當于人的身體，網絡相當于骨干和神經，那系統恐怕就是人的各種器官了，回顧整個IT發展歷程，計算存儲都占有舉足輕重的地位，比如當初IBM的大機不僅自帶網絡、存儲還會配備終端，屬于一站式對外提供服務。隨著開放平臺和X86的興起，在此基礎上又衍生出來了計算、存儲虛擬化、云化資源等供給模式。計算存儲資源由于是所有軟件和服務的直接載體，數據中心每年在此都投入巨大，雖然不同銀行會根據系統規模劃分出形式各異的運維部門，但他們的工作內容卻相差無幾，主要涉及：

1.負責數據中心主機系統（包括操作系統、主機通訊、主機存儲、主機帶庫、中間件、數據庫等子系統）的環境建設，開放平臺系統（包括操作系統、中間件、數據庫、開放存儲等子系統）的環境建設，X86平臺系統（包括操作系統、中間件、數據庫、存儲等子系統）參數配置及性能優化，建立各平臺系統的運維管理流程和工作機制，一般對于大中型銀行來說這些可能是分散在不同部門來分別運維；

2.負責實施主機系統、開放平臺、X86平臺的技術支持，包括系統環境及存儲的需求受理、環境搭建、資源配置實施、性能優化、生產變更和日常維護等工作；

3.負責主機系統、開放平臺、X86平臺系統的日常維護和管理，包括例行維護、事件處理、問題解決、系統版本升級、應急方案制定和演練、系統運行狀況跟蹤和分析、評估資源使用情況等工作；

4.負責同城備份中心及異地災備中心計算和存儲資源的容量配置實施確保同城備份中心及災備中心所承載系統環境的安全、可靠；

5.負責全行防病毒工作，制定全行防病毒整體方案、架構和策略并組織實施。

不難看出由于銀行數據中心可能同時出現多種系統平臺以及傳統數據中心和云化數據中心并行的現象，因此會涉及很多功能相似但適用范圍不同的系統，例如計算存儲資源類系統（資產管理、云化資源池管理及存儲管理等工具）、基礎軟件類系統（不同操作系統、不同中間件、不同數據庫的管理工具）、監控類系統（硬件、軟件、存儲類監控工具）、虛擬化系統（服務器虛擬化、存儲虛擬化等工具）、自動化類系統（資源調度、軟件安裝、日常跑批等工具）、維護類系統(告警處置、工單流轉、數據備份、知識庫、運維文檔等工具)等諸多與系統相關的運維管理工具。

拿手機銀行系統來說，其WEB可能部署在X86平臺，APP、DB可能部署在開放平臺，如果大家按照不同系統平臺來劃分，以上工具各買一套，獨立維護就會造成工具豎井現象出現，但是如果按照計算存儲資源和基礎軟件進行劃分，就需要實現跨平臺工具能力整合，如何能在一套系統中看到所有運維信息就變得尤為重要，這也是很多新型運維軟件試圖解決的問題。

應用維護管理

如果說機房基礎環境相當于人的身體，網絡相當于骨干和神經，系統是人的各種器官，那業務系統恐怕就是人的靈魂意識了，這塊也是銀行正常經營之本，可謂重中之重，因此銀行基于信息安全考慮都會獨立設置一個與數據中心平級的軟件中心，來專門負責籌建自己的業務系統，而在數據中心通常也會有一個應用維護部門與其對接，每當應用系統批次投產或重大變更上線時，軟件中心通常會跟應用維護部門共同承擔一部分工作，上線完成后再交由應用維護部門做后續維護工作，因此大致會涉及工作內容：

1. 負責維護應用系統各項生產活動，包括應用投產環境（含生產、準生產、投產演練和災備環境）準備、準入控制、系統升級、系統下線、災備切換及應急演練等相關工作，確保生產變更的安全性和有效性；

2. 負責配合進行應用投產測試、運行風險評估，協調落實內外部與應用系統測試任務相關的基礎環境、計算存儲和基礎軟件環境、測試數據及相關技術支持等工作；

3. 負責收集和整理應用系統運行信息，編制統計分析報告、定期對應用系統進行數據備份、介質管理和數據恢復等工作，確保業務數據的完整性、保密性和可用性；

4. 負責應用系統24小時生產運行監控，承擔各應用系統的聯機開啟、關閉及批量運行；

5. 負責應用系統軟件、硬件及系統日常維護、事件處理等工作，當應用出現嚴重問題，及時協調各專業團隊和軟件中心進行解決，做好問題記錄。

應用維護在數據中心是最接近銀行業務的部門，也是運維復雜度最高的部門，而且還受監管要求，為了避免受到監管處罰及早于服務臺投訴，因此在日常運維中更加依賴工具來響應處理分析應用系統當前狀況，例如從如何加快應用上線部署類系統（配置管理、自動化平臺、服務開通等工具），到觀測應用系統運行狀態的監控類系統（日志、監控告警分析等工具）和性能類系統（業務可用性、業務關鍵績效指標、應用性能、真實用戶體驗、業務仿真等監控工具），再到出了問題快速有效的容災類系統（應急管理、災備切換等工具），以及日常維護類系統(告警處置、工單流轉、數據備份、知識庫、運維文檔等相關工具)等諸多與應用相關的運維管理工具。

但是在實際上應用系統出故障的因素太多，涉及范圍太廣，當故障發生時就特別需要根據交易代碼/交易流水號/錯誤碼快速生成故障點的上下游交易鏈路,再把業務性能監控數據、等信息進行疊加進行可視化呈現，幫助運維人員進行故障定界，指導各專業部門協同排查，而這個時間可謂分秒必爭，因此面向業務運維的工具在當前市場上都是炙手可熱的工具。

運維管理的轉身

從現實來看機房基礎環境、網絡、系統、應用這些工作，目前都強依賴使用各種不同專業工具進行維護，而這些工具在國內基本已是紅海市場，同質化產品嚴重。客戶有時只是想要一個小功能卻不得不又購買一個能力相近的工具，再加上每家銀行又有一定的獨特性，會根據自己的習慣和管理流程自主研發很多小工具輔助提升運維效率，因此一家銀行有百十套運維管理工具就不足為奇了。隨著數據中心基礎設施迭代更新，IT架構轉型升級，在實際過程中對應的產品工具也會越來越多，而且如何解決跨專業的故障排查，尤其是當某個業務系統或某支交易發生故障時，排查起來就異常的困難，因此隨著數據中心運維管理工具的逐漸累積，這種部門墻和工具墻就會被愈發的放大，如何實現跨專業故障排查就越來越迫切。

因此早在2010年前后，各大銀行已經開始從整個數據中心角度去思考整合運維管理工具，比較典型的就是當時行業大佬圍繞配置管理提出”監”、“管”、“控“運維體系架構。

近些年銀行業隨著數字化轉型和業務優先上云戰略的逐步落地，銀行IT逐步轉變為以客戶為中心提供優質金融服務的使命。隨著客戶個性化需求的增長，銀行IT對外提供的應用和服務也愈發的多樣化，傳統的IT服務管理也從最初的軟硬件維護、故障排查、保證業務系統“穩定、可靠、安全”運行，逐步被面向業務交付成果的目標所取代，因此銀行IT將更加關注“體驗、效率、效益”為主題的IT運營。而Gartner預測這一轉型將在2025年實現。

同時Gartner認為未來5年銀行IT建設更多圍繞用戶體驗、持續交付和性能分析來重新調整構建IT運營管理工具，以更好地適應用戶在數字化銀行方面不斷增長的需求，并給出至少應當建設的3大類工具圖譜。

而在我們理解這些工具之間應該更加緊密的銜接起來，結合各種運營場景實現工具間資源優化整合，逐步形成一套新的運營體系架構圖譜。

這個架構圖譜相當于把之前的運維工具重新優化整合劃分為6個維度：

**? ? ??1.底層專業管理工具**

該維度屬于運維基礎數據的抓手，將原先各專業分門別類的監控采集能力進行匯總，形成面向不同使用場景的監控管理工具體系，實現對IT環境的各類基礎資源對象進行管理，比如硬件資源監控管理、通用軟件資源監控管理、應用資源監控管理、用戶操作體驗管理等；

**? ? ??2.自動化管理工具**

自動化主要是為了補充或增強運維人員手動過程，包括可以使用腳本實現對系統軟硬件進行更改，也可以提供編排機制來集成不同系統和管理工具，以執行單個或多個流程工作流。由于傳統數據中心和云化數據中心在銀行業還要同時存在好多年，因此目前基本包含一套面向傳統的自動化管理工具和另一套云化自動化管理工具；

**? ? ??3.配置管理工具**

配置管理作為銀行IT運維的數據中臺，也是運維中永恒的老話題，不僅作為各領域運維支撐工具的數據共享服務平臺，而且還肩負著IT運維標準化和自動化的重任，因此這是銀行IT轉型升級的必備工具；

**? ? ??4.大數據分析工具**

該領域工具通過對日常運維中各種結構化、半結構化、非結構化數據進行集中收集，再結合機器學習和智能算法在特定場景下進行分析預測，從而在故障發生之前做到預測隔離，降低解決問題所需的時間和精力，提高業務響應和客戶體驗，比如預測伴隨業務增長對依賴IT基礎資源的可用性和性能要求，以實現優化成本的目的；

**? ? ??5.可視化運營管理工具**

可視化作為幫助人們降低理解和消費數據的門檻的重要手段，諸多復雜分散的服務管理工具有了可視化的加持不僅可以讓運營支撐管理過程可見、可管、可理解，而且也是用戶、管理者、員工喜聞樂見的，因為用戶體驗好了、運維好掌控了、企業就效率高了；

**? ? ??6.服務管理和安全管理工具**

在對IT環境的基礎資源進行有效監控管理之后，此時IT運維工作已經基本可控。為了實現精細化運維，讓運維工作從“活著”轉變到“活得好”，通常都會考慮對業務、組織、工具間相互協作進行資源合理優化，主要包括服務目錄管理和運營自服務管理還有安全管理這個永遠說不完的話題。

隨著云計算、大數據、人工智能這些新一代信息技術的興起，銀行業在去IOE進程上也走到了最后的攻堅階段，互聯網企業也開始在銀行業攻城略地，新一代國產運維管理軟件也逐步嶄露頭角，開始在銀行中逐步替代"4Big"，諸王紛爭序幕已經拉開，相信國產軟件的春天已來。