【資料圖】

導(dǎo)讀：國(guó)內(nèi)某頭部理財(cái)服務(wù)提供商成立于 2019 年，是股份制銀行中首批獲準(zhǔn)籌建、首家獲準(zhǔn)開業(yè)、首家成立的銀行理財(cái)子公司。自 2004 年推出國(guó)內(nèi)首支人民幣理財(cái)產(chǎn)品以來，通過投資模式的不斷創(chuàng)新和投資管理能力的持續(xù)提升，引領(lǐng)國(guó)內(nèi)銀行業(yè)理財(cái)市場(chǎng)。該企業(yè)每天處理的任務(wù)量達(dá) 1W，內(nèi)部系統(tǒng)眾多，當(dāng)務(wù)之急是需要一個(gè)統(tǒng)一的調(diào)度和監(jiān)控平臺(tái)，支持不同理財(cái)業(yè)務(wù)場(chǎng)景下的需求。

2023 年之前，該企業(yè)使用開源版本的大數(shù)據(jù)調(diào)度平臺(tái) Apache DolphinScheduler 能基本上滿足業(yè)務(wù)需求，但隨著業(yè)務(wù)量增大和個(gè)性化需求的增長(zhǎng)，在經(jīng)過周密的調(diào)研之后，決定將所有調(diào)度任務(wù)遷移到商業(yè)版本白鯨調(diào)度系統(tǒng)之上。

采用白鯨調(diào)度系統(tǒng)讓該企業(yè)實(shí)現(xiàn)了統(tǒng)一調(diào)度和監(jiān)控運(yùn)維，調(diào)度性能大幅提高。本文將詳細(xì)描述白鯨調(diào)度系統(tǒng)為該企業(yè)提供的解決方案和相關(guān)應(yīng)用實(shí)踐。

業(yè)務(wù)需求

國(guó)內(nèi)某頭部理財(cái)服務(wù)提供商所處的金融行業(yè)屬于數(shù)據(jù)密集型行業(yè)，隨著這個(gè)行業(yè)的不斷發(fā)展和技術(shù)的不斷進(jìn)步，金融數(shù)據(jù)的數(shù)據(jù)量不斷增加，數(shù)據(jù)來源也越來越多樣化，其需要對(duì)數(shù)據(jù)質(zhì)量進(jìn)行嚴(yán)格的把控，并需要具備高效的數(shù)據(jù)處理和分析能力。此外，金融市場(chǎng)變化快速，風(fēng)險(xiǎn)控制需要實(shí)時(shí)響應(yīng)，這對(duì)其數(shù)據(jù)處理和分析能力提出了更高的要求。同時(shí)，保護(hù)客戶的隱私和機(jī)密信息，防范網(wǎng)絡(luò)攻擊和數(shù)據(jù)泄露等安全問題，都對(duì)該企業(yè)提出重要的挑戰(zhàn)。

具體來說，該企業(yè)的產(chǎn)銷、投資、風(fēng)險(xiǎn)評(píng)估、運(yùn)營(yíng)投資等團(tuán)隊(duì)都有自己的數(shù)據(jù)集市（數(shù)倉(cāng)），每個(gè)團(tuán)隊(duì)都從需要的貼源層獲取到自己需要的數(shù)據(jù)，經(jīng)過各自團(tuán)隊(duì)的ETL 流程，將統(tǒng)計(jì)數(shù)據(jù)輸出到各自的集市中，再把自己的集市數(shù)據(jù)分享給其他人。

由于每個(gè)團(tuán)隊(duì)都有各自的調(diào)度平臺(tái)，這導(dǎo)致平臺(tái)的維護(hù)成本非常高，運(yùn)維管理也很不方便，另一方面也不能集中統(tǒng)計(jì)和管理所有團(tuán)隊(duì)的任務(wù)。

因此，統(tǒng)一調(diào)度系統(tǒng)的建設(shè)在該企業(yè)是當(dāng)務(wù)之急。在建設(shè)數(shù)據(jù)體系過程中，其需要基于信創(chuàng)環(huán)境下建設(shè)具有高性能、可靠性高、易擴(kuò)展的調(diào)度系統(tǒng)，以滿足該企業(yè)在數(shù)據(jù)體系建設(shè)中各類數(shù)據(jù)處理任務(wù)的統(tǒng)一調(diào)度和監(jiān)控需求，實(shí)現(xiàn)統(tǒng)一調(diào)度和監(jiān)控運(yùn)維，支持不同場(chǎng)景下實(shí)現(xiàn)各自個(gè)性化的需求，保障數(shù)據(jù)體系的基礎(chǔ)建設(shè)。

接到商業(yè)調(diào)度需求時(shí)，該企業(yè)當(dāng)時(shí)的調(diào)度集群由 3 臺(tái) 40C*256G 的機(jī)器組成，由兩臺(tái) API 、3 個(gè) Master 、3 個(gè) Worker組成，每天處理 1 萬(wàn)量級(jí)的任務(wù)，將來可能到 3 萬(wàn)+/天。

具體到業(yè)務(wù)線上，該企業(yè)對(duì)建設(shè)調(diào)度系統(tǒng)有著如下需求：

要支持各部門使用統(tǒng)一的調(diào)度系統(tǒng)，使用權(quán)限將各部門的資源進(jìn)行隔離，保證系統(tǒng)運(yùn)轉(zhuǎn)的隔離性和安全性。

要有豐富的監(jiān)控和統(tǒng)計(jì)功能，支持統(tǒng)一的數(shù)據(jù)監(jiān)控、運(yùn)維服務(wù)的需求；

調(diào)度系統(tǒng)要支持多種觸發(fā)類型，比如事件、自定義日歷、依賴調(diào)度等方式觸發(fā)作業(yè)，支持用戶靈活配置作業(yè)及組合工作流，實(shí)現(xiàn)在不同場(chǎng)景的調(diào)度需求；

需要能結(jié)合該企業(yè)自身需求，支持信創(chuàng)組件、擴(kuò)展性的任務(wù)類型、數(shù)據(jù)源類型、告警組件及其他擴(kuò)展需求；

支持分布式的架構(gòu)及資源控制等方法，實(shí)現(xiàn)一個(gè)高可靠性，高處理性能的調(diào)度系統(tǒng)；

支持定制化需求，比如和該企業(yè)的自身用戶系統(tǒng)對(duì)接用戶及權(quán)限數(shù)據(jù)，對(duì)接客戶的統(tǒng)一登錄平臺(tái)，以及其他數(shù)據(jù)處理平臺(tái)和告警平臺(tái)。

基于白鯨調(diào)度系統(tǒng)的一站式解決方案

白鯨調(diào)度系統(tǒng)國(guó)產(chǎn)信創(chuàng)化調(diào)度平臺(tái)，就是為了支持客戶在數(shù)據(jù)體系建設(shè)中不同場(chǎng)景的任務(wù)調(diào)度需求，針對(duì)企業(yè)級(jí)用戶對(duì)系統(tǒng)的穩(wěn)定性、可靠性、合規(guī)性、高性能、支持信創(chuàng)環(huán)境等要求而開發(fā)出的商業(yè)化版本，定位于企業(yè)級(jí)統(tǒng)一調(diào)度平臺(tái)，為企業(yè)的批處理任務(wù)制定統(tǒng)一的開發(fā)規(guī)范、運(yùn)維方法，對(duì)各系統(tǒng)的批量任務(wù)進(jìn)行統(tǒng)一管理、調(diào)度和監(jiān)控。

白鯨調(diào)度系統(tǒng)繼承了大數(shù)據(jù)調(diào)度平臺(tái) Apache DolphinScheduler強(qiáng)大的功能與易用性，同時(shí)增加了多項(xiàng)企業(yè)級(jí)功能以滿足實(shí)際行業(yè)用戶需求，讓企業(yè)可以部署一套調(diào)度系統(tǒng)，減少維護(hù)成本，擁有強(qiáng)大的調(diào)度能力。

在明確需求后，白鯨開源自信白鯨調(diào)度系統(tǒng)能夠滿足客戶的全部需求，著手分步驟、分階段進(jìn)行解決方案的實(shí)施部署。經(jīng)過了一系列測(cè)試后，白鯨開源啟動(dòng)了實(shí)施方案，并幫助客戶解決了部署前、部署中和部署后的一系列問題，為其交付了完整的解決方案。

整體技術(shù)方案

白鯨調(diào)度系統(tǒng)主要使用無中心架構(gòu)的設(shè)計(jì)思想，通過注冊(cè)中心發(fā)現(xiàn)服務(wù)，服務(wù)之間可以互為備份，保證了系統(tǒng)的可靠性的同時(shí)，也可以做到水平擴(kuò)展服務(wù)數(shù)量，能夠很好地支持企業(yè)千萬(wàn)級(jí)別的任務(wù)數(shù)量，完全滿足金融業(yè)務(wù)場(chǎng)景數(shù)據(jù)處理量大的需求。

白鯨調(diào)度系統(tǒng)主要服務(wù)包括 UI 用戶界面、接口層 API 服務(wù)，MasterServer、WorkerServer、AlertServer 五個(gè)模塊，其中任務(wù)處理服務(wù) MasterServer 和 WorkerServer 是典型的無中心架構(gòu)，通過注冊(cè)中心自動(dòng)發(fā)現(xiàn)服務(wù)的啟動(dòng)和關(guān)閉，能有效支持任務(wù)數(shù)量激增和減少的場(chǎng)景，同時(shí)可以保證任務(wù)處理的可擴(kuò)展性和高性能。

系統(tǒng)所有服務(wù)均采用分布式部署，支持高穩(wěn)定性、高性能和高容錯(cuò)性，保證提供可持續(xù)使用的服務(wù)，即使客戶的數(shù)據(jù)中心散步在全國(guó)各地，白鯨調(diào)度系統(tǒng)也能輕松應(yīng)對(duì)來自客戶不同部門數(shù)據(jù)系統(tǒng)的處理需求。

針對(duì)客戶的需求，白鯨調(diào)度系統(tǒng)提供的解決方案讓每個(gè)團(tuán)隊(duì)都擁有了自己的任務(wù)執(zhí)行集群，調(diào)度系統(tǒng)是單獨(dú)的集群，免密登錄各自團(tuán)隊(duì)的集群，各團(tuán)隊(duì)都在調(diào)度上使用 shell 任務(wù) 的 ssh remote "shell command" 來執(zhí)行各自集群上的任務(wù)。

具體解決方案包括（由于保密需求，只透露部分信息）：

圖片

多日歷管理方便多個(gè)市場(chǎng)交易日、工作日、自然日管理

針對(duì)企業(yè)設(shè)計(jì)多種日歷，支持調(diào)度日歷、業(yè)務(wù)數(shù)據(jù)日歷分開，并支持不同時(shí)區(qū)、日歷導(dǎo)入等功能：

支持多種日歷管理：交易日、工作日、自然日等

支持日歷 Excel 模板導(dǎo)入

支持調(diào)度日歷與業(yè)務(wù)日歷分開

支持多時(shí)區(qū)設(shè)置

支持日切時(shí)間設(shè)置

強(qiáng)大的業(yè)務(wù)數(shù)據(jù)日期功能更好滿足金融行業(yè)需求

針對(duì)客戶調(diào)度當(dāng)中的業(yè)務(wù)數(shù)據(jù)日期單獨(dú)進(jìn)行設(shè)計(jì)，更好地滿足金融行業(yè)需求：

多次調(diào)度使用同一業(yè)務(wù)數(shù)據(jù)日期（例，最后一個(gè)交易日，如果不翻牌，數(shù)據(jù)指針停止在這一天，例如 ，9.30 不跑 10.1 七天 10.6日開始跑，依然跑的是 9.30 日）

強(qiáng)大的業(yè)務(wù)翻牌任務(wù)

支持前后自定義翻牌

支持自定義腳本直接生成業(yè)務(wù)日期數(shù)值

支持定時(shí)翻牌和任務(wù)結(jié)束翻牌

配合日歷，支持多種復(fù)雜函數(shù)用于數(shù)據(jù)處理

前后 n 日、月（工作日、交易日、自然日）

當(dāng)前牌所在月、年（工作日、交易日、自然日）

事件驅(qū)動(dòng)滿足文件、Kafka、數(shù)據(jù)庫(kù)級(jí)別靈活觸發(fā)調(diào)度

除了日期時(shí)間觸發(fā)之外，增加事件觸發(fā)機(jī)制，滿足企業(yè)多系統(tǒng)之間交互的需要：

文件觸發(fā)

不同文件接口，根據(jù)滿足特殊定義文件自動(dòng)觸發(fā)

可以設(shè)置掃描頻次與超時(shí)報(bào)警

數(shù)據(jù)庫(kù)觸發(fā)

滿足特殊數(shù)據(jù)定義之后，自動(dòng)觸發(fā)任務(wù)

Kafka 觸發(fā)

發(fā)現(xiàn)符合定義消息息自動(dòng)觸發(fā)工作流

專業(yè)的權(quán)限設(shè)置與 Token 管理滿足企業(yè)級(jí)別權(quán)限需要

針對(duì)企業(yè)設(shè)置用戶、角色、權(quán)限為不同部門提供不同功能權(quán)限：

企業(yè)用戶管理

獨(dú)立企業(yè)用戶賬號(hào)，可以對(duì)接現(xiàn)有企業(yè)用戶

項(xiàng)目角色管理

管理員角色、不同項(xiàng)目開發(fā)人員角色功能分開

結(jié)合項(xiàng)目角色控制資源權(quán)限

Token 管理可以幫助企業(yè)設(shè)定 API 調(diào)用權(quán)限

詳細(xì)的審計(jì)日志滿足企業(yè)回溯用戶行為審計(jì)功能

審計(jì)日志記錄用戶詳細(xì)操作對(duì)象以及時(shí)間：

審計(jì)日志詳細(xì)記錄用戶的操作行為

可以設(shè)置日志保留時(shí)間

支持Excel導(dǎo)出以及用戶操作查詢

高可擴(kuò)展能力支持組件擴(kuò)展

系統(tǒng)高可靠、易擴(kuò)展

滿足定制化需求，比如打通用戶權(quán)限系統(tǒng)、和其他業(yè)務(wù)系統(tǒng)對(duì)接，擴(kuò)展新的任務(wù)組件、數(shù)據(jù)源組件、告警組件，并支持對(duì)接客戶自定義開發(fā)的血緣分析功能等。

支持信創(chuàng)環(huán)境

白鯨調(diào)度系統(tǒng) 在信創(chuàng)合規(guī)部署支持方面做到了完全的國(guó)產(chǎn)化：

支持國(guó)產(chǎn)服務(wù)器，國(guó)產(chǎn) CPU、內(nèi)存、主板、硬盤等，如鯤鵬服務(wù)器。

支持國(guó)產(chǎn)操作系統(tǒng)，如中標(biāo)麒麟、銀河麒麟、紅旗 Linux。

支持國(guó)產(chǎn)數(shù)據(jù)庫(kù)，如 達(dá)夢(mèng)數(shù)據(jù)庫(kù)、GaussDB、TiDB。

支持對(duì)系統(tǒng)部署所涉及到的服務(wù)器、操作系統(tǒng)、中間件、數(shù)據(jù)庫(kù)進(jìn)行信創(chuàng)化改造，滿足信創(chuàng)環(huán)境下系統(tǒng)遷移和原有任務(wù)調(diào)度的需求。

統(tǒng)一監(jiān)控告警、運(yùn)維

實(shí)現(xiàn)統(tǒng)一的監(jiān)控和運(yùn)維是客戶統(tǒng)一調(diào)度最重要的目標(biāo)之一，白鯨調(diào)度系統(tǒng) 可以提供統(tǒng)一監(jiān)控告警，統(tǒng)一監(jiān)控指標(biāo)，提供豐富的API接口，滿足用戶定制化監(jiān)控需求；統(tǒng)一監(jiān)控告警平臺(tái)、運(yùn)維平臺(tái)，極大減少維護(hù)成本；多種監(jiān)控指標(biāo)，根據(jù)權(quán)限智能統(tǒng)計(jì)指標(biāo)，滿足不同角色的監(jiān)控需求；統(tǒng)一告警服務(wù)，提供豐富的告警插件，支持多種告警方式同時(shí)發(fā)送；集中監(jiān)控工作流、任務(wù)運(yùn)行情況和批量操作，統(tǒng)一管理告警列表、事件列表等。

客戶收益

當(dāng)前，該企業(yè)基于白鯨調(diào)度系統(tǒng)搭建了統(tǒng)一調(diào)度平臺(tái)，助力管理后臺(tái)實(shí)現(xiàn)了：

為客戶提供了統(tǒng)一調(diào)度平臺(tái)，提高了數(shù)據(jù)處理效率，支撐了客戶的技術(shù)部產(chǎn)銷、投資、風(fēng)險(xiǎn)評(píng)估、運(yùn)營(yíng)投資各個(gè)團(tuán)隊(duì)的業(yè)務(wù)，后續(xù)將接入更多業(yè)務(wù)；

降低了運(yùn)維難度，降低非技術(shù)人員門檻

提高交付效率

快速調(diào)度

靈活的數(shù)據(jù)分析

客戶簡(jiǎn)介

國(guó)內(nèi)某頭部理財(cái)服務(wù)提供商，為投資者提供了豐富的投資產(chǎn)品，為客戶創(chuàng)造了豐厚的投資回報(bào)。