AntDB國產數據庫助力云南高速清分結算降本增效

在清分結算項目升級改造的過程中，數據庫建設主要面臨兩個方面的壓力：

一是時間短,工作任務重。政策上，云南公路聯網收費管理有限公司須盡快實現聯網收費計費、車道數據和現有清分結算系統的設計做好整改配合工作，力爭四個月內全省聯網收費和清分結算系統整改完畢。

二是數據量大，選型難。自2019年5月起云南省全省逐步取消高速公路省界收費站，逐步推廣ETC收費以來，云南省高速公路建成里程突破8000公里，全省發行ETC用戶累計超過600萬，客車ETC使用率超70%，貨車ETC使用率超60%，選用技術領先的數據庫支持云南省全省清分結算業務迫在眉睫。

項目建設三大難點

各類清分結算業務要基于數據統一平臺提供的數據源正常高效進行，實現ETC和CPC交易數據的擬合算費，為云南高速路段業主提供更完整的交易數據，減少通行費損失提供支持:完成ETC通行交易清分結算、其他交易清分結算、退費補交清分結算和拓展應用交易清分結算以及省內爭議處理、發票數據上傳、交易對賬核心功能等。

在這種背景下，項目的困難點主要集中在三個方面：

一、業務量訪問巨大，數據庫需要支持讀寫分離，否則會出現數據積壓和低查詢效率。

二、省中心清分結算系統與各流程環節交互較多，數據庫連接數較多，存在程序直接連庫寫表造成進程間鎖等待的問題。

三、各個收費站上傳給清分系統省中心的數據無法集中，只能分散多個數據庫存儲，無法高效快速對數據進行訪問、統計，影響正常的清分結算業務的及時完成。

本次清分結算系統數據庫全部采用國產數據庫AntDB，實現高速核心業務系統數據庫全面自主可控。

清分結算系統負責處理并存儲收費系統下發的出口交易流水、門架交易流水、部中心下發的記賬信息等數據，并產生各種清分結算數據的系統，每日處理數據量超過5000萬條，同時各類交易處理具有較強的時效性。

通過引入分布式關系型數據庫 AntDB，清分結算系統不僅滿足了各類數據實時及批量入庫的需求，還對外提供在線查詢功能，同時兼顧了各類定期報表功能需求，實現了數據庫層面的統一，其整體功能架構如下圖所示：

AntDB特性滿足清分結算業務特點

AntDB可以高效支撐清分結算系統的超高并發業務，保證交易流水等數據處理“一條不漏，一條不錯”。AntDB具備內存計算引擎，提供極致數據處理性能、基于SQL的數據訪問服務以及可插拔的擴展服務；原生分布式設計，對應用完全透明，兼顧性能與可擴展性；有超強scale up能力，對CPU、內存、連接數不做限制；用戶可以在線進行擴容操作，擴容過程不影響用戶的線上業務，隨著業務的快速增長數據庫可以橫向在線擴展。

AntDB數據庫可以處理HTAP即交易加實時分析的融合場景，滿足清分結算業務包括在線交易、數據分析、報表輸出等場景需求。AntDB數據庫具備實時強一致的分布式事務控制能力，確保數據零丟失和事務一致性，保證拆分數據和報表數據的準確性；在分布式場景下提供規范的數據訪問控制，全局數據可實現一致性備份和恢復，并提供嚴格的數據訪問控制和數據防傾斜設計，保證業務數據安全可靠；支持異地容災，具備高可用，出現故障時可以自動剔除故障節點，保障業務持續可用，保證數據庫系統達到99.999%的服務等級；具備動態高效的SQL執行引擎，提供異構索引，內置reduce數據處理引擎，數據節點間可以進行通信，提高數據處理效率，尤其是復雜查詢場景的數據處理效率。

圖：AntDB產品架構

AntDB數據庫滿足省中心清分結算系統相關的所有需存儲數據的需求，包括ETC門架通行交易數據、站省傳輸上傳的通行交易數據、部中心上傳、下載的所有數據、基礎參數數據、計費相關數據、拆分數據、記賬數據、對賬數據等。基于分布式版本的AntDB數據庫，針對上述數據設計分片分區方式，將數據打散存放到數據庫集群的各個數據節點中，減小單個數據節點的數據規模；在業務查詢及數據錄入時，可以大大提升其操作性能，避免互相之間的資源競爭。

AntDB中數據分片和分區對上層應用均是透明的，外部應用程序或接口無需關注底層數據分布，只需要關注上層業務邏輯。

AntDB對于OLTP場景下的數據處理做了大量優化工作，例如針對保證事務一致性的2PC協議做了優化，如果事務操作的數據僅涉及單個數據節點，那么計算節點僅進行一階段提交，只需要確認對應的數據節點已經完成提交就任務事務提交已完成。只有當事務操作的數據涉及兩個或以上數據節點時，計算節點才會啟動兩階段提交，大大提升了處理性能。

清分結算系統中的AntDB數據庫分布式架構中包含5個計算節點，計算節點為無狀態節點，無主備狀態，均可以對外提供服務，可根據業務發展情況進行彈性伸縮，大大提升了AntDB對于高并發業務的支撐能力和靈活度，目前數據庫所有計算節點承載活躍連接數在1000左右，后續業務并發如果持續增加，可以對計算節點進行在線擴容，滿足客戶快速增長的業務需求。

同時，在AntDB中統一進行存儲于處理的各類數據，可通過同步機制增量提供給副本集群（只讀訪問），實現數據的集中統一、資源隔離。通過一套數據庫滿足清分結算、車道收費、接口上傳業務開發支撐能力。統一數據入口，各系統采集的數據由清分結算統一處理存放到數據庫中，實現統一接入。

清分結算系統存在大量報表需求，需要提供對清分結算結果各種維度的報表數據查詢以及下載，按照時間粒度可以分為日報表、月報表等。按照業務類型分類包括通行費收入劃賬報表、通行費收入劃賬明細報表、ETC通行交易省內/外通行費收費分賬報表、現金交易省內/外通行費收費分賬報表、移動支付交易省內/外通行費收費分賬報表等。報表系統日處理源數據量達到2000萬以上，所生成報表數據量達到70萬以上，數據量巨大。

大數據量的報表生成和查詢場景對AntDB在分析場景下的數據處理性能提出了很高的要求。大表查詢場景下，查詢SQL中的where條件若有分片鍵，這個查詢會精確路由到具體的節點中，以提高查詢效率。如果SQL的where條件中沒有分片鍵，就會進行一次全節點掃描可能會造成資源的浪費，增加鎖沖突的概率，并且拖慢性能等。

針對該場景，AntDB內部支持異構索引，異構索引采用空間換時間的方式來解決全量掃描的問題，內核自動維護分片鍵和索引鍵之間的映射關系建立異構索引，使用異構索引將避免全節點掃描，可以解決業務使用中存在多個查詢維度時不帶分片鍵造成的查詢性能下降的問題。AntDB內置分布式并行執行引擎，在分析場景下當系統執行一個查詢語句時，需要掃描表的內容，然后經過一系列計算，最后將結果返回給用戶。AntDB內置的分布式并行執行引擎，在多個數據節點之間組網傳輸數據，利用多節點并發處理數據，可以使聚集、排序、關聯等操作獲得倍數級的性能提升，隨著節點數的增加，性能提升線性增長。

• AntDB啟用多進程掃描，使用多個后臺worker進程利用CPU多個核心、動態共享內存、工作進程間通信和消息傳遞來實現并行的數據掃描；
•  AntDB啟用并行Hash Join，使用多個worker進程，每個worker節點執行相同的任務，在數據節點使用一個數據量小的表作為驅動表，用作Hash表，均分后的大表數據和Hash表做數據Join，最終在計算節點匯總數據；
• AntDB啟用并行排序，使用多個worker進程，每個worker節點在數據節點將獲取的結果集數據進行排序，最終提交數據到計算節點并匯總排序數據；
• AntDB啟用并行創建索引，使用多個worker進程，在數據節點并行創建btree索引，提升索引創建效率；
• AntDB啟用并行Union，使用多個worker進程，每個worker節點執行相同的任務，掃描的數據在每個數據節點進行Union操作，最終將所有節點Union后的數據匯總至計算節點最終執行一次Union操作。

如上幾大特性提升了AntDB在OLAP場景下的數據處理性能，AntDB數據庫的上線提高了清分結算系統報表數據的生成效率和準確度。

AntDB應用實效

通過前文的描述可以看出清分結算系統的業務特點是典型的HTAP場景，AntDB是具備HTAP特性的分布式數據庫，一套數據庫可以同時支撐OLTP和OLAP業務場景，按照業務要求提供各類綜合業務處理和報表服務。此外AntDB可以啟用讀寫分離，將讀流量分擔到備節點，降低主節點讀寫壓力，從而提高數據庫的整體性能。

AntDB上線后清分結算系統ETC拆分業務效率提升90%，ETC清分記賬效率提升60%，報表生成時間縮短接近90%。AntDB采用特有的copy命令進行數據加載，每個節點每秒可完成17.5萬條數據的入庫，5節點按照80%的效率預估，入庫效率可達到每秒80萬記錄。數據導出方面，也使用特有的copy命令，性能與數據加載在同等規模水平，大大提高了客戶清分結算系統的各項業務的處理效率。

高可用方面，清分結算系統中AntDB數據庫的數據節點一主兩備部署保證高可用，AntDB部署架構示意圖如下：

為了最大化利用資源，生產數據庫數據節點從一主兩備調整為一主一備，原來生產庫中的異步從庫下架作為歷史數據庫使用，歷史數據庫同樣采用一主一備架構，保證高可用，歷史數據庫承擔歷史數據備份和歷史數據查詢業務，由于歷史數據查詢頻率較低，故服務器采用成本更低的HDD硬盤。調整后數據庫集群如下圖所示。

歷史數據庫上線后，主庫運行壓力大幅下降，數據處理性能得到提升。該方案在保證客戶生產庫高可用的同時降低了生產庫運行壓力，而且最大化利用了客戶現有資源，降低了客戶成本。此次生產庫集群調整和歷史庫上線充分展示了AntDB分布式數據庫的彈性伸縮能力和靈活性，可以根據客戶需求及業務發展情況進行調整。

優勢總結和推廣價值

在該項目中的國產自主可控數據庫AntDB的應用，提供了省中心數據統一服務能力以及“全流程+多協議+高性能+全業務數據”的處理能力，滿足海量交易數據的集中采集、處理、查詢要求，為取消省界收費后部-省兩級架構支撐系統提供新動力。

一、 技術架構優勢總結

（一）分布式特性克服傳統數據庫弊端：分布式數據庫是當代數據庫系統的主要特性之一，AntDB數據庫的部署，使用5臺SSD+10臺HDD主機資源，集群節點采用一主兩從部署架構保證集群高可靠性，面向應用，支持國產服務器的在線擴展、在線擴容，應用無須關心數據量的突發增長及物理服務器的具體位置，完美地解決了這一難題。

（二）技術架構的高可用特性提供可靠業務保障：網絡應具備混合架構及服務高可用的能力。項目中AntDB具備集群自愈、兩地三中心容災架構，保證秒級自動鼓掌切換實現業務的連續性，并且能確保數據的完整性和強一致性。從傳統IOE架構轉為AntDB的分布式架構后，數據庫依然可以獲得99.999%的SLA服務保障。

二、 效果優勢體現總結

AntDB使用分布式并行執行引擎，充分使用硬件資源，使得處理效率大幅提升。現今的AntDB正高效完成業務報表的輸出，支撐處理云南高速每天1000萬條門架流水、200萬條車道流水。當前數據量存儲累計超100TB，已穩定運行近兩年，獲得了業務團隊和業界的認可。AntDB作為自主可控的國產數據庫，成功運用于該“清分結算”類大數據庫平臺業務，具有廣泛的社會意義：

• 高速交通行業示范作用：通過我省清分結算國產數據庫的成功應用，為高速行業內應用國產數據庫樹立典范，增強行業內應用國產技術的信心。
• 信創產業示范效應：既響應國家號召、破解核心軟件“卡脖子”風險，又落實云南省交通投資建設集團有限公司要求，助力公司實現自主可控創新引領，提升業務連續性，規避供應鏈安全風險。

聲明:

凡文章來源標明“中國智能交通網”的文章版權均為本站所有，請不要一聲不吭地來拿走，轉載請注明出處，違者本網保留追究相關法律責任的權利；所有未標明來源為“中國智能交通網”的轉載文章均不代表本網立場及觀點，“中國智能交通網”不對這些第三方內容或鏈接做出任何保證或承擔任何責任。