#logstacker

[uroborom]

Siding Exterior Huge rustic one-story mixed siding exterior home idea

[justanotherdaywaiting]

Cheshire Living Room

[gozealouscloudcollection]

日誌收集系統在大搜車的探索和實踐

引言

大搜車日誌分為兩種：業務日誌和鏈路日誌。

業務日誌是業務開發人員在代碼裡面自己打印的日誌，為方便開發人員快速查閱分佈在多台機器上的日誌，我們提供了業務日至平台，供開發自助接入。目前接入的系統400+，每天產生的日誌量7億+，高峰時期每秒要處理5W+的日誌。

鏈路日誌對應的則是鏈路追踪平台（trace），通過traceID把跨系統調用的所有下游系統串聯起來，想要了解詳細的話可以參考開源的pinpoint。鏈路日誌每天日誌量30億+，高峰每秒要處理8W+的日誌。我們只保留七天的數據，大概45T。

開源社區有很多優秀的日誌收集組件，如logkit,logstack,flume等。我們公司因為早前就在其它場景下使用過flume，運維同學也積累了豐富的運維經驗，所以採集組件直接使用的flume。個人感覺而已，logkit和logstack更輕量，作為採集端更合適~

下面開始進入正題，介紹下我們的整體架構以及遇���的坑，還有就是根據自身的業務特點做的特殊優化~

整體架構圖

詳細說明

… from 日誌收集系統在大搜車的探索和實踐 via KKNEWS