AdvertCN - 廣告中國

 找回密碼
 立即注冊

QQ登錄

只需一步,快速開始

PropellerAds
易賺網長期兌換paypal美元 值得信賴的頂級空間會員請立即修改密碼ADPLEXITY + ADVERTCNBINOM TRACKER + ADRERTCN 60% OFF!
Affiliate專屬spy工具
 谷歌+必應一級代理商開戶 
高薪招聘SEO, SEM可兼職1234.fm 行業導航廣告位出租
查看: 476|回復: 4
打印 上一主題 下一主題

【轉】TiDB 在 Mobikok 廣告系統中的應用和實踐

[復制鏈接]

142

主題

714

廣告幣

2865

積分

實習超級版主

Python|Golang|PHP

Rank: 8Rank: 8

積分
2865

社區QQ達人

跳轉到指定樓層
樓主
發表于 2019-6-18 15:41:46 | 只看該作者 回帖獎勵 |倒序瀏覽 |閱讀模式
本帖最后由 小白龍 于 2019-6-18 23:43 編輯

場景介紹:SSP系統
訂閱 SSP(Sell-Side-Platform)平臺當前業務主要分為:SDK、Smartlink、Online API 以及Offline API;在當前 SSP SDK 業務系統當中,累計用戶已達到 2 億,最初使用的是 MySQL 主從分表的方式存儲用戶數據,隨著數據量的增加,MySQL 單機容量以及大數據量查詢成為了瓶頸;當單表數據達到 2 千萬以上時,單機 MySQL 的查詢以及插入已經不能滿足業務的需求,當訪問量到一定階段后,系統響應能力在數據庫這一塊是一個瓶頸。
一次很偶然的機會在 GitHub 上面了解到 TiDB,并且因為現在業務系統當中使用的 Redis 集群是 Codis,已在線上穩定使用兩年,聽聞 TiDB 創始團隊就是之前 Codis 的作者,所以對 TiDB 有了極大的興趣并且進行測試。通過測試單機 MySQL 和 TiDB 集群,當數據量達到數千萬級別的時候發現 TiDB 效率明顯高于 MySQL。所以就決定進行 MySQL 到 TiDB 遷移。
遷移后整體架構圖:


引入TIDB
在選擇使用替換 MySQL 方案當中。我們主要考慮幾點:
  • 支持 MySQL 便捷穩定的遷移,不影響線上業務;
  • 高度兼容 MySQL,少改動代碼;
  • 支持水平彈性部署服務以及在線升級;
  • 支持水平擴展業務;
  • 成熟的配套監控服務。
TiDB 數據庫整體集群配置:2* TiDB、3* TiKV、3* PD。


從 12 月初正式上線到目前為止,TiDB 穩定運行四個多月,最高 QPS 達到 2000,平均 QPS 穩定在 500 左右。TiDB 在性能、可用性、穩定性上完全超出了我們的預期,但是由于前期我們對 TiDB 的了解還不深,在此遷移期間碰到的一些兼容性的問題,比如 TiDB 的自增 ID 的機制,排序的時候需要使用字段名等,咨詢 TiDB 的工程師都很快的得到了解決,非常感謝 TiDB 團隊的支持以及快速響應。
下圖是當前集群的 Grafana 展示圖:

后續計劃
使用 TiDB 對于像我們這樣可預期核心數據會暴增的場景,有非常大的意義。在后端支撐力量有限時,業務暴增時只需要增加機器,而不是頻繁重構業務,讓我們有更多精力在自己的業務上耕耘,增加我們的行業競爭力。未來我們還有 ADX(Ad Exchang,廣告交易平臺) 和 DSP 業務,需要處理海量的用戶數據以及廣告數據。目前統計數據這一塊當前業務當中使用的是 Spark Streaming,通過和 TiDB 開發團隊溝通,官方 TiSpark 可直接引入到當前統計 Spark 群集當中,非常期望在后續開發當中使用 TiSpark。
問題建議
在實際應用當中,因為我們切換的并不是只有用戶數據表,還遷移了關于廣告業務、渠道業務基礎數據表。由于 TiDB 是一個分布式數據庫,對于一些小表以及 count(*) 操作會影響效率,后來咨詢 TiDB 官方得知,TiDB 有不同的隔離級別,SQL 也有高低優先級,如果有全表掃描的需求,可以使用低的隔離級別或者是低的優先級。將來我們就可以直接所有線上業務使用 TiDB 進行替換,最后還是非常感謝 TiDB 團隊的支持與幫助。
作者:rayi,深圳可可網絡服務端架構負責人


作者:PingCAP
鏈接:https://juejin.im/post/5ad805386fb9a045fa6c8120
來源:掘金
著作權歸作者所有。商業轉載請聯系作者獲得授權,非商業轉載請注明出處。




本帖子中包含更多資源

您需要 登錄 才可以下載或查看,沒有帳號?立即注冊

x
相關帖子
緬懷驕陽
QQ已停止使用,請透過Email:clicktrends#outlook.com與我聯絡
Voluum
回復

使用道具 舉報

1073

主題

1萬

廣告幣

1萬

積分

管理員

宇宙無敵河馬天神

Rank: 9Rank: 9Rank: 9

積分
19535

社區QQ達人

推薦
發表于 2019-6-18 16:07:43 | 只看該作者
小白龍 發表于 2019-6-18 15:45
為什么用獨立服務器,而不是用云服務器呢?

配置上去了,獨立服務器要便宜很多,而且資源沒有限制

就像AWS 一樣,資源都是有限制的,尤其是SSD

點評

學習了  發表于 2019-6-18 23:42
本人無QQ無微信, 其余都是假的. 騙子太多,大家小心
這個tracker非常好用
回復 支持 1 反對 0

使用道具 舉報

142

主題

714

廣告幣

2865

積分

實習超級版主

Python|Golang|PHP

Rank: 8Rank: 8

積分
2865

社區QQ達人

沙發
 樓主| 發表于 2019-6-18 15:45:53 | 只看該作者
為什么用獨立服務器,而不是用云服務器呢?

點評

配置上去了,獨立服務器要便宜很多,而且資源沒有限制 就像AWS 一樣,資源都是有限制的,尤其是SSD  詳情 回復 發表于 2019-6-18 16:07
緬懷驕陽
QQ已停止使用,請透過Email:clicktrends#outlook.com與我聯絡
回復 支持 反對

使用道具 舉報

您需要登錄后才可以回帖 登錄 | 立即注冊

本版積分規則

idvert

QQ|Github|聯系我們|廣告服務|小黑屋|手機版|Archiver|AdvertCN ( 津ICP備17003502號-1 )|網站地圖

GMT+8, 2019-8-12 13:35 , Processed in 0.061667 second(s), 9 queries , Gzip On, MemCache On.

Powered by Discuz

© 2007-2019 AdvertCN

快速回復 返回頂部 返回列表
陕西快乐10分走势图百宝