騰訊、阿里、字節(jié)竟然是這么做數(shù)據(jù)庫的？！
[導(dǎo)讀]整理|田瑋靖出品|CSDN（ID：CSDNnews）當(dāng)前，新一輪科技革命使得數(shù)據(jù)規(guī)模爆炸性增長、數(shù)據(jù)類型愈發(fā)豐富、數(shù)據(jù)應(yīng)用快速深化，同時，云數(shù)據(jù)庫、HTAP數(shù)據(jù)庫、AI向量數(shù)據(jù)庫等物種的出現(xiàn)，為數(shù)據(jù)庫領(lǐng)域帶來了新的技術(shù)難題和業(yè)務(wù)痛點。如：分布式中的一致性，那么多數(shù)據(jù)一致性模型，到...
整理 | 田瑋靖出品 | CSDN（ID：CSDNnews）當(dāng)前，新一輪科技革命使得數(shù)據(jù)規(guī)模爆炸性增長、數(shù)據(jù)類型愈發(fā)豐富、數(shù)據(jù)應(yīng)用快速深化，同時，云數(shù)據(jù)庫、HTAP數(shù)據(jù)庫、AI向量數(shù)據(jù)庫等物種的出現(xiàn)，為數(shù)據(jù)庫領(lǐng)域帶來了新的技術(shù)難題和業(yè)務(wù)痛點。如：分布式中的一致性，那么多數(shù)據(jù)一致性模型，到底有什么不一樣？如何保障數(shù)據(jù)安全與業(yè)務(wù)穩(wěn)定發(fā)展？云數(shù)據(jù)庫有哪些關(guān)鍵技術(shù)，怎么實現(xiàn)？“多云共存”，怎么進行數(shù)據(jù)庫管控？以上問題有你正在關(guān)注、疑惑的地方嗎？不妨看看國內(nèi)大廠都是如何解決諸多難題的吧。10月23-24日，第二屆“長沙·中國1024程序員節(jié)”（1024.csdn.net）重磅來襲，除16大數(shù)據(jù)庫掌門人齊聚之外，組委會更特別推出“數(shù)據(jù)庫技術(shù)實踐與未來展望”主題論壇，邀請分布式數(shù)據(jù)庫、云原生數(shù)據(jù)庫、開源數(shù)據(jù)庫、圖數(shù)據(jù)庫等領(lǐng)域的技術(shù)專家，圍繞開發(fā)者廣泛關(guān)注的數(shù)據(jù)庫技術(shù)，結(jié)合大廠優(yōu)秀實踐，為你詳細(xì)解讀數(shù)據(jù)庫技術(shù)痛點解決方案、前沿技術(shù)實現(xiàn)、技術(shù)應(yīng)用趨勢，希望你在處理好業(yè)務(wù)的同時，能夠及時抓住發(fā)展機遇。
接下來，我們一起來看來自騰訊TDSQL、阿里巴巴PolarDB、PostgreSQL、螞蟻集團OceanBase、字節(jié)跳動、人大金倉、云和恩墨的大咖們都將帶來哪些精彩的分享。分布式數(shù)據(jù)庫中的一致性創(chuàng)新技術(shù)我們經(jīng)常談?wù)撘恢滦?，但很多人又不明確一致性的含義。其實，在不同場景下，有著不同的一致性，騰訊數(shù)據(jù)庫首席架構(gòu)師李海翔就分布式數(shù)據(jù)庫范圍內(nèi)的各種一致性做深度剖析，并對它們之間的關(guān)系做深度探索，最后還提出業(yè)界最新的一致性技術(shù)，并就多種主流數(shù)據(jù)庫在一致性層面的差異做深度分析和解讀。
李海翔，騰訊數(shù)據(jù)庫首席架構(gòu)師、CCF數(shù)據(jù)庫專委會委員，著有《數(shù)據(jù)庫查詢優(yōu)化器的藝術(shù)》《數(shù)據(jù)庫事務(wù)處理的藝術(shù)》《分布式數(shù)據(jù)庫原理、架構(gòu)和實踐》等。演講大綱：1. 一致性技術(shù)的問題和挑戰(zhàn)
- 1.1 為什么要做到一致性？
- 1.2 什么是一致性？
- 2.1 架構(gòu)層面的一致性
- 2.2 數(shù)據(jù)層面的一致性
- 2.3 事務(wù)處理的一致性
- 2.4 分布式一致性
- 3.1 在分布式數(shù)據(jù)庫中，如何實現(xiàn)強一致性？
- 3.2 主流數(shù)據(jù)庫強一致性的優(yōu)劣對比
云原生數(shù)據(jù)庫、Serverless數(shù)據(jù)庫與分布式數(shù)據(jù)庫領(lǐng)域的發(fā)展和統(tǒng)一近年來，隨著高速總線技術(shù)與網(wǎng)絡(luò)設(shè)備的進一步演進，分離式數(shù)據(jù)中心（Disaggregated Data Center）極有可能發(fā)展為未來云機房的標(biāo)準(zhǔn)，因此，阿里巴巴設(shè)計了下一代的云數(shù)據(jù)庫架構(gòu)，以內(nèi)存池化、多租戶、熱遷移、混合邏輯時鐘等技術(shù)為基礎(chǔ)，融合了云原生數(shù)據(jù)庫、Serverless數(shù)據(jù)庫和分布式數(shù)據(jù)庫等多個領(lǐng)域的數(shù)據(jù)庫技術(shù)，向用戶提供更加簡單透明的擴展體驗。來自阿里巴巴的研究員、PolarDB創(chuàng)始人曹偉（鳴嵩）將介紹云原生數(shù)據(jù)庫、Serverless數(shù)據(jù)庫和分布式數(shù)據(jù)庫的關(guān)鍵技術(shù)，以及下一代云數(shù)據(jù)庫架構(gòu)的技術(shù)實現(xiàn)。
曹偉（鳴嵩），阿里巴巴研究員，設(shè)計和主導(dǎo)研發(fā)了中國首個自主可控的云原生數(shù)據(jù)庫PolarDB。演講大綱：1. 云原生數(shù)據(jù)庫的關(guān)鍵技術(shù)- 1.1 技術(shù)與存儲分離
- 1.2 RDMA、NVM等高速硬件
- 1.3 共識算法
- 1.4 日志下推
- 1.5 計算下推
- 2.1 Auto Scale、Auto Pause
- 2.2 Scaling Transparency
- 2.3 Self-Driving
- 3.1 分布式事務(wù)
- 3.2 分布式查詢
- 3.3 HTAP與湖倉一體
- 4.1 分離式數(shù)據(jù)中心與內(nèi)存池化
- 4.2 多租戶與熱遷移技術(shù)
- 4.3 Scale-Out on top of Scale-Up
基于PostgreSQL的技術(shù)生態(tài)發(fā)展歷程和演進趨勢PostgreSQL是一專多長的全棧式數(shù)據(jù)庫，其憑借豐富的特性，穩(wěn)定的表現(xiàn)，友善的協(xié)議，開放的生態(tài)，在廣大數(shù)據(jù)庫用戶中倍受贊譽，三次摘得DB-Engines年度數(shù)據(jù)庫桂冠！PostgreSQL中國區(qū)主席將為你介紹PostgreSQL擴展相關(guān)的生態(tài)，展現(xiàn)PostgreSQL內(nèi)核之外的世界，為廣大PG數(shù)據(jù)庫的使用者，提供更多更優(yōu)的解題思路，還會介紹一些基于PostgreSQL的分支、分叉、分布式、時序、流式數(shù)據(jù)庫的解決方案。
張文升，PostgreSQL中國社區(qū)主席，探探數(shù)據(jù)庫負(fù)責(zé)人，《PostgreSQL實戰(zhàn)》《PostgreSQL指南：內(nèi)幕探索》等書籍譯者。演講大綱：1. 運行在PostgreSQL上的擴展生態(tài)- 1.1 行業(yè)事實標(biāo)準(zhǔn)PostGIS
- 1.2 流式數(shù)據(jù)處理 Extension Pipelinedb
- 1.3 時序數(shù)據(jù)Extension Timescaledb
- 1.4 基于Extension機制的分布式解決方案 Citus
- 2.1 早期的分布式實現(xiàn)PG-XC，PG-XL
- 2.2 PostgreSQL在國內(nèi)的創(chuàng)新分叉 openGauess
- 2.3 分布式解決方案創(chuàng)新產(chǎn)品 PalarDB-PG，TDSQL-PG，antDB
- 2.4 時序數(shù)據(jù)庫新秀MatrixDB
- 2.5 PostgreSQL之于信創(chuàng)
- 3.1 可插拔存儲引擎（TAM）對PostgreSQL生態(tài)演進方向的影響
- 3.2 人工智能和云基礎(chǔ)設(shè)施和新興硬件構(gòu)建新時代的數(shù)據(jù)庫應(yīng)用形態(tài)
- 3.3 數(shù)據(jù)庫服務(wù)和支撐體系的變革
數(shù)字化轉(zhuǎn)型中面臨的關(guān)鍵挑戰(zhàn)和嘗試企業(yè)在數(shù)字化轉(zhuǎn)型中，對數(shù)據(jù)管理的主要訴求及面臨的挑戰(zhàn)是連續(xù)性和先進性，企業(yè)需要在這個戰(zhàn)略性變革中平滑過渡，還需要能夠長期演進的數(shù)據(jù)庫產(chǎn)品、技術(shù)和解決方案。來自O(shè)ceanBase的產(chǎn)品部負(fù)責(zé)人王南將為你介紹他們的解決方案和建議。
王南，OceanBase產(chǎn)品部負(fù)責(zé)人，原華為openGauss數(shù)據(jù)庫總經(jīng)理，曾負(fù)責(zé)GaussDB、openGauss和GMDB等業(yè)務(wù)。演講大綱：1. 數(shù)字化過程中面臨的新挑戰(zhàn)2. 怎么解決這些挑戰(zhàn)和問題- 2.1 集中式到分布式的業(yè)務(wù)改造
- 2.2 數(shù)據(jù)的平滑遷移
- 2.3 容災(zāi)技術(shù)和方案
- 2.4 HTAP能力
- 2.5 混合基礎(chǔ)設(shè)施部署
- 2.6 成本和風(fēng)險控制
- 3.1 新場景、新硬件和新技術(shù)的挑戰(zhàn)
- 3.2 OceanBase的嘗試
字節(jié)跳動圖數(shù)據(jù)庫和圖計算實踐隨著移動互聯(lián)網(wǎng)的深入發(fā)展，數(shù)據(jù)實體之間的關(guān)聯(lián)性越發(fā)凸顯，Graph在解決關(guān)聯(lián)性問題時有種種優(yōu)勢，也成為學(xué)術(shù)界和工業(yè)界關(guān)注的熱點。Gartner預(yù)測，到2025年圖技術(shù)在數(shù)據(jù)和分析創(chuàng)新中的占比將從2021年的10%上升到80%。該技術(shù)將促進整個企業(yè)機構(gòu)的快速決策。在字節(jié)跳動多條產(chǎn)品線上，擁有大量圖狀關(guān)系數(shù)據(jù)，如何存儲、查詢、分析乃至挖掘這些圖狀數(shù)據(jù)不僅關(guān)系到核心數(shù)據(jù)資產(chǎn)的安全，也影響到是否能夠充分挖掘數(shù)據(jù)價值賦能業(yè)務(wù)。因此，圖數(shù)據(jù)的存儲和計算，是字節(jié)跳動架構(gòu)工程團隊的核心方向之一。字節(jié)跳動圖數(shù)據(jù)庫與圖計算平臺負(fù)責(zé)人張帥將以字節(jié)跳動的業(yè)務(wù)場景為例，分享圖數(shù)據(jù)庫和圖計算技術(shù)如何解決具體數(shù)據(jù)處理問題。
張帥，字節(jié)跳動圖數(shù)據(jù)庫與圖計算平臺負(fù)責(zé)人，中科院計算所碩士畢業(yè)，專注基礎(chǔ)架構(gòu)領(lǐng)域。演講大綱：1. 圖形數(shù)據(jù)無處不在- 1.1 字節(jié)跳動的圖數(shù)據(jù)場景舉例
- 1.2 如何用圖來對數(shù)據(jù)建模
- 2.1 現(xiàn)有圖數(shù)據(jù)庫架構(gòu)比較
- 2.2 字節(jié)跳動實踐架構(gòu)演進
- 2.3 字節(jié)圖數(shù)據(jù)庫的未來演進
- 3.1 圖計算系統(tǒng)有哪些典型場景
- 3.2 圖計算系統(tǒng)和圖數(shù)據(jù)庫系統(tǒng)對比
- 3.3 字節(jié)圖數(shù)據(jù)庫系統(tǒng)實踐
- 4.1 多種技術(shù)如何抽象為業(yè)務(wù)場景
- 4.2 平臺功能介紹
如何在“多云共存”環(huán)境中，進行數(shù)據(jù)庫管控如今，信息化已經(jīng)進入了云計算、大數(shù)據(jù)快速發(fā)展的時代，越來越多的業(yè)務(wù)在云端開展，迫切需要將數(shù)據(jù)庫服務(wù)管控能力與云計算平臺進行深度融合，提供可按需申請、開箱即用、穩(wěn)定可靠、可彈性擴展的云端數(shù)據(jù)庫服務(wù)。同時，在云時代，“多云共存”成為新一代IT基礎(chǔ)設(shè)施的存在形態(tài)，但不同的云平臺其技術(shù)標(biāo)準(zhǔn)不一、實現(xiàn)方式各異，使得統(tǒng)一申請、使用、管理數(shù)據(jù)庫變成了一件難事。在此背景下，人大金倉提出了新的解決思路，其工具產(chǎn)品研發(fā)中心總監(jiān)將在演講中為你揭曉。?
黃新著，北京人大金倉信息技術(shù)股份有限公司工具產(chǎn)品研發(fā)中心總監(jiān)，擁有20年IT行業(yè)從業(yè)經(jīng)驗，具備豐富的軟件產(chǎn)品、軟件架構(gòu)設(shè)計和研發(fā)實戰(zhàn)經(jīng)驗。演講大綱：1. 云數(shù)據(jù)庫時代的RDS2. 金倉云數(shù)據(jù)庫服務(wù)（KRDS）管控新思路- 2.1 立于多云環(huán)境之上的KRDS
- 2.2 平臺化與服務(wù)化的KRDS體系架構(gòu)
- 2.3 金倉云數(shù)據(jù)庫全生命周期管理及關(guān)鍵技術(shù)
- 2.3.1 基于智能翻譯技術(shù)實現(xiàn)異構(gòu)數(shù)據(jù)庫遷移轉(zhuǎn)換和改寫
- 2.3.2 無侵入的探針技術(shù)
- 2.3.3 海量數(shù)據(jù)遷移加速技術(shù)
- 2.3.4 數(shù)據(jù)庫性能診斷、分析與調(diào)優(yōu)
- 3.1 KRDS云適配器設(shè)計思路
- 3.2 KRDS實例管控
內(nèi)存表MOT存儲引擎的創(chuàng)新與實現(xiàn)MOT（memory-optimized tables，內(nèi)存優(yōu)化表）是以內(nèi)存為中心的行存儲引擎，提供事務(wù)ACID保證，針對眾核和大內(nèi)存優(yōu)化，可以提供非常高的交易型工作負(fù)載性能。云和恩墨MogDB數(shù)據(jù)庫CTO張程偉，就MOT中涉及的關(guān)鍵技術(shù)進行介紹，并對其未來的演進方向進行探索。
張程偉，云和恩墨MogDB數(shù)據(jù)庫CTO，曾任華為云數(shù)據(jù)庫創(chuàng)新LAB首席架構(gòu)師，擁有個人專利23項。演講大綱：1. 數(shù)據(jù)庫的性能挑戰(zhàn)- 1.1 數(shù)據(jù)庫的性能分布
- 1.2 數(shù)據(jù)庫的性能優(yōu)化方向
- 2.1 MOT總體方案
- 2.2 無鎖高并發(fā)的索引設(shè)計
- 2.3 樂觀的事務(wù)并發(fā)控制協(xié)議
- 2.4 高效Checkpoint機制
- 2.5 內(nèi)存管理機制
- 2.6 兼容性設(shè)計
如何使用全面向量化技術(shù)，打造極速統(tǒng)一的數(shù)據(jù)分析架構(gòu)數(shù)據(jù)驅(qū)動正在深刻地改變整個世界，我們的業(yè)務(wù)數(shù)據(jù)、數(shù)據(jù)報表、數(shù)據(jù)指標(biāo)越來越多，但我們分析數(shù)據(jù)的速度卻越來越慢，報表構(gòu)建的復(fù)雜度也越來越高。如何有效地分析這些海量數(shù)據(jù)，真正利用數(shù)據(jù)為業(yè)務(wù)創(chuàng)造價值？本次分享主要介紹如何使用全面向量化技術(shù)，打造極速統(tǒng)一數(shù)據(jù)分析架構(gòu)，高效支持海量數(shù)據(jù)的多維分析、實時分析、高并發(fā)分析等多種數(shù)據(jù)分析場景。
趙純，StarRocksCTO。曾在百度作為技術(shù)負(fù)責(zé)人帶領(lǐng)團隊從零到一成功研發(fā)分布式事務(wù)數(shù)據(jù)庫TafDB。作為Apache Doris初創(chuàng)成員之一，參與該項目的打造并主導(dǎo)了Doris數(shù)次架構(gòu)迭代及開源、社區(qū)構(gòu)建、推廣等工作。演講大綱：1. 數(shù)據(jù)分析現(xiàn)狀和挑戰(zhàn)2. 極速統(tǒng)一架構(gòu)：何謂極速- 2.1 單表、多表極速分析
- 2.2 向量化執(zhí)行引擎
- 2.3 CBO優(yōu)化器
- 2.4 物化視圖
- 3.1 實時，面向更新的存儲引擎
- 3.2 聯(lián)邦查詢
下載文檔
