Fork me on GitHub

大数据架构知识点详解:国产数据库创新、湖仓一体实践…

以下文章来源于 https://zhuanlan.zhihu.com/p/621329755

上一篇《这届技术人都爱挂在嘴边的"数智化",我们用八个字拆解了》所说,我们经历了严格的议题筛选和内容打磨,对每个选题进行了市场调研、用户访谈等,同时还邀请业内专家作为顾问,以确保权威性。历经9版迭代,确定了4大体系,希望将体系化的知识,带到用户的面前。

但是每个体系内,知识依然是庞大的,该选择哪些作为选题呢?

我们希望每个选题,都能切中行业痛点,是从业者真正关心的话题,话题不要满天星一样,而是要聚焦到用户关注点。


首先是做四大体系之数据架构体系的聚焦

如图所示,数据架构体系聚焦到了云原生大数据实践、国产数据库创新变革、湖仓一体落地实践、OLAP发展趋势。



为什么聚焦到这四个选题?

第一,数据环境中,我们决定将重点聚焦在云原生大数据。

云原生大数据可以运用一系列分布式计算、分布式存储、弹性扩缩容、自动化管理等技术,更加高效率地管理、处理和分析大规模的数据。而云原生大数据现在处于成长期,市场正在接受教育,所以我们的云原生大数据论坛主要基于实际案例和成功经验,分享最佳实践和应用案例,以提升应用方的实践能力和成功率。

第二,数据存储工具中比较重要的趋势变化,有国产数据库和湖仓一体。

1. 国产数据库

国家对于自主可控技术发展的重视程度日益提高,对国产数据库的市场发展产生积极的影响。

同时国产数据库的创新也日益增强,向量数据库、时序数据库、图数据库、类 ES 的倒排文档数据库等,百花齐放。

所以在众多数据库方向中,我们选择了国产数据库这个方向,聚焦于国产数据库创新变革。

2. 湖仓一体

湖仓一体在保证数据湖的灵活性和数据仓库的可靠性的基础上,实现数据存储和管理的高度一体化与协同。相比于数据湖和数据仓库,湖仓一体具有以下优势:更快处理速度、更高灵活性、更加适应跨部门数据共享和更高的自治能力等。

所以在数据仓库、数据湖等众多存储工具的方向中,我们选择了湖仓一体。

3. 数据计算工具:OLAP

OLAP技术作为数据分析的核心技术之一,已经成为企业决策的重要手段。然而,数据量和复杂度的增加、应用场景的多样化,导致了OLAP发展迭代越来越迅速。所以OLAP侧重于发展趋势:包括但不限于多维分析存储优化、混合存储、查询加速、自动降冷等。


目前,我们已经邀请到了来自阿里巴巴、蚂蚁集团、腾讯、字节跳动、快手、滴滴等公司的资深技术专家担任专题出品人,有更多精彩议题正在打磨中,敬请期待。


时间:7月21日-22日

地点:北京·悠唐皇冠假日酒店

主办单位:DataFun社区

欢迎大家点击下方链接,获取大会门票

DataFunCon2023(北京站):数据智能创新与实践大会




本文地址:https://www.6aiq.com/article/1681280112637
本文版权归作者和AIQ共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出