运维

EMR-StarRocks 与 Flink 在汇量实时写入场景的最佳实践
数据库
EMR-StarRocks 与 Flink 在汇量实时写入场景的最佳实践

刘腾飞 汇量后端开发工程师阿里云开源OLAP研发团队阿里云EMR在年初推出了StarRocks服务,StarRocks是新一代极速全场景MPP(Massively Parallel Processin


多点DMALL × Apache Kyuubi:构建统一SQL Proxy探索实践
数据库
多点DMALL × Apache Kyuubi:构建统一SQL Proxy探索实践

多点 DMALL 成立于2015年,提供一站式全渠道数字零售解决方案 DMALL OS,目前已与130+连锁零售企业、近1000家品牌达成合作,覆盖5个国家和地区。作为一站式全渠道数字零售解决方案服务


数据库
openGauss的高效数据压缩算法

 随着大数据、云计算、物联网的急速发展,数据量呈指数级增长,因此需要消耗更多的存储空间。客户对数据库性能和资源的消耗也愈发看中,期望通过算法优化和软件优化尽可能的对有限的硬件资源进行充分且高效的利用。


数据库
一文详解GaussDB(DWS) 的并发管控和内存管控

这里将并发管控和内存管控写在一起,是因为内存管控实际是通过限制语句的并发达到内存管控的目的的。内存管控是基于语句的估算内存的前提下进行管控的,通俗的说就是语句有个估算内存,当资源池的剩余内存小于语句的


数据库
【数据库迁移系列】从Oracle迁移到openGauss实战分享

 ora2pg 可以将 Oracle 或者 MySQL 数据库迁移到 PostgreSQL,应用场景小到 Oracle 数据库的反向工程,大到大型企业数据库迁移,或者简单地将一些 Oracle 数据复


HTAP 的下一步?SoTP 初探(上):从 “大” 数据到 “小” 而 “宽” 数据——第七届中国开源年会(COSCon'22)
数据库
HTAP 的下一步?SoTP 初探(上):从 “大” 数据到 “小” 而 “宽” 数据——第七届中国开源年会(COSCon'22)

我们首先从起源讲起,不过由于是公开演讲,考虑到一些听众是小白,所以这里主要是从一个比较宏观的关系型数据库行业发展历史视角来看的,关于 HTAP 更具体的技术和商业的起源背景,可以看看 StoneDB


万亿数据秒级响应,Apache Doris 在360 数科实时数仓中的应用
数据库
万亿数据秒级响应,Apache Doris 在360 数科实时数仓中的应用

编辑整理|SelectDB作为以人工智能驱动的金融科技平台,360数科携手金融合作伙伴,为尚未享受到普惠金融服务的优质用户提供个性化的互联网消费金融产品,致力于成为连接用户与金融合作伙伴的科技平台。3


数据库
一种可能是目前最快的从ORACLE同步数据到openGauss的方式

在说这个方案前,先简单说明一下这个方案的几个知识点。二、知识点 1.sqluldr2 sqluldr2是楼方鑫针对Oracle数据库开发的数据快速导出工具,应该绝大多数oracle用户都用过,因为它依


万字图文讲透数据库缓存一致性问题
数据库
万字图文讲透数据库缓存一致性问题

但是客观上,我们的业务规模很可能要求着更高的 QPS,有些业务的规模本身就非常大,也有些业务会遇到一些流量高峰,比如电商会遇到大促的情况。而这时候大部分的流量实际上都是读请求,而且大部分数据也是没有那


数据库
Bigkey问题的解决思路与方式探索

在Redis运维过程中,由于Bigkey 的存在,会影响业务程序的响应速度,严重的还会造成可用性损失,DBA也一直和业务开发方强调 Bigkey 的规避方法以及危害。一、背景在Redis运维过程中,由


金山云:基于 JuiceFS 的 Elasticsearch 温冷热数据管理实践
数据库
金山云:基于 JuiceFS 的 Elasticsearch 温冷热数据管理实践

ES 的使用便捷,生态完整,在企业之中得到了广泛的应用。 随之而来的是物理资源和费用的增加,如何降低 ES 场景的成本成为了大家普遍关心的话题。ES 的主要的成本是主机成本,主机成本又分为计算资源和存


数据库
DolphinDB Python API 离线安装教程

首先准备构建环境,包括在线环境与离线环境,其中在线环境用于在线收集和构建资源,离线环境用于离线安装与验证。构建环境需要与目标环境尽可能的一致,包括操作系统版本、CPU 架构、Python 版本等。其中


【数据库内核分析系列】:数据库表的创建过程
数据库
【数据库内核分析系列】:数据库表的创建过程

`void standard_ProcessUtility(Node* parse_tree, const char* query_string, ParamListInfo params, bool


数据库
【专项测试系列】-缓存击穿、穿透、雪崩专项测试

一、背景概述: R2M缓存的使用,极大的提升了应用程序的性能和效率,特别是数据查询方面。而缓存最常见的问题是缓存穿透、击穿和雪崩,在高并发下这三种情况都会有大量请求落到数据库,导致数据库资源占满,引起


数据库
用 Kafka + DolphinDB 实时计算K线

当面对大量的数据写入时,以消息中间件接收数据,然后再批量写入到时序数据库中,这样可以将消息中间件的高并发能力和时序数据库的高吞吐量联合起来,更好地解决海量数据的实时处理和存储问题。本篇教程,我们会向大


c