PostgreSQL 可观测性最佳实践
10月26日,北京站源创会,聊聊高性能计算与大模型推理 前言 PostgreSQL 介绍 PostgreSQL 是一个高度稳定和功能丰富的开源关系数据库系统。其功能集、扩展性和开源特性使其成为各种类型应用的理想选择,它支持高级特性如事务处理、扩展插件和多种编程语言接口,适用于从 web 应用到企业级系统的各种场景。无论是小型项目还是大型企业级应用 PostgreSQL 都提供可靠、高性能的数据管理解决方案,助力创新和业务增长。 PostgreSQL 核心特性如下: SQL 兼容:Postgre
Kubernetes 节点问题可观测最佳实践
10月26日,北京站源创会,聊聊高性能计算与大模型推理 简介 Node Problem Detector(NPD)是 Kubernetes 集群中一个重要的监控插件,它的作用是监控节点的健康状况并检测可能出现的问题。NPD 通过在每个节点上运行的检测器来工作,能够发现基础设施、容器运行时、硬件和内核等问题,并将这些问题报告给集群中的上层控制面。 NPD 只是作为一个问题检测和报告程序运行,需要配合自愈程序才能完成节点问题的自动处理,默认的集群控制面组件并不会响应 NPD 报告的问题。NPD 可
Etcd 可观测最佳实践
10月26日,北京站源创会,聊聊高性能计算与大模型推理 简介 Etcd 是一个高可用的分布式键值存储系统,它提供了一个可靠的、强一致性的存储服务,用于配置管理和服务发现。它最初由 CoreOS 开发,现在由 Cloud Native Computing Foundation (CNCF) 维护。Etcd 使用 Raft 算法来实现数据的一致性,能保证数据在所有节点间保持同步。 Etcd 作为一个关键的分布式键值存储系统,广泛应用于 Docker、Kubernetes等分布式系统中,用于存储配置
Zabbix 数据对接观测云最佳实践
10月26日,北京站源创会,聊聊高性能计算与大模型推理 简介 Zabbix 是一款开源的监控工具,它能够监控网络和应用程序的健康状态。Zabbix 支持多种协议,包括 SNMP、IPMI、JMX、Telnet 等,能够监控服务器、交换机、路由器、虚拟机等多种设备和服务。 实时导出功能 Zabbix 提供了实时导出功能,允许用户将触发器事件、监控项采集值和趋势数据实时导出。这些数据以换行符分隔的 JSON 格式导出,确保了数据的及时性和机器可读性。 配置和使用 要启用实时导出,需要修改 Zabb
StarRocks x 腾讯视频:指标中台驱动湖仓一体建设实践
10月26日,北京站源创会,聊聊高性能计算与大模型推理 小编导读: 腾讯视频是中国领先的在线视频平台,以其丰富的高质量内容和专业的媒体运营能力著称,服务范围包括影视、综艺、生态视频和娱乐社区等。平台的运营数据,如活跃用户数、曝光数、点击数和播放次数等关键指标,对业务决策至关重要。腾讯视频每天处理的数据量巨大,尤其是在高峰时段,数据处理速度和精确性的要求极高。 腾讯视频在构建其指标平台时,采用了湖仓一体的架构,尽管在实时数据处理上初期遇到挑战,但引入 StarRocks 后,平台在实时数据处理能
极速查询:StarRocks 存算分离 Compaction 原理 & 调优指南
10月26日,北京站源创会,聊聊高性能计算与大模型推理 作者:丁凯,StarRocks TSC member/镜舟科技云原生技术负责人 StarRocks 在数据摄入过程中,每次操作都会创建一个新的数据版本。在查询时,为了得到准确的结果,必须将所有版本合并。然而,随着历史数据版本的累积,需要合并的文件数量增多,这将显著降低查询效率。为了解决这个问题,StarRocks 会定期执行内部任务,通过合并历史数据版本来消除重复记录,这个过程被称为 Compaction。 举个例子:下图中 versio
数仓还是湖仓?专家圆桌深度解析
10月26日,北京站源创会,聊聊高性能计算与大模型推理 近期,Databricks 以超过 10 亿美元的价格收购了 Tabular——Apache Iceberg 的商业支持公司,这一动作加剧了 Snowflake 和 Databricks 在开放湖仓标准发展上的竞争。这起收购也突显了数据湖表格式在现代数据分析架构中的关键地位。 在上月的 StarRocks Meetup 活动中,四位湖仓技术专家代表 Apache Iceberg、Apache Hudi、Apache Paimon 和 St
StarRocks 3.3 重磅发布,Lakehouse 架构发展进入快车道!
10月26日,北京站源创会,聊聊高性能计算与大模型推理 StarRocks 3.3 的发布标志着 Lakehouse 架构在数据分析领域迈向了一个新的高度。作为下一代 Lakehouse 架构的代表,StarRocks 3.3 在稳定性、计算性能、缓存设计、物化视图、存储优化和 Lakehouse 生态系统等方面进行了全方位的优化和创新。本文将逐一介绍 StarRocks 3.3 的这些新特性,带你深入了解这款强大的数据分析工具如何提升你的数据处理效率和分析能力。 成熟稳定:全面提升的成熟度级
成本下降50%,腾讯音乐StarRocks存算分离大规模实践!
10月26日,北京站源创会,聊聊高性能计算与大模型推理 作者:腾讯音乐高级数据工程师 陈嘉奇,腾讯音乐高级运营开发工程师 高盛远 小编导读: 腾讯音乐娱乐集团是中国在线音乐娱乐服务开拓者,提供如 QQ 音乐、酷狗音乐等众多知名的移动音频产品。 随着对成本效益的关注不断增强及湖仓一体化技术不断进步,数据基建团队在 2023 年将原有的上千节点 ClickHouse 和 Druid 集群业务迁移至 StarRocks 存算分离。在效率不变的情况下,成本下降了 50%,成果显著。本文将深入探讨他们的
惊艳!这么丝滑的登录注册页面
效果演示 这段代码是一个HTML文档,它包含了一个使用p5.js库创建的动态文本流效果的网页。p5.js是一个JavaScript库,它提供了一个类似于Processing的创意编程环境,使得开发者能
6年的java被刚入门的小弟弟提的问题难住了?
刚入门的小弟弟,问了我一个问题,也就是下面这行代码为什么执行之后不能完结,就一直卡在那里?我们来瞅瞅这个代码,基本就是演示了代码演示了 ReentrantLock 的基本使用和线程之间的竞争。
StarRocks on AWS Graviton3,实现 50% 以上性价比提升
10月26日,北京站源创会,聊聊高性能计算与大模型推理 在数据时代,企业拥有前所未有的大量数据资产,但如何从海量数据中发掘价值成为挑战。数据分析凭借强大的分析能力,可从不同维度挖掘数据中蕴含的见解和规律,为企业战略决策提供依据。数据分析在营销、风险管控、产品优化等领域发挥着关键作用,帮助企业提高运营效率、优化业务流程、发现新商机、增强竞争力。低成本高效率的完成对海量数据的分析,及时准确的释放数据价值,已成为企业赢得竞争优势的利器。StarRocks on AWS 为这个课题交出了一份答卷。 S
StarRocks x 金山办公:湖仓架构实现成本与效率的双赢
10月26日,北京站源创会,聊聊高性能计算与大模型推理 文章作者:杨宏强 资深后端研发工程师,周晓威 资深大数据工程师 导读: 在数字化时代,金山办公凭借近 6 亿的月度活跃设备数,正面临日益增长的数据处理挑战。如何提升效率、降低成本成为关键。本文将介绍金山办公如何通过引入 StarRocks 3.0,优化其报表平台,实现技术架构的革新和业务性能的飞跃。从存算一体到存算分离,从多引擎运维到统一平台,StarRocks 3.0 的引入不仅提升了查询效率,还简化了运维流程,为金山办公带来了成本效益
Pinterest:从 Druid 到 StarRocks,实现 6 倍成本效益比提升
10月26日,北京站源创会,聊聊高性能计算与大模型推理 导读: 开源无国界,StarRocks 自开源以来,近3年的时间里已在全球数据技术领域崭露头角。我们欣喜地发现,越来越多的海外用户正在使用并积极推广着 StarRocks。为了促进知识共享,StarRocks中文社区将精选优秀文章与大家共享。本篇文章摘自 Pinterest Engineering 撰写的《Delivering Faster Analytics at Pinterest》,欢迎阅读原文深入了解:https://medium
StarRocks Lakehouse 快速入门——Apache Paimon
10月26日,北京站源创会,聊聊高性能计算与大模型推理 StarRocks Lakehouse 快速入门指南为您提供了湖仓技术概览,旨在帮助您迅速掌握其核心特性、独特优势和应用场景。本指南将指导您如何高效地利用 StarRocks 构建解决方案。文章末尾,我们集合了来自阿里云、饿了么、喜马拉雅和同程旅行等行业领导者在 StarRocks x Paimon Streaming Lakehouse 活动中的实战经验分享。通过这些真实案例,您可以更直观地了解如何在实际应用中发挥 StarRocks
云原生主键模型:高效、弹性,省钱又省心
10月26日,北京站源创会,聊聊高性能计算与大模型推理 作者简介:罗一鑫,StarRocks Committer,主要负责存储引擎相关的工作。 导读: 在 StarRocks 3.3.1 版本中,我们推出了云原生持久化索引,旨在解决本地磁盘持久化索引的关键问题。本文将详细探讨其优势,并对比云原生与本地磁盘持久化索引在大批量导入、小批实时导入以及弹性调度等场景中的表现。尤其在弹性调度场景中,云原生架构使延迟性能提升至本地磁盘的 10 倍。 主键模型是 StarRocks 全新设计开发的存储引擎,
StarRocks Lakehouse 快速入门——Apache Iceberg
10月26日,北京站源创会,聊聊高性能计算与大模型推理 导读: StarRocks Lakehouse 快速入门旨在帮助大家快速了解湖仓相关技术,内容涵盖关键特性介绍、独特的优势、使用场景和如何与 StarRocks 快速构建一套解决方案。最后大家也可以通过用户真实的使用场景来了解 StarRocks Lakehouse 的最佳实践! Apache Iceberg 介绍 Apache Iceberg 是一种为大规模、复杂数据集设计的开源表格式,这些数据集跨越了 PB 级别的数据。最初作为 Ne
StarRocks 社区三周年:初心不忘,进化不止
10月26日,北京站源创会,聊聊高性能计算与大模型推理 今天,我怀着满满的喜悦与感激,和大家分享一个特别的时刻------StarRocks 开源三周年啦! 2021 年 9 月 8 日,StarRocks 开源社区诞生。从第一天开始,我们怀揣着"打造世界一流的数据分析产品"的梦想,踏上了星辰大海的征途。 三年间,StarRocks 在 GitHub 上收获了 8600+ Stars,产品共迭代发布了 140 余个版本,420+家市值超过 10 亿美元的头部用户在生产环境中上线运行。StarR
饿了么基于Flink+Paimon+StarRocks的实时湖仓探索
10月26日,北京站源创会,聊聊高性能计算与大模型推理 作者:王沛斌@饿了么 小编导读: 本文整理自饿了么大数据架构师、Apache Flink Contributor 王沛斌老师在8月3日 Streaming Lakehouse Meetup Online(Paimon x StarRocks,共话实时湖仓架构)上的分享。主要分为以下三个内容: 1. 饿了么实时数仓演进之路 2. 实时湖仓方案选型与探索 3. 实时湖仓规划及展望 饿了么实时数仓演进之路 饿了么典型实时应用场景 以上是饿了么在
七猫如何用 StarRocks 打造用户增长新引擎?
10月26日,北京站源创会,聊聊高性能计算与大模型推理 作者:蒋乾,七猫资深大数据架构师 小编导读: 七猫是一家专注于文化娱乐行业的互联网企业,其推出的七猫免费小说App,致力于为用户提供正版、免费、优质的网络文学内容。目前,平台用户已超过6亿,稳居数字阅读行业前列。 七猫的数仓团队负责各业务线的离线与实时数据开发、指标建设及数据治理等工作。在生产环境中,七猫已部署了五套 StarRocks 集群。本文将深入探讨 StarRocks 在七猫的应用实例,包括通用人群圈选系统、指标异动的深度下钻分
今日推荐
周排行