工程筆記
架構說明與生產實踐。
這裡收錄 Cloud GIDO 團隊在開源基礎設施上的架構說明與生產排障筆記,協助你評估產品能力、邊界與落地路徑。
正文以中文撰寫;其他語言介面提供英文標題與摘要,便於瀏覽。
精選
K8s 上 DolphinScheduler 任务不下发?一篇讲透:TaskInstanceLogPath is empty
适合人群 :在 Kubernetes / k3s / OrbStack 上部署 DolphinScheduler 3.2.x,遇到「任务实例日志为空 / 任务未分发」的同学 环境 :OrbStack Ubuntu + k3s、DolphinScheduler 3.2.2、PostgreSQL + ZooKeeper 关…
閱讀筆記 →Day 16|Doris BE 周期性重启:不是内存不够,是 RScan 把 PID 打满了
系列:《Cloud GIDO 三产品特性深讲》加餐 · 场记第 1 篇 标签:Doris、存算分离、线程泄漏、K8s、pids.max、排障 Cloud GIDO 跑在 Kafka / Flink / Doris / K8s 之上。运行时再强,底座也会出「看起来像内存、其实不是」的故障。 很常见的现场: 1. Comp…
閱讀筆記 →Day 04|GIDO Batch 特性拆解:Studio、DAG、调度、集成、质量、血缘
系列:《Cloud GIDO 三产品特性深讲》第 4/15 篇 标签:GIDO Batch、数据开发、工作流、调度、数据质量 离线数仓团队都写过 SQL。真正拖垮团队的是: 脚本版本混乱,线上跑的是谁改的不知道 DAG 靠口头约定,依赖挂了整链沉默失败 调度在 A 系统,日志在 B 系统,告警在群里靠人喊 「数据质量」…
閱讀筆記 →Day 10|GiRisk 全景:毫秒决策背后的六大特性
系列:《Cloud GIDO 三产品特性深讲》第 10/15 篇 标签:GiRisk、实时风控、规则引擎、审计、回放 很多系统能演示「规则命中就拒绝」。但生产还要问: 1. 高峰时延是否稳定? 2. 拒绝原因业务能否理解? 3. 敞口是否实时可见? 4. 限额如何与规则协同? 5. 审计是否完整? 6. 出了纠纷能否回…
閱讀筆記 →Day 07|GISO 全景:把碎片埋点做成可执行的数据契约
系列:《Cloud GIDO 三产品特性深讲》第 7/15 篇 标签:GISO、事件治理、埋点、Schema、数据质量 经典对话: 客户端:我们发了 数据:字段空了 / 事件名不一致 分析:看板陡降,不知道是业务跌了还是埋点挂了 平台:Wiki 上写过规范啊 根因是:规范停在文档, 没有变成可执行契约 。 GISO(玑…
閱讀筆記 →Day 01|组件都齐了为什么还很难用?Cloud GIDO 想补的那一层
系列:《Cloud GIDO 三产品特性深讲》第 1/15 篇 标签:开源、数据中台、Kafka、Flink、事件治理、实时风控 你们大概已经有这些东西了: Kafka 在传数据 Flink 在算实时 Doris / 数仓在撑分析 Kubernetes 在跑服务 按理说「大数据底座」齐了。但一线同学的感受常常是: 1.…
閱讀筆記 →Day 02|一张图看懂 GIDO / GISO / GiRisk:三套特性如何分工
系列:《Cloud GIDO 三产品特性深讲》第 2/15 篇 标签:产品矩阵、特性对比、开源基础设施 很多选型文章一上来堆概念。我们反过来:先看 特性分工 。只要分工清楚,后面读模块就不会混。 层 代表 特性关注 控制层 GIDO / GISO / GiRisk 开发、契约、校验、决策、权限、审计 运行时 Kafka…
閱讀筆記 →