企业官网建设流程全解析

上海网站建设 上海网站制作,移动端网站欣赏,wordpress 中文版,网站 linux 服务器配置ODS、DWD、DWS 是数据仓库最常见的三层#xff0c;每一层都有明确的职责与数据形态#xff0c;区别主要体现在“数据内容、加工深度、使用场景”三个维度#xff1a;表格复制层级全称数据内容加工深度典型使用场景存储周期ODSOperational Data Store各业务系统原样抽取的数据…ODS、DWD、DWS 是数据仓库最常见的三层每一层都有明确的职责与数据形态区别主要体现在“数据内容、加工深度、使用场景”三个维度表格复制层级全称数据内容加工深度典型使用场景存储周期ODSOperational Data Store各业务系统原样抽取的数据几乎不做转换保持“原貌”只做最简单的格式对齐、字段裁剪不做业务逻辑清洗①准实时查询 ②源系统故障时回溯 ③给DWD提供原始数据几天~几周按需滚动清理DWDData Warehouse Detail以业务过程为中心的“干净”明细数据统一命名、统一码值、去重、去异常完成数据清洗、规范化、关联维表保留最细粒度①复杂分析/挖掘 ②供DWS汇总 ③跨主题明细查询几月~几年长期保留DWSData Warehouse Summary面向分析主题的轻度汇总表宽表指标维度预聚合按时间、地域、客户等维度做GROUP BY、窗口函数、轻度汇总①报表、Dashboard ②OLAP交互分析 ③数据服务接口几月~几年随业务需求调整一句话记忆ODS 是“生数据”DWD 是“洗干净的明细”DWS 是“直接拿来出报表的汇总”。三者流转关系业务系统 → ODS原样落地 → DWD清洗整合 → DWS汇总宽表 → 报表/接口/数据产品————————————————————————————————————在数据仓库/数据中台体系里除了 ODS、DWD、DWS 这三层“标配”还经常会遇到以下“兄弟姐妹”概念一起记会更完整DIMDimension统一、共享的维表层存放所有缓慢变化维度客户、商品、组织、渠道、时间等。DWD、DWS 都通过维表做关联保证口径一致。DWTData Warehouse Topic主题宽表层也叫“中度汇总”或“宽表集市”。把多个业务过程的 DWD 明细按分析主题用户、商品、订单预关联、预聚合形成“一行到底”的大宽表供数据挖掘、机器学习、实时接口直接调用介于 DWS 与 ADS 之间。ADSApplication Data Service / App应用服务层面向具体场景的高度汇总/二次加工结果如“昨日 GMV”“618 实时大屏指标”。通常存储在 OLAP、KV、MySQL、ClickHouse 等引擎里直接对接报表、大屏、API。STGStaging临时缓冲层位于 ODS 之前只做“原系统→数仓”的一次性落地不对外开放出错可快速重跑。部分企业把 STG 与 ODS 合并也有单独拆分出来做“日增量拉链”。DWMData Warehouse Middle部分公司把“DWT DWS”统称 DWM表示“中间汇总层”命名无统一标准理解成“介于明细与高度汇总之间的任何中间表”即可。DMData Mart数据集市面向特定业务部门财务、供应链、人力的“小仓库”可由 DWS/ADS 再加工也可独立建模。强调“部门私有”而 DW 是企业级共享。TMP / MID / TEMP临时层存放中间结果、拉链临时表、调度过程表生命周期短通常设定 TTL 自动清理。缓慢变化维SCD维表随时间变化但不想覆盖历史时的处理策略分 SCD1覆盖、SCD2新增行、SCD3新增列等是 DIM 层建模核心技能。事实表类型事务事实表最常用一行一业务周期快照事实表如账户日余额累积快照事实表如订单从下单到签收全流程它们都属于 DWD 层。维度建模 vs 范式建模维度建模星型/雪花强调“易用、查询快”多用于 DWD/DWS范式建模3NF强调“一致性、更新快”常用于 ODS/EDW。现代 Lambda/Kappa 架构里两种常混合使用。把以上概念与 ODS→DWD→DWS 放在一起就构成了企业级数据仓库/数据中台的“全家福”。