> 文章列表 > OneData 共享同一套数据技术和资产

OneData 共享同一套数据技术和资产

OneData 共享同一套数据技术和资产

一、什么是 OneData 体系?

官方:阿里云OneData数据中台解决方案基于大数据存储和计算平台为载体,以OneModel统一数据构建及管理方法论为主干,OneID核心商业要素资产化为核心,实现全域链接、标签萃取、立体画像,以数据资产管理为皮,数据应用服务为枝叶的松耦性整体解决方案。其数据服务理念根植于心,强调业务模式,在推进数字化转型中实现价值。
简言: 统一化的数据体系 = OneID、OneModel、OneService。

  • 第一部分:OneModel 致力于实现数据的标准与统一;
  • 第二部分:OneID 致力于实现实体的统一,让数据融通而非以孤岛存在,为精准的用户画像提供基础;
  • 第三部分:OneService 致力于实现数据服务统一,让数据复用而非复制。

二、OneData 方法论切入点

  • 数据架构方法(全局化规划数据体系):
    • 数据域划分 -> 数据总线矩阵构建 -> 数据分层规划
    • 实现企业数据的全局观规划设计
  • 数据模型设计方法(好用且复用)
    • 维度 -> 事实 -> 公共汇总
    • 面向数据分析场景构建数据模型,让通用计算沉淀,数据复用,提升效能。
  • 数据标准化方法(计算口径&表达统一)
    • 派生指标 = 原子指标 + 业务限定 + 统计周期 + 统计粒度
    • 实现数据标准化定义,计算口径统一,保障数据质量

三、OneData 实施流程

  • 充分的业务调研和需求分析。这是中台建设的基石
    • 需求调研+数据调研+业务系统调研+环境调研
  • 数据总体架构设计,主要是根据数据域对数据进行划分;按照维度建模理论,构建总线矩阵、抽象出业务过程和维度。
    • 明确每个数据域下有哪些业务过程;业务过程与哪些维度相关,并定义每个数据域下的业务过程和维度。
  • 整理出相关指标体系,完成指标规范定义和模型设计。(即 数据标准化方法)
    • 定义指标体系,包括度量/原子指标、业务限定、统计周期、派生指标。
      • 时间周期:{1:全周期,2:今年以来,3:近一月,4:近两月,5:近三月,6:近六月,7:近一年,8:近两年,9:近三年,13:近1周}  {周度,月度,季度}
      • 业务限定:基金分类(公私募),净值质量,所属投顾 ,数据来源
      • 度量/原子指标:金额,份额,单位净值,基金编码
      • 维度:是度量的环境,也可以称为实体对象。地理维度(包括国家、地区、省以及城市等级的内容)、时间维度(其中包括年、季、月、周、日等级别的内容)
      • 派生指标 : 一个原子指标+多个业务限定(可选)+时间周期。近一周收益率,近一周年化收益率,近一年 收益率,年华收益率,最大回撤,Sharpe比率,Var,Sortino比率,Calmar比率,月胜率,标准差(波动率),下行标准差,年化标准差(波动率)
      • 派生指标的种类:事务型指标、存量型指标和复合型指标
    • 模型设计(维度设计主要还是以维度建模理论为基础,构建一致性的维度和事实):
      • 操作数据层(ODS)
        • 数据同步
      • 明细数据层(DWD)
        • 采用维度模型方法作为理论基础,更多地采用一些维度退化手法,将维度退化至事实表中,减少事实表和维表的关联,提高明细数据表的易用性。
      • 汇总数据层(DWS)
        • 加强指标的维度退化,采取更多的宽表化手段构建公共指标数据层,提升公共指标的复用性,减少重复加工。
        • 组合相关和相似数据采用明细宽表,复用关联计算,减少数据扫描。(台账,业绩报酬,分红记录) 
        • 公共指标统一加工:基于OneData体系构建命名规范、口径一致和算法统一的统计指标,为上层数据产品、应用和服务提供给公共指标;建立逻辑汇总宽表。(绩效总表)(滚动绩效总表)(基金净值质量总表) (分策略净值市值及相关信息)(分年绩效总表)
        • 建立一致性维度:建立一致的数据分析维表,降低数据计算口径、算法不统一的风险。
      • 应用数据层(ADS)
        • 数据产品个性化的统计指标数据
          • 指数型、比值型、排名型指标  : 资金流动性管理(历史现金占比,历史资产配置,子基金收益贡献分解)
          • 基于应用的数据组装:大宽表集市、横表转纵表、趋势指标串
    • OneData的实施过程是一个高度迭代和动态的过程,评审机制 必要
  • 代码研发和运维。

四、附

"数据中台" 承担着“解耦”的使命。需要从小的业务场景开始不断累积,需要长时间的业务经验的沉淀,不断的进行优化创新,最终才能构建出具有自己企业业务特色的数据中台

五、参考文章

什么是OneData?阿里数据中台实施方法论解读_云 祁的博客-CSDN博客