未来公寓智能化设计平台项目（上）

1. 社区基础数据中心建设
   1. 建设目标

1、整理部分业务数据根据数据中台规范接入；数据指标的生成由数据中台统一处理和输出；

2、统一对数据指标定义的理解；通过系统在线快速追溯数据源头；

3、可打造贴合未来社区特性的数据分析：如：停车场景分析、社区安防场景分析；

4、提供标准的数据服务接口，供后续项目使用

3.1.1 统一数据资产技术架构 

打破数据隔离存储、计算的孤岛现状，聚合物联网数据资产，构建物业数据中心，利用大数据手段，采用混搭技术，实现数据采集、存储、计算、应用的统一管理与服务。引入元数据管理、数据质量管理、数据资产管理等手段实现数据资产的可管可控。

3.1.2 完善和规范数据相关标准 

在业务规范和标准基础上，固化数据标准和规范，数据存储分层、分域，确保数据资产高可用

数据规范和标准包括元数据管理标准（包括业务元数据、基础元数据等不同类型元数据类型）、数据模型建设标准（包括分域、分层、命名、定义、鉴权等各类模型标准）。

数据开发者遵循数据中台提供的统一标准与规范，可以提升开发效率、确保模型质量及业务规则的唯一性。

3.1.3 统一元数据管理，编制数据资产目录 

通过元数据管理工具，统一采集和管理元数据信息，编制数据资产目录，并支撑数据应用。所有开发活动均以元数据管理为驱动，实现先定义、后开发。

3.1.4 建立数据质量管理体系，提高数据质量水平

建设数据质量管理平台，建立数据质量问题发现、修复的管理机制，逐步提升数据质量。数据质量管理参与至开发过程与数据任务的执行过程，及后续的稽核过程。结合元数据定义，实现了数据质量管理的事前、事中、事后的全链路数据质量管控，确保数据及业务的高可用。

3.1.5 构建数据应用和服务体系，提高数据应用水平

构建开放的微应用和微服务体系，制定服务和应用技术架构和数据服务管理制度，建设微服务、微应用基础平台能力，实现应用之间相互依赖解耦、实现应用与数据之间的解耦。

1. 1. 建设原则

本项目的建设需要遵循以下总体建设原则：

• 技术先进

应统筹考虑大数据局等各单位各项技术选型要求，保证在满足信息化技术支撑需求的前提下，信息技术适度超前，保持先进。

• 管理配套

建设过程中，需同步明确新基础架构相关管理配套保障并有效落实，确保建设成效持续。

• 稳步推进。

充分考虑各项影响因素，分阶段逐步推进基础架构优化升级，明确各阶段重点、方式及预期成果，确保过程可控，成果可期。

• 全局思维

以战略思维、全局视野对信息新技术和企业数据价值的各方面、各层次进行统筹考虑，明确整体思路、建设目标、重点任务内容及配套资源，全面系统、积极稳妥地推进信息化基础架构优化综合试点工作，要求能够通过接口对接统推提到的业务系统，数据模型层面统一构建。通过统一的数据服务开放能力，支撑物业业务快速构建。

• 依托基础，改造提升

通过大数据和云计算平台等现有基础资源对接，通过改造提升、交换共享等技术手段，形成物理相对集中、逻辑统一的云计算基础设施服务平台和数据共享平台。

• 基础先行，应用促进

首先构建数据统一存储、计算和管理基础平台，进行数据资产化管理，分步骤建设上层大数据应用，促进平台的应用和发展。

• 综合防范，确保安全

正确处理好共享与可控、发展与安全的关系。在建设数据中台项目基础平台时，要同步构建完整的安全防控体系，确保大数据和云计算服务环境中的数据安全、隐私保护、运营秩序，增强抵御风险和自主可控能力。

1. 1. 社区数据中台建设方案

3.3.1数据中台总体架构

未来社区社区数据中台总体架构如下图所示：

 

如上图，数据中台核心内容包括：

a.数据加工研发系统：

智能数据研发系统，提供可视化数据模型构建、指标规范构建、数据处理逻辑及任务开发、调度、监控、数据交换等开发环境与执行环境，满足不同类型的数据开发需求。

b.数据门户：

包括数据资产概览、数据地图（元数据管理）、数据治理、资产应用、资产运营等功能，可以实现元数据驱动的数据开发与数据任务过程管控及事后稽核，确保数据资产的唯一性与标准化。

c.数据中台模型：

基于以上工具平台建成企业基础数据中心、全域数据中心、数据服务中心，对所有的数据进行垂直化处理，全域处理，以及数据连接萃取，搭建数据公共层，从基础层到应用层，从数据采集，数据清洗结构化，对数据进行建模、研发（中间层、应用层），数据连接（主题），萃取标签和画像。

d.数据服务：

数据服务通过数据模型的API化封装，实现了数据和上层应用的灵活解耦，外部或上层应用可以对数据的存放位置、数据的存放格式等无感知，形成对业务系统的支撑和服务能力以及外部的数据交换能力，提升数据服务的可计量能力及使用效率。

f.数据展示应用：

数据中台提供自助分析能力及可视化报表开发能力，应用开发者基于此及各类数据资源，开发各类数据展示应用。

结合上述功能描述，数据中台将提供包括底层计算引擎、数据中台、数据服务等相关产品能力，平台产品架构图如下：

 

g.存储计算引擎：

以hadoop平台构成数据中台的存储和计算引擎层，hadoop用于存储非结构化数据，高性能缓存服务中心支撑存储结构化数据，并提供数据建模、数据挖掘计算能力。

h.数据中台：

数据中台由一系列工具产品构成，主要包含数据模型设计、数据资产管理、数据开发、计算任务调度、数据运维管理、数据质量管理等模块。

i.数据服务：

数据服务层直接给应用系统或平台用户提供数据查询服务，Hbase提供快速键值查询、Mysql提供关系数据查询、OSS提供图像视频访问服务、ADS提供多维分析查询服务。

3.3.2数据中台功能描述

①数据资源梳理

对未来社区的主要数据资源进行梳理，确定数据资产管理范围，编制数据资源资产目录，划分数据资产管理的优先级，有重点、有节奏地进行数据资产管理。

需要对数据来源、数据抽取加载周期（批量离线或者实时在线）、接口标准、数据分域原则等进行梳理和盘点，并制定相关规范与标准。

②数据处理

数据处理包括数据采集、清洗、加载等过程，加工后的数据可以存储在分布式文件系统、关系型数据仓库等媒介中。

在数据资源梳理的基础上，确定数据接入到信息部全业务数据中心大数据平台的范围和时间节奏，确定数据接入的技术方案，包括数据存储方案、数据迁移方案、数据同步方案，以及数据接入任务的开发、调度和管理。

数据接入包括批量数据接入以及实时数据接入，通过批量数据处理和实时处理方式。

按照大数据“存通用”的方法论，在数据接入到大数据平台后，首先对原始数据进行存储，然后对异常数据进行适当的转换和清洗，主要包括对缺失值的填补、对异常值的扫描识别和转换。

1）批量离线数据处理

整个离线数据处理过程，需要对数据进行数据传输、数据转换等相关操作，从不同的数据存储引入数据，对数据进行转化处理，最后将数据提取到其他数据系统，从而完成整个数据的采集、转换、加载过程。

离线处理平台功能与特点如下：

a.全面托管的调度

提供强大的调度能力，支持按照时间、依赖关系的任务触发机制，支持每日千万级别的任务按照DAG关系准确、准时运行。支持分钟、小时、天、周、月多种调度周期配置。

完全托管的服务，无需关心调度服务器资源问题。租户之间提供隔离，保证不同租户之间的任务不会相互影响。

b.支持多种任务类型

支持数据同步、SHELL、ODPS SQL、ODPS MR、机器学习 等多种任务类型，通过任务之间的相互依赖完成复杂的数据分析处理。

c.可视化开发

提供可视化的代码开发、工作流设计器页面。无需搭配任何开发工具，简单的拖拽和开发就可以完成复杂的数据分析任务。只要有浏览器有网络，就可以随时随地进行开发工作。

d.监控告警

运维中心提供可视化的任务监控管理工具，支持以 DAG 图的形式展示任务运行时的全局情况，可方便的配置短信报警，任务发生错误及时通知相关同学。保证业务发展。

数据开发流程介绍：

通常情况下，数据开发需经如下开发流程来完成，

 

从上图可以看出，数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享，其中虚线框内的开发流程都可基于阿里云大数据平台来完成 。

简要说明如下：

a.数据产生

社区业务系统和物联网设备每天会产生大量结构化的数据，这些数据都存储在业务系统所对应的数据库中，包括 MySQL、Oracle、RDS 等类型。

b.数据收集与存储

通过数据集成服务，可支持多种数据源类型将业务系统数据按照预设的调度周期同步到 指定存储媒介。

c.数据分析与处理

随之可对 指定存储媒介上的数据进行加工、分析与挖掘（数据分析、数据挖掘）等处理，从而发现其价值 。

d.数据提取

分析与处理后的结果数据，需同步导出至业务系统，以供业务人员使用其分析的价值 。

f.数据展现和分享

最后可通过报表、地理信息系统等多种展现方式来展示与分享大数据分析、处理成果 。

2）实时在线流处理

流计算处理过程支持多个数据源的流入，并且提供数据开发，数据存储，数据运维功能，旨在更少的时间内处理更多的数据，其流数据是按照时间发生顺序被流计算订阅和消费，且数据流可以持续的集成进入到流计算平台中，具备强大的实时处理能力。

简要说明如下：

a.性能方面上计算可达到秒级别延迟，完全弹性伸缩扩展。 

b.支持SQL进行实时数据清洗、统计汇总、数据分析，支持通用的聚合函数，支持流数据和静态数据关联查询，支持自定义UDF函数，可以任意拓展业务逻辑。

c.稳定性方面将保证数据计算不重不丢，数据质量严格保证，杜绝不同用户之间干扰。

d.强大的流计算引擎，支持各类Fail场景的自动恢复，保证故障情况下数据处理的准确性；支持多种内建的字符串处理、时间、统计等类型函数。

f.深度整合各类云数据存储，包括DataHub、日志服务(SLS)、RDS、OTS、ADS、IOTHub等各类数据存储系统，无需额外的数据集成工作。

g.提供完全租户隔离的托管运行服务，从最上层工作空间到最底层执行机器，提供最有效的隔离和全面防护。

3）数据任务调度

数据开发调度是日常运维的主要工具，可对已提交的工作流及其节点任务进行管理与维护，同时也可针对节点来添加监控报警 。

主要分为运维概览、任务管理、任务运维和监控报警四个模块 。

主要针对平台的全局任务进行查看与管理，包括任务完成情况、任务运行情况、任务执行时长排行、调度任务数量趋势、近一月出错排行以及当前项目空间中任务类型分布 。

 

运维概览

概览页面共包含了以下几个模块：任务完成情况、任务运行情况、任务执行时长排行、近一月出错排行、调度任务数量趋势、任务类型分布。

a.任务完成情况

 

b.任务运行情况

 

c.任务出错列表

 

任务管理

任务管理包括：任务管理视图、任务管理列表两个部分。可通过任务可视化视图及任务列表视图两种方式来进行管理 。可视化视图可对任务的上下游依赖关系等进行维护与管理；列表视图则以图表形式列出任务的运行状态，可以进行批量操作 。

a.任务管理视图

用户有权限查看的任务列表（任务名称、修改日期）以及筛选条件，右侧主体栏展现任务间依赖关系的 DAG 图，双击工作流可以进入该工作流的节点 DAG 图 。

 

b.测试任务：可指定业务日志来测试当前任务运行情

 

c.节点 DAG 界面

 

d.任务管理列表，他是指对当前项目空间内的任务以列表形式进行的管理

 

可以对单个或批量节点任务添加监控报警，选中需要配置报警的节点，点击“添加报警”

 

 

上下游任务流程管理

 

选择对应的工作流，在右边操作栏点击“补数据”，可对本任务及其相关任务进行补数据操作

 

 

任务运维包括：对任务在周期性运行、测试运行、补数据运行三种操作下的任务状态运维操作界面，有任务运维视图、任务运维列表两个展示方式。用户可通过DAG（有向无环图）操作和列表操作，其中列表操作时可以进行批量操作。任务在运行的不同阶段拥有不同状态，系统通过未运行、运行中、运行成功、运行失败、停止运行等状态机呈现任务在开始到结束的生命周期中的全部状态。针对不同状态的任务用户可以进行相应的操作，如：运行失败任务的重跑、运行中任务的停止、运行中任务的查看日志等。

监控报警

监控报警模块是调度任务节点的监控保障系统，主要包括报警记录和自定义提醒两部分。当任务出现错误的时候，系统会通过预定义的方式告知用户任务失败。用户可以按照自己定义的规则来配置告警规则。

配置监控报警

可以对单个或批量节点任务添加监控报警，选中需要配置报警的节点

修改报警配置项

查看已经发出的报警记录

报警记录仅在生产环境生效，开发环境无报警记录。

进入监控报警—报警记录页面，历史发出的报警记录都可以在此页面查找到，通过此页面可以查看历史的报警详细信息，以便于定位和分析问题。

可通过工作流名称、节点名称、责任人、时间段来进行搜索

③数据建模

结合数据资源情况以及大数据应用规划，建设数据中间层模型，建设目标为对数据对数据资源的主题化整理和数据指标标准化管理，目的是让数据应用变得便捷。

主要内容为数据主题划分、数据指标命名标准化、数据指标归一化。

1）数据模型架构设计

数据模型是抽象描述现实世界的一种工具和方法，是通过抽象的实体及实体之间联系的形式，来表示现实世界中事务的相互关系的一种映射。在这里，数据模型表现的抽象的是实体和实体之间的关系，通过对实体和实体之间关系的定义和描述，来表达实际的业务中具体的业务关系。

数据模型设计是按照一定的数据模型，对整个XX业务的数据进行采集，整理，并且能够按照各个业务部门的需要，提供跨部门的，完全一致的业务报表数据，能够通过数据仓库生成对对业务具有指导性的数据，同时，为领导决策提供全面的数据支持。

数据模型架构：

• ODS（操作数据）层；
• CDM（公共维度模型）层；
• ADS（应用数据）层。

ODS层: 即操作数据操作（Operational Data Store）层，它是从业务系统过渡到数据仓库核心层的操作数据的模型， ODS模型的数据结构与业务系统基本保持一致，同时不做存储。

CDM层又细分为DWD层和DWS层，分别是明细宽表层和公共汇总数据层，采取维度模型方法基础，更多采用一些维度退化手法，减少事实表和维度表的关联，容易维度到事实表强化明细事实表的易用性；同时在汇总数据层，加强指标的维度退化，采取更多宽表化的手段构建公共指标数据层，提升公共指标的复用性，减少重复的加工。

DWD层: Data Warehouse Detail Model是CDM层中的明细宽表层，用于存放完整详细历史数据。他面向业务过程建模，紧紧围绕着业务过程来设计，通过获取描述业务过程的度量来表达业务过程，包含了引用的维度和与业务过程有关的度量。其设计目标是为后续的Data Warehouse Model提供灵活性和扩展性的基础，同时可以在DW层无法支持需求时直接为应用层提供数据。DWD层由于与业务系统耦合程度较高，其稳定性会受到业务系统的影响。

DWS层：存放详细历史数据的公共汇总数据层，面向分析主题建模。DW层是核心层，设计目标是为应用层提供足够的灵活性和扩展性的基础。同时，由于CDM层包含了整个数据中台的大部分数据，是数据中台的基础，所以保证该层数据健壮性是首要的。

ADS层：即应用数据层，他的主要功能包括

• 个性化指标加工：不公用性；复杂性（指数型、比值型、排名型指标）
• 基于应用的数据组装：大宽表集市、横表转纵表、趋势指标串

2）数据模型开发规范

社区数据模型公共层设计理念遵循维度建模思想理念，数据模型的维度设计主要以维度建模理论为基础，基于维度数据模型总线架构，构建一致性的维度和事实。数据模型事实表设计在维度建模里面事实表的基础上，结合社区数据使用场景的具体实践，进行了一定扩展，采用宽表设计方法。所谓宽表：为了提升访问便利性和访问性能，在维度模型的事实表基础上，将部分常用维度冗余到事实表。

基本原则：

• 高内聚和低耦合；
• 核心模型与扩展模型分离；
• 公共处理逻辑下沉及单一；
• 成本与性能平衡；
• 数据可回滚。

命名规范：

• 主题域命名；
• 表的命名规范。

3）数据主题域模型设计

数据域是指面向业务分析，将业务过程或者维度进行抽象的集合。其中，业务过程可以概括为一个个不可拆分的行为事件，如消费者注册、登录、收藏、分享等。为保障整个体系的生命力，数据域需要抽象提炼、并且长期维护和更新的，但不轻易变动。在划分数据域时，既能涵盖当前所有的业务需求，又能在新业务进入时无影响的被包含进已有的数据域或者扩展新的数据域。

举例：一般电商销售类企业的数据域设计如下，实际建设可根据具体情况进行调整：

数据域	数据域定义	英文名
渠道域	OTA旗舰店、线下代理商等渠道及其相关管理信息	chan
消费者域	注册、增长、存量等用户数据	user
商品域	商品信息、商品发布、商品修改、商品下架等商品数据	prod
交易域	交易链路强相关的数据（收藏、加购、下单、支付）	order
仓储物流域	库存、出入库、物流运输等信息	logi
服务域	售前咨询、售后服务、评价、退款退货等服务数据	serv
营销域	营销活动所涉及的优惠券和满赠等形式的发放和使用	mark
社交域	同行、代买等	soci
日志域	PC及移动端的日志数据（搜索、曝光、浏览、点击等)	log
组织效能域	公司内业务部门组织结构及反映工作效能相关的数据	Org

④数据资产管理

数据资产管理包括资产地图、数据资产治理、数据资产应用等模块，数据资产治理包括元数据管理、数据质量管理、数据安全管理等。

1）元数据管理

在数据接入及数据中台建设的基础上，依据元数据管理规范，借助元管理平台工具，以数据表为单位，补充每张表的元数据信息，主要包含表和字段的命名、备注说明、指标口径描述，数据量描述，数据产生时间描述，数据血缘及加工逻辑描述等。目的是让数据应用方充分了解数据内容和使用方式。

数据管理模块中可以看到组织内全局数据视图、分权管理、元数据信息详情、数据生命周期管理、数据表/资源/函数权限管理审批等操作

数据管理模块是整个组织的数据管理，与组织项目的组织管理员/项目管理员两个角色有关联外，其他角色关联不大，是否能通过该模块创建修改表是看当前登录账号是否有对应odps project的权限。

数据管理模块权限点划分表：

功能模块	权限点	组织管理员	项目管理员	开发
权限管理	权限审批与收回	—	√	—
管理配置	类目导航配置	√	√	√
数据管理	自己创建的表删除	√	√	√
数据管理	自己创建的表类目设置	√	√	√
数据管理	自己收藏的表查看	√	√	√
数据管理	新建表	√	√	√
数据管理	自己创建的表取消隐藏	√	√	√
数据管理	自己创建的表结构变更	√	√	√
数据管理	自己创建的表查看	√	√	√
数据管理	自己申请的权限内容查看	√	√	√
数据管理	自己创建的表隐藏	√	√	√
数据管理	自己创建的表生命周期设置	√	√	√
数据管理	非自己创建的表数据权限申请	√	√	√

2）数据全局管理

查找数据

3）数据质量管理

在数据接入及数据中台建设的基础上，依据数据质量管理规范，借助质量管理平台工具，定义数据质量管理监控规则，发现在数据加工流转过程中的数据质量问题，并建立数据质量改进和优化的机制和手段。

数据质量管理规则可以对表的数据期望配置一些规则，对表的数据进行校验工作。DQC规则遵循下沉机制，能在链路前端配置，尽量在链路前端配置，有利于提前发现问题。

可以面向hadoop 、TDDL(mysql) 、HSF接口、HTTP接口、API接口、页面指标元素提供分钟级到天级的指标数据异常智能监控服务。

数据质量管理，包括业务管理、监控配置、告警组管理、我的告警、监控实例、我的反馈等能力，满足对于表规则、业务指标等不同类型涉及质量要求的内容监控。用户可以设置告警机制、趋势图表、告警通知方式。也可以进行单值监控，也可以多维度值监控。

如图，设置监控规则

业务监控：

数据安全管理

数据安全管理提供各种去隐私、加解密算法，根据客户实际数据需求，进行数据去隐私保护。

⑤数据应用开发

1）BI报表开发

BI数据展现是一个基于云计算的灵活的轻量级的自助BI工具服务平台。实现了可以对海量数据进行实时在线分析，同时提供海量数据实时在线分析服务，支持拖拽式操作、提供了丰富的可视化效果，无需提前进行大量的数据预处理，极大提高了分析效率。极大降低了数据的获取成本和使用门槛。能够让集团每个人都成为数据分析师，帮助企业实现数据化运营。

同时BI的数据展现将提供如下功能：

图表：丰富的数据可视化效果。系统内置柱状图、线图、饼图、雷达图、散点图等20多种可视化图表，满足不同场景的数据展现需求，同时自动识别数据特征，智能推荐合适可视化方案。

实时：海量数据实时分析，无需提前进行大量的数据预处理。

分析：多维数据分析。基于WEB页面的工作环境，拖拽式、类似于EXCEL的操作方式，一键导入、实时分析，可以灵活切换数据分析的视角，无需重新建模。

加速：智能加速引擎。独有的一键查询加速功能，亿级数据秒级响应，一键操作，流畅地进行海量数据分析。

集成：灵活的报表集成方案。您可以将BI报表嵌入到自有系统里，直接在自有系统访问报表，并实现免登。

安全：严密的权限管控。有权限管控方案，多层次校验，确保云上数据安全。

3.3.3数据中台数据来源

①组织管理类信息

小区管理：辖区所管辖的小区地址、唯一编码、业委会和物业联系人的联系方式等信息管理。

小区业委会管理：管理辖区内小区业委会的信息

小区物业管理：小区物业的联系人、地址、联系方式等信息管理。

②场所信息

场所信息汇总：汇总出租屋、商铺、共享空间等场所信息

房屋概况：社区房屋的自主、出租、空置等情况展示

智慧党员活动室：建设党建引领的园区治理管理系统，提供党委会管理、运行、指导、活动提供平台和数字化服务保障，为园区党委会发挥引领和指导作用提供系统和技术支持。

共享空间：图书馆、活动室、健身房等管理

商铺管理：管理辖区内出租屋、承租者、租期、租金、联系方式。

出租房管理：管理出租屋的业主、租客信息，支持租客、房东扫码录入租客信息。

③事件信息

实时事件：实时事件列表展示，包括事件名称、发生时间、当前状态等信息。

④人口信息

人口信息汇总：所有人口信息都汇总在这里，常住人口、流动人口等都汇总到这里。

常住人口：管理常住人口列表，包括年龄、性别、联系方式、住址等信息。

流动人口：管理流动人口列表，包括年龄、性别、联系方式、住址等信息。

重点人员：管理重点人员列表，包括年龄、性别、联系方式、住址等信息。

⑤车辆信息

管理车辆的车牌、车主、车主联系方式等信息，以及进出场相关时间信息。

⑥便民设施信息

物流柜、药物柜、无人零售柜、智能灯杆等相关信息。

⑦安全设施信息

烟感、消防栓、地磁、电梯、智能井盖等相关信息。

⑧治安管理信息

门闸、车闸、门禁、监控等相关信息。

获取完整版文档请添加关注并私信沟通！

二手房