资料解读：（共107页PPT）企业数字化转型整体规划技术篇
详细资料请看本解读文章的最后内容
这份企业数字化转型整体规划——技术篇，实质上是一份面向消费金融及类金融机构的大型数据平台与数字化体系建设实施方案。它从为什么要转、转成什么样、怎么分步落地、先建哪些系统几个维度，给出了完整的技术路线。
一、建设背景与动因
文件开篇指出，企业希望在差异化经营、业务转型创新（客户深耕、渠道创新、产品差异）、综合化经营以及管理精细化等方向发力。科技被定位为推动业务创新的核心——通过生物识别、移动互联网支付、大数据、云计算、可穿戴设备等，强化客户洞察、全渠道协同、精准营销与风险监控能力。
具体到现状，企业已积累零售业务数据仓库，开展了供应链金融、人人贷、保理等业务并沉淀了数据，但存在明显痛点：数据未充分整合、缺乏统一企业级数据视图、无客户360度视图、风险评估体系薄弱、关键绩效指标（KPI）体系缺失。因此规划明确提出——近期重点是建设基础数据平台与BI应用，通过统一的大数据共享和分析平台，支持前瞻性预测与集团各级决策。预期收益归纳为五点：实现数据共享、加强业务协作、促进业务创新、提升IT建设效率、改善数据质量。
二、需求分析与总体架构
技术篇给出了一套分层、分域的企业数字化转型总体架构：
·数据产生层：涵盖业务系统结构化数据（商城零售、供应链、人人贷、基金等）、企业内部非结构化数据（访问日志、投诉、点评）及外部非结构化数据（政策法规、社交媒体等）。采用增量为主、全量为辅的采集方式，初始加载全量，日常由云数据推送平台通过解析源系统日志识别增量。
·数据交换层：按数据源特点设计三类组件——数据库数据交换组件（结构化数据，Perl程序轮询NAS、质量检核后Hive Load）、大数据交换组件（非结构化/半结构化，支持SFTP批量及API/爬虫实时采集，入HDFS）、数据区数据交换组件（各Hadoop数据区之间用Sqoop/Hive外部表/Distcp交换，含归档）。NAS存储承担临时文件缓存、ETL程序区及Hadoop元数据区。
·流程调度层：自研WorkFlow组件统一调度——批量流程完成"源→临时→贴源整合→主题整合汇总→集市交付"；实时流程通过消息队列获取增量与非结构化数据入实时数据区并标准化；归档流程按生命周期将过期数据迁入历史归档区。
·数据存储（计算）层：细分为临时数据区（缓存前日增量，保留7天）、贴源数据区（历史明细，拉链表保留约37个月，快照/交易表分别永久或保留25个月）、主题数据区—明细（第三范式，打破条线整合）、主题数据区—汇总（逆范式宽表，预汇总，依应用需求保留）、大数据区（HDFS存非/半结构化，做文本/图像/音频结构化处理，保留1年）、历史归档数据区（HDFS，保留建议7年）、集市数据区（维度模型，供管理分析）、沙盘演练数据区（随实验保留）、增值产品数据区（面向内外部封装产品）、实时数据区（贴源模型，高并发联机查询，365×24小时）。
·数据应用层：五类——管理分析类应用（客户管理、运营管理、财务管理、风险管理、监管披露，常用MicroStrategy等BI工具）、实时/高时效分析类应用（CEP/ESB，支持交易实时查询）、历史查询类应用（审计、公检法查询）、数据增值类产品（R/BI封装对内对外产品）、沙盘演练类应用（R语言+Hadoop建模验证）。
·数据访问层：支持静态报表、仪表盘、多维分析（上/下钻等）、即席查询、Office嵌入、主动预警、挖掘预测及Web服务供其他系统调用，面向决策层、管理层、业务人员、数据科学家及业务系统。
·数据管控层：建立数据管控体系——组织（数据管理委员会、数据拥有/产生/使用/管理部门、数据管控经理等）、流程（认责、标准建立维护、质量要求确定、元数据变更、安全审批、考核等）、平台（数据标准、元数据——业务/技术/管理元数据、数据质量——定义规则→检核→报告→提升、数据安全——分级+访问授权）。强调用考评指标驱动标准与政策落地。
三、演进路线与分期建设
规划分三阶段推进：
·第一阶段（2013年前后基准）：搭建基础数据平台（Hadoop集群，含临时/贴源/汇总数据区），开展贴源数据整合，初步建立企业级视图；同步启动数据管控——技术元数据管理、数据质量初评、数据标准化；应用侧先建客户信息管理、信用风险评级和业务统计分析三类。
·第二阶段（2014–2015年）：深化管理分析、实时分析及沙盘演练应用，初步开发数据增值产品；持续完善数据质量与元数据，扩展数据源丰富平台数据区；全面开展管控体系建设。
·第三阶段（2015年以后）：引入更多内外部数据源，搭建大数据处理与实时分析平台；深化智能化分析，形成企业级数据管控体系闭环；持续对平台性能优化并对业务创造价值进行评估。
四、一期落地技术细节（核心实施指导）
·数据交换平台：由FTP服务器（LVS集群）、加载服务器、NAS集群构成。云数据推送平台用GoldenGate/JBUS/Flume捕获增量→MySQL→按接口规范生成数据/控制/DDL文件（UTF8，LZO压缩）→FTP至NAS。加载服务器监控目录、做文件级检核、Hive Load入临时区并归档。明确消费金融侧与云计算侧在接口定义、抽取、加载、变更通知上的责任划分。
·流程调度平台（TaskAutomation）：元数据存MySQL（主从），支持定时触发、事件触发（如文件到达）、手动触发；任务可定义依赖/组/下游触发；集群可横向扩展，故障切换不改依赖关系。一般临时/归档区调度部署在加载服务器，贴源区和汇总区各用独立调度服务器。
·基础计算平台：基于Hadoop——NameNode+JobTracker（含备）、70台DataNode/TaskTracker，三副本容错。临时数据区按日分区LZO压缩，仅ETL访问保留7天；贴源数据区记录历史（拉链表/快照/流水分别定保留期，过期归档）；汇总数据区用维度建模宽表预汇总。支持通过加节点横向扩展。
·管理分析平台：X86 MPP分析型数据库集群+MicroStrategy BI（客户信息、运营绩效等模块），部分零售灵活分析可基于内存数据库（如HANA）。配套LDAP统一认证、授权、审计管理。
·硬件与软件：全X86架构服务器——基础计算平台73台、集市平台约30台、流程调度7台左右、数据交换5台对接云推送；NAS集群40TB（15K SAS，万兆）；核心交换机需相应千/万兆端口。软件含Hadoop、Hive、Sqoop、Distcp、TaskAutomation、MicroStrategy、Tomcat等。
·数据质量管理（延伸）：独立Schema存规则与结果，规则配置与报告展现为Web应用，检核执行嵌ETL四点检查（交换后、贴源后、汇总后、集市后），由调度引擎统一跑；产出源系统交换质量日报、数据质量汇总日报和月报。
通篇来看，该技术篇不是单纯概念堆砌，而是把企业数字化转型拆解为"数据从产生到价值释放"的全链路工程——从源系统对接、数据交换与调度、分层存储与计算、到管理分析与增值应用，再辅以数据管控体系和明确的三阶段演进，特别一期给出了可直接落地的平台组成、部署架构与责任分工，是一份相当完整的企业级数据平台规划建设方案。
接下来请您阅读下面的详细资料吧
