Blue Flower

大数据管理:数据集成的技术、方法与最佳实践是一本数据集成领域著作,由美国资深数据集成专家April Reeve编著,余水清,潘黎萍共同翻译。本书高屋建瓴地阐述了在大型组织的环境中,不同计算机系统之间传输数据,以及将异构数据进行集成所用到的技巧、技术以及最佳实践。每一部分都将对该部分所涉及的数据集成类型的架构、工具集以及技术进行阐述,如:批处理集成、实时集成以及大数据集成。同时,在每一部分中还给出了与相关专家就数据集成问题所进行的交流对话,以及基于笔者经验的一些实际案例,能够适用于资深业务和信息技术经理,企业数据、应用和技术架构师等人群阅读。
202209142039041680570000

内容介绍

《大数据管理:数据集成的技术、方法与最佳实践》是数据集成领域的经典著作,由具有数十年从业经验的资深数据集成专家撰写,数据管理专家作序推荐!它为大数据时代的大中型企业管理企业内部大量的、复杂的应用系统之间的数据分享了解决方案,全面而深入地讲解数据集成的工具、方法、技巧、解决方案以及最佳实践。本书分为四部分,共22章,高屋建瓴地阐述了在大型组织环境中,不同计算机系统之间传输数据,以及将异构数据进行集成所用到的技巧、技术和最佳实践,内容涵盖数据集成导论、批处理数据集成、实时数据集成和大数据集成等。
《大数据管理:数据集成的技术、方法与最佳实践》虽然介绍了各种数据集成问题的多种不同类型的技术解决方案,但读者无需具备广阔的技术背景就能理解,适合数据处理相关的项目经理、数据分析师、数据模型设计师、数据库工作者以及数据集成程序员等相关技术人员及数据管理专业学生阅读。
《大数据管理:数据集成的技术、方法与最佳实践》结构如下:
第一部分:数据集成导论
本书第一部分集中论述了在组织的数据管理计划中实现数据集成以及对移动中的数据进行高效管理的重要性和必要性。
第1章:数据集成的重要性
第1章给出了数据集成应当成为组织数据管理的重要课题的原因,以及几乎每个组织都应当在其信息技术基础设施中设立一个数据集成层的原因。
第2章:什么是数据集成
第2章展示了所有可以称为数据集成的过程:移动数据、转换数据、把数据从一个应用迁移到另外一个应用、将所有的信息进行整合,以及针对数据分发不同的数据过程。
第3章:数据集成的类型和复杂性
第3章概要讨论了各种不同的数据集成类型,后继章节会详细论述每种数据集成:批处理数据集成、实时数据集成以及大数据集成。
第4章:数据集成开发过程
第4章主要就数据集成项目的标准开发生命周期以及所需要的资源类型展开论述。
第二部分:批处理数据集成
本书第二部分讨论大规模数据迁移时所涉及的数据集成技巧和技术,这类数据迁移通常称为批处理,或者异步数据集成,用于数据转换以及将数据迁移到数据仓库。
第5章:批处理数据集成简介
第5章阐述了什么是批处理数据集成。
第6章:抽取、转换和加载
第6章讨论了数据集成的核心处理的过程即ETL的处理流程,这一过程几乎用于所有的数据集成,尤其在批处理集成中。
第7章:数据仓库
第7章着重讨论了数据仓库的概念,以及如何将数据装入数据仓库,如何将数据从数据仓库抽取出来。该章还包含了与数据仓库专家KrishKrishnan就数据仓库和数据集成的一个访谈记录。
第8章:数据转换
第8章阐述了数据转换的处理过程。数据转换也叫数据迁移,该章还讲述了数据集成如何成为数据转换过程必不可少的组成部分。
第9章:数据归档
第9章重点论述了数据归档的处理过程,以及数据集成的重要性。同时还包含了和专家JamesAnderson就数据归档和数据集成的访谈。
第10章:批处理数据集成架构和元数据
第10章概述了实现一个批处理数据集成的所有必须工具,包括分析、建模、元数据处理、数据移动、转换以及调度。还包括了与元数据管理专家AdrienneTannenbaum就元数据和数据集成所进行的访谈。
第三部分:实时数据集成
本书第三部分讨论了与实时或者同步数据集成相关的数据集成最佳实践,实时数据集成用于在相互交互的操作型应用和系统之间传输数据。
第11章:实时数据集成简介
第11章介绍了什么是实时数据集成能力。
第12章:数据集成模式
第12章分类讨论了实时数据集成的基本模式,特别是对于数据接口来说至关重要的“中心-节点”模式。
第13章:核心实时数据集成技术
第13章介绍了用于实时数据集成的关键技术,包括ESB、SOA、XML、EAI以及EAI。该章还包括了与XML专家M.DavidAllen关于实时数据集成中XML的重要性的访谈,以及与数据集成专家DavidLinthicum就企业服务总线的访谈。
第14章:数据集成建模
第14章论述了数据集成中数据建模的关键领域,特别是对于实时数据集成来说。数据建模专家DagnaGaythorpe结合其自身经验,就作为中心-节点接口架构不可或缺的一部分的数据建模给出了权威阐述。
第15章:主数据管理
第15章阐述了主数据管理,以及数据集成如何与主数据管理相互穿插,并成为其成功的基石。
第16章:实时更新数据仓库
第16章论述了数据仓库的实时更新技术。数据仓库专家KrishKrishnan就数据仓库和实时数据集成继续展开访谈。
第17章:实时数据集成架构和元数据
第17章给出了实现一个实时数据集成能力所必备的工具,包括分析、建模、元数据存储、数据迁移、转换以及事件调度等。
第四部分:大数据集成
202209142039045228420001

章节目录

译者序序言前言第一部分 数据集成导论第1章 数据集成的重要性1.1 数据接口的天然复杂性1.2 购买供应商应用包的数量日益增加1.3 大数据和虚拟化的催化剂第2章 什么是数据集成2.1 运动中的数据2.2 集成为通用格式—数据转换2.3 数据从一个系统迁移到另一个系统2.4 在组织内部移动数据2.5 从非结构化数据中抽取信息2.6 将处理移动到数据端第3章 数据集成的类型和复杂性3.1 管理运动中的数据和持久化数据的异同点3.2 批处理数据集成3.3 实时数据集成3.4 大数据集成3.5 数据虚拟化第4章 数据集成开发过程4.1 数据集成开发生命周期4.2 包含业务知识和专家经验第二部分 批处理数据集成第5章 批处理数据集成简介5.1 什么是批处理数据集成5.2 批处理数据集成生命周期第6章 抽取、转换和加载6.1 什么是ETL6.2 概要分析6.3 抽取6.4 暂存6.5 访问层次6.6 转换6.6.1 简单映射6.6.2 查找表6.6.3 聚合和规范化6.6.4 计算6.7 加载第7章 数据仓库7.1 什么是数据仓库7.2 企业数据仓库架构中的层次7.2.1 操作型应用层7.2.2 外部数据7.2.3 数据仓库中的数据暂存区7.2.4 数据仓库数据结构7.2.5 从数据仓库到数据集市或者商务智能层的暂存7.2.6 商务智能层7.3 加载到数据仓库中的数据类型7.3.1 数据仓库中的主数据7.3.2 数据仓库中的余额和快照数据7.3.3 数据仓库中的事务型数据7.3.4 事件7.3.5 调整第8章 数据转换8.1 什么是数据转换8.2 数据转换生命周期8.3 数据转换分析8.4 数据加载最佳实践8.5 提高源数据质量8.6 映射到目标系统8.7 配置数据8.8 测试和依赖8.9 私有数据8.10 校对8.11 环境第9章 数据归档9.1 什么是数据归档9.2 归档数据选择9.3 已归档数据可以恢复吗9.4 归档环境下数据结构的确认9.5 灵活的数据结构第10章 批处理数据集成架构和元数据10.1 什么是批处理数据集成架构10.2 概要分析工具10.3 建模工具10.4 元数据存储库10.5 数据移动10.6 转换10.7 调度第三部分 实时数据集成第11章 实时数据集成简介11.1 为什么需要实时数据集成11.2 为什么需要两组技术第12章 数据集成模式12.1 交互模式12.2 松耦合12.3 中心和节点模式12.4 同步交互和异步交互12.5 请求和应答12.6 发布和订阅12.7 两阶段提交12.8 集成交互类型第13章 核心实时数据集成技术13.1 令人困惑的术语13.2 企业服务总线13.3 面向服务架构13.4 可扩展标记语言13.5 数据复制和变化数据捕获13.6 企业应用集成13.7 企业信息集成第14章 数据集成建模14.1 规范化建模14.2 消息建模第15章 主数据管理15.1 主数据管理简介15.2 需要主数据管理方案的原因15.3 购买的软件包与主数据15.4 参考数据15.5 主和从15.6 外部数据15.7 主数据管理功能15.8 主数据管理方案的类型—注册表以及数据中心第16章 实时更新数据仓库16.1 企业信息工厂16.2 操作型数据存储16.3 移动到数据仓库的主数据第17章 实时数据集成架构和元数据17.1 实时数据集成元数据简介17.2 建模17.3 概要分析17.4 元数据库17.5 企业服务总线—数据转换和调度17.5.1 技术中介17.5.2 业务内容17.6 数据移动和中间件17.7 外部交互第四部分 大数据集成第18章 大数据集成简介18.1 数据集成及非结构化数据18.2 大数据、云数据及数据虚拟化第19章 云架构和数据集成19.1 为什么云中的数据集成比较重要19.2 公共云19.3 云安全19.4 云延迟19.5 云冗余第20章 数据虚拟化20.1 恰逢其时的一项技术20.2 数据虚拟化的商业用途20.2.1 商务智能方案20.2.2 集成不同类型的数据20.2.3 快速向数据仓库中增加或者原型增加数据20.2.4 将物理上不同的数据一起展现20.2.5 利用不同的数据和模型触发交易20.3 数据虚拟化架构20.3.1 源和适配器20.3.2 映射、模型和视图20.3.3 转换和展现第21章 大数据集成21.1 什么是大数据21.2 大数据维度—量21.2.1 大规模并行处理—将处理过程移动到数据端21.2.2 Hadoop和MapReduce21.2.3 与外部数据集成21.2.4 虚拟化21.3 大数据维度—多样性21.3.1 数据类型21.3.2 集成不同类型的数据21.4 大数据维度—速度21.4.1 流式数据21.4.2 传感器和GPS数据21.4.3 社会化媒体数据21.5 传统大数据应用案例21.6 更多大数据应用案例21.6.1 医疗21.6.2 物流21.6.3 国家安全21.7 利用大数据的力量—实施决策支持21.7.1 触发行动21.7.2 从内存以及磁盘中检索数据的速度21.7.3 从数据分析到模型,从流式数据到决策21.8 大数据架构21.8.1 操作型系统和数据存储21.8.2 中间数据中心21.8.3 商务智能工具21.8.4 数据虚拟化服务器21.8.5 批处理和实时数据集成工具21.8.6 分析型沙盒21.8.7 风险响应系统第22章 移动数据管理总结22.1 数据集成架构22.1.1 为什么需要数据集成架构22.1.2 数据集成生命周期和专家经验22.1.3 安全和隐私22.2 数据集成引擎22.2.1 操作连贯性22.2.2 ETL引擎22.2.3 企业服务总线22.2.4 数据虚拟化服务器22.2.5 数据移动22.3 数据集成中心22.3.1 主数据22.3.2 数据仓库和操作型数据存储22.3.3 企业内容管理22.3.4 数据归档22.4 元数据管理22.4.1 数据发现22.4.2 数据概要分析22.4.3 数据建模22.4.4 数据流建模22.4.5 元数据存储库22.5 结束语参考文献

使用说明

1、下载并解压,得出pdf文件
2、如果打不开本文件,请务必下载pdf阅读器
3、安装后,在打开解压得出的pdf文件
4、双击进行阅读试读>

下载仅供下载体验和测试学习,不得商用和正当使用。

下载体验

请输入密码查看内容!

如何获取密码?

 

点击下载