大数据架构师必知必会系列:数据模型与数据建模

发布于:2023-09-27 ⋅ 阅读:(158) ⋅ 点赞:(0)

作者:禅与计算机程序设计艺术

1.简介

数据模型(Data Model):数据模型就是指对现实世界的数据按照一定的规则进行分类、结构化、描述、存储和管理的方式。数据模型能够帮助用户更好地理解和处理数据的特点、规律、关联关系、约束条件等信息。

数据建模在数据库领域一直扮演着至关重要的角色,其定义、作用及其相关技能是每个DBA都应该掌握的知识。而对于大数据领域的DBA来说,由于其海量、多样、分布式、高维、高吞吐量等特征,如何构建合适的数据模型成为一个难题。

本文将分享我所了解到的大数据建模方法,以及相关的常用工具,希望能够帮助到大家快速入门并提升自己的数据建模能力。

2.背景介绍

大数据架构师作为一名技术专家,一般都会面临一些技术问题,比如日益增长的海量数据量、多样化、分布式存储、高维、异构等挑战。那么如何从多个角度来看待这些问题呢?常用的解决方案之一就是提出业务需求分析(Business Requirement Analysis, BRA),即通过收集用户的业务需求文档,对数据建模提出需求。业务需求分析后,可以制定数据模型设计目标和过程。

BRA包含了以下六个阶段:

  1. 需求调研:研究用户需求,包括市场需求、业务目标以及数据分析需求等。
  2. 数据获取:收集、清洗、归档和规范化原始数据。
  3. 数据抽取:从大量的数据中抽取有效的信息。
  4. 数据转换:对数据进行预处理和转换,使其满足业务需要。
  5. 数据导入:将数据导入数据仓库或数据湖中。
  6. 数据建模:将经过前面的步骤处理后的数据,按照指定的数据模型组织成易于查询的格式,使得用户可以快速、高效地分析数据并发现商业价值。


网站公告

今日签到

点亮在社区的每一天
去签到