作者:禅与计算机程序设计艺术
1.简介
数据仓库(Data Warehouse)是企业用来存储、汇总、分析和报告企业级数据的重要系统。数据仓库是一个集成的、面向主题的、多维度的、共享的、时间连续的存储库,具有高度的数据抽象性和独立的业务价值,可以支持决策支持、分析、报告和集成应用等多种功能。数据仓库中的数据经过充分的加工和处理,可以在多种角度、层次上提供对公司数据的客观、可靠和时效的信息反映。随着互联网、移动通讯、物联网、金融服务、新能源等新型经济形态的到来,基于云计算、大数据、人工智能等新兴技术的快速发展,以及现代管理理念和制度的变革,使得数据仓库的建设、维护和管理成为非常复杂、繁琐而费时的一项任务。数据仓库的构建需要大量的计算资源、专业知识、及高成本投入,这些都是普通IT工程师所不能胜任的,而对于企业来说,尤其是那些资历较浅、技术能力较弱的员工来说,则需要由资深的大数据架构师来承担起此项艰巨的任务。
因此,作为数据架构师,在面临数据仓库的建设、维护和管理方面,我认为有以下一些优点:
- 有强烈的业务直觉能力和理解力:作为数据架构师,需要对业务的需求和业务流程有全面的认识,通过建立体系化的模型,能够帮助客户快速准确地理解业务需求;
- 对业务领域和技术有丰富的掌握:对于数据架构师来说,除了关注核心的业务分析,还要对数据仓库所涉及的相关技术有很深刻的理解,包括关系数据库、数据采集工具、ETL工具、分析引擎、可视化工具等;
- 工作负担简单、紧凑:传统的IT工程师可能每天都要承受大量的计算资源的压力,而数据架构师一般只需要关注核心的数据抽取、加载、转换和清洗等环节;
- 技术领先性:由于数据架构师的工作职责不