脚本宝典收集整理的这篇文章主要介绍了数据中台(安全篇),脚本宝典觉得挺不错的,现在分享给大家,也给大家做个参考。
声明:本文归属一寸HUI所有。@一寸HUI
在文章数据中台(架构篇)中了解到了数据中台的架构,其中我们一个很重要的部分就是要构建数据资产,而数据安全管理既是数据资产管理中不可或缺的一部分,又是信息安全管理的重要组成部分。
数据安全管理,重点放在大数据平台的安全管理技术手段上。数据安全管理既是数据资产管理中不可或缺的一部分,又是 信息安全管理的重要组成部分。数据安全除了在数据平台安全,服务安全,数据本身安全,还会在数据的各个阶段存在着风险,我们先看看数据的生命周期,下图所示:
数据生命周期的每一环节上基于不同类型的数据、不同的应用系统、不同的人员等有不同的风险,无论哪一个环节出现了问题,都有可能发生数据安全事件。这很容易理解,只要出现一个薄弱环节,敌人一定会首先从那里发起攻击。数据的价值与日俱增,靠窃取数据获取非法收入的黑灰色产业链给数据安全防护带来巨大风险。
数据安全管理工具是结合信息安全的技术手段保证数据资产使用和交换共享过程中的安全。数据管理人员开展数据安全管理,是指执行数据安全政策和措施,为数据和信息提供适当的认证、授权、访问和审计,以防范可能的数据安全隐患。可以从如下方面进行对数据安全进行建设:
整体的数据安全管理体系通过分层建设、分级防护,利用平台能力及应用的可成长、可扩充性,创造面向数据的安全管理体系系统框架,形成完整的数据安全管理体系。数据中台的建设,应该始终把数据安全管理放在最重要的位置上,通过设计完备的数据安全管理体系,多方面、多层次保障大数据安全。一个完备的数据安全管理体系包括安全战略、安全组织管理、安全过程管理、安全技术保障、数据运行能力保障、数据生命周期安全保障。如下图所示:
数据安全架构主要从六个方面考虑,包括物理安全、系统安全、网络安全、应用安全、数据安全和管理安全六个维度。如下图所示:数据中台的安全主要关注的是应用安全(平台)以及数据安全,其他的偏底层硬件,系统方面。
由于hadoop本身没什么安全机制,Hadoop集群安全,首先就会想到业界通用的解决方案: Kerberos。Kerberos是一种网络认证协议,其设计目标是通过密钥系统为客户机/服务器应用程序提供强大的认证服务。该认证过程的实现不依赖于主机操作系统的认证,不需要基于主机地址的信任,不要求网络上所有主机的物理安全,并假定网络上传送的数据包可以被任意读取、修改和插入数据。
Kerberos通常会与LDAP配合使用。在大数据平台通常服务器多、租户也较多,需要进行Linux层面及应用层面的统一,这也就是构建Kerberos+LDAP这一组合的缘由。LDAP是一个轻量级的产品,作为一个统一认证的解决方案,其主要优点在于能够快速响应用户的查找需求。
除了统一认证,在数据的传输过程中,可以通过选择适合的SSL(Secure Socket Layer)证书,对传输中的一些敏感数据进行加密。 SSL证书可加密隐私数据,使黑客无法截取到用户敏感信息的明文数据,因此部署SSL证书是网络安全的基础防护措施之一。一份SSL证书包括一个公共密钥和一个私用密钥。公共密钥用于加密信息,私用密钥用于解译加密的信息。当用户端的浏览器指向一个安全域时,SSL同步确认服务器和客户端,并创建一种加密方式和一个唯一的会话密钥。它们可以启动一个保证消息的隐私性和完整性的安全会话。
在数据的操作和应用过程中,可以通过权限管理,控制不同的角色能操作的数据权限。设计良好的大数据平台权限管理,能从两个维度控制角色权限:第一个维度是控制粒度,如控制到字段级权限,第二个维度控制动作,如控制该角色是否能进行select、alter、delete等操作。
在资源隔离层面,可以通过建立不同的租户,对不同权限的数据资源进行隔离。多租户技术是一种软件架构技术,可实现在多用户环境下共用相同的系统或程序组件,并且可确保各用户间数据的隔离性。多租户在数据存储上存在三种主要的方案,按照隔离程度从高到低,分别是:
数据加密是用某种特殊的算法改变原有的信息数据使其不可读或无意义,使未授权用户获得加密后的信息,因不知解密的方法仍无法了解信息的内容。
先进行数据资产安全分类分级,然后对不同类型和安全等级的数据指定不同的加密要求和加密强度。尤其是大数据资产中非结构化数据涉及文档、图像和声音等多种类型,其加密等级和加密实现技术不尽相同,因此,需要针对不同的数据类型提供快速加解密技术。
根据数据是否流动的特点,数据加密分为存储加密和传输加密。
为了防止用户隐私信息、商业机密信息和企业内部数据泄露,在数据的传输、共享、展现等环节,往往需要对数据中台中的某些敏感数据进行脱敏操作。
大数据脱敏主要包括以下两大功能:
1.敏感数据识别
通过设置敏感数据的发现机制,计算机自动识别敏感数据,并在发现敏感数据后自动为该敏感数据打上相应的标签。
2.敏感数据脱敏
提供敏感数据的动态脱敏功能,保障敏感数据访问安全。同时基于大数据安全分析技术,发现访问敏感数据的异常行为,并在可能的情况下进行追踪。最常见的脱敏方式包括如下几种形式:
数据对外共享一般包括两种方式:接口和文件。
服务器的硬件故障、软件故障、网络发生问题等,都可能导致数据丢失、错误或损坏。另外,人为的操作失误、自然灾害、战争等不可预料的因素,也可能导致发生不可挽回的数据丢失,给用户带来巨大损失。
为了应对这些情况,用户必须考虑数据的容灾备份,确保在任何情况下都不会影响到重要业务活动的持续开展。用户可以根据恢复目标将业务的关键等级划分为核心业务系统、一般性重要业务系统和一般业务系统三个级别,并根据不同级别分别有针对性地制订容灾备份方案。
日志审计系统是用于全面收集企业IT系统中常见的安全设备、网络设备、数据库、服务器、应用系统、主机等设备所产生的日志(包括运行、告警、操作、消息、状态等)并进行存储、监控、审计、分析、报警、响应和报告的系统。
参考:
《数据中台:让数据用起来》
胖子哥的大数据之路(12)-三张图告诉你大数据安全方案设计
日志审计系统
以上是脚本宝典为你收集整理的数据中台(安全篇)全部内容,希望文章能够帮你解决数据中台(安全篇)所遇到的问题。
本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。