HBase配置AES加密

版本:

HDP:3.0.1.0

HBase:2.0.0

一、前言

为了避免第三方非法访问我们的重要数据,我们可以给HBase配置加密算法,目前HBase只支持使用aes加密算法,用于保护静态的HFile和WAL数据。

HBase配置的AES加密是一种端到端的加密模式,其中的加/解密过程对于客户端来说是完全透明的。数据在客户端读操作的时候被解密,当数据被客户端写的时候被加密。这个功能作用就是保证处于加密空间内的数据不被非法查询,只有经过认证的客户端才能查看解密内容。

详情可以参考HBase官方文档:http://hbase.apache.org/book.html#hbase.encryption.server

二、AES算法简介

这里只是对AES算法的一个简单说明。

AES是一个对称加密算法,如下图所示:

HBase配置AES加密

下面简单介绍下各个部分的作用与意义:

密钥K

用来加密明文的密码,在对称加密算法中,加密与解密的密钥是相同的。密钥为接收方与发送方协商产生,但不可以直接在网络上传输,否则会导致密钥泄漏,通常是通过非对称加密算法加密密钥,然后再通过网络传输给对方,实际中,一般是通过RSA加密AES的密钥,传输到接收方,接收方解密得到AES密钥,然后发送方和接收方用AES密钥来通信。

密钥是绝对不可以泄漏的,否则会被攻击者还原密文,窃取机密数据。

AES加密函数

设AES加密函数为E,则 C = E(K, P),其中P为明文,K为密钥,C为密文。也就是说,把明文P和密钥K作为加密函数的参数输入,则加密函数E会输出密文C。

AES解密函数

设AES解密函数为D,则 P = D(K, C),其中C为密文,K为密钥,P为明文。也就是说,把密文C和密钥K作为解密函数的参数输入,则解密函数会输出明文P。

三、配置步骤

接下来主要介绍需要在hbase-site.xml文件内增加哪些配置。最后通过ambari页面将自定义配置加到hbase-site.xml中。分为以下几步:

  1. 使用keytool实用程序为AES加密创建适当长度的密钥。
cd /usr/hdp/3.0.1.0-187/hbase/conf/
# 生成hbase.jks
keytool -keystore hbase.jks -storetype jceks -storepass admin123 -genseckey -keyalg AES -keysize 128 -alias hbase
  • hbase.jks:表示生成的jks文件存储路径。
  • admin123:代表存储的密码。
  • AES:表示加密的类型,目前仅支持AES。
  • 128:表示密钥的长度,AES支持128位长度。
  • hbase:为密钥文件的别名。
HBase配置AES加密

设置hbase.jks权限

在密钥文件上设置适当的权限,并将其分发给所有HBase服务器。 上一个命令在/usr/hdp/3.0.1.0-187/hbase/conf/目录下创建了一个名为hbase.jks的文件。设置此文件的权限和所有权,以便只有HBase服务帐户用户可以读取该文件,并将密钥安全地分发给所有HBase服务器。

# 在每台机器上执行以下命令:
cd /usr/hdp/3.0.1.0-187/hbase/conf
chmod 600 hbase.jks
chown hbase:hadoop hbase.jks
# 通过scp命令将文件传输到各节点的指定位置
scp -r hbase.jks root@xxx:/usr/hdp/3.0.1.0-187/hbase/conf
# 拷贝完成后,也需要设置文件的相关权限,600。

配置HBase daemons

在集群的hbase-site.xml中设置以下属性,配置HBase守护程序以使用由KeyStore文件支持的密钥提供程序或检索集群主密钥。在下面的示例中,admin123为密码,可自定义。

# 自定义hbase-site:
hbase.crypto.keyprovider=org.apache.hadoop.hbase.io.crypto.KeyStoreKeyProvider
hbase.crypto.keyprovider.parameters=jceks:///usr/hdp/3.0.1.0-187/hbase/conf/hbase.jks?password=admin123

默认情况下,HBase服务帐户名称将用于解析群集主密钥。但是,您可以使用任意别名(在keytool命令中)存储它。在这种情况下,请将以下属性设置为您使用的别名。

# 自定义hbase-site:
hbase.crypto.master.key.name=hbase

您还需要确保您的HFile使用HFile v3,以便使用透明加密。这是HBase 1.0以后的默认配置。对于以前的版本,请在hbase-site.xml文件中设置以下属性。

# 自定义hbase-site:
hfile.format.version=3

配置Configure WAL encryption

通过设置以下属性,在每个RegionServer的hbase-site.xml中配置WAL加密。您也可以将这些包含在HMaster的hbase-site.xml中,但是HMaster没有WAL并且不会使用它们。

# 自定义hbase-site:
hbase.regionserver.hlog.reader.impl=org.apache.hadoop.hbase.regionserver.wal.SecureProtobufLogReader
hbase.regionserver.hlog.writer.impl=org.apache.hadoop.hbase.regionserver.wal.SecureProtobufLogWriter
hbase.regionserver.wal.encryption=true

配置hbase-site.xml文件的权限。

由于密钥库密码存储在hbase-site.xml中,因此需要确保只有HBase用户可以使用文件所有权和权限读取hbase-site.xml文件。

chmod -R 600 hbase-site.xml

将上述配置添加到自定义hbase-site中,重启HBase服务。

HBase配置AES加密

创建加密类型为AES的表

格式:create ‘\

<table>‘, {NAME => ‘\<column>‘, ENCRYPTION => ‘AES’}
create 'hbase_1102', {NAME=>'cf1', ENCRYPTION => 'AES'}, {NAME=>'cf2'}
put'hbase_1102', '001','cf1:name','Tom'
put'hbase_1102', '001','cf1:gender','man'
put'hbase_1102', '001','cf2:chinese','90'
put'hbase_1102', '001','cf2:math','91'
put 'hbase_1102', '001','cf2:math','91', 1557566858555
# 删除hbase的一条数据
delete 'hbase_1102', '001', 'cf2:math'
# 根据时间戳来获取数据
get 'hbase_1102','001',{COLUMN=>'cf2:math',TIMESTAMP=>1555768605232}

四、总结

HBase目前只支持AES加密,它是一种端到端的加密模式,其中的加/解密过程对于客户端来说是完全透明的。数据在客户端读操作的时候被解密,当数据被客户端写的时候被加密。这个功能作用就是保证处于加密空间内的数据不被非法查询,只有经过认证的客户端才能查看解密内容。

关于HBase自定义扩展加密方式,比如支持SMS4加密/解密,正在研究。等实现了的话,再好好跟大家分享。


--END--

码字不易,如果您觉得文章写得不错,请关注作者~ 您的关注是我写作的最大动力

/<column>/<table>


分享到:


相關文章: