Docker安全及日志管理
阅读原文时间:2022年06月03日阅读:1

Docker安全及日志管理

目录

容器的安全性问题的根源在于容器和宿主机共享内核。如果容器里的应用导致Linux内核崩溃,那么整个系统可能都会崩溃。与虚拟机是不同的,虚拟机并没有与主机共享内核,虚拟机崩溃一般不会导致宿主机崩溃。

1. 隔离与共享

虚拟机通过添加Hypervisor层(虚拟化中间层),虚拟出网卡、内存、CPU等虚拟硬件,再在其上建立虚拟机,每个虚拟机都有自己的系统内核。

而Docker容器则是通过隔离的方式,将文件系统、进程、设备、网络等资源进行隔离,再对权限、CPU资源等进行控制,最终让容器之间互不影响,容器无法影响宿主机。

容器与宿主机共享内核、文件系统、硬件等资源。

2. 性能与损耗

与虚拟机相比,容器资源损耗要少。同样的宿主机下,能够建立容器的数量要比虚拟机多。

但是,虚拟机的安全性要比容器稍好,要从虚拟机攻破到宿主机或其他虚拟机,需要先攻破 Hypervisor 层,这是极其困难的。

而 docker 容器与宿主机共享内核、文件系统等资源,更有可能对其他容器、宿主机产生影响。

3. 总结

不同点

Docker容器

虚拟机

启动速度

快,几秒钟

慢,几分钟

运行性能

接近原生(直接在内核中运行)

运行于Hypervisor上,50%左右损失

磁盘占用

小,甚至几十KB(根据镜像层的情况)

非常大,上GB

并发性

一台宿主机可以启动成百上千个容器

最多几十个虚拟机

隔离性

进程级别

系统级别(更彻底)

操作系统

主要支持Linux

几乎所有

封装程度

只打包项目代码和依赖关系,共享宿主机内核

完整的操作系统,与宿主机隔离

总结:

docker容器是运行在系统中的进程。

虚拟机是运行在系统中的独立系统。

1. Docker自身漏洞

作为一款应用 Docker 本身实现上会有代码缺陷。CVE 官方记录 Docker 历史版本共有超过 20 项漏洞,可参见 Docker 官方网站。

黑客常用的攻击手段主要有代码执行、权限提升、信息泄露、权限绕过等。目前 Docker 版本更迭非常快,Docker 用户可将 Docker 升级为最新版本。

2. Docker 源码问题

Docker 提供了 Docker hub,可以让用户上传创建的镜像,以便其他用户下载,快速搭建环境。但同时也带来了一些安全问题。

例如下面三种方式:

2.1 黑客上传恶意镜像

如果有黑客在制作的镜像中植入木马、后门等恶意软件,那么环境从一开始就已经不安全了,后续更没有什么安全可言。

2.2 镜像使用有漏洞的软件

DockerHub上能下载的镜像里面,75%的镜像都安装了有漏洞的软件。所以下载镜像后,需要检查里面软件的版本信息,对应的版本是否存在漏洞,并及时更新打上补丁。

2.3 中间人攻击篡改镜像

镜像在传输过程中可能被篡改,目前新版本的 Docker 已经提供了相应的校验机制来预防这个问题。

Docker本身的架构与机制就可能产生问题,例如这样一种攻击场景,黑客已经控制了宿主机上的一些容器,或者获得了通过在公有云上建立容器的方式,然后对宿主机或其他容器发起攻击。

1. 容器之间的局域网攻击

主机上的容器之间可以构成局域网,因此针对局域网的ARP欺骗、端口扫描、广播风暴等攻击方式便可以用上。

所以,在一个主机上部署多个容器需要合理的配置网络安全,比如设置 iptables 规则。

2. DDoS 攻击耗尽资源

Cgroups 安全机制就是要防止此类攻击的,不要为单一的容器分配过多的资源即可避免此类问题。

3. 有漏洞的系统调用

Docker 与虚拟机的一个重要的区别就是 Docker 与宿主机共用一个操作系统内核。

一旦宿主内核存在可以越权或者提权漏洞,尽管Docker使用普通用户执行,在容器被入侵时,攻击者还可以利用内核漏洞跳到宿主机做更多的事情。

4. 共享root用户权限

如果以 root 用户权限运行容器(docker run --privileged),容器内的 root 用户也就拥有了宿主机的root权限。

下面从内核、主机、网络、镜像、容器以及其它等 6 个方面总结 Docker 安全基线标准。

1. 内核级别

(1)及时更新内核。

(2)User NameSpace(容器内的 root 权限在容器之外处于非高权限状态)。

(3)Cgroups(对资源的配额和度量),设置CPU、内存、磁盘 IO等资源限制。

(4)通过启用SELinux/AppArmor/GRSEC(控制文件访问权限)适当的强化系统来增加额外的安全性。

(5)Capability(权限划分),比如划分指定的CPU给容器。

(6)Seccomp(限定系统调用),限制不必要的系统调用。

(7)禁止将容器的命名空间与宿主机进程命名空间共享,比如 host 网络模式。

2. 主机级别

(1)为容器创建独立分区,比如创建在分布式文件系统上。

(2)仅运行必要的服务,注意尽量避免在容器中运行 ssh 服务 。

(3)禁止将宿主机上敏感目录映射到容器,-v创建数据卷时需要注意。

(4)对 Docker 守护进程、相关文件和目录进行审计,防止有病毒或木马文件生成。

(5)设置适当的默认文件描述符数。(文件描述符:简称fd,当应用程序请求内核打开/新建一个文件时,内核会返回一个文件描述符用于对应这个打开/新建的文件,文件描述符本质上就是一个非负整数,读写文件也是需要使用这个文件描述符来指定待读写的文件的。文件描述符是一个重要的系统资源,理论上系统内存多大就应该可以打开多少个文件描述符,但是实际情况是,内核会有系统级限制,以及用户级限制,不让某一个应用程序进程消耗掉所有的文件资源,可以使用ulimit -n 查看)

(6)用户权限为 root 的 Docker 相关文件的访问权限应该为 644 或者更低权限。

(7)周期性检查每个主机的容器清单,并清理不必要的容器。

3. 网络级别

(1)通过 iptables 设定规则实现禁止或允许容器之间网络流量。

(2)允许 Docker 修改 iptables。

(3)禁止将 Docker 绑定到其他已使用的 IP/Port 或者 Unix Socket。

(4)禁止在容器上映射特权端口。

(5)容器上只开放所需要的端口。

(6)禁止在容器上使用 host 网络模式。

(7)若宿主机有多个网卡,将容器进入流量绑定到特定的主机网卡上。

docker network create --subnet=172.18.0.0/16 --opt "com.docker.network.bridge.name"="docker1"  mynetwork

docker run -itd --net mynetwork --ip 172.18.0.100 centos:7 /bin/bash

iptables -t nat -A POSTROUTING -s 172.18.0.100 -o ens36 -j SNAT --to-source 192.168.80.10

4. 镜像级别

(1)创建本地私有镜像仓库服务器。

(2)镜像中软件都为最新版本,建议根据实际情况使用对应版本,业务稳定优先。

(3)使用可信镜像文件,并通过安全通道下载。

(4)重新构建镜像而非对容器和镜像打补丁,销毁异常容器重新构建。

(5)合理管理镜像标签,及时移除不再使用的镜像。

(6)使用镜像扫描。

(7)使用镜像签名。

5. 容器级别

(1)容器最小化,操作系统镜像最小集。

(2)容器以单一主进程的方式运行。

(3)禁止 --privileged 标记使用特权容器。

(4)禁止在容器上运行 ssh 服务,尽量使用 docker exec 进入容器。

(5)以只读的方式挂载容器的根目录系统,-v 宿主机目录:容器目录:ro。

(6)明确定义属于容器的数据盘符。

(7)通过设置 on-failure 限制容器尝试重启的次数,容器反复重启容易丢失数据,--restart=on-failure:3。

(8)限制在容器中可用的进程数,docker run -m 限制内存的使用,以防止 fork炸弹。 (fork炸弹,迅速增长子进程,耗尽系统进程数量).(){.|.&};.

6. 其他设置

(1)定期对宿主机系统及容器进行安全审计。

(2)使用最少资源和最低权限运行容器,此为 Docker 容器安全的核心思想。

(3)避免在同一宿主机上部署大量容器,维持在一个能够管理的数量。

(4)监控 Docker 容器的使用,性能以及其他各项指标,比如 zabbix。

(5)增加实时威胁检测和事件报警响应功能,比如 zabbix。

(6)使用中心和远程日志收集服务,比如 ELK 。

由于安全属于非常具体的技术,这里不再赘述,可直接参阅 Docker 官方文档,https://docs.docker.com/engine/security/

1. 容器最小化

如果仅在容器中运行必要的服务,像 SSH 等服务是不能轻易开启去连接容器的。通常使用以下方式来进入容器。

docker exec -it a661258f6bfe bash

2. Docker 远程 API 访问控制

Docker 的远程调用API 接口存在未授权访问漏洞,至少应限制外网访问。建议使用 Socket 方式访问。

(1)在 docker 服务配置文件指定监听内网 ip

vim /usr/lib/systemd/system/docker.service

--13行--修改

ExecStart=/usr/bin/dockerd -H unix:///var/run/docker.sock -H tcp://192.168.122.10:2375

(2)重启 Docker

systemctl daemon-reload

systemctl restart docker

netstat -natp | grep 2375

(3)在宿主机的 firewalld 上做 IP 访问控制,source address 指定的是客户端地址

firewall-cmd --permanent --add-rich-rule="rule family="ipv4" source address="192.168.122.11" port protocol="tcp" port="2375" accept"

firewall-cmd --reload

iptables -t filter -A INPUT -s 192.168.122.12 -p tcp --dport 2375 -j ACCEPT

(4)在客户端上实现远程授权访问

docker -H tcp://192.168.122.10 images

3. 限制流量流向

使用防火墙过滤器限制 Docker 容器的源 IP 地址范围与外界通讯。

firewall-cmd --permanent --zone=public --add-rich-rule="rule family="ipv4" source address="192.168.122.0/24" reject"

iptables -t filter -A INPUT -s 192.168.122.0/24 -j REJECT

生产环境中的大量问题是因为 Docker 容器端口外放引起的漏洞,除了操作系统账户权限控制上的问题,更在于对 Docker Daemon 的进程管理上存在隐患。

目前常用的 Docker 版本都支持 Docker Daemon 管理宿主机 iptables 的,而且一旦启动进程加上 -p host_port:guest_port 的端口映射,Docker Daemon 会直接增加对应的 FORWARD Chain 并且 -j ACCEPT,而默认的 DROP 规则是在 INPUT 链做的,对 docker 没法限制,这就留下了很严重的安全隐患。因此建议:

(1)不在有外网 ip 的机器上使用 Docker 服务。

(2)使用 k8s 等 docker 编排系统管理 Docker 容器。

(3)宿主机上 Docker daemon 启动命令加一个 --iptables=false,然后把常用 iptables 规则写进文件里,再用 iptables-restore 重定向输入去刷新规则。

4. 镜像安全

一般情况下,要确保只从受信任的库中获取镜像,推荐使用 harbor 私有仓库。

如果公司使用的不是自己的镜像源,需要使用 Docker 镜像安全扫描工具 Clair,对下载的镜像进行检查。通过与 CVE 数据库同步扫描镜像,验证镜像的 md5 等特征值,确认一致后再基于镜像进一步构建。一旦发现漏洞则通知用户处理, 或者直接阻止镜像继续构建。

5. DockerClient 端与 DockerDaemon 的通信安全

为了防止链路劫持、会话劫持等问题导致 Docker 通信时被中间人攻击,c/s 两端应该通过 TLS 加密方式通讯。

通过在服务端上创建tls密钥证书,再下发给客户端,客户端通过私钥访问容器,这样就保证的docker通讯的安全性。

//使用证书访问的工作流程:

(1)客户端发起请求,连接到服务器的进程端口。

(2)服务器必须要有一套数字证书(证书内容有公钥、证书颁发机构、失效日期等)。

(3)服务器将自己的数字证书发送给客户端(公钥在证书里面,私钥由服务器持有)。

(4)客户端收到数字证书之后,会验证证书的合法性。如果证书验证通过,就会生成一个随机的密钥对,用证书的公钥加密。

(5)客户端将公钥加密后的密钥发送到服务器。

(6)服务器接收到客户端发来的密文密钥之后,用自己之前保留的私钥对其进行非对称解密,解密之后就得到客户端的密钥,然后用客户端密钥对返回数据进行对称加密,这样传输的数据都是密文了。

(7)服务器将加密后的密文数据返回到客户端。

(8)客户端收到后,用自己的密钥对其进行对称解密,得到服务器返回的数据。

1. 创建证书步骤

首先创建ca证书,ca证书只是一个官方认证的证书,接下来要创建server、client节点的证书。

此时创建证书有三步:

(1)设置私钥,确保安全加密

(2)使用私钥签名,确保身份真实不可抵赖

(3)使用ca证书制作证书

2. 服务器配置

服务器

IP地址

主机名

主要软件

master

192.168.122.10

master

docker-ce 20.10.5

client

192.168.122.11

client

docker-ce 20.10.5

新版本的Go不支持我们创建的证书,建议使用老版本的docker-ce客户端,比如docker-ce-cli-20.10.5-3.el7.x86_64

3. 证书创建

3.1 首先创建一个存放目录

[root@master ~]# mkdir /tls
[root@master ~]# cd /tls

3.2 生成ca证书

3.2.1 创建ca私钥
[root@master tls]# openssl genrsa -aes256 -out ca-key.pem 4096
Generating RSA private key, 4096 bit long modulus
....++
...............................++
e is 65537 (0x10001)
Enter pass phrase for ca-key.pem:
#输入密码
Verifying - Enter pass phrase for ca-key.pem:
#确认密码

genrsa:使用RSA算法产生私钥

-aes256:使用256位密钥的AES算法对私钥进行加密,这样每次使用私钥文件都将输入密码,可省略

-out:输出文件的路径,若未指定输出文件,则为标准输出

4096:指定私钥长度,默认为1024。该项必须为命令行的最后一项参数

3.2.2 创建ca证书
[root@master tls]# openssl req -new -x509 -days 1000 -key ca-key.pem -sha256 -subj "/CN=*" -out ca.pem
Enter pass phrase for ca-key.pem:
#输入密码

req:执行证书签发命令

-new:新证书签发请求

-x509:生成x509格式证书,专用于创建私有CA时使用

-days:证书的有效时长,单位是天

-key:指定私钥路径

-sha256:证书摘要采用sha256算法

-subj:证书相关的用户信息(subject的缩写)

-out:输出文件的路径

3.3 用ca证书签发server端证书

3.3.1 创建服务器私钥
[root@master tls]# openssl genrsa -out server-key.pem 4096
Generating RSA private key, 4096 bit long modulus
.........................................................................................................++
...............................................................................................................................................++
e is 65537 (0x10001)
3.3.2 生成证书签名请求文件(csr文件)
[root@master tls]# openssl req -new -key server-key.pem -sha256 -subj "/CN=*" -out server.csr
3.3.3 使用ca证书与私钥证书签发服务端签名证书,输入密码
[root@master tls]# openssl x509 -req -days 1000 -sha256 -in server.csr -CA ca.pem -CAkey ca-key.pem -CAcreateserial -out server-cert.pem
Signature ok
subject=/CN=*
Getting CA Private Key
Enter pass phrase for ca-key.pem:

x509:生成x509格式证书

-req:输入csr文件

-in:要输入的csr文件

-CA:指定ca证书的路径

-CAkey:指定ca证书的私钥路径

-CAcreateserial:表示创建证书序列号文件,创建的序列号文件默认名称为ca.srl

3.4 用ca证证书签发client端证书

3.4.1 生成客户端私钥
[root@master tls]# openssl genrsa -out client-key.pem 4096
Generating RSA private key, 4096 bit long modulus
..............................................................................................................++
...........................................................................................................................................................................................................................................................++
3.4.2 生成证书签名请求文件
[root@master tls]# openssl req -new -key client-key.pem -subj "/CN=client" -out client.csr
3.4.3 创建扩展配置文件,使秘钥适合客户端身份验证
[root@master tls]# echo extendedKeyUsage=clientAuth > extfile.cnf
3.4.4 使用ca证书签发客户端签名证书,输入密码
[root@master tls]# openssl x509 -req -days 1000 -sha256 -in client.csr -CA ca.pem -CAkey ca-key.pem -CAcreateserial -out client-cert.pem -extfile extfile.cnf
Signature ok
subject=/CN=client
Getting CA Private Key
Enter pass phrase for ca-key.pem:

3.5 删除两个证书签名请求文件和扩展配置文件

[root@master tls]# ls
ca-key.pem  ca.pem  ca.srl  client-cert.pem  client.csr  client-key.pem  extfile.cnf  server-cert.pem  server.csr  server-key.pem
[root@master tls]# rm -rf ca.srl client.csr extfile.cnf server.csr
[root@master tls]# ls
ca-key.pem  ca.pem  client-cert.pem  client-key.pem  server-cert.pem  server-key.pem

3.6 配置docker服务配置文件

[root@master tls]# vim /lib/systemd/system/docker.service

#13行,修改
ExecStart=/usr/bin/dockerd --tlsverify --tlscacert=/tls/ca.pem --tlscert=/tls/server-cert.pem --tlskey=/tls/server-key.pem -H tcp://0.0.0.0:2376 -H unix:///var/run/docker.sock

3.7 重启docker服务

[root@master tls]# systemctl daemon-reload
[root@master tls]# systemctl restart docker
[root@master tls]# netstat -natp | grep 2376
tcp6       0      0 :::2376                 :::*                    LISTEN      8145/dockerd

3.8 将 /tls 目录中的 ca.pem、client-cert.pem、client-key.pem 三个文件复制到client

[root@master tls]# scp ca.pem root@192.168.122.11:/etc/docker/
root@192.168.122.11's password:
ca.pem                                                                                          100% 1765   461.1KB/s   00:00
[root@master tls]# scp client-cert.pem root@192.168.122.11:/etc/docker/
root@192.168.122.11's password:
client-cert.pem                                                                                 100% 1696   973.5KB/s   00:00
[root@master tls]# scp client-key.pem root@192.168.122.11:/etc/docker/
root@192.168.122.11's password:
client-key.pem                                                                                  100% 3247     1.6MB/s   00:00

3.9 添加/etc/hosts文件的ip映射

服务端

[root@master tls]# echo "127.0.0.1 master" >> /etc/hosts

客户端

[root@client ~]# echo "192.168.122.10 master" >> /etc/hosts

3.10 证书验证

服务端验证

[root@master tls]# docker --tlsverify --tlscacert=ca.pem --tlscert=server-cert.pem --tlskey=server-key.pem -H tcp://master:2376 images
REPOSITORY   TAG       IMAGE ID   CREATED   SIZE

客户端验证

[root@client ~]# cd /etc/docker
[root@client docker]# docker --tlsverify --tlscacert=ca.pem --tlscert=client-cert.pem --tlskey=client-key.pem -H tcp://master:2376 images
REPOSITORY   TAG       IMAGE ID   CREATED   SIZE

近几年 Github 上大量泄露个人或企业各种账号密码,出现这种问题一般都使用 dockerfile 或者 docker-compose 文件创建容器。 如果这些文件中存在账号密码等认证信息,一旦 Docker 容器对外开放,则这些宿主机上的敏感信息也会随之泄露。

因此可以通过以下方式检查容器创建模板的内容。

# check created users
grep authorized_keys $dockerfile

# check OS users
grep "etc/group" $dockerfile

# Check sudo users
grep "etc/sudoers.d" $dockerfile

# Check ssh key pair
grep ".ssh/.*id_rsa" $dockerfile

手机扫一扫

移动阅读更方便

阿里云服务器
腾讯云服务器
七牛云服务器