阅读 129

Docker中的数据管理

默认情况下,在容器内创建的所有文件都存储在可写容器层上。 这意味着:

  • 当该容器不再存在时,数据将不会持久保存,并且如果另一个进程需要该数据,则可能很难从容器中取出数据。
  • 容器的可写层与运行容器的主机紧密耦合。 您无法轻松地将数据移动到其他地方。
  • 写入容器的可写层需要存储驱动程序来管理文件系统。 存储驱动程序使用Linux内核提供联合文件系统。 与使用直接写入主机文件系统的数据卷相比,这种额外的抽象降低了性能。

Docker为容器提供了两个选项来将文件存储在主机中,以便即使容器停止后文件也可以持久存储:卷和绑定挂载。如果您在Linux上运行Docker,也可以使用tmpfs挂载。如果您在Windows上运行Docker,则还可以使用命名管道。

选择正确的方式挂载

无论您选择使用哪种类型的安装,容器中的数据看起来都是相同的。 它在容器的文件系统中显示为目录或单个文件。

可视化卷、绑定挂载和tmpfs挂载之间的差异的一个简单方法是考虑数据在Docker主机上的位置。

  • 卷存储在主机文件系统中,作为其一部分,由Docker管理(在Linux上,位于/var/lib/docker/volumes/)。 非Docker进程不应修改文件系统的这一部分。卷是在Docker中持久保存数据的最佳方法。
  • 绑定挂载可以存储在主机系统上的任何位置。 它们甚至可能是重要的系统文件或目录。 Docker主机或Docker容器上的非Docker进程可以随时对其进行修改。
  • tmpfs挂载仅存储在主机系统的内存中,并且永远不会写入主机系统的文件系统中。

挂载类型的更多细节

  • 卷:由Docker创建和管理。 您可以使用docker volume create命令显式创建卷,或者Docker可以在容器或服务创建期间创建卷。创建卷时,它存储在Docker主机上的目录中。 将卷装入容器时,此目录就是装入容器的目录。 这类似于绑定挂载的工作方式,除了卷由Docker管理并且与主机的核心功能隔离。给定的卷可以同时装入多个容器中。当没有运行的容器使用卷时,该卷仍然对Docker可用,不会自动删除。您可以使用docker volume prune来删除未使用的卷。挂载卷时,它可能是命名的或匿名的。 匿名卷首次安装到容器中时,不会为其指定显式名称,因此Docker为它们提供一个随机名称,该名称在给定Docker主机中保证是唯一的。 除了名称之外,命名卷和匿名卷的行为也相同。卷还支持使用卷驱动程序,这使您可以将数据存储在远程主机或云提供商上。
  • 绑定挂载:自Docker早期以来可用。 与卷相比,绑定安装的功能有限。 使用绑定安装时,会将主机上的文件或目录安装到容器中。 该文件或目录由主机上的完整路径引用。该文件或目录不需要在Docker主机上已经存在。 如果尚不存在,则按需创建。 绑定挂载性能非常好,但是它们依赖于具有特定目录结构的主机文件系统。 如果要开发新的Docker应用程序,请考虑使用命名卷。 您不能使用Docker CLI命令直接管理绑定安装。使用绑定安装的好与坏的一个副作用是,您可以通过容器中运行的进程来更改主机文件系统,包括创建,修改或删除重要的系统文件或目录。 这是一项强大的功能,可能会带来安全隐患,包括影响主机系统上的非Docker进程。
  • tmpfs挂载:tmpfs挂载不会持久化在磁盘上,无论是在Docker主机上还是在容器内。 容器在其生存期内可以使用它来存储非持久状态或敏感信息。 例如,在内部,群服务使用tmpfs挂载将机密挂载到服务的容器中。
  • 命名管道:npipe安装可用于Docker主机与容器之间的通信。 常见用例是在容器内运行第三方工具,并使用命名管道连接到Docker Engine API。

绑定安装和卷都可以使用-v--volume标志安装到容器中,但是两者的语法略有不同。 对于tmpfs挂载,可以使用--tmpfs标志。 但是,在Docker 17.06及更高版本中,建议将--mount标志用于容器和服务,用于绑定安装,卷或tmpfs安装,因为语法更清晰。

卷的使用案例

卷是将数据持久保存在Docker容器和服务中的首选方法。 卷的一些用例包括:

  • 在多个运行中的容器之间共享数据。 如果您未明确创建它,则将在第一次将其安装到容器中时创建该卷。 当该容器停止或卸下时,该卷仍然存在。 多个容器可以同时装载相同的卷(读写或只读)。 仅在显式删除卷时才将它们删除。
  • 不保证Docker主机具有给定的目录或文件结构时。 卷可帮助您将Docker主机的配置与容器运行时解耦。
  • 当您要将容器的数据存储在远程主机或云提供商上时,而不是在本地。
  • 当您需要将数据从一个Docker主机备份,还原或迁移到另一个Docker主机时,卷是一个更好的选择。 您可以停止使用该卷的容器,然后备份该卷的目录(例如/var/lib/docker/volumes/<volume-name>)。

绑定安装的使用案例

通常,应尽可能使用卷。 绑定安装适用于以下类型的用例:

  • 将配置文件从主机共享到容器。 默认情况下,这是Docker通过将/etc/resolv.conf从主机挂载到每个容器中来为容器提供DNS解析的方式。
  • 在Docker主机上的开发环境和容器之间共享源代码或构建工件。 例如,您可以将Maven 挂载到容器中target/目录,并且每次在Docker主机上构建Maven项目时,该容器都可以访问重建的工件。如果您以这种方式使用Docker进行开发,那么您的生产Dockerfile会将生产就绪的工件直接复制到映像中,而不是依赖于绑定安装。
  • 当确保Docker主机的文件或目录结构与容器所需的绑定安装一致时。

tmpfs mounts的使用案例

tmpfs挂载最适用于您不希望数据在主机或容器内持久存在的情况。 当您的应用程序需要写入大量非持久状态数据时,这可能是出于安全原因或为了保护容器的性能。

使用绑定装载或卷的技巧

如果使用绑定安装或卷,请牢记以下几点:

  • 如果将空卷装入存在文件或目录的容器中的目录中,则这些文件或目录将传播(复制)到该卷中。 同样,如果启动一个容器并指定一个尚不存在的卷,则会为您创建一个空卷。 这是预填充另一个容器所需数据的好方法。
  • 如果将绑定安装或非空卷安装到存在某些文件或目录的容器中的目录中,则这些文件或目录会被安装遮盖,就像您将文件保存到Linux主机上的/ mnt中一样,然后 将USB驱动器安装到/ mnt中。 在卸载USB驱动器之前,/ mnt的内容将被USB驱动器的内容遮盖。 不会删除或更改被遮盖的文件,但是在装入绑定安装或卷时将无法访问这些文件。

卷的使用

卷是存储Docker容器生成和使用的数据的首选机制。绑定挂载依赖于主机的目录结构,而卷则完全由Docker管理。与绑定装载相比,卷有几个优点:

  • 卷比绑定挂载更容易备份或迁移。
  • 您可以使用Docker CLI命令或Docker API来管理卷。
  • 卷可以在Linux和Windows容器上工作。
  • 多个容器之间可以更安全地共享卷。
  • 卷驱动程序允许您在远程主机或云提供商上存储卷,以加密卷的内容或添加其他功能。
  • 新卷的内容可以由容器预先填充。

此外,与将数据持久保存在容器的可写层中相比,卷通常是更好的选择,因为卷不会增加使用卷的容器的大小,并且卷的内容存在于给定容器的生命周期之外。

如果您的容器生成非持久状态数据,请考虑使用tmpfs挂载以避免将数据永久存储在任何地方,并通过避免写入容器的可写层来提高容器的性能。

卷使用rprivate绑定传播,并且无法为卷配置绑定传播。

Choose the -v or --mount flag

最初,-v--volume标志用于独立容器,而--mount标志用于群服务。 但是,从Docker 17.06开始,您还可以将--mount与独立容器一起使用。 通常,--mount更为明确和详细。 最大的区别是-v语法在一个字段中将所有选项组合在一起,而--mount语法将它们分开。 这是每个标志的语法比较。

新用户应尝试使用--mount语法,该语法比--volume语法更简单。

如果需要指定卷驱动程序选项,则必须使用--mount

  • -v--volume:由三个字段组成,以冒号(:)分隔。 这些字段必须以正确的顺序排列,并且每个字段的含义不是立即显而易见的。

    • 对于命名卷,第一个字段是卷的名称,在给定的主机上是唯一的。 对于匿名卷,将省略第一个字段。
    • 第二个字段是文件或目录挂载在容器中的路径。
    • 第三个字段是可选的,它是一个用逗号分隔的选项列表,比如ro。下面讨论这些选项。
  • --mount:由多个键值对组成,这些对值之间用逗号分隔,每个键对均由一个<key>=<value>元组组成。 --mount语法比-v--volume更为冗长,但是键的顺序并不重要,并且标志的值更易于理解。

    • 挂载的类型type,可以是bind、volume或tmpfs。本主题讨论卷,因此类型总是volume。
    • 挂载的来源source。 对于命名卷,这是卷的名称。 对于匿名卷,将省略此字段。 可以指定为sourcesrc
    • destination将文件或目录在容器中的安装路径作为其值。 可以指定为destinationdsttarget
    • 如果存在readonly选项,则会导致绑定挂载以只读形式挂载到容器中。
    • volume-opt选项可以多次指定,它采用由选项名及其值组成的键-值对。

如果您的卷驱动程序接受逗号分隔的列表作为选项,则必须从外部CSV解析器中转义该值。 要转义一个volume-opt,请用双引号(“)包围它,并用单引号(')包围整个安装参数。 例如,local驱动程序在o参数中接受安装选项作为逗号分隔的列表。 本示例显示了转义列表的正确方法。

$ docker service create \
     --mount 'type=volume,src=<VOLUME-NAME>,dst=<CONTAINER-PATH>,volume-driver=local,volume-opt=type=nfs,volume-opt=device=<nfs-server>:<nfs-path>,"volume-opt=o=addr=<nfs-address>,vers=4,soft,timeo=180,bg,tcp,rw"'
    --name myservice \
    <IMAGE>
复制代码

下面的示例在可能的情况下同时显示--mount-v语法,并且首先显示--mount

--mount-v行为的不同点

与绑定挂载相反,所有卷选项都可用于--mount-v标志。 将卷与服务一起使用时,仅支持--mount

创建和管理卷

与绑定挂载不同,您可以创建和管理任何容器范围之外的卷。

创建卷:

$ docker volume create my-vol
复制代码

列出卷:

$ docker volume ls

local               my-vol
复制代码

检查卷:

$ docker volume inspect my-vol
[
    {
        "Driver": "local",
        "Labels": {},
        "Mountpoint": "/var/lib/docker/volumes/my-vol/_data",
        "Name": "my-vol",
        "Options": {},
        "Scope": "local"
    }
]
复制代码

删除卷:

$ docker volume rm my-vol
复制代码

启动带有卷的容器

如果您使用不存在的卷启动容器,则Docker将为您创建该卷。 以下示例将卷myvol2安装到容器中的/app/中。 下面的-v--mount示例将产生相同的结果。除非在运行第一个卷之后删除devtest容器和myvol2卷,否则无法同时运行它们。

$ docker run -d \
  --name devtest \
  --mount source=myvol2,target=/app \
  nginx:latest
复制代码
$ docker run -d \
  --name devtest \
  -v myvol2:/app \
  nginx:latest
复制代码

使用docker inspect devtest命令验证卷是否正确的创建和挂载。看Mounts部分:

"Mounts": [
    {
        "Type": "volume",
        "Name": "myvol2",
        "Source": "/var/lib/docker/volumes/myvol2/_data",
        "Destination": "/app",
        "Driver": "local",
        "Mode": "",
        "RW": true,
        "Propagation": ""
    }
],
复制代码

这表明挂载是一个卷,它显示正确的源和目标,并且挂载是读写的。

停止容器并删除卷。注意:卷删除是一个单独的步骤。

$ docker container stop devtest

$ docker container rm devtest

$ docker volume rm myvol2
复制代码

启动挂载卷的服务

启动服务并定义卷时,每个服务容器都使用其自己的本地卷。 如果使用本地卷驱动程序,则所有容器都不能共享此数据,但是某些卷驱动程序确实支持共享存储。 适用于AWS的Docker和适用于Azure的Docker均使用Cloudstor插件支持持久存储。

以下示例使用四个副本启动nginx服务,每个副本使用一个名为myvol2的本地卷。

$ docker service create -d \
  --replicas=4 \
  --name devtest-service \
  --mount source=myvol2,target=/app \
  nginx:latest
复制代码

使用docker service ps devtest-service 验证服务是否在运行。

$ docker service ps devtest-service

ID                  NAME                IMAGE               NODE                DESIRED STATE       CURRENT STATE            ERROR               PORTS
4d7oz1j85wwn        devtest-service.1   nginx:latest 
复制代码

删除服务,它将停止所有任务:

$ docker service rm devtest-service
复制代码

删除服务不会删除该服务创建的任何卷。 卷删除是一个单独的步骤。

服务的语法不同点

docker 服务创建命令不支持-v--volume选项,当要挂载卷到服务的容器中时,必须使用--mount.

使用容器填充卷

如果你像上述的那样启动一个容器来创建卷,容器在挂载点存在文件和目录(就像上述的/app/),文件的内容就会复制到卷中,然后,容器就可以挂载和使用卷了,其他使用该卷的容器也能访问预填充内容。

为了说明这一点,此示例启动了一个nginx容器,并使用容器的/usr/share/nginx/html目录的内容填充新的卷nginx-vol,Nginx在该目录中存储其默认HTML内容。

--mount-v 的实例有同样的效果:

$ docker run -d \
  --name=nginxtest \
  --mount source=nginx-vol,destination=/usr/share/nginx/html \
  nginx:latest
复制代码
$ docker run -d \
  --name=nginxtest \
  -v nginx-vol:/usr/share/nginx/html \
  nginx:latest
复制代码

在运行这两个示例之后,运行以下命令来清理容器和卷。注意:卷删除是一个单独的步骤。

$ docker container stop nginxtest

$ docker container rm nginxtest

$ docker volume rm nginx-vol
复制代码

使用只读的卷

对于某些开发应用程序,容器需要写入绑定安装,以便将更改传播回Docker主机。 在其他时候,容器仅需要对数据的读取访问权限。 请记住,多个容器可以挂载相同的卷,并且可以同时对其中一些容器进行读写安装,而对其他容器则同时进行只读安装。

此示例修改了上面的示例,但通过在容器中的安装点之后将ro添加到(默认为空)选项列表中,将目录作为只读卷进行安装。 如果存在多个选项,请用逗号分隔。

--mount-v具有同样的效果:

$ docker run -d \
  --name=nginxtest \
  --mount source=nginx-vol,destination=/usr/share/nginx/html,readonly \
  nginx:latest
复制代码
$ docker run -d \
  --name=nginxtest \
  -v nginx-vol:/usr/share/nginx/html:ro \
  nginx:latest
复制代码

使用 docker inspect nginxtest 验证只读的挂载被正确的创建了。请看Mounts部分:

"Mounts": [
    {
        "Type": "volume",
        "Name": "nginx-vol",
        "Source": "/var/lib/docker/volumes/nginx-vol/_data",
        "Destination": "/usr/share/nginx/html",
        "Driver": "local",
        "Mode": "",
        "RW": false,
        "Propagation": ""
    }
],
复制代码

停止并删除容器,然后删除卷,卷的删除是一个独立的步骤:

$ docker container stop nginxtest

$ docker container rm nginxtest

$ docker volume rm nginx-vol
复制代码

在机器间共享数据

在构建容错应用程序时,您可能需要配置同一服务的多个副本,多个副本访问相同的文件。

开发应用程序时,有几种方法可以实现此目的。 一种是向您的应用程序添加逻辑,以将文件存储在像Amazon S3这样的云对象存储系统上。 另一个方法是使用支持将文件写入外部存储系统(例如NFS或Amazon S3)的驱动程序来创建卷。

卷驱动程序使您可以从应用程序逻辑中抽象底层存储系统。 例如,如果您的服务使用带有NFS驱动程序的卷,则可以更新服务以使用其他驱动程序(例如,将数据存储在云中),而无需更改应用程序逻辑。

使用卷驱动程序

使用docker volume create创建卷时,或者启动使用尚未创建的卷的容器时,可以指定卷驱动程序。 以下示例使用vieux /sshfs卷驱动程序,首先在创建独立卷时使用,然后在启动创建新卷的容器时使用。

初始化设置

本示例假定您有两个节点,其中第一个是Docker主机,并且可以使用SSH连接到第二个。

在Docker主机上,安装vieux/sshfs插件:

$ docker plugin install --grant-all-permissions vieux/sshfs
复制代码

使用卷驱动程序创建卷

此示例指定了SSH密码,但是如果两个主机都配置了共享密钥,则可以省略该密码。 每个卷驱动程序可能具有零个或多个可配置选项,每个选项均使用-o标志指定。

$ docker volume create --driver vieux/sshfs \
  -o sshcmd=test@node2:/home/test \
  -o password=testpassword \
  sshvolume
复制代码

启动一个使用卷驱动程序创建卷的容器

此示例指定了SSH密码,但是如果两个主机都配置了共享密钥,则可以省略该密码。 每个卷驱动程序可能具有零个或多个可配置选项。 如果卷驱动程序要求您传递选项,则必须使用--mount标志安装卷,而不是-v

$ docker run -d \
  --name sshfs-container \
  --volume-driver vieux/sshfs \
  --mount src=sshvolume,target=/app,volume-opt=sshcmd=test@node2:/home/test,volume-opt=password=testpassword \
  nginx:latest
复制代码

创建一个创建NFS卷的服务

本示例说明了创建服务时如何创建NFS卷。 本示例使用10.0.0.10作为NFS服务器,并使用/var/docker-nfs作为NFS服务器上的导出目录。 请注意,指定的卷驱动程序是local。 nfs3

$ docker service create -d \
  --name nfs-service \
  --mount 'type=volume,source=nfsvolume,target=/app,volume-driver=local,volume-opt=type=nfs,volume-opt=device=:/var/docker-nfs,volume-opt=o=addr=10.0.0.10' \
  nginx:latest
复制代码

nfs4

docker service create -d \
    --name nfs-service \
    --mount 'type=volume,source=nfsvolume,target=/app,volume-driver=local,volume-opt=type=nfs,volume-opt=device=:/,"volume-opt=o=10.0.0.10,rw,nfsvers=4,async"' \
    nginx:latest
复制代码

备份,还原或迁移数据卷

卷对于备份,还原和迁移很有用。 使用--volumes-from标志来创建一个安装该卷的新容器。

备份容器

例如,创建一个名为dbstore的新容器:

$ docker run -v /dbdata --name dbstore ubuntu /bin/bash
复制代码

然后在下一个命令中,我们:

  • 启动一个新容器,并从dbstore容器装入卷
  • 挂载一个本地主机目录作为/backup
  • 传递一个命令,将dbdata卷的内容存储到我们的/backup目录中的backup.tar文件中。
$ docker run --rm --volumes-from dbstore -v $(pwd):/backup ubuntu tar cvf /backup/backup.tar /dbdata
复制代码

当命令完成并且容器停止时,我们剩下了dbdata卷的备份。

从备份中恢复容器

使用刚刚创建的备份,您可以将其还原到同一容器或在其他位置创建的另一个容器。例如,创建一个名为dbstore2的新容器:

$ docker run -v /dbdata --name dbstore2 ubuntu /bin/bash
复制代码

然后将备份文件解压缩到新容器的数据卷中:

$ docker run --rm --volumes-from dbstore2 -v $(pwd):/backup ubuntu bash -c "cd /dbdata && tar xvf /backup/backup.tar --strip 1"
复制代码

您可以使用首选工具使用上述技术来自动执行备份,迁移和还原测试。

删除卷

删除容器后,Docker数据卷仍然存在。 有两种类型的卷需要考虑:

  • 命名卷具有来自容器外部的特定来源,例如awesome:/bar
  • 匿名卷没有特定来源,因此在删除容器时,请指示Docker Engine守护程序将其删除。

删除匿名卷

威力自动删除匿名卷,使用--rm选项。例如,下面这个命令创建一个匿名卷/foo.当容器删除后,Docker Engine将会删除/foo卷,但不是awesome卷。

$ docker run --rm -v /foo -v awesome:/bar busybox top
复制代码

删除所有卷

要删除所有未使用的卷并释放空间:

$ docker volume prune
复制代码