在Docker Swarm上部署Apache Storm：第2部分（在Dockerfile中,FROM表示）

在Docker Swarm上部署Apache Storm：第2部分（在Dockerfile中,FROM表示）

创建Swarm集群

1.通过SSH连接Ubuntu1，接着快速检查一遍。如果Docker安装正确，运行下列代码可以显示出一个所有运行中的Docker容器的列表（只有针对Swarm的）：

docker ps

2.现在我们可以按下面的方法在每台机器上启动一个ZooKeeper节点：

docker -H tcp://zk1.cloud:2375 run -d --restart=always \      -p 2181:2181 \      -p 2888:2888 \      -p 3888:3888 \      -v /var/lib/zookeeper:/var/lib/zookeeper \      -v /var/log/zookeeper:/var/log/zookeeper  \      --name zk1 \      baqend/zookeeper zk1.cloud,zk2.cloud,zk3.cloud 1docker -H tcp://zk2.cloud:2375 run -d --restart=always \      -p 2181:2181 \      -p 2888:2888 \      -p 3888:3888 \      -v /var/lib/zookeeper:/var/lib/zookeeper \      -v /var/log/zookeeper:/var/log/zookeeper  \      --name zk2 \      baqend/zookeeper zk1.cloud,zk2.cloud,zk3.cloud 2docker -H tcp://zk3.cloud:2375 run -d --restart=always \      -p 2181:2181 \      -p 2888:2888 \      -p 3888:3888 \      -v /var/lib/zookeeper:/var/lib/zookeeper \      -v /var/log/zookeeper:/var/log/zookeeper  \      --name zk3 \      baqend/zookeeper zk1.cloud,zk2.cloud,zk3.cloud 3

通过明确说明-H……参数，我们可以在不同的主机上启动ZooKeeper容器。-p命令打开ZooKeeper默认需要的那些端口。两个-v命令通过将ZooKeeper使用的文件夹映射到对应的主机文件夹，可以在发生容器错误的情况仍然保持连贯性。以逗号分隔的主机名列表通知ZooKeeper这一集合中有哪些服务器。集合中的每个节点都不例外。唯一的变量就是ZooKeeper的ID（第二个参数），因为它对每个容器都是不一样的。

你可以使用以下命令行来检查ZooKeeper是否一切正常：

docker -H tcp://zk1.cloud:2375 exec -it zk1 bin/zkServer.sh status && \docker -H tcp://zk2.cloud:2375 exec -it zk2 bin/zkServer.sh status && \docker -H tcp://zk3.cloud:2375 exec -it zk3 bin/zkServer.sh status

如果你的集群一切正常，每个节点都会汇报它们是主节点还是从节点。

3.现在，开启Swarm管理器：

docker run -d --restart=always \      --label role=manager \      -p 2376:2375 \      swarm manage zk://zk1.cloud,zk2.cloud,zk3.cloud

4.现在Swarm集群正在运行。但是我们必须把这一点告诉Docker客户端。最后你只须保证之后所有的Docker运行语句都指向Swarm管理器的容器（它会负责排程），并且不违反本地Docker守护进程。

cat << EOF | tee -a ~/.bash_profile    # this node is the master and therefore should be able to talk to the Swarm cluster:    export DOCKER_HOST=tcp://127.0.0.1:2376EOFexport DOCKER_HOST=tcp://127.0.0.1:2376

上面这段会立即执行，并且保证下次我们登录机器的时候被再次执行。

健康度检查

现在一切都被启动运行了。键入docker info检查一下manager节点上的集群状态。你会看到3个运行中的worker，类似这样：

Nodes: 3 docker1: zk1.cloud:2375  └ Status: Healthy  └ Containers: 3  └ Reserved CPUs: 0 / 1  └ Reserved Memory: 0 B / 2.053 GiB  └ Labels: executiondriver=native-0.2, kernelversion=3.13.0-40-generic, operatingsystem=Ubuntu 14.04.1 LTS, server=manager, storagedriver=devicemapper  └ Error: (none)  └ UpdatedAt: 2016-04-03T15:39:59Z docker2: zk2.cloud:2375  └ Status: Healthy  └ Containers: 2  └ Reserved CPUs: 0 / 1  └ Reserved Memory: 0 B / 2.053 GiB  └ Labels: executiondriver=native-0.2, kernelversion=3.13.0-40-generic, operatingsystem=Ubuntu 14.04.1 LTS, storagedriver=devicemapper  └ Error: (none)  └ UpdatedAt: 2016-04-03T15:39:45Z docker3: zk3.cloud:2375  └ Status: Healthy  └ Containers: 2  └ Reserved CPUs: 0 / 1  └ Reserved Memory: 0 B / 2.053 GiB  └ Labels: executiondriver=native-0.2, kernelversion=3.13.0-40-generic, operatingsystem=Ubuntu 14.04.1 LTS, storagedriver=devicemapper  └ Error: (none)  └ UpdatedAt: 2016-04-03T15:40:15Z

最重要的是每个节点的Status: Healthy那一行。如果你发现出现了其它的状态，例如Status: Pending，或者有的节点没有显示出来，那么即使其它地方还没有报错，也应该用以下命令试着重启管理容器，

docker restart $(docker ps -a --no-trunc --filter "label=role=manager"

然后再检查一次（这个操作可能会引发一个错误信息；无视它）。

配置Storm集群

1.先创建覆盖网络stormnet：

docker network create --driver overlay stormnet

然后通过Docker来检查stormnet是否存在：

docker network ls

2.现在一个一个地启动Storm组件。每个Storm相关的容器会有一个cluster=storm标记，这样你在后面杀死整个Storm集群时，不会错杀其它容器。

首先，启动UI

docker run \    -d \        --label cluster=storm \        --label role=ui \        -e constraint:server==manager \        -e STORM_ZOOKEEPER_SERVERS=zk1.cloud,zk2.cloud,zk3.cloud \        --net stormnet \        --restart=always \        --name ui \        -p 8080:8080 \        baqend/storm ui \      -c nimbus.host=nimbus

接下来是Nimbus：

docker run \    -d \        --label cluster=storm \        --label role=nimbus \        -e constraint:server==manager \        -e STORM_ZOOKEEPER_SERVERS=zk1.cloud,zk2.cloud,zk3.cloud \        --net stormnet \        --restart=always \        --name nimbus \        -p 6627:6627 \        baqend/storm nimbus \      -c nimbus.host=nimbus

为了确保这些在manager节点上运行，我们加入一个限制条件：constraint:server==manager。

4.运行以下语句三次，来启动三个supervisor：

docker run \    -d \        --label cluster=storm \        --label role=supervisor \        -e affinity:role!=supervisor \        -e STORM_ZOOKEEPER_SERVERS=zk1.cloud,zk2.cloud,zk3.cloud \        --net stormnet \        --restart=always \        baqend/storm supervisor \     -c nimbus.host=nimbus \          -c supervisor.slots.ports=[6700,6701,6702,6703]

因为我们无所谓具体启动哪里的supervisor节点，这里我们不用加入任何限制条件或容器名。但是，为了防止同一台机器上的有两个supervisor被启动，我们用了一个affinity标记：affinity:role!=supervisor。如果你要用更多的supervior容器，就得添加更多的Swarm worker节点（Ubuntu 4、Ubuntu 5等等）。

5.看一眼Storm UI，确保有三个Supervisor在运行。

（远程）拓扑部署

可以通过与manager主机在同一网络中的任意一台装有Docker守护进程的服务器来部署拓扑网络。在下面的代码中，假设你目前使用的目录中，拓扑fatjar是一个名为topology.jar的文件。

docker -H tcp://127.0.0.1:2375 run \   -it \      --rm \      -v $(readlink -m topology.jar):/topology.jar \      baqend/storm \     -c nimbus.host=manager.swarm \          jar /topology.jar \       main.class \       topologyArgument1 \       topologyArgument2

注意：这个命令会生出一个Docker容器，部署拓扑，接着删除容器。我们用-H tcp://127.0.0.1:2375参数来确保容器是在你当前使用的机器上启动的。如果让Docker Swarm自己来编排，部署就可能会失败，因为在生成容器的主机上可能找不到必要的拓扑文件。

另外，readlink -m topology.jar会为topology.jar生成一个绝对路径，因为并不支持相对路径。但是你也可以直接提供一个绝对路径。

终止一个拓扑

可以通过与Storm web UI交互从而终止一个拓扑，或者也可以通过下面的方式，假设正在运行的拓扑叫做runningTopology：

docker run \   -it \      --rm \      baqend/storm \     -c nimbus.host=manager.swarm \          kill runningTopology

此处并不需要主机参数-H …，因为上述命令是独立的，并不依赖任何文件。

关掉Storm集群

由于每个与Storm相关的容器都有一个cluster=storm标签，你可以用下述语句终止所有的容器：

docker rm -f $(docker ps -a --no-trunc --filter "label=cluster=storm"

我们在此教程中示范了如何在Docker上用多节点的ZooKeeper集为了高可用性和容错性运行一个分布式Storm集群。为了不让这个教程过分复杂，我们跳过了针对TLS配置Docker Swarm的部分。如果你打算把Docker Swarm用于关键的业务应用中，你必须在这个方面多下些功夫。

Baqend是怎样使用Apache Storm的？

我们利用Storm的能力来提供低延迟的流查询和查询缓存：

连续查询

如果你的APP允许连续查询，Apache Storm能接受你的连续查询和所有你的写入操作，并且将它们相比对：每当写一个对象时，所有注册的连续查询都与之比对。既然Storm一直在跟踪所有查询的结果，它就能发现新的主机或者新的匹配或不匹配的情况，并且在变更刚发生的时候通知你。

查询缓存

对于查询缓存来说，我们用这些通知来主动让缓存失效：Baqend Cloud用一段合理长度的TTL来缓存一个查询结果，一旦发生变更就自动让缓存的查询结果无效。得益于Storm，我们的匹配网络延迟仅为几毫秒，相较以往，数据的获取速度显著提高。

Baqend Cloud将很快发布这两大功能，近期，我们也会在Baqend Tech博客发表更多有关架构的细则和标杆性测试结果。敬请期待！

结束语

你可以在GitHub上复制我们的项目，如有任何改进，也欢迎发起pull请求！