基于Kubernetes构建Docker集群管理详解

# systemctl stop firewalld.service #停止firewall
# systemctl disable firewalld.service #禁止firewall开机启动

1.2 安装iptables防火墙

# yum install iptables-services #安装
# systemctl start iptables.service #最后重启防火墙使配置生效
# systemctl enable iptables.service #设置防火墙开机启动

2）安装Etcd（192.168.1.10主机）

# mkdir -p /home/install && cd /home/install  
# wget https://github.com/coreos/etcd/releases/download/v0.4.6/etcd-v0.4.6-linux-amd64.tar.gz  
# tar -zxvf etcd-v0.4.6-linux-amd64.tar.gz  
# cd etcd-v0.4.6-linux-amd64  
# cp etcd* /bin/  
# /bin/etcd -version  
etcd version 0.4.6 

启动服务etcd服务，如有提供第三方管理需求，另需在启动参数中添加“-cors='*'”参数。

# mkdir /data/etcd  
# /bin/etcd -name etcdserver -peer-addr 192.168.1.10:7001 -addr 192.168.1.10:4001 -data-dir /data/etcd -peer-bind-addr 0.0.0.0:7001 -bind-addr 0.0.0.0:4001 &

配置etcd服务防火墙，其中4001为服务端口，7001为集群数据交互端口。

# iptables -I INPUT -s 192.168.1.0/24 -p tcp –dport 4001 -j ACCEPT
# iptables -I INPUT -s 192.168.1.0/24 -p tcp –dport 7001 -j ACCEPT

3）安装Kubernetes（涉及所有Master、Minion主机）

通过yum源方式安装，默认将安装etcd, docker, and cadvisor相关包。

# curl https://copr.fedoraproject.org/coprs/eparis/kubernetes-epel-7/repo/epel-7/eparis-kubernetes-epel-7-epel-7.repo -o /etc/yum.repos.d/eparis-kubernetes-epel-7-epel-7.repo
#yum -y install kubernetes

升级至v0.6.2，覆盖bin文件即可，方法如下：

# mkdir -p /home/install && cd /home/install
# wget https://github.com/GoogleCloudPlatform/kubernetes/releases/download/v0.6.2/kubernetes.tar.gz
# tar -zxvf kubernetes.tar.gz
# tar -zxvf kubernetes/server/kubernetes-server-linux-amd64.tar.gz
# cp kubernetes/server/bin/kube* /usr/bin

校验安装结果，出版以下信息说明安装正常。

[root@SN2014-12-200 bin]# /usr/bin/kubectl version
Client Version: version.Info{Major:”0″, Minor:”6+”, GitVersion:”v0.6.2″, GitCommit:”729fde276613eedcd99ecf5b93f095b8deb64eb4″, GitTreeState:”clean”}
Server Version: &version.Info{Major:”0″, Minor:”6+”, GitVersion:”v0.6.2″, GitCommit:”729fde276613eedcd99ecf5b93f095b8deb64eb4″, GitTreeState:”clean”}

4）Kubernetes配置（仅Master主机）

master运行三个组件,包括apiserver、scheduler、controller-manager，相关配置项也只涉及这三块。

4.1【/etc/kubernetes/config】

# Comma seperated list of nodes in the etcd cluster  
KUBE_ETCD_SERVERS=”–etcd_servers=https://192.168.1.10:4001″  
# logging to stderr means we get it in the systemd journal  
KUBE_LOGTOSTDERR=”–logtostderr=true”  
# journal message level, 0 is debug  
KUBE_LOG_LEVEL=”–v=0″  
# Should this cluster be allowed to run privleged docker containers  
KUBE_ALLOW_PRIV=”–allow_privileged=false”  

4.2【/etc/kubernetes/apiserver】

# The address on the local server to listen to.  
KUBE_API_ADDRESS=”–address=0.0.0.0″  
# The port on the local server to listen on.  
KUBE_API_PORT=”–port=8080″  
# How the replication controller and scheduler find the kube-apiserver  
KUBE_MASTER=”–master=192.168.1.200:8080″  
# Port minions listen on  
KUBELET_PORT=”–kubelet_port=10250″  
# Address range to use for services  
KUBE_SERVICE_ADDRESSES=”–portal_net=10.254.0.0/16″  
# Add you own!  
KUBE_API_ARGS=””

4.3【/etc/kubernetes/controller-manager】

# Comma seperated list of minions  
KUBELET_ADDRESSES=”–machines= 192.168.1.201,192.168.1.202″  
# Add you own!  
KUBE_CONTROLLER_MANAGER_ARGS=””  

4.4【/etc/kubernetes/scheduler】

# Add your own!  
KUBE_SCHEDULER_ARGS=””  

启动master侧相关服务

# systemctl daemon-reload
# systemctl start kube-apiserver.service kube-controller-manager.service kube-scheduler.service
# systemctl enable kube-apiserver.service kube-controller-manager.service kube-scheduler.service

5）Kubernetes配置（仅minion主机）

minion运行两个组件,包括kubelet、proxy，相关配置项也只涉及这两块。

Docker启动脚本更新

# vi /etc/sysconfig/docker

添加：-H tcp://0.0.0.0:2375，最终配置如下，以便以后提供远程API维护。

OPTIONS=–selinux-enabled -H tcp://0.0.0.0:2375 -H fd://

修改minion防火墙配置，通常master找不到minion主机多半是由于端口没有连通。

iptables -I INPUT -s 192.168.1.200 -p tcp –dport 10250 -j ACCEPT

修改kubernetes minion端配置，以192.168.1.201主机为例，其它minion主机同理。

5.1【/etc/kubernetes/config】

# Comma seperated list of nodes in the etcd cluster  
KUBE_ETCD_SERVERS=”–etcd_servers=https://192.168.1.10:4001″  
# logging to stderr means we get it in the systemd journal  
KUBE_LOGTOSTDERR=”–logtostderr=true”  
# journal message level, 0 is debug  
KUBE_LOG_LEVEL=”–v=0″  
# Should this cluster be allowed to run privleged docker containers  
KUBE_ALLOW_PRIV=”–allow_privileged=false”  

5.2【/etc/kubernetes/kubelet】

###  
# kubernetes kubelet (minion) config  
# The address for the info server to serve on (set to 0.0.0.0 or “” for all interfaces)  
KUBELET_ADDRESS=”–address=0.0.0.0″  
# The port for the info server to serve on  
KUBELET_PORT=”–port=10250″  
# You may leave this blank to use the actual hostname  
KUBELET_HOSTNAME=”–hostname_override=192.168.1.201″  
# Add your own!  
KUBELET_ARGS=””  

5.3【/etc/kubernetes/proxy】

KUBE_PROXY_ARGS=””  

启动kubernetes服务

# systemctl daemon-reload
# systemctl enable docker.service kubelet.service kube-proxy.service
# systemctl start docker.service kubelet.service kube-proxy.service

3.校验安装(在master主机操作，或可访问master主机8080端口的client api主机)

1) kubernetes常用命令

# kubectl get minions    #查查看minion主机
# kubectl get pods    #查看pods清单
# kubectl get services 或 kubectl get services -o json    #查看service清单
# kubectl get replicationControllers    #查看replicationControllers清单
# for i in `kubectl get pod|tail -n +2|awk '{print $1}'`; do kubectl delete pod $i; done    #删除所有pods

或者通过Server api for REST方式（推荐，及时性更高）：

# curl -s -L https://192.168.1.200:8080/api/v1beta1/version | python -mjson.tool    #查看kubernetes版本
# curl -s -L https://192.168.1.200:8080/api/v1beta1/pods | python -mjson.tool    #查看pods清单
# curl -s -L https://192.168.1.200:8080/api/v1beta1/replicationControllers | python -mjson.tool    #查看replicationControllers清单
# curl -s -L https://192.168.1.200:8080/api/v1beta1/minions | python -m json.tool    #查查看minion主机
# curl -s -L https://192.168.1.200:8080/api/v1beta1/services | python -m json.tool    #查看service清单

注：在新版Kubernetes中，所有的操作命令都整合至kubectl，包括kubecfg、kubectl.sh、kubecfg.sh等

2）创建测试pod单元

# /home/kubermange/pods && cd /home/kubermange/pods

# vi apache-pod.json

{  
  “id”: “fedoraapache”,  
  “kind”: “Pod”,  
  “apiVersion”: “v1beta1”,  
  “desiredState”: {  
    “manifest”: {  
      “version”: “v1beta1”,  
      “id”: “fedoraapache”,  
      “containers”: [{  
        “name”: “fedoraapache”,  
        “image”: “fedora/apache”,  
        “ports”: [{  
          “containerPort”: 80,  
          “hostPort”: 8080  
        }]  
      }]  
    }  
  },  
  “labels”: {  
    “name”: “fedoraapache”  
  }  
}  

# kubectl create -f apache-pod.json

# kubectl get pod

NAME                IMAGE(S)            HOST                LABELS              STATUS
fedoraapache        fedora/apache       192.168.1.202/      name=fedoraapache   Running

启动浏览器访问https://192.168.1.202:8080/，对应的服务端口切记在iptables中已添加。效果图如下：

观察kubernetes在etcd中的数据存储结构

观察单个pods的数据存储结构，以json的格式存储。

二、实战操作

任务：通过Kubernetes创建一个LNMP架构的服务集群，以及观察其负载均衡，涉及镜像“yorko/webserver”已经push至registry.hub.docker.com，大家可以通过“docker pull yorko/webserver”下载。

# mkdir -p /home/kubermange/replication && mkdir -p /home/kubermange/service
# cd /home/kubermange/replication 

1. 创建一个replication，本例直接在replication模板中创建pod并复制，也可独立创建pod再通过replication来复制。

【replication/lnmp-replication.json】

{  
  “id”: “webserverController”,  
  “kind”: “ReplicationController”,  
  “apiVersion”: “v1beta1”,  
  “labels”: {“name”: “webserver”},  
  “desiredState”: {  
    “replicas”: 2,  
    “replicaSelector”: {“name”: “webserver_pod”},  
    “podTemplate”: {  
      “desiredState”: {  
         “manifest”: {  
           “version”: “v1beta1”,  
           “id”: “webserver”,  
           “volumes”: [  
             {“name”:”httpconf”, “source”:{“hostDir”:{“path”:”/etc/httpd/conf”}}},  
             {“name”:”httpconfd”, “source”:{“hostDir”:{“path”:”/etc/httpd/conf.d”}}},  
             {“name”:”httproot”, “source”:{“hostDir”:{“path”:”/data”}}}  
            ],  
           “containers”: [{  
             “name”: “webserver”,  
             “image”: “yorko/webserver”,  
             “command”: [“/bin/sh”, “-c”, “/usr/bin/supervisord -c /etc/supervisord.conf”],  
             “volumeMounts”: [  
               {“name”:”httpconf”, “mountPath”:”/etc/httpd/conf”},  
               {“name”:”httpconfd”, “mountPath”:”/etc/httpd/conf.d”},  
               {“name”:”httproot”, “mountPath”:”/data”}  
              ],  
             “cpu”: 100,  
             “memory”: 50000000,  
             “ports”: [{  
               “containerPort”: 80,  
             },{  
               “containerPort”: 22,  
            }]  
           }]  
         }  
       },  
       “labels”: {“name”: “webserver_pod”},  
      },  
  }  
}  

执行创建命令

#kubectl create -f lnmp-replication.json

观察生成的pod副本清单：

[root@SN2014-12-200 replication]# kubectl get pod

NAME                                   IMAGE(S)            HOST                LABELS               STATUS
84150ab7-89f8-11e4-970d-000c292f1620   yorko/webserver     192.168.1.202/      name=webserver_pod   Running
84154ed5-89f8-11e4-970d-000c292f1620   yorko/webserver     192.168.1.201/      name=webserver_pod   Running
840beb1b-89f8-11e4-970d-000c292f1620   yorko/webserver     192.168.1.202/      name=webserver_pod   Running
84152d93-89f8-11e4-970d-000c292f1620   yorko/webserver     192.168.1.202/      name=webserver_pod   Running
840db120-89f8-11e4-970d-000c292f1620   yorko/webserver     192.168.1.201/      name=webserver_pod   Running
8413b4f3-89f8-11e4-970d-000c292f1620   yorko/webserver     192.168.1.201/      name=webserver_pod   Running

2.创建一个service，通过selector指定 “name”: “webserver_pod”与pods关联。

【service/lnmp-service.json】

{  
  “id”: “webserver”,  
  “kind”: “Service”,  
  “apiVersion”: “v1beta1”,  
  “selector”: {  
    “name”: “webserver_pod”,  
  },  
  “protocol”: “TCP”,  
  “containerPort”: 80,  
  “port”: 8080  
}  

执行创建命令：

# kubectl create -f lnmp-service.json

登录minion主机（192.168.1.201），查询主宿机生成的iptables转发规则（最后一行）

# iptables -nvL -t nat

Chain KUBE-PROXY (2 references)
pkts bytes target     prot opt in     out     source               destination        
    2   120 REDIRECT   tcp  —  *      *       0.0.0.0/0            10.254.102.162       /* kubernetes */ tcp dpt:443 redir ports 47700
    1    60 REDIRECT   tcp  —  *      *       0.0.0.0/0            10.254.28.74         /* kubernetes-ro */ tcp dpt:80 redir ports 60099
    0     0 REDIRECT   tcp  —  *      *       0.0.0.0/0            10.254.216.51        /* webserver */ tcp dpt:8080 redir ports 40689

访问测试，https://192.168.1.201:40689/info.php，刷新浏览器发现proxy后端的变化，默认为随机轮循算法。

三、测试过程

1.pods自动复制、销毁测试，观察Kubernetes自动保持副本数（6份）

删除replicationcontrollers中一个副本fedoraapache

[root@SN2014-12-200 pods]# kubectl delete pods fedoraapache

I1219 23:59:39.305730    9516 restclient.go:133] Waiting for completion of operation 142530

fedoraapache

[root@SN2014-12-200 pods]# kubectl get pods

NAME                                   IMAGE(S)            HOST                LABELS              STATUS
5d70892e-8794-11e4-970d-000c292f1620   fedora/apache       192.168.1.201/      name=fedoraapache   Running
5d715e56-8794-11e4-970d-000c292f1620   fedora/apache       192.168.1.202/      name=fedoraapache   Running
5d717f8d-8794-11e4-970d-000c292f1620   fedora/apache       192.168.1.202/      name=fedoraapache   Running
5d71c584-8794-11e4-970d-000c292f1620   fedora/apache       192.168.1.201/      name=fedoraapache   Running
5d71a494-8794-11e4-970d-000c292f1620   fedora/apache       192.168.1.202/      name=fedoraapache   Running

#自动生成出一个副本，保持6份的效果

[root@SN2014-12-200 pods]# kubectl get pods

NAME                                   IMAGE(S)            HOST                LABELS              STATUS
5d717f8d-8794-11e4-970d-000c292f1620   fedora/apache       192.168.1.202/      name=fedoraapache   Running
5d71c584-8794-11e4-970d-000c292f1620   fedora/apache       192.168.1.201/      name=fedoraapache   Running
5d71a494-8794-11e4-970d-000c292f1620   fedora/apache       192.168.1.202/      name=fedoraapache   Running
2a8fb993-8798-11e4-970d-000c292f1620   fedora/apache       192.168.1.201/      name=fedoraapache   Running
5d70892e-8794-11e4-970d-000c292f1620   fedora/apache       192.168.1.201/      name=fedoraapache   Running
5d715e56-8794-11e4-970d-000c292f1620   fedora/apache       192.168.1.202/      name=fedoraapache   Running

2.测试不同角色模块中的hostPort

1）pod中hostPort为空，而replicationcontrollers为指定端口，则异常；两侧都指定端口，相同或不同时都异常；pod的hostport为指定，另replicationcon为空，则正常；pod的hostport为空，另replicationcon为空，则正常；结论是在replicationcontrollers场景不能指定hostport，否则异常，待持续测试。

2）结论：在replicationcontronllers.json中，”replicaSelector”: {“name”: “webserver_pod”}要与”labels”: {“name”: “webserver_pod”}以及service中的”selector”: {“name”: “webserver_pod”｝保持一致；

下篇文章中，刘天斯计划介绍《Kubernetes与HECD架构的整合》，敬请期待！

参考文献：

Kubernetes fedora_manual_config.md

kubernetes/DESIGN.md

Kubernetes系统架构简介

原文链接：基于kubernetes构建Docker集群管理详解（责编：周小璐）

如需要了解更多Docker相关的资讯或是技术文档可访问Docker技术社区；如有更多的疑问请在Dcoker技术论坛提出，我们会邀请专家回答。ImapBox Docker技术交流QQ群：303806405。