配置Kubernetes共享使用Ceph存储
目录
简要概述
网站建设哪家好,找成都创新互联!专注于网页设计、网站建设、微信开发、重庆小程序开发、集团企业网站建设等服务项目。为回馈新老客户创新互联还提供了常宁免费建站欢迎大家使用!
环境测试
结果验证
简要概述
Kubernetes pod 结合Ceph rbd块设备的使用,让Docker 数据存储在Ceph,重启Docker或k8s RC重新调度pod 不会引起数据来回迁移。
工作原理无非就是拿到ceph集群的key作为认证,远程rbdmap映射挂载使用。那么就要启用一个基于key的secret资源,之后k8s pod指定要用的rbd就可以了。
环境测试
我的OS是ubuntu 14.04,一个master,两个minon 节点,一个镜像仓库服务,这样保证了k8s集群跑起来,这个过程就略过了。
1.内核升级
这里的ceph 版本装的是10.2.2,客户端内核过低会引起挂载失败,主要就是minion节点。
# curl -sSL https://get.docker.com | sh && service docker restart # apt-get install linux-image-4.4.0-22-generic && reboot
2.安装ceph-common,让minion调用rbd
root@minion2:~# apt-get install python-rbd ceph-common
3.保存ceph-keyring和配置文件
root@minion2:~# ll /etc/ceph total 20 drwxr-xr-x 2 root root 4096 Jun 22 2016 ./ drwxr-xr-x 93 root root 4096 Nov 11 11:18 ../ -rw------- 1 root root 63 Apr 25 2016 ceph.client.admin.keyring -rw-r--r-- 1 root root 249 Jun 22 2016 ceph.conf -rw-r--r-- 1 root root 92 Jun 14 2016 rbdmap
4.获取ceph keyring 的base64编码字符串
root@minion2:~# ceph auth get-key client.admin AQAmnRlX2zrqDRAAOiuOs2sIItGhAP6tNDa3Vg==root@minion2:~# root@minion2:~# grep key /etc/ceph/ceph.client.admin.keyring |awk '{printf "%s", $NF}' AQAmnRlX2zrqDRAAOiuOs2sIItGhAP6tNDa3Vg== root@minion2:~# grep key /etc/ceph/ceph.client.admin.keyring |awk '{printf "%s", $NF}'|base64 QVFBbW5SbFgyenJxRFJBQU9pdU9zMnNJSXRHaEFQNnRORGEzVmc9PQ==
5.创建基于keyring 的secret资源
root@master:~# cat ceph-secret.yaml apiVersion: v1 kind: Secret metadata: name: ceph-secret data: key: QVFBbW5SbFgyenJxRFJBQU9pdU9zMnNJSXRHaEFQNnRORGEzVmc9PQo= root@master:~# kubectl create -f ceph-secret.yaml root@master:~# kubectl get secret NAME TYPE DATA AGE ceph-secret Opaque 1 187d default-token-rk17v kubernetes.io/service-account-token 3 208d
6.编辑一个可用的ReplicationController 让rbdpod跑起来
# kubectl create -f rbd-rc.yaml
验证结果
这样的我们在pod就跑起来了,可以看到mount挂载信息,也可以进入容器查看
root@minion2:~# docker ps | grep rbd 4b8fc04501b1 nginx "nginx -g 'daemon off" 6 months ago Up 6 months k8s_rbdpod.b1ab9160_rbpod-k3yxn_default_88540575-3847-11e6-a098-0a6a7c3a684c_f8caa4bc3c9c1240b72e gcr.io/google_containers/pause:2.0 "/pause" 6 months ago Up 6 months k8s_POD.25c801ab_rbdpod-k3yxn_default_88540575-3847-11e6-a098-0a6a7c3a684c_c38f4ce7 root@minion2:~# mount | grep rbd /dev/rbd0 on /var/lib/kubelet/plugins/kubernetes.io/rbd/rbd/data-image-wxq type ext4 (rw) /var/lib/kubelet/plugins/kubernetes.io/rbd/rbd/data-image-wxq on /var/lib/kubelet/pods/88540575-3847-11e6-a098-0a6a7c3a684c/volumes/kubernetes.io~rbd/rbdpd type none (rw)
这样k8s完美的结合了Ceph 块设备,它们又能愉悦的在一起玩耍了,至于有没有真感情且看未来。
分享题目:配置Kubernetes共享使用Ceph存储
分享链接:http://pwwzsj.com/article/jhcocg.html