داکر - هیوادار

افزایش ظرفیت پارتیشن ها توی LVM

توی یه سرور RHEL که از LVM برای مدیریت دیسک و پارتیشن استفاده میشه، لازم شد که حجم رو افزایش بدیم. یه دیسک sdb داریم که میخایم به 2 تا پارتیشن اضافه اش کنیم. LVM این کار رو انجام میده بدون اینکه پارتیشن ها نیاز به فرمت داشته باشن و داده های قدیمی از دست برن. یه چیزی مثل سرویس های ابری که هر وقت بخایم منابع اضافه میکنیم.

قبل از افزایش حجم وضعیت اینطور بود:

# df -h
Filesystem                       Size  Used Avail Use% Mounted on
devtmpfs                         7.9G     0  7.9G   0% /dev
tmpfs                            7.9G     0  7.9G   0% /dev/shm
tmpfs                            7.9G  1.2M  7.9G   1% /run
tmpfs                            7.9G     0  7.9G   0% /sys/fs/cgroup
/dev/mapper/vg0-lvroot            40G  4.4G   36G  11% /
/dev/sda2                       1014M  292M  723M  29% /boot
/dev/mapper/vg0-lvvar             20G  4.2G   16G  21% /var
/dev/mapper/vg0-lvtmp             20G  176M   20G   1% /tmp
/dev/mapper/vg0-lvhome            40G   14G   27G  35% /home
/dev/mapper/vg0-lvvar_log         10G  1.4G  8.6G  14% /var/log
/dev/mapper/vg0-lvvar_tmp         10G  104M  9.9G   2% /var/tmp
/dev/mapper/vg0-lvvar_log_audit   10G  1.4G  8.6G  14% /var/log/audit
tmpfs                            1.6G     0  1.6G   0% /run/user/1190376420
overlay                           20G  4.2G   16G  21% /var/lib/docker/overlay2/dbfe655119fd6d03f5e8fb2df593879ba19bc6bde509e2499d70748b4354f021/merged
overlay                           20G  4.2G   16G  21% /var/lib/docker/overlay2/147384dd3327c9bb2a2a4b0987feb5a880eec99164f34765d28a30f956f7b44f/merged
overlay                           20G  4.2G   16G  21% /var/lib/docker/overlay2/480bf322cca836d746335f12b6c3199b608eed021b024090d726065654b6d169/merged
overlay                           20G  4.2G   16G  21% /var/lib/docker/overlay2/16252ee660cbc6442ec03813b604302ec2612a9d991571ac780415d68cf419c0/merged
overlay                           20G  4.2G   16G  21% /var/lib/docker/overlay2/9aa12c12dd6fcccbb23ef6266e7cfddabdf426f1823527fa265fb9a5635936b2/merged

# df -h

Filesystem Size Used Avail Use% Mounted on

devtmpfs 7.9G 0 7.9G 0% /dev

tmpfs 7.9G 0 7.9G 0% /dev/shm

tmpfs 7.9G 1.2M 7.9G 1% /run

tmpfs 7.9G 0 7.9G 0% /sys/fs/cgroup

/dev/mapper/vg0-lvroot 40G 4.4G 36G 11% /

/dev/sda2 1014M 292M 723M 29% /boot

/dev/mapper/vg0-lvvar 20G 4.2G 16G 21% /var

/dev/mapper/vg0-lvtmp 20G 176M 20G 1% /tmp

/dev/mapper/vg0-lvhome 40G 14G 27G 35% /home

/dev/mapper/vg0-lvvar_log 10G 1.4G 8.6G 14% /var/log

/dev/mapper/vg0-lvvar_tmp 10G 104M 9.9G 2% /var/tmp

/dev/mapper/vg0-lvvar_log_audit 10G 1.4G 8.6G 14% /var/log/audit

tmpfs 1.6G 0 1.6G 0% /run/user/1190376420

overlay 20G 4.2G 16G 21% /var/lib/docker/overlay2/dbfe655119fd6d03f5e8fb2df593879ba19bc6bde509e2499d70748b4354f021/merged

overlay 20G 4.2G 16G 21% /var/lib/docker/overlay2/147384dd3327c9bb2a2a4b0987feb5a880eec99164f34765d28a30f956f7b44f/merged

overlay 20G 4.2G 16G 21% /var/lib/docker/overlay2/480bf322cca836d746335f12b6c3199b608eed021b024090d726065654b6d169/merged

overlay 20G 4.2G 16G 21% /var/lib/docker/overlay2/16252ee660cbc6442ec03813b604302ec2612a9d991571ac780415d68cf419c0/merged

overlay 20G 4.2G 16G 21% /var/lib/docker/overlay2/9aa12c12dd6fcccbb23ef6266e7cfddabdf426f1823527fa265fb9a5635936b2/merged

همینطور که میبینید /home و / هر کدوم 40 گیگابایت هستن که باید زیاد بشن.

# ll /dev/sd*
brw-rw----. 1 root disk 8,  0 Jun 26 11:18 /dev/sda
brw-rw----. 1 root disk 8,  1 Jun 26 11:18 /dev/sda1
brw-rw----. 1 root disk 8,  2 Jun 26 11:18 /dev/sda2
brw-rw----. 1 root disk 8,  3 Jun 26 11:18 /dev/sda3
brw-rw----. 1 root disk 8, 16 Jun 26 11:18 /dev/sdb

# ll /dev/sd*

brw-rw----. 1 root disk 8, 0 Jun 26 11:18 /dev/sda

brw-rw----. 1 root disk 8, 1 Jun 26 11:18 /dev/sda1

brw-rw----. 1 root disk 8, 2 Jun 26 11:18 /dev/sda2

brw-rw----. 1 root disk 8, 3 Jun 26 11:18 /dev/sda3

brw-rw----. 1 root disk 8, 16 Jun 26 11:18 /dev/sdb

میبینیم که /dev/sdb به دیکسها اضافه شده اما پارتیشن بندی نشده.

# pvs
  PV         VG  Fmt  Attr PSize    PFree
  /dev/sda3  vg0 lvm2 a--  <199.00g <17.00g

# pvs

PV VG Fmt Attr PSize PFree

/dev/sda3 vg0 lvm2 a-- <199.00g <17.00g

همینطور که میبینیم sdb اصلا به هیچ volume group ای از LVM اضافه نشده پس معلومه که قابل استفاده است.

# vgs
  VG  #PV #LV #SN Attr   VSize    VFree
  vg0   1   8   0 wz--n- <199.00g <17.00g

# vgs

VG #PV #LV #SN Attr VSize VFree

vg0 1 8 0 wz--n- <199.00g <17.00g

میبینیم که یه logical volume داریم vg0 که یه دونه pv هم داره که در واقع همون sda3 هست که قبلا دیدیم و بازم مطمثن شدیم که sdb استفاده نمیشه

# lvs
  LV              VG  Attr       LSize  Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
  lvhome          vg0 -wi-ao---- 40.00g
  lvroot          vg0 -wi-ao---- 40.00g
  lvswap          vg0 -wi-ao---- 32.00g
  lvtmp           vg0 -wi-ao---- 20.00g
  lvvar           vg0 -wi-ao---- 20.00g
  lvvar_log       vg0 -wi-ao---- 10.00g
  lvvar_log_audit vg0 -wi-ao---- 10.00g
  lvvar_tmp       vg0 -wi-ao---- 10.00g

# lvs

LV VG Attr LSize Pool Origin Data% Meta% Move Log Cpy%Sync Convert

lvhome vg0 -wi-ao---- 40.00g

lvroot vg0 -wi-ao---- 40.00g

lvswap vg0 -wi-ao---- 32.00g

lvtmp vg0 -wi-ao---- 20.00g

lvvar vg0 -wi-ao---- 20.00g

lvvar_log vg0 -wi-ao---- 10.00g

lvvar_log_audit vg0 -wi-ao---- 10.00g

lvvar_tmp vg0 -wi-ao---- 10.00g

یه نگاه مجدد به logical volume ها میندازیم.

pvcreate /dev/sdb

1	pvcreate /dev/sdb

با دستور بالا sdb رو به یه phisical volume تعریف کردیم که بتونیم توی LVM ازش استفاده کنیم. در وا

# pvs
  PV         VG  Fmt  Attr PSize     PFree
  /dev/sda3  vg0 lvm2 a--   <199.00g   <17.00g
  /dev/sdb   vg0 lvm2 a--  <1024.00g <1024.00g

# pvs

PV VG Fmt Attr PSize PFree

/dev/sda3 vg0 lvm2 a-- <199.00g <17.00g

/dev/sdb vg0 lvm2 a-- <1024.00g <1024.00g

میبینیم که sdb اضافه شده.

vgextend vg0 /dev/sdb

1	vgextend vg0 /dev/sdb

حالا sdb رو به volume group vg0 اضافه میکنیم که بتونیم به logical volume ها اضافه اش کنیم.

# vgs
  VG  #PV #LV #SN Attr   VSize VFree
  vg0   2   8   0 wz--n- 1.19t <1.02t

# vgs

VG #PV #LV #SN Attr VSize VFree

vg0 2 8 0 wz--n- 1.19t <1.02t

همینطور که میبینیم اضافه شده. الان vg0 حدود یک ترابایت خالی داره.

lvextend -L +512G /dev/mapper/vg0-lvroot -r

1	lvextend -L +512G /dev/mapper/vg0-lvroot -r

حالا 512 گیگابایتش رو به / یا همون root اضافه کردیم.

lvm lvextend -l +100%FREE /dev/mapper/vg0-lvhome -r

1	lvm lvextend -l +100%FREE /dev/mapper/vg0-lvhome -r

از فضای خالی باقیمانده بقیه شو به /home اضافه کردیم.

# df -h
Filesystem                       Size  Used Avail Use% Mounted on
devtmpfs                         7.9G     0  7.9G   0% /dev
tmpfs                            7.9G     0  7.9G   0% /dev/shm
tmpfs                            7.9G  748K  7.9G   1% /run
tmpfs                            7.9G     0  7.9G   0% /sys/fs/cgroup
/dev/mapper/vg0-lvroot           569G  7.9G  562G   2% /
/dev/sda2                       1014M  291M  724M  29% /boot
/dev/mapper/vg0-lvvar             20G  1.1G   19G   6% /var
/dev/mapper/vg0-lvhome           552G  3.9G  549G   1% /home
/dev/mapper/vg0-lvvar_tmp         10G  104M  9.9G   2% /var/tmp
/dev/mapper/vg0-lvvar_log         10G  315M  9.7G   4% /var/log
/dev/mapper/vg0-lvvar_log_audit   10G  525M  9.5G   6% /var/log/audit
/dev/mapper/vg0-lvtmp             20G  176M   20G   1% /tmp
tmpfs                            1.6G     0  1.6G   0% /run/user/1190376420

# df -h

Filesystem Size Used Avail Use% Mounted on

devtmpfs 7.9G 0 7.9G 0% /dev

tmpfs 7.9G 0 7.9G 0% /dev/shm

tmpfs 7.9G 748K 7.9G 1% /run

tmpfs 7.9G 0 7.9G 0% /sys/fs/cgroup

/dev/mapper/vg0-lvroot 569G 7.9G 562G 2% /

/dev/sda2 1014M 291M 724M 29% /boot

/dev/mapper/vg0-lvvar 20G 1.1G 19G 6% /var

/dev/mapper/vg0-lvhome 552G 3.9G 549G 1% /home

/dev/mapper/vg0-lvvar_tmp 10G 104M 9.9G 2% /var/tmp

/dev/mapper/vg0-lvvar_log 10G 315M 9.7G 4% /var/log

/dev/mapper/vg0-lvvar_log_audit 10G 525M 9.5G 6% /var/log/audit

/dev/mapper/vg0-lvtmp 20G 176M 20G 1% /tmp

tmpfs 1.6G 0 1.6G 0% /run/user/1190376420

همینطور که میبینید / و /home حجمشون زیاد شده.

ارور دسترسی روی gitlab

gitlab رو توی داکر بالا آوردم ولی بعضی از کاربران برای لاگین ارور 422 میگرفتن. بعد از بررسی متوجه شدم که باید از مسیر زیر کانفیگ رو تیک بزنیم که resource های خارجی هم بتونن دسترسی داشته باشن. چون gitlab رو روی داکر بالا میارید این وسط لودبالانسر قرار میگیره

Admin → Settings → Network → Outbound Requests

برگه تقلب راه اندازی RabbitMQ و Celery روی داکر

برای بالا آوردن RabbitMQ و اجرای Celery به شرط تنظیمات درستش همین دستورات زیر کافیه:

راه اندازی RabbitMQ تو Docker

docker run -d --hostname my-rabbit --name some-rabbit rabbitmq:3-management
docker run -d --hostname my-rabbit --name some-rabbit -p 8080:15672 rabbitmq:3-management

1 2	docker run -d --hostname my-rabbit --name some-rabbit rabbitmq:3-management docker run -d --hostname my-rabbit --name some-rabbit -p 8080:15672 rabbitmq:3-management

docker run -d --hostname localhost --name some-rabbit -p 5672:5672 -p 8080:15672 rabbitmq:3-management

1	docker run -d --hostname localhost --name some-rabbit -p 5672:5672 -p 8080:15672 rabbitmq:3-management

راه اندازی Celery:

Note: If you are using windows save yourself using gevent execution pool:
(https://stackoverflow.com/questions/62524908/task-receive-but-doesnt-excute)

$ pip install gevent

```
celery -A tasks worker --concurrency=4 -l info -P gevent
```

Note: If you are using windows save yourself using gevent execution pool:

(https://stackoverflow.com/questions/62524908/task-receive-but-doesnt-excute)

$ pip install gevent

```

celery -A tasks worker --concurrency=4 -l info -P gevent

```

راه اندازی مستقیم با جنگو

python manage.py celery worker -P gevent

1	python manage.py celery worker -P gevent

راه اندازی Celery beat

celery -A core worker -l info -P gevent --concurrency 2

celery -A core beat -l info

celery -A core worker -l info -P gevent --concurrency 2

celery -A core beat -l info

اکستنشن Celery beat

celery -A core beat -l info --scheduler django_celery_beat.schedulers:DatabaseScheduler

1	celery -A core beat -l info --scheduler django_celery_beat.schedulers:DatabaseScheduler

مانیتور flow

celery --broker=amqp://guest:guest@localhost:5672// flower

1	celery --broker=amqp://guest:guest@localhost:5672// flower

celery -A core events --dump

1	celery -A core events --dump

گشت و گذار اولیه توی داکر for inspection

دستورات اولیه کار با داکر و تنظیمات اولیه.

Install Ubuntu 22.04
apt update
apt install docker.io
==
docker images
docker ps


vim /etc/apt/resolve.conf
nameserver 10.202.10.202 #shekan

docker pull alpine:latest
docker load -i /path/alpine.tar

#create container based on alpine
docker run -dit --name alp1 alpine

docker exec alp2 ip a
docker exec alp2 ping ..

docker attach alp2

CTRL+p+q

ls /var/lib/docker 
ls /var/lib/docker/containers

usermod -aG docker user1
service docker restart 

docker start alp1
docker ps 

brctl show  #list all bridge

docker network ls 
docker network create mynet 

docker run -dit  -name alp3 --net mynet alpine
docker run -dit --name alp4 --net mynet alpine

docker exec alp3 ping alp4

docker network inspect mynet

docker run -dit --name mynginx nginx:alpine 
docker rm -f mynginx 
docker run -dit --name mynginx nginx:alpine 80:80
#################################

192.168.56.1
ZDsoft recorder
-----------------------------------
docker images 
docker pull nginx:alpine

scp ....
docker load -i /home/nginx-alpine.tar
docker images

mkdir project1 
cd project1
echo MySite > index.html
nano DockerFile
from nginx:alpine
copy index.html /usr/share/www/index.html

docker build -t web .
docker ps 
docker run -dit --name mynginx -p 80:80 nginx:alpine
docker ps 


docker rm -f mynginx
docker run -dit --name mynginx -p 80:80 web
docker ps 

docker network create mynet 

docker run -dit --name alp3 mynet alpine
docker run -dit --name alp4 mynet alpine

docker exec alp4 ip a
docker exec alp4 ping 172.18.0.2
docker exec alp4 ping alp3
docker exec alp4 ping alp1

# name discovery on user defined bridge 

iptables -I DOCKER-USER -i docker0 -o br-fc... -j ACCEPT
iptables -I DOCKER-USER -o docker0 -i br-fc... -j ACCEPT

docker exec alp4 ping alp1

docker netwrok inspect

docker rm -f mynginx 

docker run -dit --name mynginx --net host web  # no need to publish port like 80:80 because its on host network

----------------
docker network create -d macvlan --subnet 192.168.93.0  --iprange 192.168.93.192/26 -o parent ens33 --gateway 192.168.93.2 macvlan1
docker run -dit --name alp5 --net macvlan alpine
docker exec alp5 ip a

docker network inspect macvlan1 
----------------

ip netns add ns1 
ip netns add ns2
ip link add veth0 


ip -n ns0 link


ip netns 

ip link
ip netns add ns0
ip -n ns0 link
clear
ip netns add ns1
ip link add veth0 type veth peer name veth1
ip link
clear
ip link set veth0 netns ns0
ip -n ns0 link
ip link set veth1 netns ns1
ip -n ns0 link set veth0 up
ip -n ns0 link set lo up
ip -n ns0 addr add 10.0.1.1/24 dev veth0
ip -n ns1 link set veth1 up
ip -n ns1 link set lo up
ip -n ns1 addr add 10.0.2.1/24 dev veth1
ip -n ns0 a
clear
ip netns exec ns0 ping 10.0.2.1
ip -n ns0 route add 10.0.2.0/24 dev veth0
ip -n ns1 route add 10.0.1.0/24 dev veth1
ip netns exec ns0 ping 10.0.2.1
clear
history
ip netns

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

Install Ubuntu 22.04

apt update

apt install docker.io

docker images

docker ps

vim /etc/apt/resolve.conf

nameserver 10.202.10.202 #shekan

docker pull alpine:latest

docker load -i /path/alpine.tar

#create container based on alpine

docker run -dit --name alp1 alpine

docker exec alp2 ip a

docker exec alp2 ping ..

docker attach alp2

CTRL+p+q

ls /var/lib/docker

ls /var/lib/docker/containers

usermod -aG docker user1

service docker restart

docker start alp1

docker ps

brctl show #list all bridge

docker network ls

docker network create mynet

docker run -dit -name alp3 --net mynet alpine

docker run -dit --name alp4 --net mynet alpine

docker exec alp3 ping alp4

docker network inspect mynet

docker run -dit --name mynginx nginx:alpine

docker rm -f mynginx

docker run -dit --name mynginx nginx:alpine 80:80

#################################

192.168.56.1

ZDsoft recorder

-----------------------------------

docker images

docker pull nginx:alpine

scp ....

docker load -i /home/nginx-alpine.tar

docker images

mkdir project1

cd project1

echo MySite > index.html

nano DockerFile

from nginx:alpine

copy index.html /usr/share/www/index.html

docker build -t web .

docker ps

docker run -dit --name mynginx -p 80:80 nginx:alpine

docker ps

docker rm -f mynginx

docker run -dit --name mynginx -p 80:80 web

docker ps

docker network create mynet

docker run -dit --name alp3 mynet alpine

docker run -dit --name alp4 mynet alpine

docker exec alp4 ip a

docker exec alp4 ping 172.18.0.2

docker exec alp4 ping alp3

docker exec alp4 ping alp1

# name discovery on user defined bridge

iptables -I DOCKER-USER -i docker0 -o br-fc... -j ACCEPT

iptables -I DOCKER-USER -o docker0 -i br-fc... -j ACCEPT

docker exec alp4 ping alp1

docker netwrok inspect

docker rm -f mynginx

docker run -dit --name mynginx --net host web # no need to publish port like 80:80 because its on host network

----------------

docker network create -d macvlan --subnet 192.168.93.0 --iprange 192.168.93.192/26 -o parent ens33 --gateway 192.168.93.2 macvlan1

docker run -dit --name alp5 --net macvlan alpine

docker exec alp5 ip a

docker network inspect macvlan1

----------------

ip netns add ns1

ip netns add ns2

ip link add veth0

ip -n ns0 link

ip netns

ip link

ip netns add ns0

ip -n ns0 link

clear

ip netns add ns1

ip link add veth0 type veth peer name veth1

ip link

clear

ip link set veth0 netns ns0

ip -n ns0 link

ip link set veth1 netns ns1

ip -n ns0 link set veth0 up

ip -n ns0 link set lo up

ip -n ns0 addr add 10.0.1.1/24 dev veth0

ip -n ns1 link set veth1 up

ip -n ns1 link set lo up

ip -n ns1 addr add 10.0.2.1/24 dev veth1

ip -n ns0 a

clear

ip netns exec ns0 ping 10.0.2.1

ip -n ns0 route add 10.0.2.0/24 dev veth0

ip -n ns1 route add 10.0.1.0/24 dev veth1

ip netns exec ns0 ping 10.0.2.1

clear

history

ip netns

پیاده سازی gitlab بر روی داکر با پشتیبانگیری

برای پیاده سازی gitlab بر روی داکر از compose زیر استفاده کردم:

version: '3.6'
services:
  gitlab:
    image: 'gitlab/gitlab-ce:latest'
    container_name: nasim_gitlab
    restart: always
    hostname: 'localhost'
    environment:
      discovery.type: single-node
    ports:
      - '3389:80'
      - '443:443'
    volumes:
      - gitlab_config:/etc/gitlab
      - gitlab_logs:/var/log/gitlab
      - gitlab_data:/var/opt/gitlab
    shm_size: '256m'

volumes:
  gitlab_config:
    driver: local
  gitlab_logs:
    driver: local
  gitlab_data:
    driver: local

version: '3.6'

services:

gitlab:

image: 'gitlab/gitlab-ce:latest'

container_name: nasim_gitlab

restart: always

hostname: 'localhost'

environment:

discovery.type: single-node

ports:

- '3389:80'

- '443:443'

volumes:

- gitlab_config:/etc/gitlab

- gitlab_logs:/var/log/gitlab

- gitlab_data:/var/opt/gitlab

shm_size: '256m'

volumes:

gitlab_config:

driver: local

gitlab_logs:

driver: local

gitlab_data:

driver: local

برای پشتیبانی گیری و برگرداندن بک آپ هم از کامند های زیر استفاده می شود:

# docker run --rm --volumes-from nasim_gitlab -v /c/code/deployments/193/backup:/backup busybox tar cvfz /backup/gitlab_config.tar --directory=/etc/gitlab .
# docker run --rm --volumes-from nasim_gitlab -v /c/code/deployments/193/backup:/backup busybox tar cvfz /backup/gitlab_logs.tar --directory=/var/log/gitlab .
# docker run --rm --volumes-from nasim_gitlab -v /c/code/deployments/193/backup:/backup busybox tar cvfz /backup/gitlab_opt.tar --directory=/var/opt/gitlab  .

# docker run --rm --volumes-from nasim_gitlab -v /c/code/deployments/193/backup:/backup busybox sh -c "cd /etc/gitlab && tar xvf /backup/gitlab_config.tar --strip 1"
# docker run --rm --volumes-from nasim_gitlab -v /c/code/deployments/193/backup:/backup busybox sh -c "cd /var/log/gitlab && tar xvf /backup/gitlab_logs.tar --strip 1"
# docker run --rm --volumes-from nasim_gitlab -v /c/code/deployments/193/backup:/backup busybox sh -c "cd /var/opt/gitlab && tar xvf /backup/gitlab_opt.tar --strip 1"

# docker run --rm --volumes-from nasim_gitlab -v /c/code/deployments/193/backup:/backup busybox tar cvfz /backup/gitlab_config.tar --directory=/etc/gitlab .

# docker run --rm --volumes-from nasim_gitlab -v /c/code/deployments/193/backup:/backup busybox tar cvfz /backup/gitlab_logs.tar --directory=/var/log/gitlab .

# docker run --rm --volumes-from nasim_gitlab -v /c/code/deployments/193/backup:/backup busybox tar cvfz /backup/gitlab_opt.tar --directory=/var/opt/gitlab .

# docker run --rm --volumes-from nasim_gitlab -v /c/code/deployments/193/backup:/backup busybox sh -c "cd /etc/gitlab && tar xvf /backup/gitlab_config.tar --strip 1"

# docker run --rm --volumes-from nasim_gitlab -v /c/code/deployments/193/backup:/backup busybox sh -c "cd /var/log/gitlab && tar xvf /backup/gitlab_logs.tar --strip 1"

# docker run --rm --volumes-from nasim_gitlab -v /c/code/deployments/193/backup:/backup busybox sh -c "cd /var/opt/gitlab && tar xvf /backup/gitlab_opt.tar --strip 1"

پشتیبانگیری از کانتینر و volume داکر MySQL

یک اسکریپت نوشتم که هر روز از volume کانتینر MySQL پشتیبان بگیره و ذخیره کنه و برای تست هم خود کانتینر با volume اش رو پاک کردم و و دوباره بک آپ رو برگردوندم و تمامی جدول ها و داده های توی اون هم برگشت.

کامند پشتیبان گیری:

docker run --rm --volumes-from mysql_test -v /c/code/msyqltest/backup:/backup busybox tar cvfz /backup/mysql_data_backup.tar --directory=/var/lib/mysql .
docker run --rm --volumes-from mysql_test -v /c/code/msyqltest/backup:/backup busybox tar cvfz /backup/mysql_config_backup.tar --directory=/etc/mysql/conf.d  .

docker run --rm --volumes-from mysql_test -v /c/code/msyqltest/backup:/backup busybox tar cvfz /backup/mysql_data_backup.tar --directory=/var/lib/mysql .

docker run --rm --volumes-from mysql_test -v /c/code/msyqltest/backup:/backup busybox tar cvfz /backup/mysql_config_backup.tar --directory=/etc/mysql/conf.d .

و با کامندهای زیر هم پشتیبان رو به روی کانتینر جدید برگردوندم:

docker run --rm --volumes-from mysql_test -v /c/code/msyqltest/backup:/backup busybox sh -c "cd /var/lib/mysql && tar xvf /backup/mysql_data_backup.tar --strip 1"
docker run --rm --volumes-from mysql_test -v /c/code/msyqltest/backup:/backup busybox sh -c "cd /etc/mysql/conf.d && tar xvf /backup/mysql_config_backup.tar --strip 1"

docker run --rm --volumes-from mysql_test -v /c/code/msyqltest/backup:/backup busybox sh -c "cd /var/lib/mysql && tar xvf /backup/mysql_data_backup.tar --strip 1"

docker run --rm --volumes-from mysql_test -v /c/code/msyqltest/backup:/backup busybox sh -c "cd /etc/mysql/conf.d && tar xvf /backup/mysql_config_backup.tar --strip 1"

لازمه که بدونیم که خود کانتینر با compose زیر ساخته شده و دو تا volume داره:

version: '3.8'

services:
    mysql:
        image: mysql
        container_name: mysql_test
        restart: always
        hostname: mysql.local
        environment:
            discovery.type: single-node
            MYSQL_ROOT_PASSWORD: test
            MYSQL_DATABASE: test_database
        ports:
            - 3306:3306
        volumes:
          - mysql_data:/var/lib/mysql     
          - mysql_config:/etc/mysql/conf.d 

volumes:
  mysql_data:
    driver: local
  mysql_config:
    driver: local

version: '3.8'

services:

mysql:

image: mysql

container_name: mysql_test

restart: always

hostname: mysql.local

environment:

discovery.type: single-node

MYSQL_ROOT_PASSWORD: test

MYSQL_DATABASE: test_database

ports:

- 3306:3306

volumes:

- mysql_data:/var/lib/mysql

- mysql_config:/etc/mysql/conf.d

volumes:

mysql_data:

driver: local

mysql_config:

driver: local

فایل Compose برای MySQL

میخایم یه کانتینر از MySQL بسازیم به صورتی که فایلهای دیتابیس شامل کانفیگ هاش توی یک volume ذخیره بشه.

برای این کار باید فایل compose به صورت زیر باشه:

version: '3.8'

services:
    mysql:
        image: mysql
        container_name: mysql_test
        restart: always
        hostname: mysql.local
        environment:
            discovery.type: single-node
            MYSQL_ROOT_PASSWORD: test
            MYSQL_DATABASE: test_database
        ports:
            - 3306:3306
        volumes:
          - mysql_data:/var/lib/mysql     
          - mysql_config:/etc/mysql/conf.d 

volumes:
  mysql_data:
    driver: local
  mysql_config:
    driver: local

version: '3.8'

services:

mysql:

image: mysql

container_name: mysql_test

restart: always

hostname: mysql.local

environment:

discovery.type: single-node

MYSQL_ROOT_PASSWORD: test

MYSQL_DATABASE: test_database

ports:

- 3306:3306

volumes:

- mysql_data:/var/lib/mysql

- mysql_config:/etc/mysql/conf.d

volumes:

mysql_data:

driver: local

mysql_config:

driver: local

مقایسه docker volume و bind mount

توی داکر به سه شکل میتونیم فایل ها رو با خود هاست داکر به اشتراک بزاریم. اگر یک کانتینر از بین بره طبیعتا تمامی داده های توی اون هم از بین میره و این خطرناکه.

داکر یک مکانیزم داره به اسم volume که اینها رو خود داکر مدیریت میکنه و اگر کانتینر خاموش بشه یا از بین بره میشه یه کانتینر دیگه بالا آورد که از اون استفاده کنه. البته بهتره قبل از پاک کردن کانتینر فعلی یکی دیگه بسازیم.

توی داکر میشه بجای volume از bind mount هم استفاده کرد. bind mount ساده است مثل اینکه یک فولدر رو بین کانتینر و هاست فعلی به اشتراک بزاریم.

حالت بعدی استفاده از tmpfs هست که فقط در صورتی که هاست لینوکس باشه قابل استفاده است. و این دیتا توی حافظه memory ذخیره میشه بنابراین دائمی نیست.

شمای کلی قابلیت های داکر در این زمینه توی عکس زیر معلومه:

پشتیبانگیری از docker containers

یکی از چالش هایی که برخوردیم پشتیبان گیری از سرویس هایی بود که روی داکر هستن. چند تا اپلیکیشن و یک دیتابیس داریم که هر کدوم توی یک container هستن. طبیعتا اگر container پاک بشه تمامی اون داده ها هم از بین می روند. برای اینکه این اتفاق نیوفته باید پشتیبان بگیریم.

data volume توی برای نگهداری دیتا خارج از فایل سیستم کانتینر هست. داکر هیچ وقت این data volume ها رو پاک نمیکنه مگر اینکه خودمون volume های مربوط به یک کانتینر رو باهاش پاک کنیم.

docker rm -v

اگر همه کانتینرهایی که با یک volume کار میکنن رو پاک کنیم، پاک کردن و دسترسی به اون volume سخت میشه. به این volume ها میگن dangling volume. برای اینکه dangling volume وجود نداشته باشه بهتره همیشه یک کانتینر مرتبط با اون volume بسازیم.

برای اینکه بک آپ کاملی داشته باشیم باید از موارد زیر پشتیبان بگیریم:

image های داکر

از کانتینرهای داکر

از volume های موجود