gitlab رو توی داکر بالا آوردم ولی بعضی از کاربران برای لاگین ارور 422 میگرفتن. بعد از بررسی متوجه شدم که باید از مسیر زیر کانفیگ رو تیک بزنیم که resource های خارجی هم بتونن دسترسی داشته باشن. چون gitlab رو روی داکر بالا میارید این وسط لودبالانسر قرار میگیره
Admin → Settings → Network → Outbound Requests
برای بالا آوردن RabbitMQ و اجرای Celery به شرط تنظیمات درستش همین دستورات زیر کافیه:
راه اندازی RabbitMQ تو Docker
|
1 2 |
docker run -d --hostname my-rabbit --name some-rabbit rabbitmq:3-management docker run -d --hostname my-rabbit --name some-rabbit -p 8080:15672 rabbitmq:3-management |
|
1 |
docker run -d --hostname localhost --name some-rabbit -p 5672:5672 -p 8080:15672 rabbitmq:3-management |
راه اندازی Celery:
|
1 2 3 4 5 6 7 8 |
Note: If you are using windows save yourself using gevent execution pool: (https://stackoverflow.com/questions/62524908/task-receive-but-doesnt-excute) $ pip install gevent ``` celery -A tasks worker --concurrency=4 -l info -P gevent ``` |
راه اندازی مستقیم با جنگو
|
1 |
python manage.py celery worker -P gevent |
راه اندازی Celery beat
|
1 2 3 |
celery -A core worker -l info -P gevent --concurrency 2 celery -A core beat -l info |
اکستنشن Celery beat
|
1 |
celery -A core beat -l info --scheduler django_celery_beat.schedulers:DatabaseScheduler |
مانیتور flow
|
1 |
celery --broker=amqp://guest:guest@localhost:5672// flower |
|
1 |
celery -A core events --dump |
دستورات اولیه کار با داکر و تنظیمات اولیه.
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 |
Install Ubuntu 22.04 apt update apt install docker.io == docker images docker ps vim /etc/apt/resolve.conf nameserver 10.202.10.202 #shekan docker pull alpine:latest docker load -i /path/alpine.tar #create container based on alpine docker run -dit --name alp1 alpine docker exec alp2 ip a docker exec alp2 ping .. docker attach alp2 CTRL+p+q ls /var/lib/docker ls /var/lib/docker/containers usermod -aG docker user1 service docker restart docker start alp1 docker ps brctl show #list all bridge docker network ls docker network create mynet docker run -dit -name alp3 --net mynet alpine docker run -dit --name alp4 --net mynet alpine docker exec alp3 ping alp4 docker network inspect mynet docker run -dit --name mynginx nginx:alpine docker rm -f mynginx docker run -dit --name mynginx nginx:alpine 80:80 ################################# 192.168.56.1 ZDsoft recorder ----------------------------------- docker images docker pull nginx:alpine scp .... docker load -i /home/nginx-alpine.tar docker images mkdir project1 cd project1 echo MySite > index.html nano DockerFile from nginx:alpine copy index.html /usr/share/www/index.html docker build -t web . docker ps docker run -dit --name mynginx -p 80:80 nginx:alpine docker ps docker rm -f mynginx docker run -dit --name mynginx -p 80:80 web docker ps docker network create mynet docker run -dit --name alp3 mynet alpine docker run -dit --name alp4 mynet alpine docker exec alp4 ip a docker exec alp4 ping 172.18.0.2 docker exec alp4 ping alp3 docker exec alp4 ping alp1 # name discovery on user defined bridge iptables -I DOCKER-USER -i docker0 -o br-fc... -j ACCEPT iptables -I DOCKER-USER -o docker0 -i br-fc... -j ACCEPT docker exec alp4 ping alp1 docker netwrok inspect docker rm -f mynginx docker run -dit --name mynginx --net host web # no need to publish port like 80:80 because its on host network ---------------- docker network create -d macvlan --subnet 192.168.93.0 --iprange 192.168.93.192/26 -o parent ens33 --gateway 192.168.93.2 macvlan1 docker run -dit --name alp5 --net macvlan alpine docker exec alp5 ip a docker network inspect macvlan1 ---------------- ip netns add ns1 ip netns add ns2 ip link add veth0 ip -n ns0 link ip netns ip link ip netns add ns0 ip -n ns0 link clear ip netns add ns1 ip link add veth0 type veth peer name veth1 ip link clear ip link set veth0 netns ns0 ip -n ns0 link ip link set veth1 netns ns1 ip -n ns0 link set veth0 up ip -n ns0 link set lo up ip -n ns0 addr add 10.0.1.1/24 dev veth0 ip -n ns1 link set veth1 up ip -n ns1 link set lo up ip -n ns1 addr add 10.0.2.1/24 dev veth1 ip -n ns0 a clear ip netns exec ns0 ping 10.0.2.1 ip -n ns0 route add 10.0.2.0/24 dev veth0 ip -n ns1 route add 10.0.1.0/24 dev veth1 ip netns exec ns0 ping 10.0.2.1 clear history ip netns |
برای پیاده سازی gitlab بر روی داکر از compose زیر استفاده کردم:
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 |
version: '3.6' services: gitlab: image: 'gitlab/gitlab-ce:latest' container_name: nasim_gitlab restart: always hostname: 'localhost' environment: discovery.type: single-node ports: - '3389:80' - '443:443' volumes: - gitlab_config:/etc/gitlab - gitlab_logs:/var/log/gitlab - gitlab_data:/var/opt/gitlab shm_size: '256m' volumes: gitlab_config: driver: local gitlab_logs: driver: local gitlab_data: driver: local |
برای پشتیبانی گیری و برگرداندن بک آپ هم از کامند های زیر استفاده می شود:
|
1 2 3 4 5 6 7 |
# docker run --rm --volumes-from nasim_gitlab -v /c/code/deployments/193/backup:/backup busybox tar cvfz /backup/gitlab_config.tar --directory=/etc/gitlab . # docker run --rm --volumes-from nasim_gitlab -v /c/code/deployments/193/backup:/backup busybox tar cvfz /backup/gitlab_logs.tar --directory=/var/log/gitlab . # docker run --rm --volumes-from nasim_gitlab -v /c/code/deployments/193/backup:/backup busybox tar cvfz /backup/gitlab_opt.tar --directory=/var/opt/gitlab . # docker run --rm --volumes-from nasim_gitlab -v /c/code/deployments/193/backup:/backup busybox sh -c "cd /etc/gitlab && tar xvf /backup/gitlab_config.tar --strip 1" # docker run --rm --volumes-from nasim_gitlab -v /c/code/deployments/193/backup:/backup busybox sh -c "cd /var/log/gitlab && tar xvf /backup/gitlab_logs.tar --strip 1" # docker run --rm --volumes-from nasim_gitlab -v /c/code/deployments/193/backup:/backup busybox sh -c "cd /var/opt/gitlab && tar xvf /backup/gitlab_opt.tar --strip 1" |
یک اسکریپت نوشتم که هر روز از volume کانتینر MySQL پشتیبان بگیره و ذخیره کنه و برای تست هم خود کانتینر با volume اش رو پاک کردم و و دوباره بک آپ رو برگردوندم و تمامی جدول ها و داده های توی اون هم برگشت.
کامند پشتیبان گیری:
|
1 2 |
docker run --rm --volumes-from mysql_test -v /c/code/msyqltest/backup:/backup busybox tar cvfz /backup/mysql_data_backup.tar --directory=/var/lib/mysql . docker run --rm --volumes-from mysql_test -v /c/code/msyqltest/backup:/backup busybox tar cvfz /backup/mysql_config_backup.tar --directory=/etc/mysql/conf.d . |
و با کامندهای زیر هم پشتیبان رو به روی کانتینر جدید برگردوندم:
|
1 2 |
docker run --rm --volumes-from mysql_test -v /c/code/msyqltest/backup:/backup busybox sh -c "cd /var/lib/mysql && tar xvf /backup/mysql_data_backup.tar --strip 1" docker run --rm --volumes-from mysql_test -v /c/code/msyqltest/backup:/backup busybox sh -c "cd /etc/mysql/conf.d && tar xvf /backup/mysql_config_backup.tar --strip 1" |
لازمه که بدونیم که خود کانتینر با compose زیر ساخته شده و دو تا volume داره:
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 |
version: '3.8' services: mysql: image: mysql container_name: mysql_test restart: always hostname: mysql.local environment: discovery.type: single-node MYSQL_ROOT_PASSWORD: test MYSQL_DATABASE: test_database ports: - 3306:3306 volumes: - mysql_data:/var/lib/mysql - mysql_config:/etc/mysql/conf.d volumes: mysql_data: driver: local mysql_config: driver: local |
میخایم یه کانتینر از MySQL بسازیم به صورتی که فایلهای دیتابیس شامل کانفیگ هاش توی یک volume ذخیره بشه.
برای این کار باید فایل compose به صورت زیر باشه:
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 |
version: '3.8' services: mysql: image: mysql container_name: mysql_test restart: always hostname: mysql.local environment: discovery.type: single-node MYSQL_ROOT_PASSWORD: test MYSQL_DATABASE: test_database ports: - 3306:3306 volumes: - mysql_data:/var/lib/mysql - mysql_config:/etc/mysql/conf.d volumes: mysql_data: driver: local mysql_config: driver: local |
توی داکر به سه شکل میتونیم فایل ها رو با خود هاست داکر به اشتراک بزاریم. اگر یک کانتینر از بین بره طبیعتا تمامی داده های توی اون هم از بین میره و این خطرناکه.
داکر یک مکانیزم داره به اسم volume که اینها رو خود داکر مدیریت میکنه و اگر کانتینر خاموش بشه یا از بین بره میشه یه کانتینر دیگه بالا آورد که از اون استفاده کنه. البته بهتره قبل از پاک کردن کانتینر فعلی یکی دیگه بسازیم.
توی داکر میشه بجای volume از bind mount هم استفاده کرد. bind mount ساده است مثل اینکه یک فولدر رو بین کانتینر و هاست فعلی به اشتراک بزاریم.
حالت بعدی استفاده از tmpfs هست که فقط در صورتی که هاست لینوکس باشه قابل استفاده است. و این دیتا توی حافظه memory ذخیره میشه بنابراین دائمی نیست.
شمای کلی قابلیت های داکر در این زمینه توی عکس زیر معلومه:
یکی از چالش هایی که برخوردیم پشتیبان گیری از سرویس هایی بود که روی داکر هستن. چند تا اپلیکیشن و یک دیتابیس داریم که هر کدوم توی یک container هستن. طبیعتا اگر container پاک بشه تمامی اون داده ها هم از بین می روند. برای اینکه این اتفاق نیوفته باید پشتیبان بگیریم.
data volume توی برای نگهداری دیتا خارج از فایل سیستم کانتینر هست. داکر هیچ وقت این data volume ها رو پاک نمیکنه مگر اینکه خودمون volume های مربوط به یک کانتینر رو باهاش پاک کنیم.
docker rm -v
اگر همه کانتینرهایی که با یک volume کار میکنن رو پاک کنیم، پاک کردن و دسترسی به اون volume سخت میشه. به این volume ها میگن dangling volume. برای اینکه dangling volume وجود نداشته باشه بهتره همیشه یک کانتینر مرتبط با اون volume بسازیم.
برای اینکه بک آپ کاملی داشته باشیم باید از موارد زیر پشتیبان بگیریم: