بعد از اینکه توی سرور امکان لاگین وجود نداشت (سرویس freeIPA) با کنسول وصل شدم و متوجه شدم که پارتیشن /var/log/auditlog پر شده. بله یک پارتیشن پر شده و سرویس از کار افتاده بعد از مدتی سرور ریبوت و دیگه بالا نمیومد.
با crontab -e یه جاب نوشتم که پریودیک این مسیر رو خالی کنه.
امروز بعد از ریبوت سرور سرویس داکر دیگه بالا نیومد و ارور زیر رو میگیرفتیم.
توی اینترنت گفته بودن که درایور رو عوض کنیم و … اما در نهایت متوجه شدم چون selinux روی premisive بوده به داکر اجازه داده نمیشه که از دیسک با LVM کانفیگ شده استفاده کنه. اروری که نشون میده:
این ارور رو باید با کامند dockerd --debug ببینید
|
1 |
failed to start daemon error initializing graphdriver driver not supported overlay2 |
چطور فهمیدم که مشکل از selinux هست. سرور به دلایلی ریبوت شده بود و دیگه داکر بالا نیومده بود. قبلا یکی از دوستان selinux رو فعال کرده بود و طبیعتا تا بعد از ریبوت اعمال نمیشه. متوجه شدم احتمالا مشکل از اینه.
حالا توی فایل /etc/selinux/config کافیه اونو disable کنی و ریبوت. داکر دوباره start میشه.
در پروژه ای که در بستر داکر روی لینوکس پیاده سازی شده است نرم افزار از performance قابل قبولی برخوردار نیست. بخشی از نرم افزار با websocket کار میکند اما اکثرا در بستر http. دیتابیس، و بخشهای دیگر مثل celery, rabbitMQ و … هر کدام یک کانتینر هستند.
ایرادات استقرار یا deployment:
جنگو در یک کانتینر با دستور runserver اجرا شده است.
کل پروژه از Daphne به عنوان اپلیکیشن وب سرور ASGI استفاده میکند در حالی که بخش کوچکی از نرم افزار asyn است و با websocket کار میکند.
وب سروری مثل Nginx یا Apache وجود ندارد که فایلهای استاتیک را ارائه دهد.
بهتر بود در بخشهای Sync از اپلیکیشن سروری مثل uWSGI که یک WSGI هست استفاده میشد.
بنابراین معماری به شکل زیر تغییر یافت:
NGINX درخواست های websocket رو به Daphne و سایر درخواست ها را به uWSGI ارسال میکند. فایل های کانفیگ از قرار زیر است.
compose.yml
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 |
version: '3.8' services: elastic: image: elasticsearch:7.17.11 container_name: elastic restart: always hostname: es environment: discovery.type: single-node ES_JAVA_OPTS: -Xms512m -Xmx512m ports: - 9200:9200 mysql: image: mysql container_name: mysql restart: always hostname: mysql.local environment: discovery.type: single-node MYSQL_ROOT_PASSWORD: ... MYSQL_DATABASE: ... ports: - 3306:3306 volumes: - mysql_data:/var/lib/mysql nasim: build: context: . dockerfile: DockerfileNasim hostname: nasim container_name: nasim volumes: - ./app:/opt/app - ./data:/opt/data expose: - "8000" environment: - DJANGO_SETTINGS_MODULE=core.settings daphne: build: context: . dockerfile: DockerfileNasim hostname: daphne container_name: daphne volumes: - ./app:/opt/app - ./data:/opt/data expose: - "8001" command: ["daphne", "-b", "0.0.0.0", "-p", "8001", "core.asgi:application"] environment: - DJANGO_SETTINGS_MODULE=core.settings nginx: build: context: . dockerfile: DockerfileNginx hostname: nginx container_name: nginx ports: - "80:80" depends_on: - nasim - daphne volumes: - ./app/static:/static - ./nginx/nginx.conf:/etc/nginx/nginx.conf volumes: mysql_data: |
nginx.conf
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 |
# nginx/nginx.conf events { worker_connections 1024; } http { include /etc/nginx/mime.types; default_type application/octet-stream; sendfile on; keepalive_timeout 65; upstream nasim { server nasim:8000; } server { listen 80; location / { proxy_pass http://nasim; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Proto $scheme; } location /ws/ { proxy_pass http://daphne:8001; proxy_http_version 1.1; proxy_set_header Upgrade $http_upgrade; proxy_set_header Connection "upgrade"; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Proto $scheme; } location /static/ { alias /static/; } } } |
DockerfileNginx
|
1 2 3 4 5 6 7 8 |
# DockerfileNginx FROM nginx:alpine # Remove the default configuration file RUN rm /etc/nginx/conf.d/default.conf # Copy the nginx configuration file COPY nginx/nginx.conf /etc/nginx/nginx.conf |
DockerfileNasim
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 |
FROM python:3.11-slim-bullseye AS nasim_core # Install system dependencies with retry logic RUN apt-get update --fix-missing RUN apt-get install apt-utils -y RUN apt-get install build-essential -y RUN apt-get install gcc -y RUN apt-get install graphviz -y RUN apt-get install graphviz-dev -y RUN apt-get install vim -y RUN apt-get install libmagickwand-dev -y RUN apt-get install curl -y RUN apt-get install iputils-ping -y RUN apt-get install python3-dev -y RUN apt-get install default-libmysqlclient-dev -y RUN apt-get install pkg-config -y RUN apt-get install libffi-dev -y # Create and set work directory RUN mkdir /opt/app && chown www-data:www-data /opt/app WORKDIR /opt/app COPY ./app/requirements.txt /opt/app RUN pip install --upgrade pip RUN pip install --upgrade -r requirements.txt --no-cache-dir RUN pip install uwsgi # Create logs directory and set permissions RUN mkdir /opt/app/logs && touch /opt/app/logs/operation.log /opt/app/logs/system.log RUN mkdir -p /opt/app/uploads/documents RUN chmod -R 777 /opt/app/logs # Set environment variables ENV PYTHONDONTWRITEBYTECODE 1 ENV PYTHONUNBUFFERED 1 # Copy project COPY ./app /opt/app/ # Run Daphne CMD ["uwsgi", "--http", "0.0.0.0:8000", "--module", "core.wsgi:application", "--master", "--processes", "4", "--threads", "4"] |
لینک های مرتبط:
توی یه سرور RHEL که از LVM برای مدیریت دیسک و پارتیشن استفاده میشه، لازم شد که حجم رو افزایش بدیم. یه دیسک sdb داریم که میخایم به 2 تا پارتیشن اضافه اش کنیم. LVM این کار رو انجام میده بدون اینکه پارتیشن ها نیاز به فرمت داشته باشن و داده های قدیمی از دست برن. یه چیزی مثل سرویس های ابری که هر وقت بخایم منابع اضافه میکنیم.
قبل از افزایش حجم وضعیت اینطور بود:
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 |
# df -h Filesystem Size Used Avail Use% Mounted on devtmpfs 7.9G 0 7.9G 0% /dev tmpfs 7.9G 0 7.9G 0% /dev/shm tmpfs 7.9G 1.2M 7.9G 1% /run tmpfs 7.9G 0 7.9G 0% /sys/fs/cgroup /dev/mapper/vg0-lvroot 40G 4.4G 36G 11% / /dev/sda2 1014M 292M 723M 29% /boot /dev/mapper/vg0-lvvar 20G 4.2G 16G 21% /var /dev/mapper/vg0-lvtmp 20G 176M 20G 1% /tmp /dev/mapper/vg0-lvhome 40G 14G 27G 35% /home /dev/mapper/vg0-lvvar_log 10G 1.4G 8.6G 14% /var/log /dev/mapper/vg0-lvvar_tmp 10G 104M 9.9G 2% /var/tmp /dev/mapper/vg0-lvvar_log_audit 10G 1.4G 8.6G 14% /var/log/audit tmpfs 1.6G 0 1.6G 0% /run/user/1190376420 overlay 20G 4.2G 16G 21% /var/lib/docker/overlay2/dbfe655119fd6d03f5e8fb2df593879ba19bc6bde509e2499d70748b4354f021/merged overlay 20G 4.2G 16G 21% /var/lib/docker/overlay2/147384dd3327c9bb2a2a4b0987feb5a880eec99164f34765d28a30f956f7b44f/merged overlay 20G 4.2G 16G 21% /var/lib/docker/overlay2/480bf322cca836d746335f12b6c3199b608eed021b024090d726065654b6d169/merged overlay 20G 4.2G 16G 21% /var/lib/docker/overlay2/16252ee660cbc6442ec03813b604302ec2612a9d991571ac780415d68cf419c0/merged overlay 20G 4.2G 16G 21% /var/lib/docker/overlay2/9aa12c12dd6fcccbb23ef6266e7cfddabdf426f1823527fa265fb9a5635936b2/merged |
همینطور که میبینید /home و / هر کدوم 40 گیگابایت هستن که باید زیاد بشن.
|
1 2 3 4 5 6 |
# ll /dev/sd* brw-rw----. 1 root disk 8, 0 Jun 26 11:18 /dev/sda brw-rw----. 1 root disk 8, 1 Jun 26 11:18 /dev/sda1 brw-rw----. 1 root disk 8, 2 Jun 26 11:18 /dev/sda2 brw-rw----. 1 root disk 8, 3 Jun 26 11:18 /dev/sda3 brw-rw----. 1 root disk 8, 16 Jun 26 11:18 /dev/sdb |
میبینیم که /dev/sdb به دیکسها اضافه شده اما پارتیشن بندی نشده.
|
1 2 3 |
# pvs PV VG Fmt Attr PSize PFree /dev/sda3 vg0 lvm2 a-- <199.00g <17.00g |
همینطور که میبینیم sdb اصلا به هیچ volume group ای از LVM اضافه نشده پس معلومه که قابل استفاده است.
|
1 2 3 |
# vgs VG #PV #LV #SN Attr VSize VFree vg0 1 8 0 wz--n- <199.00g <17.00g |
میبینیم که یه logical volume داریم vg0 که یه دونه pv هم داره که در واقع همون sda3 هست که قبلا دیدیم و بازم مطمثن شدیم که sdb استفاده نمیشه
|
1 2 3 4 5 6 7 8 9 10 |
# lvs LV VG Attr LSize Pool Origin Data% Meta% Move Log Cpy%Sync Convert lvhome vg0 -wi-ao---- 40.00g lvroot vg0 -wi-ao---- 40.00g lvswap vg0 -wi-ao---- 32.00g lvtmp vg0 -wi-ao---- 20.00g lvvar vg0 -wi-ao---- 20.00g lvvar_log vg0 -wi-ao---- 10.00g lvvar_log_audit vg0 -wi-ao---- 10.00g lvvar_tmp vg0 -wi-ao---- 10.00g |
یه نگاه مجدد به logical volume ها میندازیم.
|
1 |
pvcreate /dev/sdb |
با دستور بالا sdb رو به یه phisical volume تعریف کردیم که بتونیم توی LVM ازش استفاده کنیم. در وا
|
1 2 3 4 |
# pvs PV VG Fmt Attr PSize PFree /dev/sda3 vg0 lvm2 a-- <199.00g <17.00g /dev/sdb vg0 lvm2 a-- <1024.00g <1024.00g |
میبینیم که sdb اضافه شده.
|
1 |
vgextend vg0 /dev/sdb |
حالا sdb رو به volume group vg0 اضافه میکنیم که بتونیم به logical volume ها اضافه اش کنیم.
|
1 2 3 |
# vgs VG #PV #LV #SN Attr VSize VFree vg0 2 8 0 wz--n- 1.19t <1.02t |
همینطور که میبینیم اضافه شده. الان vg0 حدود یک ترابایت خالی داره.
|
1 |
lvextend -L +512G /dev/mapper/vg0-lvroot -r |
حالا 512 گیگابایتش رو به / یا همون root اضافه کردیم.
|
1 |
lvm lvextend -l +100%FREE /dev/mapper/vg0-lvhome -r |
از فضای خالی باقیمانده بقیه شو به /home اضافه کردیم.
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
# df -h Filesystem Size Used Avail Use% Mounted on devtmpfs 7.9G 0 7.9G 0% /dev tmpfs 7.9G 0 7.9G 0% /dev/shm tmpfs 7.9G 748K 7.9G 1% /run tmpfs 7.9G 0 7.9G 0% /sys/fs/cgroup /dev/mapper/vg0-lvroot 569G 7.9G 562G 2% / /dev/sda2 1014M 291M 724M 29% /boot /dev/mapper/vg0-lvvar 20G 1.1G 19G 6% /var /dev/mapper/vg0-lvhome 552G 3.9G 549G 1% /home /dev/mapper/vg0-lvvar_tmp 10G 104M 9.9G 2% /var/tmp /dev/mapper/vg0-lvvar_log 10G 315M 9.7G 4% /var/log /dev/mapper/vg0-lvvar_log_audit 10G 525M 9.5G 6% /var/log/audit /dev/mapper/vg0-lvtmp 20G 176M 20G 1% /tmp tmpfs 1.6G 0 1.6G 0% /run/user/1190376420 |
همینطور که میبینید / و /home حجمشون زیاد شده.