برنامه نویسی - هیوادار

نصب gitlab روی داکر

میخایم gitlab رو روی داکر بالا بیاریم. برای این کار از docker compose استفاده میکنیم. فایل compose.yml زیر رو مینویسیم:

version: '3.6'
services:
  gitlab:
    image: 'gitlab/gitlab-ce:latest'
    restart: always
    hostname: 'localhost'
    environment:
        discovery.type: single-node              
    ports:
      - '80:80'
      - '443:443'
    volumes:
      - '$GITLAB_HOME/config:/etc/gitlab'
      - '$GITLAB_HOME/logs:/var/log/gitlab'
      - '$GITLAB_HOME/data:/var/opt/gitlab'
      
    shm_size: '256m'

version: '3.6'

services:

gitlab:

image: 'gitlab/gitlab-ce:latest'

restart: always

hostname: 'localhost'

environment:

discovery.type: single-node

ports:

- '80:80'

- '443:443'

volumes:

- '$GITLAB_HOME/config:/etc/gitlab'

- '$GITLAB_HOME/logs:/var/log/gitlab'

- '$GITLAB_HOME/data:/var/opt/gitlab'

shm_size: '256m'

این یه کانتینر از gitlab-ce میسازه که پورتهاش رو به هم مپ میکنه.

environment variable ای که استفاده شده GITLAB_HOME رو لازمه با دستور زیر تعریف کنیم

extport GITLAB_HOME=/path/to/it

1	extport GITLAB_HOME=/path/to/it

یا کار بهتر اینه که فایل custom.sh رو توی /etc/profile.d/ میسازیم و اون اکسپورت رو توش میزاریم.

قسمت environment توی فایل کامپوز برای متغیرهای توی خود کانتینر هست و ربطی به سرور اصلی نداره.

آخر هم دستور زیر کانتینر رو میسازه.

docker compose up -d

1	docker compose up -d

دستورات اولیه نصب Odoo

دستورات تست شده برای نصب Odoo رو توی این پست میارم:

sudo apt update
sudo apt install 

git 
python3-pip 
build-essential 
wget 
python3-dev 
python3-venv
python3-wheel
libfreetype6-dev
libxml2-dev
libzip-dev
libldap2-dev
libsasl2-dev
python3-setuptools
node-less
libjpeg-dev
zlib1g-dev
libpq-dev
libxslt1-dev
libldap2-dev
libtiff5-dev
libjpeg8-dev
libopenjp2-7-dev
liblcms2-dev
libwebp-dev
libharfbuzz-dev
libfribidi-dev
libxcb1-dev




useradd -m -d /opt/odoo17 -U -r -s /bin/bash odoo17

su - postgres -c "createuser -s odoo17"

wget https://github.com/wkhtmltopdf/packaging/releases/download/0.12.6-1/wkhtmltox_0.12.6-1.bionic_amd64.deb
sudo apt install ./wkhtmltox_0.12.6-1.bionic_amd64.deb


sudo su - odoo17
cd /opt/odoo17/

git clone https://www.github.com/odoo/odoo --depth 1 --branch 17.0 /opt/odoo17/odoo

python3 -m venv odoo-venv
source odoo-venv/bin/activate


pip3 install wheel
pip3 install -r odoo/requirements.txt


deactivate

mkdir /opt/odoo17/odoo-custom-addons

exit 


vim /etc/odoo17.conf

[options]  ; This is the password that allows database operations:
admin_passwd = amir
db_host = False
db_port = False
db_user = odoo17
db_password = False
addons_path = /opt/odoo17/odoo/addons,/opt/odoo17/odoo-custom-addons


vim /etc/systemd/system/odoo17.service

[Unit]  
Description=Odoo17  
Requires=postgresql.service  
After=network.target postgresql.service    

[Service]  
Type=simple  
SyslogIdentifier=odoo17  
PermissionsStartOnly=true  
User=odoo17  
Group=odoo17  
ExecStart=/opt/odoo17/odoo-venv/bin/python3 /opt/odoo17/odoo/odoo-bin -c /etc/odoo17.conf  
StandardOutput=journal+console    

[Install]
WantedBy=multi-user.target


systemctl daemon-reload

sudo systemctl start odoo17
systemctl enable --now odoo17

systemctl status odoo17

journalctl -u odoo17

http://192.168.142.135:8069/

100

101

102

103

sudo apt update

sudo apt install

git

python3-pip

build-essential

wget

python3-dev

python3-venv

python3-wheel

libfreetype6-dev

libxml2-dev

libzip-dev

libldap2-dev

libsasl2-dev

python3-setuptools

node-less

libjpeg-dev

zlib1g-dev

libpq-dev

libxslt1-dev

libldap2-dev

libtiff5-dev

libjpeg8-dev

libopenjp2-7-dev

liblcms2-dev

libwebp-dev

libharfbuzz-dev

libfribidi-dev

libxcb1-dev

useradd -m -d /opt/odoo17 -U -r -s /bin/bash odoo17

su - postgres -c "createuser -s odoo17"

wget https://github.com/wkhtmltopdf/packaging/releases/download/0.12.6-1/wkhtmltox_0.12.6-1.bionic_amd64.deb

sudo apt install ./wkhtmltox_0.12.6-1.bionic_amd64.deb

sudo su - odoo17

cd /opt/odoo17/

git clone https://www.github.com/odoo/odoo --depth 1 --branch 17.0 /opt/odoo17/odoo

python3 -m venv odoo-venv

source odoo-venv/bin/activate

pip3 install wheel

pip3 install -r odoo/requirements.txt

deactivate

mkdir /opt/odoo17/odoo-custom-addons

exit

vim /etc/odoo17.conf

[options] ; This is the password that allows database operations:

admin_passwd = amir

db_host = False

db_port = False

db_user = odoo17

db_password = False

addons_path = /opt/odoo17/odoo/addons,/opt/odoo17/odoo-custom-addons

vim /etc/systemd/system/odoo17.service

[Unit]

Description=Odoo17

Requires=postgresql.service

After=network.target postgresql.service

[Service]

Type=simple

SyslogIdentifier=odoo17

PermissionsStartOnly=true

User=odoo17

Group=odoo17

ExecStart=/opt/odoo17/odoo-venv/bin/python3 /opt/odoo17/odoo/odoo-bin -c /etc/odoo17.conf

StandardOutput=journal+console

[Install]

WantedBy=multi-user.target

systemctl daemon-reload

sudo systemctl start odoo17

systemctl enable --now odoo17

systemctl status odoo17

journalctl -u odoo17

http://192.168.142.135:8069/

Coroutine در واقع یک تابع هست که میتونیم اونو pause کنیم. فرض کنیم دو تا تابع داریم و میخایم کنترل اجرا بین این دو تا جابجا بشه مثل ping pong مثلا تابع اول چند خط رو اجرا کنه بعد کنترل رو به تابع دوم بده و اون چند خط اجرا کنه و … در واقع دو تا routine که اینجا بهشون میگیم تابع با هم cooperate کنن.

برای تریفش توی پایتون از async کلیدواژه استفاده میکنیم. که اون وقت اون تابع coroutine میشه. میتونیم هر جای کد coroutine ازش بخایم وایسه تا اجرای یه تابع دیگه تموم شه برای این کار await میکنیم.

مقایسه Celery و Channels و Singnal

در جدول زیر مقایسه Celery و Django Channels و Django Signals رو میبینیم

Here’s a comparison of Django Channels, Django Signals, and Celery, presented in a tabular format, focusing on their use cases, features, and suitable scenarios:

Feature/Aspect	Django Channels	Django Signals	Celery
Primary Use Case	Real-time communication, WebSockets, and long-lived connections	Decoupled event handling within Django applications	Asynchronous task queue/job queue for running background tasks
Communication	WebSockets, HTTP2, server-sent events	In-process communication within the same Django app	Distributed communication, allowing task distribution across multiple workers
Concurrency	Handles concurrent connections and async processing	Synchronous, works within the Django request-response cycle	Handles concurrent tasks, designed for parallel processing
Scalability	Scalable for handling many concurrent connections	Limited by the Django process	Highly scalable, can distribute tasks across multiple servers
Real-time Updates	Yes, supports real-time updates	No	No, tasks are run asynchronously but not in real-time
Event Handling	Handles real-time events	Handles events within the Django lifecycle (e.g., model save, user login)	Handles events as background tasks
Persistent Connections	Yes, supports long-lived connections (e.g., chat apps)	No, operates within the request-response cycle	No, designed for discrete, short-lived tasks
Integration	Integrates with WebSockets, WebRTC, etc.	Integrates with Django ORM and lifecycle hooks	Integrates with message brokers (RabbitMQ, Redis, etc.)
Typical Use Cases	Chat applications, live notifications, live dashboards	Sending signals on model changes, user actions	Sending emails, processing data, generating reports, scheduled tasks
Example	Live chat app with instant messaging	Logging changes to models when saved	Sending periodic email reports, processing user-uploaded files in the background
Fault Tolerance	Basic fault tolerance, relies on infrastructure	Basic, depends on Django’s fault tolerance	High fault tolerance, can retry failed tasks, distributed task execution
Dependencies	Redis, RabbitMQ (for channel layers)	None beyond Django	Message broker (e.g., RabbitMQ, Redis), result backend (optional)
Ease of Use	Requires understanding of asynchronous programming	Simple to use with Django	Requires setup of a message broker and understanding of task queues

Detailed Use Case Examples

Django Channels:
- Chat Application: Users can send and receive messages in real-time, with updates being pushed to all connected clients instantly.
- Live Notifications: Real-time notifications for events such as new comments, likes, or mentions in a social media application.
- Live Dashboard: Real-time updates of metrics and analytics in a monitoring dashboard.
Django Signals:
- Model Change Notifications: Automatically trigger a function to log changes or send an email when a model instance is saved or deleted.
- User Activity Tracking: Capture user login, logout, or profile update events to maintain an activity log.
- Post-Processing: Perform additional actions after saving a model, such as updating related records or sending a confirmation email.
Celery:
- Email Sending: Send emails asynchronously to avoid blocking the main thread during the request-response cycle.
- Data Processing: Handle large data processing tasks, such as generating reports or processing user-uploaded files, in the background.
- Scheduled Tasks: Run periodic tasks like clearing expired sessions, generating nightly reports, or updating external APIs.

By comparing these tools, you can choose the most appropriate solution based on the specific requirements and characteristics of your project.

database_sync_to_async و async_to_sync

کاربرد این دوتابع در django channels هست. به طور کلی وقتی توی یه consumer که به صورت Asynchronous تعریف شده بخایم از یک تابع Synchronous استفاده کنیم باید اون رو به Asynchronous تبدیل کنیم و برعکس و کاربرد این دو تابع همینه.

میدونیم که ORM جنگو Synchronous هست بنابراین وقتی توی یه کانسومر Asynchronous ازش استفاده میکنیم باید اونو توی database_sync_to_async بزاریمو

میدونیم که Channel Layer ها ذاتا Asynchronous هستند و همه متدهای اون مثل self.send group_send و group_add همگی Async هستند بنابراین اگر بخایم توی یه کلاس sync ازشون استفاده کنیم باید از async_to_syn استفاده بشه.

لازم به ذکر است که channels.db.database_sync_to_async یک wrapper از asgiref.sync.sync_to_async هست که بعد از کانکشن دیتابیس رو هم clean میکنه

برای استفاده از اون بهتره اول خود query رو توی یه تابع بنویسیم بعد اون تابع رو بدیم به این تابع مثل:

from channels.db import database_sync_to_async

async def connect(self):
    self.username = await database_sync_to_async(self.get_name)()

def get_name(self):
    return User.objects.all()[0].name

from channels.db import database_sync_to_async

async def connect(self):

self.username = await database_sync_to_async(self.get_name)()

def get_name(self):

return User.objects.all()[0].name

یا

from channels.db import database_sync_to_async

async def connect(self):
    self.username = await self.get_name()

@database_sync_to_async
def get_name(self):
    return User.objects.all()[0].name

from channels.db import database_sync_to_async

async def connect(self):

self.username = await self.get_name()

@database_sync_to_async

def get_name(self):

return User.objects.all()[0].name

Channel Layers توی Django Channels چیه؟

توی Django Channels هر instance توی یک پروسه اجرا میشه. اگر بخایم پیامی بین پروسه های مختلف برنامه یعنی به instance های مختلف ارسال بشه باید از مکانیسم Channels layer استفاده کنیم. یعنی اگر بخایم پیامی به شخصی دیگه ارسال بشه یا به گروه خاصی ارسال بشه باید از این مکانیسم استفاده کرد.

یعنی اگر بخایم بخش های مختلف برنامه یا consumer های مختلف با هم صحبت کنن باید از Layers استفاده کنیم.

Gunicorn یا Daphne?

Gunicorn و Daphne هر دو وب سرور برای فریمورکهای پایتون هستن که روی لینوکس نصب میشن.

فرقشون چیه؟

Gunicorn برای درخواست های Syncronous و HTTP request ها استفاده میشه. تنظیمات WSGI باید ست شه.

Daphne برای درخواست های Asynchronous و Websocket Request ها کاربرد داره و تنظیمات ASGI باید روشون انجام شه.

از کدوم استفاده کنیم؟

از Daphne میشه برای هر دو استفاده کرد. اگر درخواست های Async ندارید میتونید از Gunicorn استفاده کنید. یه راه حل دیگه هم برای سولوشنهای بزرگ اینه که Nginx رو استفاده کنید و تنظیم کنید که درخواست های Websocker رو به Daphne و درخواست های HTTP رو به Gunicorn بفرسته.

وب سوکت WebSocket چیه

WebSocket یه پروتکل وبه که امکان ارسال پیام دو طرفه بین کلاینت و سرور رو میده.

توی HTTP :

درخواست یه http.request از کلاینت به سرور ارسال میشه
سرور یه کانکشن باز میکنه و اطلاعات لازمه رو توی scope اون سشن مینویسه
پاسخ http.response را به کلاینت ارسال میکنه
و کانکشن رو میبنده

اما توی وب سوکت فرق داره

کلاینت یه درخواست میفرسته و اطلاعات scope رو سمت سرور ارسال میکنه
سرور یه ایونت chat.recieved_message اجرا میکنه و میتونه جواب بده و اگر جواب بده ایونت chat.send_message رو اجرا کرده
هر کدوم از اونها میتونن کانکشن رو ببندن

آیا Websocket ها Synchronous هستن یا Asynchronous؟

وب سوکت به همزمانی یا ناهمزمانی ربطی نداره و میتونه هردوش باشه. وب سوکت فقط یک پروتکل وب هست.

تغییر توی دیتابیس برای زدن query بهینه تر تو ORM جنگو

توی یه مدل جنگو میخاستم یه JSON ذخیره کنم، طبیعتا رفتم تو کار استفاده از JSONField. تعریف مدل اینجوری شد:

class DocumentChangeHistory(models.Model):
    user = models.ForeignKey(User, on_delete=models.CASCADE)
    request_view = models.CharField(max_length=100)
    request_path = models.CharField(max_length=200)
    request_kwargs = models.JSONField(default=dict)
    event_date_time = models.DateTimeField(default=now)
    message = models.CharField(max_length=255)

class DocumentChangeHistory(models.Model):

user = models.ForeignKey(User, on_delete=models.CASCADE)

request_view = models.CharField(max_length=100)

request_path = models.CharField(max_length=200)

request_kwargs = models.JSONField(default=dict)

event_date_time = models.DateTimeField(default=now)

message = models.CharField(max_length=255)

توی یه view میخاستم kwargs ای که به view پاس داده شده رو توی این فیلد ذخیره کنم بنابراین با ORM زیر اون رو آپدیت میکردم:

DocumentChangeHistory.objects.create(
                user=request.user,
                request_view=request.resolver_match.view_name,
                request_path=request.path,
                request_kwargs=json.dumps(kwargs),
                message=message_to_log
            )

DocumentChangeHistory.objects.create(

user=request.user,

request_view=request.resolver_match.view_name,

request_path=request.path,

request_kwargs=json.dumps(kwargs),

message=message_to_log

)

دیتایی که توی این فیلد ذخیره میشه حالات مختلفی داره مثل

"{\"service_id\": 78, \"doc_type\": \"0\"}" 
یا
 "{\"doc_id\": 381}"

"{\"service_id\": 78, \"doc_type\": \"0\"}"

یا

"{\"doc_id\": 381}"

نکته اینجاست که من میخام یه جاهای query بزنم و اون آبجکتهایی رو داشته باشم که این فلدشون پارامتر doc_id رو توش داره (همشون ندارن) و مجبور از روش زیر query بزنم:

import json

for hist in DocumentChangeHistory.objects.all():
    js = json.loads(hist.request_kwargs)
    if js.get('doc_id'):
        print(js)

import json

for hist in DocumentChangeHistory.objects.all():

js = json.loads(hist.request_kwargs)

if js.get('doc_id'):

print(js)

مشکل این چیه؟ اینکه بهینه نیست باید راه حلی باشه که با یه query جواب رو بگیرم. در واقع یک ORM جنگو یکجا به SQL تبدیل بشه و یک هیت دیتابیس داشته باشه. فهمیدم که با تغییر زیر میتونم این کار رو بکنم

اول اینکه باید JSONField رو هست بگم که دیفالتش دیکشنری باشه

class DocumentChangeHistory(models.Model):
    .
	.
	.
    request_kwargs = models.JSONField(default=dict)
    .
	.
	.

class DocumentChangeHistory(models.Model):

request_kwargs = models.JSONField(default=dict)

و حالا دیگه از json.dumps برای وارد کردن دیتا استفاده نمیکنیم:

DocumentChangeHistory.objects.create(
                user=request.user,
                request_view=request.resolver_match.view_name,
                request_path=request.path,
                request_kwargs=kwargs,
                message=message_to_log
            )

DocumentChangeHistory.objects.create(

user=request.user,

request_view=request.resolver_match.view_name,

request_path=request.path,

request_kwargs=kwargs,

message=message_to_log

)

و حالا دیتایی که توی دیتابیس ذخیره میشه این فیلدش دیکشنریه و میتونیم با یه query دیتایی که میخاستیم رو بگیریم:

DocumentChangeHistory.objects.filter(request_kwargs__has_key="doc_id")

1	DocumentChangeHistory.objects.filter(request_kwargs__has_key="doc_id")

چطور توی جنگو Django ترکیب چند فیلد رو یکتا کنیم و بعدش باید به چه نکاتی توجه کنیم

فرض کنید میخایم توی یک Model تو جنگو بگیم که مجموع سه تا فیلد باید یکتا باشه. برای این کار توی django.models.Model یک قابلیت تعریف شده:

class Document(models.Model):

	.
	.
	.
	.
	
	class Meta:
		unique_together = ("system", "doc_type", "docdate")
		db_table = "document"

class Document(models.Model):

class Meta:

unique_together = ("system", "doc_type", "docdate")

db_table = "document"

ولی مساله اینه که اینجا ارور در سطح دیتابیس نشون میده و جاهای مختلف باید این Excelption رو هندل کنید. اینطوری نیست که خودش هندل کنه. مثلا

try:
	doc = Document.objects.create(
		system_id=service_obj.id,
		doc_type=0 if doctype == 'SAD' else 1,
		docdate=docdate,
		status=status,
	)
except DatabaseError as e:
	print(f"*****************{batch}")
	print(e)

try:

doc = Document.objects.create(

system_id=service_obj.id,

doc_type=0 if doctype == 'SAD' else 1,

docdate=docdate,

status=status,

)

except DatabaseError as e:

print(f"*****************{batch}")

print(e)

همینطور باید توی view این موضوع رو خودمون هندل کنیم و قبل از ارسال درخواست به دیتابیس حتما چک کنیم ترکیب این سه فیلد تکراری توی دیتابیس نباشه

dev doc_view(request):
	.
	.
	.
	.
	
	if Document.objects.filter(system=service, doc_type=doc_type,
							   docdate=document_form_instance.docdate).exists():
		document_form.add_error(None, ".....")
	else:
		document_form_instance.save()
		return redirect('man:management_documents_document_detail', doc_id=document_form_instance.id)
		
	.
	.

dev doc_view(request):

if Document.objects.filter(system=service, doc_type=doc_type,

docdate=document_form_instance.docdate).exists():

document_form.add_error(None, ".....")

else:

document_form_instance.save()

return redirect('man:management_documents_document_detail', doc_id=document_form_instance.id)

و برای اینکه ارور رو توی template قشنگتر نشون بده مثل زیر عمل کنیم

{% if document_form.errors %}
	<li class="list-group-item border-5">
		<div class="alert alert-danger" role="alert">
			{% for error in document_form.non_field_errors %}
				{{ error }}
			{% endfor %}
		</div>
	</li>
{% endif %}

{% if document_form.errors %}

{% for error in document_form.non_field_errors %}

{% endfor %}

</div>

</li>

{% endif %}

دسته: برنامه نویسی