جنگو - هیوادار

database_sync_to_async و async_to_sync

کاربرد این دوتابع در django channels هست. به طور کلی وقتی توی یه consumer که به صورت Asynchronous تعریف شده بخایم از یک تابع Synchronous استفاده کنیم باید اون رو به Asynchronous تبدیل کنیم و برعکس و کاربرد این دو تابع همینه.

میدونیم که ORM جنگو Synchronous هست بنابراین وقتی توی یه کانسومر Asynchronous ازش استفاده میکنیم باید اونو توی database_sync_to_async بزاریمو

میدونیم که Channel Layer ها ذاتا Asynchronous هستند و همه متدهای اون مثل self.send group_send و group_add همگی Async هستند بنابراین اگر بخایم توی یه کلاس sync ازشون استفاده کنیم باید از async_to_syn استفاده بشه.

لازم به ذکر است که channels.db.database_sync_to_async یک wrapper از asgiref.sync.sync_to_async هست که بعد از کانکشن دیتابیس رو هم clean میکنه

برای استفاده از اون بهتره اول خود query رو توی یه تابع بنویسیم بعد اون تابع رو بدیم به این تابع مثل:

from channels.db import database_sync_to_async

async def connect(self):
    self.username = await database_sync_to_async(self.get_name)()

def get_name(self):
    return User.objects.all()[0].name

from channels.db import database_sync_to_async

async def connect(self):

self.username = await database_sync_to_async(self.get_name)()

def get_name(self):

return User.objects.all()[0].name

یا

from channels.db import database_sync_to_async

async def connect(self):
    self.username = await self.get_name()

@database_sync_to_async
def get_name(self):
    return User.objects.all()[0].name

from channels.db import database_sync_to_async

async def connect(self):

self.username = await self.get_name()

@database_sync_to_async

def get_name(self):

return User.objects.all()[0].name

Channel Layers توی Django Channels چیه؟

توی Django Channels هر instance توی یک پروسه اجرا میشه. اگر بخایم پیامی بین پروسه های مختلف برنامه یعنی به instance های مختلف ارسال بشه باید از مکانیسم Channels layer استفاده کنیم. یعنی اگر بخایم پیامی به شخصی دیگه ارسال بشه یا به گروه خاصی ارسال بشه باید از این مکانیسم استفاده کرد.

یعنی اگر بخایم بخش های مختلف برنامه یا consumer های مختلف با هم صحبت کنن باید از Layers استفاده کنیم.

Gunicorn یا Daphne?

Gunicorn و Daphne هر دو وب سرور برای فریمورکهای پایتون هستن که روی لینوکس نصب میشن.

فرقشون چیه؟

Gunicorn برای درخواست های Syncronous و HTTP request ها استفاده میشه. تنظیمات WSGI باید ست شه.

Daphne برای درخواست های Asynchronous و Websocket Request ها کاربرد داره و تنظیمات ASGI باید روشون انجام شه.

از کدوم استفاده کنیم؟

از Daphne میشه برای هر دو استفاده کرد. اگر درخواست های Async ندارید میتونید از Gunicorn استفاده کنید. یه راه حل دیگه هم برای سولوشنهای بزرگ اینه که Nginx رو استفاده کنید و تنظیم کنید که درخواست های Websocker رو به Daphne و درخواست های HTTP رو به Gunicorn بفرسته.

تغییر توی دیتابیس برای زدن query بهینه تر تو ORM جنگو

توی یه مدل جنگو میخاستم یه JSON ذخیره کنم، طبیعتا رفتم تو کار استفاده از JSONField. تعریف مدل اینجوری شد:

class DocumentChangeHistory(models.Model):
    user = models.ForeignKey(User, on_delete=models.CASCADE)
    request_view = models.CharField(max_length=100)
    request_path = models.CharField(max_length=200)
    request_kwargs = models.JSONField(default=dict)
    event_date_time = models.DateTimeField(default=now)
    message = models.CharField(max_length=255)

class DocumentChangeHistory(models.Model):

user = models.ForeignKey(User, on_delete=models.CASCADE)

request_view = models.CharField(max_length=100)

request_path = models.CharField(max_length=200)

request_kwargs = models.JSONField(default=dict)

event_date_time = models.DateTimeField(default=now)

message = models.CharField(max_length=255)

توی یه view میخاستم kwargs ای که به view پاس داده شده رو توی این فیلد ذخیره کنم بنابراین با ORM زیر اون رو آپدیت میکردم:

DocumentChangeHistory.objects.create(
                user=request.user,
                request_view=request.resolver_match.view_name,
                request_path=request.path,
                request_kwargs=json.dumps(kwargs),
                message=message_to_log
            )

DocumentChangeHistory.objects.create(

user=request.user,

request_view=request.resolver_match.view_name,

request_path=request.path,

request_kwargs=json.dumps(kwargs),

message=message_to_log

)

دیتایی که توی این فیلد ذخیره میشه حالات مختلفی داره مثل

"{\"service_id\": 78, \"doc_type\": \"0\"}" 
یا
 "{\"doc_id\": 381}"

"{\"service_id\": 78, \"doc_type\": \"0\"}"

یا

"{\"doc_id\": 381}"

نکته اینجاست که من میخام یه جاهای query بزنم و اون آبجکتهایی رو داشته باشم که این فلدشون پارامتر doc_id رو توش داره (همشون ندارن) و مجبور از روش زیر query بزنم:

import json

for hist in DocumentChangeHistory.objects.all():
    js = json.loads(hist.request_kwargs)
    if js.get('doc_id'):
        print(js)

import json

for hist in DocumentChangeHistory.objects.all():

js = json.loads(hist.request_kwargs)

if js.get('doc_id'):

print(js)

مشکل این چیه؟ اینکه بهینه نیست باید راه حلی باشه که با یه query جواب رو بگیرم. در واقع یک ORM جنگو یکجا به SQL تبدیل بشه و یک هیت دیتابیس داشته باشه. فهمیدم که با تغییر زیر میتونم این کار رو بکنم

اول اینکه باید JSONField رو هست بگم که دیفالتش دیکشنری باشه

class DocumentChangeHistory(models.Model):
    .
	.
	.
    request_kwargs = models.JSONField(default=dict)
    .
	.
	.

class DocumentChangeHistory(models.Model):

request_kwargs = models.JSONField(default=dict)

و حالا دیگه از json.dumps برای وارد کردن دیتا استفاده نمیکنیم:

DocumentChangeHistory.objects.create(
                user=request.user,
                request_view=request.resolver_match.view_name,
                request_path=request.path,
                request_kwargs=kwargs,
                message=message_to_log
            )

DocumentChangeHistory.objects.create(

user=request.user,

request_view=request.resolver_match.view_name,

request_path=request.path,

request_kwargs=kwargs,

message=message_to_log

)

و حالا دیتایی که توی دیتابیس ذخیره میشه این فیلدش دیکشنریه و میتونیم با یه query دیتایی که میخاستیم رو بگیریم:

DocumentChangeHistory.objects.filter(request_kwargs__has_key="doc_id")

1	DocumentChangeHistory.objects.filter(request_kwargs__has_key="doc_id")

چطور توی جنگو Django ترکیب چند فیلد رو یکتا کنیم و بعدش باید به چه نکاتی توجه کنیم

فرض کنید میخایم توی یک Model تو جنگو بگیم که مجموع سه تا فیلد باید یکتا باشه. برای این کار توی django.models.Model یک قابلیت تعریف شده:

class Document(models.Model):

	.
	.
	.
	.
	
	class Meta:
		unique_together = ("system", "doc_type", "docdate")
		db_table = "document"

class Document(models.Model):

class Meta:

unique_together = ("system", "doc_type", "docdate")

db_table = "document"

ولی مساله اینه که اینجا ارور در سطح دیتابیس نشون میده و جاهای مختلف باید این Excelption رو هندل کنید. اینطوری نیست که خودش هندل کنه. مثلا

try:
	doc = Document.objects.create(
		system_id=service_obj.id,
		doc_type=0 if doctype == 'SAD' else 1,
		docdate=docdate,
		status=status,
	)
except DatabaseError as e:
	print(f"*****************{batch}")
	print(e)

try:

doc = Document.objects.create(

system_id=service_obj.id,

doc_type=0 if doctype == 'SAD' else 1,

docdate=docdate,

status=status,

)

except DatabaseError as e:

print(f"*****************{batch}")

print(e)

همینطور باید توی view این موضوع رو خودمون هندل کنیم و قبل از ارسال درخواست به دیتابیس حتما چک کنیم ترکیب این سه فیلد تکراری توی دیتابیس نباشه

dev doc_view(request):
	.
	.
	.
	.
	
	if Document.objects.filter(system=service, doc_type=doc_type,
							   docdate=document_form_instance.docdate).exists():
		document_form.add_error(None, ".....")
	else:
		document_form_instance.save()
		return redirect('man:management_documents_document_detail', doc_id=document_form_instance.id)
		
	.
	.

dev doc_view(request):

if Document.objects.filter(system=service, doc_type=doc_type,

docdate=document_form_instance.docdate).exists():

document_form.add_error(None, ".....")

else:

document_form_instance.save()

return redirect('man:management_documents_document_detail', doc_id=document_form_instance.id)

و برای اینکه ارور رو توی template قشنگتر نشون بده مثل زیر عمل کنیم

{% if document_form.errors %}
	<li class="list-group-item border-5">
		<div class="alert alert-danger" role="alert">
			{% for error in document_form.non_field_errors %}
				{{ error }}
			{% endfor %}
		</div>
	</li>
{% endif %}

{% if document_form.errors %}

{% for error in document_form.non_field_errors %}

{% endfor %}

</div>

</li>

{% endif %}

استفاده بد از تکنولوژی

گاهی پیش میاد که توی کدهایی که میخونم از برنامه نویسهای دیگه مشکلات زیر رو توشون میبینم:

1.از یک Framework استفاده شده ولی از تمامی قابلیتهاش استفاده نشده و گاهی میبینیم قابلیتی که توی فریمورک به خوبی و استاندارد پیاده سازی شده رو استفاده نکرده و خود شخص اون قابلیت رو کد زده

2.کتابخانه یا فریمورکی نصب شده و قابلیتی داره ولی از اون استفاده نشده و برای اون قابلیت کتابخانه دیگری نصب شده

دلیل این اشتباه اینه که برنامه نویس مستندات اون فریمورک و کتابخانه رو نخونده. کد زیر مثالی از حالت اوله. ببینید در ادامه یک فرم جنگو Django میبینیم:

class ServiceForm(ModelForm):
    def __init__(self, *args, **kwargs):
        super(ServiceFormPart3, self).__init__(*args, **kwargs)
        self.fields['service_account'].empty_label = ' '
        self.fields['technician'].empty_label = ' '
        self.fields['service_manager'].empty_label = ' '
        

    class Meta:
        model = Service
        fields = [
            "service_account", "technician", "service_manager"...
        ]

class ServiceForm(ModelForm):

def __init__(self, *args, **kwargs):

super(ServiceFormPart3, self).__init__(*args, **kwargs)

self.fields['service_account'].empty_label = ' '

self.fields['technician'].empty_label = ' '

self.fields['service_manager'].empty_label = ' '

class Meta:

model = Service

fields = [

"service_account", "technician", "service_manager"...

]

و کد زیر view هست که توی اون از این فرم استفاده شده:

def service(request, service_id):
    svc = Service.objects.get(pk=service_id)
    update_versions(svc)
    context = {
        'id': service_id,
        'service': svc,
        'form1': ServiceForm(instance=svc),
    }
    if request.method == "POST":
        name = request.POST.get("name", None)
        if not name:
            messages.error(request, '...', extra_tags='danger')
            return redirect(f'/man/service/{service_id}/')
        branch = request.POST.get("branch", None)
        if not branch:
            messages.error(request, 'ا...', extra_tags='danger')
            return redirect(f'/man/service/{service_id}/')
        office = request.POST.get("office", None)
        if service_account == '':
            service_account = None
        technician = request.POST.get("technician", None)
        if technician == '':
            technician = None
        service_manager = request.POST.get("service_manager", None)
        if service_manager == '':
            service_manager = None
        

        svc.service_account_id = service_account
        svc.technician_id = technician
        svc.service_manager_id = service_manager
        svc.save()
        messages.success(request, 'اطلاعات سرویس با موفقیت به روز شد')
        messages.info(request, json.dumps({
            'service_id': f'service_{service_id}',
        }))
        return redirect(f'/man/service/')
    else:
        return render(request, "man/service/service.html", context)

def service(request, service_id):

svc = Service.objects.get(pk=service_id)

update_versions(svc)

context = {

'id': service_id,

'service': svc,

'form1': ServiceForm(instance=svc),

}

if request.method == "POST":

name = request.POST.get("name", None)

if not name:

messages.error(request, '...', extra_tags='danger')

return redirect(f'/man/service/{service_id}/')

branch = request.POST.get("branch", None)

if not branch:

messages.error(request, 'ا...', extra_tags='danger')

return redirect(f'/man/service/{service_id}/')

office = request.POST.get("office", None)

if service_account == '':

service_account = None

technician = request.POST.get("technician", None)

if technician == '':

technician = None

service_manager = request.POST.get("service_manager", None)

if service_manager == '':

service_manager = None

svc.service_account_id = service_account

svc.technician_id = technician

svc.service_manager_id = service_manager

svc.save()

messages.success(request, 'اطلاعات سرویس با موفقیت به روز شد')

messages.info(request, json.dumps({

'service_id': f'service_{service_id}',

}))

return redirect(f'/man/service/')

else:

return render(request, "man/service/service.html", context)

مشکل کجاست؟ برنامه نویس اومده مقدار فیلدهایی که از template ارسال شده POST با استفاده از request.POST.get گرفته شده. بعد برنامه نویس اومده field validation (اعتبارسنجی فیلدها) رو انجام داده. بعد اگر توی ورودی فیلد ایرادی وجود داشت اومده یک پیام ارور به کاربر نشون داده. تمامی این کاری که برنامه نویس براش کد زده توی django.forms.Formپیاده سازی شده. به بهترین شکل توی جنگو پیاده سازی شده. در حالی که با تست این view مشکلات خیلی زیادی هست.

با استفاده از ServiceForm.is_valid() تمامی فیلدها validate و اعتبار سنجی میشن و اگر ایرادی داشته باشه همونجا فیلد قرمز رنگ میشه و ارور مرتبط نشان داده میشه اما در این حالت اگر یک فیلد required توی فرم خالی بمونه ارور مرتبط به کاربر نشان داده نمیشه. مشکل دوم اینه که مثلا اگر یک فیلد ایمیل یا پسورد باشه ایمیل با روش های استاندارد اعتبارسنجی میشه و پسورد هم همینطور.

مشکل بعدی این کد اینه که کد کثیفه و از طرفی همین الان ممکنه چنتا باگ داشته باشه که با ورودی های مختلف خودشو نشون میده و ما الان نمیدونیم وجود داره یا نه.

همینطور که توی این لینک میبینید فرم جنگو چند لایه صحت سنجی داره.

همیشه اگر از فریمورک یا کتابخانه ای استفاده میکنید حتما تمامی مستنداتش رو بخونید.

درگیری جدید با django-ckeditor-5

برای اضافه کردن فونت به CKEditor توی Django راه حل طبق این لینکه. منتها مساله اینه که من با نصب ورژن 5 نمیتونستم این مدلی فونت اضافه کنم.

توی django_ckeditor_5 تنظیمات فونت توی django_ckeditor_5/dist/bundle/js اضافه میشه. البته فقط تنظیمات فونت اینجوریه.

بخاطر همین فایل bundle.js رو prettify کردم و فونت ها رو سرچ کردم و Bnazanin رو بهش اضافه کردم مثل کد زیر

.
.
.
class Ov extends Xs {
            static get pluginName() {
                return "FontFamilyEditing"
            }
            constructor(e) {
                super(e), e.config.define(Av, {
                    options: ["default", "Bnazanin", "Arial, Helvetica, sans-serif", "Courier New, Courier, monospace", "Georgia, serif", "Lucida Sans Unicode, Lucida Grande, sans-serif", "Tahoma, Geneva, sans-serif", "Times New Roman, Times, serif", "Trebuchet MS, Helvetica, sans-serif", "Verdana, Geneva, sans-serif"],
                    supportAllValues: !1
                })
            }
            init() {
.
.
.

class Ov extends Xs {

static get pluginName() {

return "FontFamilyEditing"

}

constructor(e) {

super(e), e.config.define(Av, {

options: ["default", "Bnazanin", "Arial, Helvetica, sans-serif", "Courier New, Courier, monospace", "Georgia, serif", "Lucida Sans Unicode, Lucida Grande, sans-serif", "Tahoma, Geneva, sans-serif", "Times New Roman, Times, serif", "Trebuchet MS, Helvetica, sans-serif", "Verdana, Geneva, sans-serif"],

supportAllValues: !1

})

}

init() {

و یه فایل ساختم توی django_ckeditor_5/css/font.css و کد زیر رو زدم:

@font-face {
  font-family: "Bnazanin";
  src:
    url("../farsifonts/B-NAZANIN.TTF"),
  font-weight: normal;
  font-style: normal;
}

@font-face {

font-family: "Bnazanin";

src:

url("../farsifonts/B-NAZANIN.TTF"),

font-weight: normal;

font-style: normal;

}

و البته دایرکتوری django_ckeditor_5/farsifonts/ رو ساختم و فایل ttf فونت رو کپی کردم توش.

و تمام

راه حل غیر استاندارده چون هر بار اگر بخام تغییر بدم باید bundle.js رو تغییر بدم درستش این بود که ورژن جدید CKEditor رو نصب کنم. ولی امکانش نبود.

استفاده از CKEditor توی پروژه (جنگو)

اگر توی جنگو نیاز دارید که به جای یک Text Area خشک و بی روح یک ادیتور کامل داشته باشید (مثلا برای نوشتن بلاگ که به بولت چونت و هایلایت و …. نیاز دارید) میتونید از django-ckeditor-5 استفاده کنید. مستندات خود کتابخونه کامل نحوه نصب و تنظیمات رو گفته و نیازی به توضیح دادن کدش نیست. من قسمت هایی که برای جالب بود رو میگم:

یه کتابخونه کامله که بعد از نصبش و migrate کردن دیتابیس میتونید از فیلدهای جدیدی که اضافه میکنه توی ORM استفاده کنید مثلا به جای استفاده از فیلدهای استاندارد جنگو میشه از CKEditor5Field استفاده کرد

from django_ckeditor_5.fields import CKEditor5Field

1	from django_ckeditor_5.fields import CKEditor5Field

لازم نیست توی template کاری بکنید چون خود فایلهای استاتیک رو اضافه میکنه و اتوماتیک رندر میکنه.

توی تعریف فرمها میشه از widget هایی که اضافه کرده استفاده کرد. ولی یه بخشی که برای من خیلی جالب بود اینه که من نیاز داشتم از اون فرمهای رندر شده گاهی یه درخواست AJAX به یک route بفرستم و متوجه شدم مثل حالت معمولی نمیشه دیتای textarea رو با JQuery بگیرم و ازش توی request استفاده کنم. گشتم و متوجه شدم که توی تمپلیت ادیتور قابل دسترسی هست و از API هاش میتونم استفاده کنم. مثل کد زیر از editors لیست فیلدهایی که ckeditor بودن رو داشته باشم و با تابع getData() دیتای رندر شده شو بگیرم یعنی دیتایی که فرمت HTML داره و باید توی دیتابیس ذخیره بشه.

<script>

        function feedback_online(){
            var dataString = {
                'platform_awareness': $('#id_platform_awareness').val(),
                'main_points': editors[0].getData(),
                'secondary_points': editors[1].getData(),
                'guids_and_recommendations': editors[2].getData()
            }
            $.ajax({
                type: "POST",
                url: "/man/documents/feedback/ajax/{{id}}/",
                data: dataString,
                success: function(data) {
                    alert(data);
                }
             });
             return false;
        }
    </script>

function feedback_online(){

var dataString = {

'platform_awareness': $('#id_platform_awareness').val(),

'main_points': editors[0].getData(),

'secondary_points': editors[1].getData(),

'guids_and_recommendations': editors[2].getData()

}

$.ajax({

type: "POST",

url: "/man/documents/feedback/ajax/{{id}}/",

data: dataString,

success: function(data) {

alert(data);

}

});

return false;

}

</script>

مشکل کندی در اپلیکیشن

اخیرا یک پروژه با بک اند Django رو review کردیم که مشکل کندی داشت، کارفرما دسترسی به سرور رو نداد و قرار شد توی کد ببینیم مشکل از کجاست.

به خوبی از امکانات جنگو استفاده شده بود، از کتابخانه خارجی بی مورد استفاده نشده بود و از ماژولهای داخلی جنگو استفاده شده بود. ساختار پروژه استاندارد بود و تغییرات من در آوردی (به اسم خلاقیت) نداشت و توسعه دهنده کاملا طبق مستندات رسمی جلو رفته. Model ها روابط پیچیده نداشتند، به بهترین شکل از ORM پیشفرض جنگو استفاده شده بود، مشکلی توی query هایی که توی View ها زده بود دیده نمی شد (مشکل n+1 رو توی دسترسی ها به دیتابیس رو بررسی کردیم، Query تکراری نداشت ) و …

Docker رو تست کردیم کانشکن بین container ها کند نبود، منابع کم نبود.

در نهایت به سرور دیتابیس و production سری زدیم، کاری که از اول باید میکردیم. توی dockerfile خود اپلیکیشن دیدیم اون رو با runserver اجرا کرده که طبیعیه که سرعت خیلی پایین باشه چون این صرفا برای توسعه و تست هست نه production. با Gunicorn دیپلوی کردیم و مشکل کندی حل شد.

Gunicorn پردازش concurrent رو میده و میشه بهش بگی روی چند تا worker اجرا بشه. Scalable هست و یه سری قابلیت دیگه که برای محیط عملیاتی نیازه مثل مدیریت لاگ و ارورها و …

سیستم اعتبارسنجی جنگو

دانستن شمای کلی سیستم اعتبارسنجی جنگو authentication system دید خوبی در شروع هر پروژه ای به توسعه دهنده ها میده: