هیوادار -

استفاده از CKEditor توی پروژه (جنگو)

اگر توی جنگو نیاز دارید که به جای یک Text Area خشک و بی روح یک ادیتور کامل داشته باشید (مثلا برای نوشتن بلاگ که به بولت چونت و هایلایت و …. نیاز دارید) میتونید از django-ckeditor-5 استفاده کنید. مستندات خود کتابخونه کامل نحوه نصب و تنظیمات رو گفته و نیازی به توضیح دادن کدش نیست. من قسمت هایی که برای جالب بود رو میگم:

یه کتابخونه کامله که بعد از نصبش و migrate کردن دیتابیس میتونید از فیلدهای جدیدی که اضافه میکنه توی ORM استفاده کنید مثلا به جای استفاده از فیلدهای استاندارد جنگو میشه از CKEditor5Field استفاده کرد

from django_ckeditor_5.fields import CKEditor5Field

1	from django_ckeditor_5.fields import CKEditor5Field

لازم نیست توی template کاری بکنید چون خود فایلهای استاتیک رو اضافه میکنه و اتوماتیک رندر میکنه.

توی تعریف فرمها میشه از widget هایی که اضافه کرده استفاده کرد. ولی یه بخشی که برای من خیلی جالب بود اینه که من نیاز داشتم از اون فرمهای رندر شده گاهی یه درخواست AJAX به یک route بفرستم و متوجه شدم مثل حالت معمولی نمیشه دیتای textarea رو با JQuery بگیرم و ازش توی request استفاده کنم. گشتم و متوجه شدم که توی تمپلیت ادیتور قابل دسترسی هست و از API هاش میتونم استفاده کنم. مثل کد زیر از editors لیست فیلدهایی که ckeditor بودن رو داشته باشم و با تابع getData() دیتای رندر شده شو بگیرم یعنی دیتایی که فرمت HTML داره و باید توی دیتابیس ذخیره بشه.

<script>

        function feedback_online(){
            var dataString = {
                'platform_awareness': $('#id_platform_awareness').val(),
                'main_points': editors[0].getData(),
                'secondary_points': editors[1].getData(),
                'guids_and_recommendations': editors[2].getData()
            }
            $.ajax({
                type: "POST",
                url: "/man/documents/feedback/ajax/{{id}}/",
                data: dataString,
                success: function(data) {
                    alert(data);
                }
             });
             return false;
        }
    </script>

function feedback_online(){

var dataString = {

'platform_awareness': $('#id_platform_awareness').val(),

'main_points': editors[0].getData(),

'secondary_points': editors[1].getData(),

'guids_and_recommendations': editors[2].getData()

}

$.ajax({

type: "POST",

url: "/man/documents/feedback/ajax/{{id}}/",

data: dataString,

success: function(data) {

alert(data);

}

});

return false;

}

</script>

مشکل کندی در اپلیکیشن

اخیرا یک پروژه با بک اند Django رو review کردیم که مشکل کندی داشت، کارفرما دسترسی به سرور رو نداد و قرار شد توی کد ببینیم مشکل از کجاست.

به خوبی از امکانات جنگو استفاده شده بود، از کتابخانه خارجی بی مورد استفاده نشده بود و از ماژولهای داخلی جنگو استفاده شده بود. ساختار پروژه استاندارد بود و تغییرات من در آوردی (به اسم خلاقیت) نداشت و توسعه دهنده کاملا طبق مستندات رسمی جلو رفته. Model ها روابط پیچیده نداشتند، به بهترین شکل از ORM پیشفرض جنگو استفاده شده بود، مشکلی توی query هایی که توی View ها زده بود دیده نمی شد (مشکل n+1 رو توی دسترسی ها به دیتابیس رو بررسی کردیم، Query تکراری نداشت ) و …

Docker رو تست کردیم کانشکن بین container ها کند نبود، منابع کم نبود.

در نهایت به سرور دیتابیس و production سری زدیم، کاری که از اول باید میکردیم. توی dockerfile خود اپلیکیشن دیدیم اون رو با runserver اجرا کرده که طبیعیه که سرعت خیلی پایین باشه چون این صرفا برای توسعه و تست هست نه production. با Gunicorn دیپلوی کردیم و مشکل کندی حل شد.

Gunicorn پردازش concurrent رو میده و میشه بهش بگی روی چند تا worker اجرا بشه. Scalable هست و یه سری قابلیت دیگه که برای محیط عملیاتی نیازه مثل مدیریت لاگ و ارورها و …

ریزکاریهای تست جنگو با TransactionTestCase و TestCase

در پست قبل دیدیم که برای نوشتن تست در جنگو میتونیم از کلاس های django.test.TestCase و django.test.TransactionTestCase استفاده کرد (البته که از خود unittest پایتون هم می توان استفاده کرد اما این کار در جنگو منطقی نیست چرا که کلاسهای تعریف شده برای تست در جنگو قابلیت های زیادی برای تست اضافه کرده اضافه کرده. مثلا اگر با unittest پایتون استاندارد بخاید تستی بنویسید که نیاز به دسترسی دیتابیس یا اجرا اپلیکیشن وب داشته باشد قطعا به مشکل میخورید بنابراین هیچ کس این کار رو نمیکنه). دیدیم که یک کلاس دیگه به اسم django.test.LiveTestCase هم وجود داره که میتونید توی اون از کلاینت Selenium استفاده کنید که تست های لایو توی مرورگر رو داشته باشید.

سوالی که پیش میاد اینه که فرق TestCase و TransactionTestCase چیه؟ توی خود کد جنگو نوشته:

class TestCase(TransactionTestCase):
    """
    Similar to TransactionTestCase, but use `transaction.atomic()` to achieve
    test isolation.

    In most situations, TestCase should be preferred to TransactionTestCase as
    it allows faster execution. However, there are some situations where using
    TransactionTestCase might be necessary (e.g. testing some transactional
    behavior).

    On database backends with no transaction support, TestCase behaves as
    TransactionTestCase.
    """

class TestCase(TransactionTestCase):

"""

Similar to TransactionTestCase, but use `transaction.atomic()` to achieve

test isolation.

In most situations, TestCase should be preferred to TransactionTestCase as

it allows faster execution. However, there are some situations where using

TransactionTestCase might be necessary (e.g. testing some transactional

behavior).

On database backends with no transaction support, TestCase behaves as

TransactionTestCase.

"""

میگه هردو مثلا همه و توی بیشتر شرایط باید TestCase رو ترجیح بدید چون سریع تره مگر در شرایطی خاص باید TransactionTestCase رو استفاده کنید مثلا اونجا که تستی که مینویسید تراکنش به دیتابیس داره و باید انجام بشه. میگه توی دیتابیسی که از تراکنش پشتیبانی نمیکنه عملا هر دو یکی هستن مثلا دیتابیس MySQL با موتور MyISAM.

توی مستندات جنگو گفته که TransactionTestCase از SimpleTestCase ارثبری کرده و چنتا قابلیت استفاده کرده. مثلا دیتابیس رو بعد از هر متد تست به حالت تعریف شده بر میگردونه که این توی تست مهمه مثلا 100 تا تابع تست داریم باید بعد از هر کدوم دیتابیس ریست بشه که روی تست های دیگه تاثیر نذاره. TransactionTestCase اطلاعات رو ممکنه commit و rollback کنه و بعد از هر تست هم حتما دیتابیس رو truncate میکنه اما TestCase برای سرعت بیشتر truncate نداره و از تراکنش ها استفاده میکنه یعنی rollback میکنه. این کار باعث میشه توی تستهای که نیاز به تراکنش هست به مشکل بخورید مثلا select_for_update ها.

در کل چیزی که من تجربه کردم اگر توی توابع تست یک کلاس تستکیس، update یا insert دیتابیس دارید از TransactionTestCase استفاده کنید. اگر فقط select دارید از TestCase استفاده کنید که سرعت بیشتری داره. اگر کلا با دیتابیس کاری ندارید از SimpleTestCase استفاده کنید.

ساختار ارثبری در جنگو

تصویر زیر نحوه ارثبری از unittest پایتون توسط جنگو را نشان می دهد، در واقع از تمام این ماژول ها و کلاس ها می توان استفاده کرد.

باید در نظر داشت که ترتیب اجرای آنها در جنگو به صورت زیر است

اول تمامی کلاسهایی که از django.test.TestCase ارث برده اند اجرا میشوند

سپس تمامی کلاس هایی که از SimpleTestCase و TransactionTestCase و LiveTestCase به ارث برده اند اجرا می شوند.

در نهایت تمامی تستهایی که از unittest.TestCase استفاده کرده اند.

Fixtures

می توان با استفاده از django dumpdata از جداول مدلها دیتای سریالایز شده تولید کرد و توی فایلهای مختلف ذخیره کرد به این فایلها میگن fixture که توی تست نرم افزار هم قابلیت داره. مثلا میخایم قبل از شروع یک TestCase فایلها در fixture کلاس testCase در دیتابیس ذخیره بشه بعد هم پاک شه. که برای شروع هر تست یک دیتابیس جدید setup بشه.

class MyTestCase(TestCase):
    fixtures = ["fixture-label"]

1 2	class MyTestCase(TestCase): fixtures = ["fixture-label"]

سپس

django-admin loaddata &lt;fixture label&gt;

1	django-admin loaddata <fixture label>

جنگو توی فولدر fixtures یا مسیری که توی settings گفتیم FIXTURE_DIR.

class AnimalTestCase(TestCase):
    fixtures = ["mammals", "birds", "insects"]

1 2	class AnimalTestCase(TestCase): fixtures = ["mammals", "birds", "insects"]

unittest و اصول اولیه

در Unit Test مفاهیم زیر اهمیت دارند:

Fixture: قبل از اجرای هر تست یک محیط باید فراهم شه که به این محیط fixture میگن. مثلا قبلا اجرای متدهای unittest شاید لازم باشه یک instance از کلاس مربوطه ساخته بشه و بعد از انجام شدن متد تست اون instance از بین بره. در ضمن ممکنه که قبل از از متد تست این instance نیاز به ساخته شدن داشته باشه. بنابراین این اینستنس رو توی یک تابع به اسم unittest.TestCase.setUp ساخته میشه. این متد قبل از هر متد تست اجرا میشه. به این محیط ایجاد شده قبل از اجرای هر تست Fixture میگن. بعد از اجرای هر تست هم unittest.TestCase.tearDown اجرا میشه که توی اون هم میشه اون اسنتنس رو پاک کرد. مثال دیگه میتونه این باشه که کانکشن به دیتابیس ساخته بشه که توی اون متدهای تست استفاده بشه. در واقع از یه بخشی از کد که توی همه متدها اجرا میشه فاکتور میگیریم.

Test Case: تست کیس اصل کار تست هستش. یک کلاس هست که توی اون متدهایی تعریف میشه که اون متدها هر کدوم یه قابلیت رو تست میکنه. مثلا

import unittest

class TestStringMethods(unittest.TestCase):

    def test_upper(self):
        self.assertEqual('foo'.upper(), 'FOO')

    def test_isupper(self):
        self.assertTrue('FOO'.isupper())
        self.assertFalse('Foo'.isupper())

    def test_split(self):
        s = 'hello world'
        self.assertEqual(s.split(), ['hello', 'world'])
        # check that s.split fails when the separator is not a string
        with self.assertRaises(TypeError):
            s.split(2)

import unittest

class WidgetTestCase(unittest.TestCase):
    def setUp(self):
        self.widget = Widget('The widget')

    def test_default_widget_size(self):
        self.assertEqual(self.widget.size(), (50,50),
                         'incorrect default size')

    def test_widget_resize(self):
        self.widget.resize(100,150)
        self.assertEqual(self.widget.size(), (100,150),
                         'wrong size after resize')


if __name__ == '__main__':
    unittest.main()

import unittest

class TestStringMethods(unittest.TestCase):

def test_upper(self):

self.assertEqual('foo'.upper(), 'FOO')

def test_isupper(self):

self.assertTrue('FOO'.isupper())

self.assertFalse('Foo'.isupper())

def test_split(self):

s = 'hello world'

self.assertEqual(s.split(), ['hello', 'world'])

# check that s.split fails when the separator is not a string

with self.assertRaises(TypeError):

s.split(2)

import unittest

class WidgetTestCase(unittest.TestCase):

def setUp(self):

self.widget = Widget('The widget')

def test_default_widget_size(self):

self.assertEqual(self.widget.size(), (50,50),

'incorrect default size')

def test_widget_resize(self):

self.widget.resize(100,150)

self.assertEqual(self.widget.size(), (100,150),

'wrong size after resize')

if __name__ == '__main__':

unittest.main()

اگر یک TestCase.setUp به ارور بخوره هیچ تستی انجام نمیشه. اگر تمامی تست ها انجام بشه بعدش TestCase.tearDown اجرا میشه.

قبل از اجرای هر متد تست setUp و tearDown و __init__ اجرا میشه.

Test Suit: بهتره تست های بهم مرتبط رو با هم دسته بندی کنیم و باهم اجرا کنیم. این کارو با Test Suit انجام میدیم.

def suite():
    suite = unittest.TestSuite()
    suite.addTest(WidgetTestCase('test_default_widget_size'))
    suite.addTest(WidgetTestCase('test_widget_resize'))
    return suite

if __name__ == '__main__':
    runner = unittest.TextTestRunner()
    runner.run(suite())

def suite():

suite = unittest.TestSuite()

suite.addTest(WidgetTestCase('test_default_widget_size'))

suite.addTest(WidgetTestCase('test_widget_resize'))

return suite

if __name__ == '__main__':

runner = unittest.TextTestRunner()

runner.run(suite())

ترتیب اجرا fixture ها به صورت زیره:

# testcase fixtures:

TestCase.setUp  # (before any testcase method)
TestCase.tearDown  # (after any testcase method)


# class and module fixtures:

TestCase.setUpClass  # (before first testcase of this class)
TestCase.tearDownClass  # (before first testcase of next TestCase class)

TestCase.setUpModule  # (before first testcase of this Test Module)
TestCase.tearDownModule  # (before first testcase of next Test Module)

# testcase fixtures:

TestCase.setUp # (before any testcase method)

TestCase.tearDown # (after any testcase method)

# class and module fixtures:

TestCase.setUpClass # (before first testcase of this class)

TestCase.tearDownClass # (before first testcase of next TestCase class)

TestCase.setUpModule # (before first testcase of this Test Module)

TestCase.tearDownModule # (before first testcase of next Test Module)

سوال مصاحبه

در ادامه یک سوال مصاحبه جالب از یک شرکت غیرایرانی رو میبینیم که زمان انجامش 45 دقیقه است.

کد زیر را کامل کنید. هدف این است که یک XML به صورت تکست به شما بدهند و شما یک object برگردانید که المانهای این XML در آن قابل فراخوانی باشند همانطور که در تابع main میبینید. (کد به صورت بازگشتی باشد)

if __name__ == "__main__":
    xml_ = "<?xml version='1.0'?><State><City><Name>NewYork</Name></City></State>"
    root = ET.fromstring(xml_)

    r = MyXML(root)
    res = xml_to_obj(root, r)

    city = getattr(r, 'City')
    print(city)
    name = getattr(city, "Name")
    print(name)
    text = getattr(name, "Name")
    print(text)

if __name__ == "__main__":

xml_ = "<?xml version='1.0'?><State><City><Name>NewYork</Name></City></State>"

root = ET.fromstring(xml_)

r = MyXML(root)

res = xml_to_obj(root, r)

city = getattr(r, 'City')

print(city)

name = getattr(city, "Name")

print(name)

text = getattr(name, "Name")

print(text)

سیستم اعتبارسنجی جنگو

دانستن شمای کلی سیستم اعتبارسنجی جنگو authentication system دید خوبی در شروع هر پروژه ای به توسعه دهنده ها میده:

کار کردن بهینه با دیتابیس جنگو

راه های بهینه استفاده کردن دیتابیس:

1.توی query هایی که با استفاده از ORM بر روی دیتابیس اجرا میکنیم بهتر است خود SQL آن را ببینیم با استفاده از پرینت کردن query

2.از Indexing در ORM استفاده کنیم

3.وضعیت بهینگی query ها را ببینیم با استفاده از ابزارهایی مثل django-debug-tools

4.مراقب مشکلاتی مثل N+1 problems باشیم

5.از caching استفاده کنیم

6. از قابلیت query laziness در QuerySet های Django نهایت استفاده را بکنیم

7.Query تکراری اجرا نکنیم

8.QuerySet.explain() بهینگی و زمان اجرا query را به من نشان می دهد

9.به حداقل رساندن DB hit با استفاده از prefetch_related و select_related

در لینک زیر مثالهایی از اجرای query اضافی در دیتابیس میبینیم

https://docs.djangoproject.com/en/4.2/topics/db/optimization/

کاربرد nested method در پایتون

کد زیر رو می تونید توی django.forms.fields.py ببینید. یه نکته جالب داره. متد split_url رو توی متد to_python تعریف کرده:

class URLField(CharField):
    widget = URLInput
    default_error_messages = {
        "invalid": _("Enter a valid URL."),
    }
    default_validators = &#91;validators.URLValidator()]

    def __init__(self, **kwargs):
        super().__init__(strip=True, **kwargs)

    def to_python(self, value):
        def split_url(url):
            """
            Return a list of url parts via urlparse.urlsplit(), or raise
            ValidationError for some malformed URLs.
            """
            try:
                return list(urlsplit(url))
            except ValueError:
                # urlparse.urlsplit can raise a ValueError with some
                # misformatted URLs.
                raise ValidationError(self.error_messages&#91;"invalid"], code="invalid")

class URLField(CharField):

widget = URLInput

default_error_messages = {

"invalid": _("Enter a valid URL."),

}

default_validators = [validators.URLValidator()]

def __init__(self, **kwargs):

super().__init__(strip=True, **kwargs)

def to_python(self, value):

def split_url(url):

"""

Return a list of url parts via urlparse.urlsplit(), or raise

ValidationError for some malformed URLs.

"""

try:

return list(urlsplit(url))

except ValueError:

# urlparse.urlsplit can raise a ValueError with some

# misformatted URLs.

raise ValidationError(self.error_messages["invalid"], code="invalid")

سوال اینجاست که چرا باید یه متد رو توی متدی دیگه تعریف کرد؟ کاربردش چیه؟ مزایاش چیه؟ و چجوری باید صدا زد اونها رو:

دلیل استفاده از این روش توی OOP گفته شده که اگر قرار باشه که یک کار رو چندین بار توی یک متد انجام داد باید اون رو یک به صورت یک تابع بنویسیم تا اینجا که واضحه (دلیل تابع). حالا فرض کنیم بخایم از یک تابع فقط توی یک متد از یک کلاس استفاده کنیم، یعنی اصلا حتی به متدهای دیگه همون کلاس ربطی نداره. اون وقته که منطقی میشه از این روش استفاده کرد و فقط هم باید توی همون متد to_python صدا زده بشه.

مزایاش که مشخصه، اگه کدی لازم نباشه به scope های دیگه نشون داده نمیشه و مزایای دیگه…