هیوادار -

معماری یک پروژه جنگو با Nginx و Gunicorn

به طوی کلی برای پیاده سازی یه پروژه که با backend پایتونی زده شده (مثل جنگو و فلسک) باید از یک اپلیکیشن سرور (مثل uWSGI یا Gunicorn) و یک وب سرور (که اینجا بهش پراکسی سرور گفته میشه استفاده کرد. مثل شکل زیر:

ولی چرا مثل یک پروژه که با php زده میشه نمیتونیم مستقیم از یه وب سرور استفاده کنیم و خلاص؟ به این دلیل که وب سرورها قابلیت اجرای وب اپلیکیشن های پایتونی رو به خوبی پیاده سازی نکردن. این روش مزایای زیادی داره یکی اینکه تمام منطق کد پایتونی توسط Gunicorn اجرا میشه و عملا Nginx فقط request رو به اون فوروارد میکنه. در عوض خود Nginx کارهای دیگه ای رو انجام میده و عملا باعث بهبود عملکرد اپلیکیشن سرور میشه مثلا درخواست های کاربر رو فیلتر می کنه و اونایی که معتبر هستن رو به اپلیکیشن سرور میده همچنین فایلهای static مثل html, css و… رو خود Nginx به کاربر میده و باعث میشه اپلیکیشن سرور کار پرهزینه انجام نده.

تصویر بالا معماری گفته شده رو نشون میده که یه قابلیت دیگه از این معماری رو میبینیم. همینطور که میبینیم 3 نمونه از پروژه با 3 worker اجرا شده که باعث افزایش کارایی اپلیکیشن میشه. در این حالت خود Nginx درخواست ها رو مدیریت می کنه و میدونه به کدوم worker بفرسته.

سایت دیجیتال اوشن جزئیات پیاده سازی این معماری رو توضیح داده

کدام دیتابیسها با سیستم migration جنگو سازگارترند؟

از بین دیتابیس های معمول برای استفاده در یک وب اپلیکیشن MySQL، PostgreSQLو SQLite پراستفاده ترند. اگر بخواهیم برای یک پروژه Django از یکی از اینها استفاده کنیم باید بدانیم سیستم Migration جنگو با همه آنها به صورت یکسان سازگار نیست. تفاوت سازگاری در آنها در چیست؟

PostgreSQL

سازگارترین دیتابیس با Migration جنگو PostgreSQL است

MySQL

این دیتابیس در عملیات تغییر schema در model ها از تراکنشها transactions پشتیبانی نمی کند (البته با موتور ذخیره سازی InnoDB از transactions هم پشتیبانی میکند به جز برخی عملیاتهای دیتابیس مانند تغییر در schema که در لینک میبینید) یعنی اگر در عملیات مایگریشن به خطایی برخورد بکند تغییرات قبلی rollback نمی شود و ممکن است دیتابیس را معیوب کند و باید تغییرات را به صورت دستی درست کنیم.

علاوه بر آن در هر عملیات مایگریشن این دیتابیس تمام اسکیماها و جدولها و ایندکس ها را از اول rewrite میکند که این در دیتابیسهای بزرگ پرهزینه است زیرا ممکن است دیتابیس production برای زمان زیادی پاسخگو نباشد.

نهایتا MySQL محدودیتهای دیگری هم دارد مانند طول نام ستونها و Index ها. این یعنی ممکن است اگر ایندکسی برای دیتابیس دیگر کار کند که طول نام آن از محدودیت MySQL بیشتر باشد با مایگریشن به این دیتابیس عملیات به خطا بخورد.

SQLite

استفاده از این دیتابیس در پروداکشن و پروژه های جدی توصیه نمی شود بخاطر محدودیتاهای شدید در تغییر اسکیما در عملیات مایگریشن که جزئیات این محدودیت ها در این لینک قابل مشاهده است.

ساخت کامند کاستوم در django-admin

توی جنگو میشه برای یک app کامند کاستوم custom command نوشت. use case های زیادی میتونه داشته باشه. فرض کنیم یه model داریم به اسم campaign که مربوط به قرعه کشی هایی هست که توی وبسایت فروشگاهمون وجود داره. این کمپین فقط عید نوروز فعاله و یه فیلد داره به اسم active که برابر با true میشه. حالا بعد از نوروز میخایم اون رو غیرفعال کنیم بهتره که بتونیم با یه کامند این تغییر رو توی دیتابیس بدیم.

برای این کار یک کامند برای campaign app میسازیم. از این به بعد هر پروژه ای که این app را به INSTALLED_APP اضافه کنه این کامند رو هم خواهد داشت. برای این کار باید توی app مورد نظر یه package با ساختار زیر بسازیم.

campaigne/
    __init__.py
    models.py
    management/
        __init__.py
        commands/
            __init__.py
            _private.py
            campaigne.py
    tests.py
    views.py

campaigne/

__init__.py

models.py

management/

__init__.py

commands/

__init__.py

_private.py

campaigne.py

tests.py

views.py

توی فایل campaigneactivation.py باید یه کلاس به اسم Command بسازیم که از کلاس BaseCommand ارث بری میکنه.

from django.core.management.base import BaseCommand, CommandError
from campaigne.models import Question as Campaigne


class Command(BaseCommand):
    help = "Deactive/active campaigne"

    def add_arguments(self, parser):
        parser.add_argument("campaigne_ids", nargs="+", type=int)

    def handle(self, *args, **options):
        for c_id in options["campaigne_ids"]:
            try:
                campaigne = Campaigne.objects.get(pk=campaigne_ids)
            except Campaigne.DoesNotExist:
                raise CommandError('campaigne "%s" does not exist' % campaigne_ids)

            campaigne.opened = False
            campaigne.save()

            self.stdout.write(
                self.style.SUCCESS('Successfully closed campaigne "%s"' % campaigne_ids)
            )

from django.core.management.base import BaseCommand, CommandError

from campaigne.models import Question as Campaigne

class Command(BaseCommand):

help = "Deactive/active campaigne"

def add_arguments(self, parser):

parser.add_argument("campaigne_ids", nargs="+", type=int)

def handle(self, *args, **options):

for c_id in options["campaigne_ids"]:

try:

campaigne = Campaigne.objects.get(pk=campaigne_ids)

except Campaigne.DoesNotExist:

raise CommandError('campaigne "%s" does not exist' % campaigne_ids)

campaigne.opened = False

campaigne.save()

self.stdout.write(

self.style.SUCCESS('Successfully closed campaigne "%s"' % campaigne_ids)

)

این کامند الان اضافه شده و میشه به شکل زیر ازش استفاده کرد.

python manage.py campaigne 124

1	python manage.py campaigne 124

کلاس BaseCommand پارامترهای زیادی داره که جزئیاتش تو این لینک هست

context manager توی پایتون چیه؟ به چه دردی میخوره و چطور میشه یکی نوشت؟

این سوالی بود که توی یکی از مصاحبه های کاری از من پرسیده شد و مدیر فنی اون شرکت میگفت توی یک پروژه ما نیاز داشتیم خودمون یک context manager بنویسیم.

بدلیل محدودیت منابع در سیستم، وجود مکانیزمی که برای مدیریت منابع یعنی گرفتن و رهاسازی اتوماتیک منابع می تواند به مدیریت منابع و جلوگیری از آن کمک کند. منابعی مثل فایل، کانکشن های دیتابیس و … این وظیفه context manager هست

توی پایتون برای باز کردن یک فایل میشه از کلیدواژه with استفاده کنیم. اینجا دقیقا داریم از یک context manager استفاده میکنیم. context manager به ما اجازه میده که یک resource رو به خوبی allocate کنیم و بعد از استفاده آزاد کنیم. فرض کنید که دو عملیات مرتبط دارید و میخاید این دو عملیات با هم به صورت جفتی توی یک بلاک کد انجام بشه، context manager به شما این امکان رو میده که این کار رو انجام بدید. مثلا میخایم یک فایل رو باز کنیم و توش بنویسیم و اگر در حین نوشتن توی فایل به ارور خوردیم فایل خودبه خود بسته بشه، یعنی یه جورایی این فایل که یک resource هست رو allocate کردیم و در آخر هم به درستی آزادش میکنیم و عملا هم این چندتا کار به هم مرتبط هستن و باید جفتی با هم توی یه بلاک کد انجام بشه: باز کردن نوشتن و بستن.

with open('some_file', 'w') as opened_file:
    opened_file.write('Hola!')

1 2	with open('some_file', 'w') as opened_file: opened_file.write('Hola!')

کد زیر دقیقا معادل کد بالاست وقتی که از context manager استفاده نکنیم. میبینید که اولا از کد بیشتری استفاده شده ثانیا دو عملیاتی که بهم مرتبط هستند و بهتر بود در یک بلاک کد استفاده شود از هم جدا شدند:

file = open('some_file', 'w')
try:
    file.write('Hola!')
finally:
    file.close()

file = open('some_file', 'w')

try:

file.write('Hola!')

finally:

file.close()

پیاده سازی context manager به صورت class

فقط با تعریف کردن متدهای __enter__ و __exit__ یک context manager ساخته ایم و میتوانیم از آن در بلاک with استفاده کنیم

class File(object):
    def __init__(self, file_name, method):
        self.file_obj = open(file_name, method)
    def __enter__(self):
        return self.file_obj
    def __exit__(self, type, value, traceback):
        self.file_obj.close()

with File('demo.txt', 'w') as opened_file:
    opened_file.write('Hola!')

class File(object):

def __init__(self, file_name, method):

self.file_obj = open(file_name, method)

def __enter__(self):

return self.file_obj

def __exit__(self, type, value, traceback):

self.file_obj.close()

with File('demo.txt', 'w') as opened_file:

opened_file.write('Hola!')

جزئیات بیشتر در لینک زیر موجوده

https://book.pythontips.com/en/latest/context_managers.html

use case های دیگه ای هم برا context manger توی لینک زیر میبینیم

https://www.geeksforgeeks.org/context-manager-in-python/

https://www.linkedin.com/pulse/context-managers-python-gautam-kumar/

مدل چیکسنت میهایی

برای هر کسی پیش آمده که چند ماه را برای یادگیری مهارتی صرف کند و متصور هستید که در این مهارت حرفه ای شده اید. سپس مدتی از یادگیری فاصله گرفته و حس بدی داشته اید. دوباره به سمت مهارت جدیدی میروید تا این حس خوب را برای خود تکرار کنید و عملا وقتتان را تلف نکنید. این یک فرایند طبیعی است و هر کسی آن را تجربه می کند.

از طرفی اگر برای شما پیش آمده باشد که به شرکتی با پوزیشنی مشغول شوید که عملا سواد و مهارت شما خیلی کمتر از جایگاهی هست که باید باشد، شما استرس بالایی را تحمل خواهید کرد. تا اینکه در این موقعیت شغلی مطالعه کنید و چالش های کاری را پشت سر بگذارید، بعد از مدتی توانایی شما بالا رفته و حس بهتری خواهید داشت. از استرس شما کم شده و روز به روز خوشحالتر و متمرکزتر می شویم. بعد از چند سال در همان موقعیت دیگر چالش جدید نخواهید داشت و عملا هر روز یک سری تسک تکراری بدون یادگیری و بدون نیاز به فکر کردن و سرچ کردن خواهید داشت در این مرحله دپرس خواهیم بود و بهتر است بفکر جابجایی یا پروژه های جدید باشیم.

گراف زیر (گراف میهای چیکسنت میهایی) گویای همین شرایط است. دقت به این گراف به ما این اطمینان را میدهد که شرایطی که در مسیر کاری احساس میکنیم، نرمال هستند و تعریف دارند و کمک میکند که برای روبرویی و بهره مندی مثبت از این شرایط اعتمادبنفس کافی داشته و آگاهانه تصمیم بگیریم.

گزیده‌ای از کتاب – باباگوریو

آن وقت دانشجو دلباختۀ چیزهای پوچی می شود که در نظر او باشکوه و بزرگ می‌نمایند. مرد بزرگ اون فلان استاد کلژ دو فرانس است که پول میگیرد تا خود را هم‌سطح شنوندگان خود قرار دهد اون گره کراوات خود را بالا می‌آورد و با فلان زنی که در گالری درجه یک اپراکمیک نشسته است نظربازی می‌کند. در این نوآموزی‌های متوالی دانشجو از کودکی خود بیرون می‌آید، افق زندگی خود را وسعت می‌بخشد و سرانجام قشرهای انسانی که روی هم قرار گرفته و با هم جامعه انسانی را تشکیل می دهد را به خوب درک میکند. اگر او در ابتدا رژه کالسکه‌ها در شانزلیزه در یک روز خوش آفتابی دیده و تحسین کرده است، به زودی به آنجا می‌رسد که خود نیز تملک آن را آرزو کند. اوژن، هنگامی که پس از قبول شدن در امتحان ادبیات و حقوق سال اول برای تعطیلات نزد خانواده خود برمیگشت، بی آنکه خود بداند، این دوره نوآموزی را گذرانده بود. پندارهای کودکانه و افکار محدود شهرستانی را از دست داده بود. فهم و ادراک تازه و جاه طلبی تحریک شده‌اش سبب شدند که خانه پدری و زندگی خانواده را با نظری درست ببیند.

رفتار حرفه ای در محیط کار 1

در این مورد مقالات زیادی وجود داره پس من اون مواردی که خودم تجربه کردم و میدونم دردسرساز هست رو مینویسم. هدف از نوشتن یادآوری به خودم و نشون دادن این مشکلات به دوستانیه که در اول مسیر کاری هستن. این رفتارها ممکنه توی همه شرکتها مصداق نداشته باشه اما من چون توی شرکتهای کوچک و بزرگ و سازمان شبه دولتی و خصوصی هم کار کردم این موارد رو تجربه کردم.

1.حضور به موقع: این مورد ممکنه توی شرکتهای استارت آپ معنی نداشته باشه و اونها بتونن هر تایمی برن سر کار یا دورکار باشن اما توی خیلی از شرکتها یک ساعت مقرر باید حضور داشت و یک ساعت هم شناوری در نظر گرفته میشه. بهتره توی اون ساعت حاضر باشیم. حضور به موقع در طولانی مدت برند خوبی از ما میسازه از طرفی بقیه روی ما بیشتر حساب می کنن.

2.انجام کار شخصی در تایم اداری: حرفه ای ترین حالت اینه که در ساعت کاری فقط کارهای شرکت رو انجام بدیم و توی اون بازه زمانی از بورس بازی، سوشیال مدیا و معامله خودرو و هر کار دیگه ای خودداری کنیم در عوض سر وقت از شرکت بیایم بیرون و بریم به زندگیمون برسیم.

3.اضافه کاری بیش از حد: بهترین حالت اینه که اضافه کاری هر ماه یه مقداری معقولی باشه. اینکه از نیروهای زیرمجموعه اضافه کاری بیش از حد بخایم حرفه ای نیست خود زیرمجموعه هم باید سعی کنه توی تایم کاری تسکها رو ببنده و اضافه کاری رو به حداقل برسونه. در عوض از اون تایم برای تفریح، خانواده و کارهای شخصیش استفاده کنه

4.رومنس در آفیس: این مورد نیاز به توضیح نداره، رابطه عاطفی تو کار عملکرد دو طرف رو نابود می کنه

5.رابطه کاری: همه میگن اگه رابطه دوستانه ای با هم تیمی ها داشته باشیم خیلی خوبه ولی حد این رابطه دوستانه چقدره؟ بنظرم باید نهایتا رابطه دوستانه در حد همکار بمونه (حداقل در محیل کار). کلا توی رابطه کاری اگر رفتاری باعث حس ناراحتی در کسی شد بدونیم که زیاده روی کردیم.

6.استفاده از ادبیات کاری: توی آفیس بهتره از ادبیات زننده و جنسی و کلمات خارج از عرف استفاده نکنیم.

7.همیشه خودت باش!: نه این کاملا درست نیست. خودت نباش! اگر منظور از این جمله اینه که صادق باش میتونیم بپذیریم ولی هر محیطی رفتار خودش رو داره. نباید اون طوری که با پارتنرمون توی کافی شاپ صحبت می کنیم با همکارمون توی محیط کار حرف بزنیم. نباید اون طوری که توی خونه لباس می پوشیم در محیط کار هم باشیم.

اگه توی یه شرکت بعد از مدتی موتیویشنی برای کار کردن و رعایت کردن موارد بالا نداشتیم و در یک جمله دیگه حالمون خوب نبود باید دنبال ریشه این مشکل بگردیم. اگر ریشه مشکل اینه که ما این شغل رو دوست نداریم و صرفا برا حقوقش وایسادیم و در نتیجه همیشه ناراحتیم، نمیتونیم سر وقت بیایم سر کار و با بقیه رفتار بدی داریم بهتره به فکر عوض کردن شغلمون یا شرکت باشیم.

سوالات مصاحبه

context manager توی پایتون چیه؟ به چه دردی می خوره و چطور می شه یکی نوشت؟
- https://book.pythontips.com/en/latest/context_managers.html
- https://www.geeksforgeeks.org/context-manager-in-python/
middleware توی جنگو رو توضیح بدید.
فرض کنید توی یک حلقه یک آبجکت ORM میسازیم و توی همون لوپ توی دیتابیس save میکنیم. این حلقه یک میلیون بار تکرار میشه. آیا این مشکلی داره؟ اگه داره راه حلش چیه؟
فرض کنید یک اپلیکیشن مثل توییتر می نویسیم و صفحه اول توئیت ها رو میبینیم ساختار API این صفحه رو بگید.
فرض کنید داریم یک اپلیکیشن URL shortner مینویسیم از چه تکنولوژی هایی توی این پروژه استفاده میکنیم؟ stack
فرض کنید یک جدول توی دیتابیس داریم توی ستون آخر دو تا تگ ذخیره می شه وسط پروژه فهمیدیم این ستون بهتره به دو ستون تبدیل بشه. چطور این ستون رو به دو ستون تبدیل می کنیم. در نظر بگیرید دیتای میلیونها کاربر توی جدول وجود داره و به پروداکشن هم دسترسی نداریم. توی این پروژه هم از ORM داریم استفاده می کنیم.
فرض کنید دو تا تیبل دیتابیس داریم که رابطه 1-n را هم دارن دیتای جدول دوم رو میخایم به صورتی که دیتای جدول اول هم کنارش باشه. بهینه ترین query که میتونیم بزنیم چطوره؟
مدل دیتابیس یک سایت ارائه دهنده فیلم مثل IMDB رو پیاده سازی کن (فیلم، لایک، عکس فیلم ها، فیلم های مشابه و کاربران). مدل API و معماری رو هم طراحی کن.
مدل دیتابیس و معماری نرم افزار توئیتر رو طراحی کن.
فرق Model با Serializer چیه؟
decorator چیه؟
generator توی پایتون چیه؟
- https://wiki.python.org/moin/Generators
operator overloading توی پایتون چطور پیاده سازی میشه؟
Manager توی جنگو چه کاربردی داره؟
از Celery استفاده کردی؟ چرا؟
فرض کن دوتا App توی جنگو داری که به هم مرتبط هستند. مثلا اگر یک متد توی App اول اجرا میشه بعدش یک متد یا پارامتر توی App دوم رو استفاده میکنه. آیا این از دید مهندسی نرم افزار مشکل داره؟ اگر داره راه حل چیه؟
از Multiprocessing و Multithreading توی پایتون استفاده کردید؟ محدودیت ها مزایا و معایبش رو بگید. از هر کدوم توی چه use case ای باید استفاده بشه.
فرق ماژول با پکیج توی پایتوی چیه؟
migration توی جنگو چیه و کاربردش چیه؟
فرض کنید توی یک اپلیکیشن وب یک درخواست میدیم (مثل درخواست خرید توی فروشگاه) درخواست 5 دقیقه طول میکشه و fail میشه. این ایراد رو چطور ریشه یابی میکنید؟
فرض کنید توی DRFمیخایم response هایی که به کاربر برگردونده میشه رو از نظر ساختار پاسخ (status، پیغام و …) یکپارچه کنیم. چطور این کار رو می کنیم؟
فرض کنید توی جنگو توی Model های مختلف میخایم رو تمامی query هایی که به دیتابیس ارسال میشه یک تغییر یکسان بدیم (مثلا یک فروشگاه داریم میخایم از امروز توی تمامی query ها اطلاعات 2020 به قبل رو نشون نده) برای این کار بهترین راه حل تغییر مدل ها چیه؟
خروجی کد زیر چه می شود و تحلیل کنید:

def test(l1, l2):
    l1.extend([4, 5, 6])
    l2.extend([5])
    print(l1)
    print(l2)

if name == 'main':
    a = [1, 2, 3]
    b = [1, 2, 3]
    test(a, b)
    test(a, b)

def test(l1, l2):

l1.extend([4, 5, 6])

l2.extend([5])

print(l1)

print(l2)

if name == 'main':

a = [1, 2, 3]

b = [1, 2, 3]

test(a, b)

24. تسک های ناتمام در Celery چه اتفاقی براش میوفته

25. چه وقت هایی باید از multithreading یا Multiprocessing یا Celery استفاده کرد؟

بیان بیست و پنجم

سه گونه دروغ وجود دارد: دروغ، دروغ شاخ‌دار و آمار

-مارک تواین

بیان بیست و چهارم

گاهی اوقات بیدار ماندن مشکل است، مخصوصأ در کلیسا.

-اسکار وایلد