مصاحبه - هیوادار

annotate و عدم اعمال Index

این 2 کد را در نظر بگیرید:

Service.objects.annotate(
		cnt_p=Count('provided_links'), cnt_c=Count('consumed_links')
	).exclude(Q(cnt_p=0, cnt_c=0), st=2)

Service.objects.annotate(

cnt_p=Count('provided_links'), cnt_c=Count('consumed_links')

).exclude(Q(cnt_p=0, cnt_c=0), st=2)

Service.objects.exclude(st=2).annotate(
	cnt_p=Count('provided_links'), cnt_c=Count('consumed_links')
).exclude(cnt_p=0, cnt_c=0)

Service.objects.exclude(st=2).annotate(

cnt_p=Count('provided_links'), cnt_c=Count('consumed_links')

).exclude(cnt_p=0, cnt_c=0)

با تبدیل اولی به دومی زمان این query از 450 میلی ثانیه به 45 میلی ثانیه کاهش پیدا کرد. چرا؟

دلیل این بود که فیلدهای این مدل همگی Index بودند اما این ایندکسها اعمال نمی شدند چونکه annotate باعث میشود که کل جدول اسکن شود و عملا ایندکسها بی فایده باشند بنابراین حداقل st=0 را به قبل از annotate انتقال دادیم و این باعث شد برای annotate که اتفاقا از WHERE استفاده میکند از ایندکس استفاده شود.

مقایسه دو تکه کد

تفاوت دو کد زیر چیست و کدام بهتر است؟

class MagAttachment(models.Model):
    file = models.FileField(upload_to='mag/attachments', verbose_name='فایل اصلی')
    thumbnail = models.ImageField(upload_to='mag/attachments', verbose_name="نمایه", blank=True, null=True)

    def __str__(self):
        return str(self.file.name)

    def delete(self, *args, **kwargs):
        if self.file:
            self.file.delete(save=False)

        if self.thumbnail:
            self.thumbnail.delete(save=False)

        super().delete(*args, **kwargs)

    def get_thumbnail_url(self):
        if self.thumbnail:
            return self.thumbnail.url
        return static('images/placeholder.PNG')

class MagAttachment(models.Model):

file = models.FileField(upload_to='mag/attachments', verbose_name='فایل اصلی')

thumbnail = models.ImageField(upload_to='mag/attachments', verbose_name="نمایه", blank=True, null=True)

def __str__(self):

return str(self.file.name)

def delete(self, *args, **kwargs):

if self.file:

self.file.delete(save=False)

if self.thumbnail:

self.thumbnail.delete(save=False)

super().delete(*args, **kwargs)

def get_thumbnail_url(self):

if self.thumbnail:

return self.thumbnail.url

return static('images/placeholder.PNG')

class MagAttachment(models.Model):
    file = models.FileField(upload_to='mag/attachments', verbose_name='فایل اصلی')
    thumbnail = models.ImageField(upload_to='mag/attachments', verbose_name="نمایه", default='mag/placeholder.JPG')

    def __str__(self):
        return str(self.file.name)

    def delete(self, *args, **kwargs):
        if self.file:
            self.file.delete(save=False)

        if self.thumbnail and self.thumbnail.name != 'mag/placeholder.JPG':
            self.thumbnail.delete(save=False)

        super().delete(*args, **kwargs)

class MagAttachment(models.Model):

file = models.FileField(upload_to='mag/attachments', verbose_name='فایل اصلی')

thumbnail = models.ImageField(upload_to='mag/attachments', verbose_name="نمایه", default='mag/placeholder.JPG')

def __str__(self):

return str(self.file.name)

def delete(self, *args, **kwargs):

if self.file:

self.file.delete(save=False)

if self.thumbnail and self.thumbnail.name != 'mag/placeholder.JPG':

self.thumbnail.delete(save=False)

super().delete(*args, **kwargs)

در کد اول اگر thumbnail توسط کاربر انتخاب نشود یک فایل از مسیر mag آپلود میشود. و هنگام پاک شدن آبجکت مربوطه، اگر این آبجکت دارای این فایل پیشفرض بود پاک نشود که البته در این کد مربوطه خود به خود پاک می شود. پس یک باگ وجود دارد. گذشته از این باگ اگر 1000 بار کاربر بدون thumbnail فایل آپلود کند 1000 فایل تکراری ذخیره میشود.

در ضمن اگر فایل بهر دلیلی پاک شود یا نام آن تغییر کند سیستم دچار مشکل میشود.

در کد دوم اما اگر کاربر فایلی انتخاب نکند هیچ فایل پیش فرضی آپلود نمیشود بنابراین فایل تکراری دیده نمی شود و فضا هدر نمی روند.

از طرفی یک فایل static پاک نشده و هرکجا یک سند thumbnail نداشته باشد با متد get_thumbnail_url این فایل نشان داده میشود و دیگر سیستم دچار باگهای ناخواسته نمی شود.

خروجی کد مصاحبه

خروجی کد زیر چیه؟

l = [1, 2, 3]

try:
    print(l[3] / 0)
except (IndexError, ZeroDivisionError):
    print("exc")
else:
    print("else")
finally:
    print("final")

l = [1, 2, 3]

try:

print(l[3] / 0)

except (IndexError, ZeroDivisionError):

print("exc")

else:

print("else")

finally:

print("final")

طبق حدثم:

C:\code\interview>python test.py
exc
final

C:\code\interview>python test.py

exc

final

ولی else چی میگه

l = [1, 2, 3]

try:
    print(l[1] / 1)
except (IndexError, ZeroDivisionError):
    print("exc")
else:
    print("else")
finally:
    print("final")

l = [1, 2, 3]

try:

print(l[1] / 1)

except (IndexError, ZeroDivisionError):

print("exc")

else:

print("else")

finally:

print("final")

خروجی:

C:\code\interview>python test.py
2.0
else
final

C:\code\interview>python test.py

2.0

else

final

یعنی اگه Exception اتفاق نیوفته else هم اتفاق میوفته. در هر حالتی finally اتفاق میوفته

سوال مصالحبه مبتدی

خروجی تکه کد زیر چیه:

a = ["apple", "orange", "sigar"]
a.index("mellon") * 5

1 2	a = ["apple", "orange", "sigar"] a.index("mellon") * 5

جواب Exception از نوع ValueError

سوال مصاحبه ارثبری

امروز توی یه مصاحبه سوال زیر مطرح شد و گفتن که خروجی برنامه چیه و من بعدا که تستش کردم سورپرایز شدم.

class A:
    val = 1
    
class B(A):
    pass
    
class C(A):
    pass
    
print(A.val, B.val, C.val)

B.val = 2
print(A.val, B.val, C.val)

A.val = 3
print(A.val, B.val, C.val)

class A:

val = 1

class B(A):

pass

class C(A):

pass

print(A.val, B.val, C.val)

B.val = 2

print(A.val, B.val, C.val)

A.val = 3

print(A.val, B.val, C.val)

خروجی کد از قرار زیره:

C:\code\interview>python test.py
1 1 1
1 2 1
3 2 3

C:\code\interview>python test.py

1 1 1

1 2 1

3 2 3

بله سورپرایز شدیم. حالا برای اینکه بفهمیم چرا اینطور شد کد زیر رو اجرا میکنیم:

class A:
    val = 1
    
class B(A):
    pass
    
class C(A):
    pass
    

print("Class memory locations:", id(A), id(B), id(C))
print("val memory locations:", id(A.val), id(B.val), id(C.val))
print("------------------")

B.val = 2
print("Class memory locations:", id(A), id(B), id(C))
print("val memory locations:", id(A.val), id(B.val), id(C.val))
print("------------------")

A.val = 3
print("Class memory locations:", id(A), id(B), id(C))
print("val memory locations:", id(A.val), id(B.val), id(C.val))
print("------------------")

class A:

val = 1

class B(A):

pass

class C(A):

pass

print("Class memory locations:", id(A), id(B), id(C))

print("val memory locations:", id(A.val), id(B.val), id(C.val))

print("------------------")

B.val = 2

print("Class memory locations:", id(A), id(B), id(C))

print("val memory locations:", id(A.val), id(B.val), id(C.val))

print("------------------")

A.val = 3

print("Class memory locations:", id(A), id(B), id(C))

print("val memory locations:", id(A.val), id(B.val), id(C.val))

print("------------------")

و خروجی کد:

:\code\interview>python test.py
Class memory locations: 1555734830272 1555734824320 1555734826304
val memory locations: 140704966724024 140704966724024 140704966724024
------------------
Class memory locations: 1555734830272 1555734824320 1555734826304
val memory locations: 140704966724024 140704966724056 140704966724024
------------------
Class memory locations: 1555734830272 1555734824320 1555734826304
val memory locations: 140704966724088 140704966724056 140704966724088

:\code\interview>python test.py

Class memory locations: 1555734830272 1555734824320 1555734826304

val memory locations: 140704966724024 140704966724024 140704966724024

------------------

Class memory locations: 1555734830272 1555734824320 1555734826304

val memory locations: 140704966724024 140704966724056 140704966724024

------------------

Class memory locations: 1555734830272 1555734824320 1555734826304

val memory locations: 140704966724088 140704966724056 140704966724088

خوب مشخص شد مساله چیه. توی ارثبری کلاس ها توی پایتون حتی اگه هیچی هم تغییر نکنه کلاس جدید به جای جدیدی از حافظه اشاره میکنه. در واقع کلاس پدر کپی میشه توی جای جدیدی از حافظه و کلاس فرزند یه pointer به جای جدیده. و در زمان اجرا کلاس هر تغییری هم بکنه به جای جدیدی نمیره که بنابراین آدرس حافظه کلاس در هیچ شرایطی تغییر نمیکنه.

اما متغیری که توی کلاس تعریف شده داستانش فرق میکنه. توی کلاس A پدر متغیر val به یه آدرس توی حافظه اشاره میکنه. کلاس B و C که فرزند هستن به همون آدرس حافظه اشاره مکنه. حالا وقتی B.val رو تغییر میدیم (از اونجایی که integer توی پایتون immutable هست) اون خونه حافظه تغییر نمیکنه بلکه یک خونه جدید با مقدار جدید ساخته میشه و B.val به اون اشاره میکنه. حالا باید خونه قبلی حافظه رو پاک کنه اما چون 2 تا pointer دیگه بهش وصله اونو پاک نمیکنه (Garbage collector وقتی اون خونه حافظه رو پاک میکنه که هیچ pointer ای به اون اشاره نکنه)

حالا داستان دوم. با این منطق اگر A.val رو تغییر بدیم باید C.val تغییر نکنه چون A.val به آدرس جدید اشاره میکنه ولی خانه قبلی پاک نمیشه چون هنوز C.val به خانه قبلی اشاره میکنه. اما مساله دیگه ای هم هست این جا از ارثبری استفاده کردیم و C فرزند A هست پس حالا که A.val به خانه جدیدی از حافظه اشاره میکنه این pointer رو توی فرزندانش هم عوض میکنه و بازم C.val و A.val به یک خانه جدید یکسان اشاره میکنن. ولی B.val دیگه این اتفاق براش نمیوفته چون از قبل به خونه دیگه ای اشاره میکنه (تغییر کرده) اگر پایتون این رو جوری دیگه پیاده سازی میکرد قطعا به مشکل میخوردیم.

واقعا سوال باحالی بود.

سوال مصاحبه

در ادامه یک سوال مصاحبه جالب از یک شرکت غیرایرانی رو میبینیم که زمان انجامش 45 دقیقه است.

کد زیر را کامل کنید. هدف این است که یک XML به صورت تکست به شما بدهند و شما یک object برگردانید که المانهای این XML در آن قابل فراخوانی باشند همانطور که در تابع main میبینید. (کد به صورت بازگشتی باشد)

if __name__ == "__main__":
    xml_ = "<?xml version='1.0'?><State><City><Name>NewYork</Name></City></State>"
    root = ET.fromstring(xml_)

    r = MyXML(root)
    res = xml_to_obj(root, r)

    city = getattr(r, 'City')
    print(city)
    name = getattr(city, "Name")
    print(name)
    text = getattr(name, "Name")
    print(text)

if __name__ == "__main__":

xml_ = "<?xml version='1.0'?><State><City><Name>NewYork</Name></City></State>"

root = ET.fromstring(xml_)

r = MyXML(root)

res = xml_to_obj(root, r)

city = getattr(r, 'City')

print(city)

name = getattr(city, "Name")

print(name)

text = getattr(name, "Name")

print(text)

کاربرد nested method در پایتون

کد زیر رو می تونید توی django.forms.fields.py ببینید. یه نکته جالب داره. متد split_url رو توی متد to_python تعریف کرده:

class URLField(CharField):
    widget = URLInput
    default_error_messages = {
        "invalid": _("Enter a valid URL."),
    }
    default_validators = &#91;validators.URLValidator()]

    def __init__(self, **kwargs):
        super().__init__(strip=True, **kwargs)

    def to_python(self, value):
        def split_url(url):
            """
            Return a list of url parts via urlparse.urlsplit(), or raise
            ValidationError for some malformed URLs.
            """
            try:
                return list(urlsplit(url))
            except ValueError:
                # urlparse.urlsplit can raise a ValueError with some
                # misformatted URLs.
                raise ValidationError(self.error_messages&#91;"invalid"], code="invalid")

class URLField(CharField):

widget = URLInput

default_error_messages = {

"invalid": _("Enter a valid URL."),

}

default_validators = [validators.URLValidator()]

def __init__(self, **kwargs):

super().__init__(strip=True, **kwargs)

def to_python(self, value):

def split_url(url):

"""

Return a list of url parts via urlparse.urlsplit(), or raise

ValidationError for some malformed URLs.

"""

try:

return list(urlsplit(url))

except ValueError:

# urlparse.urlsplit can raise a ValueError with some

# misformatted URLs.

raise ValidationError(self.error_messages["invalid"], code="invalid")

سوال اینجاست که چرا باید یه متد رو توی متدی دیگه تعریف کرد؟ کاربردش چیه؟ مزایاش چیه؟ و چجوری باید صدا زد اونها رو:

دلیل استفاده از این روش توی OOP گفته شده که اگر قرار باشه که یک کار رو چندین بار توی یک متد انجام داد باید اون رو یک به صورت یک تابع بنویسیم تا اینجا که واضحه (دلیل تابع). حالا فرض کنیم بخایم از یک تابع فقط توی یک متد از یک کلاس استفاده کنیم، یعنی اصلا حتی به متدهای دیگه همون کلاس ربطی نداره. اون وقته که منطقی میشه از این روش استفاده کرد و فقط هم باید توی همون متد to_python صدا زده بشه.

مزایاش که مشخصه، اگه کدی لازم نباشه به scope های دیگه نشون داده نمیشه و مزایای دیگه…

F() expression توی جنگو

تفاوت دو کد زیر چیست؟

# Tintin filed a news story!
reporter = Reporters.objects.get(name="Tintin")
reporter.stories_filed += 1
reporter.save()

# Tintin filed a news story!

reporter = Reporters.objects.get(name="Tintin")

reporter.stories_filed += 1

reporter.save()

from django.db.models import F

reporter = Reporters.objects.get(name="Tintin")
reporter.stories_filed = F("stories_filed") + 1
reporter.save()

from django.db.models import F

reporter = Reporters.objects.get(name="Tintin")

reporter.stories_filed = F("stories_filed") + 1

reporter.save()

استفاده از F() expression توی کد جنگوی بالا این امکان رو میده که تغییر فیلد و increment کردنش سمت دیتابیس آماده انجام بشه بجای اینکه پایتون یک واحد بهش اضافه کنه. یعنی یک query میره سمت دیتابیس و مقدار فیلد هرچی هست همونجا یه واحد اضافه میشه. اینجوری دیگه لازم نیست یک بار از دیتابیس بگیره و اضافه کنه و آپدیت شده رو بفرسته سمت دیتابیس و دو query اجرا کنه. اما برای اینکه مقدار آپدیت شده سمت دیتابیس را داشته باشیم:

reporter.refresh_from_db()

1	reporter.refresh_from_db()

چالش ORM جنگو – spanning multivalued relationship

در رابطه های ManyToMany یا OneToMany استفاده کردن از spanning داخل filter به model دیگر این سوال رو ایجاد میکنه که هر دو شرط باید روی یک آبجکت اجرا شه یا هر کدام از شرط ها جدا؟ کد زیر توی مستندات جنگو روشن این موضوع رو نشون داده:

>>> from datetime import date
>>> beatles = Blog.objects.create(name='Beatles Blog')
>>> pop = Blog.objects.create(name='Pop Music Blog')
>>> Entry.objects.create(
...     blog=beatles,
...     headline='New Lennon Biography',
...     pub_date=date(2008, 6, 1),
... )
&lt;Entry: New Lennon Biography>
>>> Entry.objects.create(
...     blog=beatles,
...     headline='New Lennon Biography in Paperback',
...     pub_date=date(2009, 6, 1),
... )
&lt;Entry: New Lennon Biography in Paperback>
>>> Entry.objects.create(
...     blog=pop,
...     headline='Best Albums of 2008',
...     pub_date=date(2008, 12, 15),
... )
&lt;Entry: Best Albums of 2008>
>>> Entry.objects.create(
...     blog=pop,
...     headline='Lennon Would Have Loved Hip Hop',
...     pub_date=date(2020, 4, 1),
... )
&lt;Entry: Lennon Would Have Loved Hip Hop>
>>> Blog.objects.filter(
...     entry__headline__contains='Lennon',
...     entry__pub_date__year=2008,
... )
&lt;QuerySet [&lt;Blog: Beatles Blog>]>
>>> Blog.objects.filter(
...     entry__headline__contains='Lennon',
... ).filter(
...     entry__pub_date__year=2008,
... )
&lt;QuerySet [&lt;Blog: Beatles Blog>, &lt;Blog: Beatles Blog>, &lt;Blog: Pop Music Blog]>

>>> from datetime import date

>>> beatles = Blog.objects.create(name='Beatles Blog')

>>> pop = Blog.objects.create(name='Pop Music Blog')

>>> Entry.objects.create(

... blog=beatles,

... headline='New Lennon Biography',

... pub_date=date(2008, 6, 1),

... )

<Entry: New Lennon Biography>

>>> Entry.objects.create(

... blog=beatles,

... headline='New Lennon Biography in Paperback',

... pub_date=date(2009, 6, 1),

... )

<Entry: New Lennon Biography in Paperback>

>>> Entry.objects.create(

... blog=pop,

... headline='Best Albums of 2008',

... pub_date=date(2008, 12, 15),

... )

<Entry: Best Albums of 2008>

>>> Entry.objects.create(

... blog=pop,

... headline='Lennon Would Have Loved Hip Hop',

... pub_date=date(2020, 4, 1),

... )

<Entry: Lennon Would Have Loved Hip Hop>

>>> Blog.objects.filter(

... entry__headline__contains='Lennon',

... entry__pub_date__year=2008,

... )

>>> Blog.objects.filter(

... entry__headline__contains='Lennon',

... ).filter(

... entry__pub_date__year=2008,

... )

تکه کد ORM جنگو – Queryset slicing – سوال مصاحبه

آیا ORM جنگو با اجرای کد زیر به دیتابیس query میزند؟ اگر آره چند Hit دیتابیس داریم؟

Student.objects.all()[:5]

Student.objects.all(:8:2)

Student.objects.all()[:5]

Student.objects.all(:8:2)

ORM جنگو lazy است یعنی در هر حالتی به دیتابیس دسترسی نمیگیرد مگر اینکه بخواهد queryset را کامل از دیتابیس بگیرد. درحالتی که از slicing پایتون برای یک queryset استفاده می کنیم ORM یک queryset جدید برمیگردونه و اون رو اجرا نمیکنه. یعنی توی خط اول به دیتابیس Hit نداریم. قاعدتا باید توی خط دوم هم همین باشه اما slicing پایتون با step استثنا هست و توی خط دوم یه Hit به دیتابیس داریم.