هیوادار -

RabbitMQ

معماری RabbitMQ به صورت زیر است

Exchange چهار نوع دارد و دو نوع اصلی آن:

Fanout: در این حالت Exchange به routing key اهمیتی نمی دهد و تمامی پیام ها را به تمامی صف ها می فرستد.

Direct: در این حالت Exchange ها routing key ها را بررسی می کنند و پیامها را به صف های مرتبط می فرستند.

فرق دو کد زیر چیست؟

await self.send(
            text_data=json.dumps(my_response)
        )

await self.send(

text_data=json.dumps(my_response)

)

await self.channel_layer.group_send(
            self.group_name,
            {
                "type": "chat.message",
                "text": json.dumps(my_response)
            }
        )

await self.channel_layer.group_send(

self.group_name,

{

"type": "chat.message",

"text": json.dumps(my_response)

}

)

اولی پیام رو به همان کانکشن بر میگردونه دومی به با توجه به همان routing key که اینجا به نام group name هست می فرسته یعنی ممکنه به 100 نفر بفرسته

django channels sync async

تفاوت دو تکه کد زیر که از Django channels استفاده کرده است چیست؟

class FeedbackLockConsumer(WebsocketConsumer):
    def websocket_connect(self, event):
        doc_id = self.scope['url_route']['kwargs']['doc_id']
        user = self.scope['user']

        async_to_sync(self.channel_layer.group_add)(
            f"group_doc_{doc_id}",
            self.channel_name
        )

        self.accept()

		self.send(
			text_data=json.dumps({"message": "You are the Editor"})
		)

class FeedbackLockConsumer(WebsocketConsumer):

def websocket_connect(self, event):

doc_id = self.scope['url_route']['kwargs']['doc_id']

user = self.scope['user']

async_to_sync(self.channel_layer.group_add)(

f"group_doc_{doc_id}",

self.channel_name

)

self.accept()

self.send(

text_data=json.dumps({"message": "You are the Editor"})

)

class FeedbackLockConsumer(AsyncWebsocketConsumer):
    async def websocket_connect(self, event):
        doc_id = self.scope['url_route']['kwargs']['doc_id']
        user = self.scope['user']

        await self.channel_layer.group_add(
            f"group_doc_{doc_id}",
            self.channel_name
        )

        await self.accept()

		await self.send(
			text_data=json.dumps({"message": "You are the Editor"})
		)

class FeedbackLockConsumer(AsyncWebsocketConsumer):

async def websocket_connect(self, event):

doc_id = self.scope['url_route']['kwargs']['doc_id']

user = self.scope['user']

await self.channel_layer.group_add(

f"group_doc_{doc_id}",

self.channel_name

)

await self.accept()

await self.send(

text_data=json.dumps({"message": "You are the Editor"})

)

هر دو کد consumer هایی برای برقراری ارتباط websocket هستند. در اولی از ارتباط sync استفاده شده و در دومی از ارتباط async استفاده شده است.

در نتیجه:

در اولی:

اگر یک کانکشن برقرار شود، دیگر هیچ کانکشنی برقرار نمیشود تا کانکشن اولی بسته شود. چون کانکشن اول accept شده و هر کانکشن یک worker thread رو اشغال میکنه و تا زمانی که بسته نشه thread برای کانکشن بعدی باز نمیشه. این روش برای کارهای سریع مثل یه ارتباط با دیتابیس مناسب است اما برای یک ارتباط websocket که قرار است مدت زیادی باز بماند خوب نیست.

در دومی:

ارتباطات async است یعنی در واقع به آن گفته می شود که در قسمت await منتظر بمان تا I/O تکمیل شود اما در طول این انتظار ارتباطات دیگر می توانند برقرار شوند. در این حالت هر ارتباط به صورت یک task در event loop اجرا میشود. event loop ارتباطات دیگر را مدیریت میکند.

در واقع در حالت sync تسکها توسط worker ها انجام میشود و در حالت async تسک ها توسط event loop.

حالت sync مانند آشپزیست که هر قسمت غذا را کامل می پزد و بعد سراغ قسمت بعدی می رود اما حالت async چند ماهیتابه جلوی آشپز است که هر کدام را می چرخاند و سراغ بعدی می رود. این کار را event loop انجام می دهد که در پایتون در asyncio پیاده سازی شده است.

در دو consumer ای که نوشته شد هم داستان همین است. تا کانکشن اول بسته شود کانکشن بعدی باز نمی شود اما در حالت async این طور نیست و کانکشن اول در قسمت await وای میسه و event loop سراغ کانکشن های بعدی می رود.

کی از Message Queue استفاده میکنیم؟ وقتی که قرار باشد پیامی بین process ها یا consumer ها جابجا شوند. در واقع هر وقت توی django channels از channel layer بخایم استفاده کنیم باید از message q استفاده کنیم. در واقع channel layer همان message queue است.

logging پایتون/جنگو

اجزاری این کتابخانه به موارد زیر می تواند ساده سازی گردد.

LogRecord

Formatter (Ultimately printing format)

Filter (additional control for logs from logger to handler)


Handler (Engin- The Behaviour)
	-What happen to the Log from Logger
		--to be printed in file or screen or ...


Logger (Entry Point)
	- Named Bucket of 
		-DEBUG
		-INFO
		-WARNING
		-ERROR
		-CRITICAL

LogRecord

Formatter (Ultimately printing format)

Filter (additional control for logs from logger to handler)

Handler (Engin- The Behaviour)

-What happen to the Log from Logger

--to be printed in file or screen or ...

Logger (Entry Point)

- Named Bucket of

-DEBUG

-INFO

-WARNING

-ERROR

-CRITICAL

Normalization vs Denormalization

کلاسهای زیر را در نظر بگیرید. این مدل طراحی مشکلات زیادی به وجوده میاره. با آپدیت شدن کلاس اول مجبور هستیم کلاس دوم و سوم رو هم آپدیت کنیم که با فراموش این نکته توی قسمت های مختلف کد باگهای زیادی ایجاد میشه. و همین آپدیت های اضافی کدهای اضافی در نتیجه باگهای بیشتر و سرعت کمتر رو به ارمغان میاره

depenancy زیادی بین کلاسها میبینید. در صورت آپدیت یک Service باید دو کلاس دیگر هم آپدیت شود و این موضوعی نیست که اتوماتیک انجام شود و ایراداتی در نرم افزار ایجاد میکند:

class Service(models.Model, Template):
    name = models.CharField(...)
    name_fixed = models.CharField(...)
	...
	

class Link(models.Model, Template):
    provider = models.ForeignKey(
        'Service'...)
    provider_name = models.CharField(...)
    consumer = models.ForeignKey(
        'Service',...)
    consumer_name = models.CharField(...)
	.
	.
	.
	


class Chain(models.Model):
    pc = models.CharField(...)
    provider_name = models.CharField(...)
    consumer_name = models.CharField(...)
	
	.
	.
	.

class Service(models.Model, Template):

name = models.CharField(...)

name_fixed = models.CharField(...)

...

class Link(models.Model, Template):

provider = models.ForeignKey(

'Service'...)

provider_name = models.CharField(...)

consumer = models.ForeignKey(

'Service',...)

consumer_name = models.CharField(...)

class Chain(models.Model):

pc = models.CharField(...)

provider_name = models.CharField(...)

consumer_name = models.CharField(...)

برای حل این موضوع باید کد را Normalize کنیم. یعنی تکرار به حداقل برسد و بجای تکرار اطلاعات موارد تکراری با کلید خارجی تبدیل شود:

class Service(models.Model, Template):
    name = models.CharField(...)
    name_fixed = models.CharField(...)
	...
	

class Link(models.Model, Template):
    provider = models.ForeignKey(
        'Service'...)
    
    consumer = models.ForeignKey(
        'Service',...)
    
	...
	@property
	def provider_name(self):
		return self.provider.name
		
	@property
	def consumer_name(self):
		return self.consumer.name
	
	.
	.
	.
	

class Chain(models.Model):
    pc = models.CharField(...)
	link = models.ForeignKey(Link, ...)
	...
	
	@property
	def provider_name(self):
		return self.link.provider.name
		
	@property
	def consumer_name(self):
		return self.link.consumer.name

class Service(models.Model, Template):

name = models.CharField(...)

name_fixed = models.CharField(...)

...

class Link(models.Model, Template):

provider = models.ForeignKey(

'Service'...)

consumer = models.ForeignKey(

'Service',...)

...

@property

def provider_name(self):

return self.provider.name

@property

def consumer_name(self):

return self.consumer.name

class Chain(models.Model):

pc = models.CharField(...)

link = models.ForeignKey(Link, ...)

...

@property

def provider_name(self):

return self.link.provider.name

@property

def consumer_name(self):

return self.link.consumer.name

حالا با آپدیت هر سرویس دو کلاس دیگر به صورت اتوماتیک آپدیت هستند.

گاهی Denormalization به درد میخورد. وقتی میخایم از یک جدول گزارشگیری داشته باشیم و نیاز به Join نباشد تکرار اطلاعات باعث افزایش بهره وری query می شود و …

cache stampede یا dogpiling problem

این مساله در علوم کامپیوتر به حالتی گفته میشود که یک cache که بسیار پراستفاده است منقضی میشود و همزمان تعداد بسیار زیادی از درخواست برای آن ارسال شده و در نتیجه چون منقضیست تمامی این درخواستها به دیتابیس ارسال میشود و موجب ازدحام دیتابیس میشود.

تنها در سیستمهایی این مشکل ایجاد میشود که سرویس مربوطه تنها با استفاده از cache دارای performance خوبی شده و قابل استفاده است و در این حالت دیگر سیستم قابل استفاده نخواهد بود.

Thundering Herd Problem یا مشکل گله ی رعدآسا

در علوم کامپیوتر مساله ای مطرح است به نام “گله ی رعد آسا” یا Thundering Herd Problem.

وقتی که تعداد زیادی process منتظر یک رخداد یا event هستند، ولی وقتی که این event رخ داد تنها یکی از این process ها باید انجام گیرد. در این حالت بعد از رخداد یک process انجام میگردد و باقی آنها معطل میشوند و یا مکررا دوباره تلاش میکنند و در نتیجه سیستم هنگ میکند. این در حالیست که تنها یکی از آنها باید اجرا میشدند و باقی باید کنسل میشدند.

در UNIX این مشکل به این شکل حل شده است: همه پاسخها در یک file descriptor نوشته می شوند بنابراین پس از پاسخ تنها یکی از process ها یا thread ها اجرا میشوند (بجای اینکه همگی با هم اجرا و سیستم هنگ کند)

مثال دیگر:

فرض کنید یک API داریم و 500 پروسه این API را صدا میزنند. ولی این سرویس تنها میتواند 2 تای آنها را پاسخ دهد. و 488 مورد دیگر Fail می شوند. ولی دوباره تلاش میکنند و این بار این سرویس با 996 درخواست روبروست و مجددا تنها میتواند 2 تای آنها را پاسخ دهد و این سیکل تا زمانی ادامه پیدا میکند که سرویس مختل شود. این هم مثال دیگری از گله ی رعد آساست.

برای حل این مشکل راه حل این است که از فراخوانی اگر Fail شد پس از 2 به توان N ثانیه دوباره تلاش کند. بنابراین دفعه دوم بعد از 4 واحد زمانی سپس 8 ، 16 و… واحد زمانی دوباره تلاش میکند این فاصله زمانی که تابع نمایی exponential هست موجب می شود که سرویس فرصت بازسازی خود را داشته باشد. در ادامه این راه حل میتوان یک عدد تصادفی به عنوان jitter به این بازه زمانی اضافه کرد تا همه فراخوانی ها دوباره همزمان نشوند. یعنی فرمول فراخوانی مجدد میشود (T + 2**N + JITTER)

پر کردن مودال با استفاده از اطلاعات فرم

نیاز بود که توی یک جدول اگر توی سلول یکی از ستونها کلیک کردیم یک مودال باز بشود. اما باید اطلاعاتی مربوط به آن ردیف به مودال پاس بدیم. متوجه شدم که این اطلاعات مربوط به ردیف مذکور را میتوان به عنوان یک پایامتر به سلول مربوطه اضافه کرد مثل:

<tbody>
	{% for f in feedbacks %}
		<tr>
			<td
				{% if f.active %} class="text-danger" {% endif %}
			>
				{% if f.active %} (فعال) {% endif %}v.{{f.feedback_version}}
			</td>
			<td>{{f.feedback_date}}</td>
			<td>{{f.user}}</td>
			<td>
				<div class="row">
					<div class="col-4">
						<a
							href="#"
							data-version="{{ f.feedback_version }}"
							main_points="{{ f.main_points|escape }}"
							secondary_points="{{ f.secondary_points|escape }}"
							guids="{{ f.guids_and_recommendations|escape }}"
							feedback_id="{{ f.id }}"
							feedback_version="{{ f.feedback_version }}"
							class="open-modal"
							style="cursor: pointer;"
						>
							جزئیات
						</a>
					</div>
				</div>
			</td>
		</tr>
	{% endfor %}
</tbody>

<tbody>

{% for f in feedbacks %}

<tr>

<td

{% if f.active %} class="text-danger" {% endif %}

{% if f.active %} (فعال) {% endif %}v.{{f.feedback_version}}

</td>

<td>{{f.feedback_date}}</td>

<td>

href="#"

data-version="{{ f.feedback_version }}"

main_points="{{ f.main_points|escape }}"

secondary_points="{{ f.secondary_points|escape }}"

guids="{{ f.guids_and_recommendations|escape }}"

feedback_id="{{ f.id }}"

feedback_version="{{ f.feedback_version }}"

class="open-modal"

style="cursor: pointer;"

جزئیات

</a>

</div>

</td>

</tr>

{% endfor %}

</tbody>

توی خود مودال یک سری فیلد خالی تعریف میکنیم که بعدا با جاواساکریپ اطلاعات پارامترها رو به اون اضافه کنیم:

{% block modals %}
    <div id="mapModal" class="modal fade" tabindex="-1" aria-labelledby="#mapModalLabel" aria-hidden="true">
        <div class="modal-dialog">
            <div class="modal-content">
                <div class="modal-header">
                    <h5 class="modal-title" id="mapModalLabel">
                        جزئیات
                    </h5>
                    <button type="button" class="btn-close" data-bs-dismiss="modal" aria-label="Close"></button>
                </div>
                <div class="modal-body">
                    <p><strong>نسخه:</strong> <span id="modal-version"></span></p>
                    <p><strong>نکات اصلی:</strong> <span id="main_points"></span></p>
                    <p><strong>نکات فرعی:</strong> <span id="secondary_points"></span></p>
                    <p><strong>راهنماییها:</strong> <span id="guids"></span></p>
                </div>
                <div class="modal-footer">
                    <a href="#" data-bs-dismiss="modal">بستن</a>
                    <a id="activation_btn">
                        فعالسازی
                    </a>
                </div>
            </div>
        </div>
    </div>
{% endblock %}

{% block modals %}

جزئیات

</h5>

</div>

<p><strong>راهنماییها:</strong> <span id="guids"></span></p>

</div>

فعالسازی

</a>

</div>

{% endblock %}

الان توی اسکریپت زیر از هر ردیف سلول مربوطه رو بر اساس اسم کلاس میگیریم. بعد از اون سلول پارامترم مربوطه که دیتا بهش وصل شده رو بر میداریم بعد همون مقدارها رو به مودال میدیم:

<script>
	document.addEventListener('DOMContentLoaded', function () {
		document.querySelectorAll('.open-modal').forEach(function (cell) {
			cell.addEventListener('click', function () {
				const version = this.getAttribute('data-version');
				const main_points = this.getAttribute('main_points');
				const secondary_points = this.getAttribute('secondary_points');
				const guids = this.getAttribute('guids');
				const feedback_version = this.getAttribute('feedback_version');
				const feedback_id = this.getAttribute('feedback_id');

				document.getElementById('modal-version').textContent = version;
				document.getElementById('main_points').innerHTML  = main_points;
				document.getElementById('secondary_points').innerHTML  = secondary_points;
				document.getElementById('guids').innerHTML  = guids;
				document.getElementById('activation_btn').href = "/man/documents/versionactivate/"+feedback_id+"/"+feedback_version+"/";

				const mapModal = new bootstrap.Modal(document.getElementById('mapModal'));
				mapModal.show();
			});
		});
	});
</script>

document.addEventListener('DOMContentLoaded', function () {

document.querySelectorAll('.open-modal').forEach(function (cell) {

cell.addEventListener('click', function () {

const version = this.getAttribute('data-version');

const main_points = this.getAttribute('main_points');

const secondary_points = this.getAttribute('secondary_points');

const guids = this.getAttribute('guids');

const feedback_version = this.getAttribute('feedback_version');

const feedback_id = this.getAttribute('feedback_id');

document.getElementById('modal-version').textContent = version;

document.getElementById('main_points').innerHTML = main_points;

document.getElementById('secondary_points').innerHTML = secondary_points;

document.getElementById('guids').innerHTML = guids;

document.getElementById('activation_btn').href = "/man/documents/versionactivate/"+feedback_id+"/"+feedback_version+"/";

const mapModal = new bootstrap.Modal(document.getElementById('mapModal'));

mapModal.show();

});

</script>

annotate و عدم اعمال Index

این 2 کد را در نظر بگیرید:

Service.objects.annotate(
		cnt_p=Count('provided_links'), cnt_c=Count('consumed_links')
	).exclude(Q(cnt_p=0, cnt_c=0), st=2)

Service.objects.annotate(

cnt_p=Count('provided_links'), cnt_c=Count('consumed_links')

).exclude(Q(cnt_p=0, cnt_c=0), st=2)

Service.objects.exclude(st=2).annotate(
	cnt_p=Count('provided_links'), cnt_c=Count('consumed_links')
).exclude(cnt_p=0, cnt_c=0)

Service.objects.exclude(st=2).annotate(

cnt_p=Count('provided_links'), cnt_c=Count('consumed_links')

).exclude(cnt_p=0, cnt_c=0)

با تبدیل اولی به دومی زمان این query از 450 میلی ثانیه به 45 میلی ثانیه کاهش پیدا کرد. چرا؟

دلیل این بود که فیلدهای این مدل همگی Index بودند اما این ایندکسها اعمال نمی شدند چونکه annotate باعث میشود که کل جدول اسکن شود و عملا ایندکسها بی فایده باشند بنابراین حداقل st=0 را به قبل از annotate انتقال دادیم و این باعث شد برای annotate که اتفاقا از WHERE استفاده میکند از ایندکس استفاده شود.

مقایسه دو تکه کد

تفاوت دو کد زیر چیست و کدام بهتر است؟

class MagAttachment(models.Model):
    file = models.FileField(upload_to='mag/attachments', verbose_name='فایل اصلی')
    thumbnail = models.ImageField(upload_to='mag/attachments', verbose_name="نمایه", blank=True, null=True)

    def __str__(self):
        return str(self.file.name)

    def delete(self, *args, **kwargs):
        if self.file:
            self.file.delete(save=False)

        if self.thumbnail:
            self.thumbnail.delete(save=False)

        super().delete(*args, **kwargs)

    def get_thumbnail_url(self):
        if self.thumbnail:
            return self.thumbnail.url
        return static('images/placeholder.PNG')

class MagAttachment(models.Model):

file = models.FileField(upload_to='mag/attachments', verbose_name='فایل اصلی')

thumbnail = models.ImageField(upload_to='mag/attachments', verbose_name="نمایه", blank=True, null=True)

def __str__(self):

return str(self.file.name)

def delete(self, *args, **kwargs):

if self.file:

self.file.delete(save=False)

if self.thumbnail:

self.thumbnail.delete(save=False)

super().delete(*args, **kwargs)

def get_thumbnail_url(self):

if self.thumbnail:

return self.thumbnail.url

return static('images/placeholder.PNG')

class MagAttachment(models.Model):
    file = models.FileField(upload_to='mag/attachments', verbose_name='فایل اصلی')
    thumbnail = models.ImageField(upload_to='mag/attachments', verbose_name="نمایه", default='mag/placeholder.JPG')

    def __str__(self):
        return str(self.file.name)

    def delete(self, *args, **kwargs):
        if self.file:
            self.file.delete(save=False)

        if self.thumbnail and self.thumbnail.name != 'mag/placeholder.JPG':
            self.thumbnail.delete(save=False)

        super().delete(*args, **kwargs)

class MagAttachment(models.Model):

file = models.FileField(upload_to='mag/attachments', verbose_name='فایل اصلی')

thumbnail = models.ImageField(upload_to='mag/attachments', verbose_name="نمایه", default='mag/placeholder.JPG')

def __str__(self):

return str(self.file.name)

def delete(self, *args, **kwargs):

if self.file:

self.file.delete(save=False)

if self.thumbnail and self.thumbnail.name != 'mag/placeholder.JPG':

self.thumbnail.delete(save=False)

super().delete(*args, **kwargs)

در کد اول اگر thumbnail توسط کاربر انتخاب نشود یک فایل از مسیر mag آپلود میشود. و هنگام پاک شدن آبجکت مربوطه، اگر این آبجکت دارای این فایل پیشفرض بود پاک نشود که البته در این کد مربوطه خود به خود پاک می شود. پس یک باگ وجود دارد. گذشته از این باگ اگر 1000 بار کاربر بدون thumbnail فایل آپلود کند 1000 فایل تکراری ذخیره میشود.

در ضمن اگر فایل بهر دلیلی پاک شود یا نام آن تغییر کند سیستم دچار مشکل میشود.

در کد دوم اما اگر کاربر فایلی انتخاب نکند هیچ فایل پیش فرضی آپلود نمیشود بنابراین فایل تکراری دیده نمی شود و فضا هدر نمی روند.

از طرفی یک فایل static پاک نشده و هرکجا یک سند thumbnail نداشته باشد با متد get_thumbnail_url این فایل نشان داده میشود و دیگر سیستم دچار باگهای ناخواسته نمی شود.

تغییر queryset توی فرم جنگو

توی یک فرم میخوایم فیلدی که لیستی را به کاربر نشان میدهد را تغییری بدیم که همه مواردی که توی اون فیلد توی دیتابیس نیست را نشان ندهیم.

class MagForm(forms.ModelForm):
    class Meta:
        model = Mag
        fields = '__all__'

    def __init__(self, *args, **kwargs):
        super(MagForm, self).__init__(*args, **kwargs)
        self.fields['attachment'].queryset = MagAttachment.objects.filter(mag__isnull=True)

class MagForm(forms.ModelForm):

class Meta:

model = Mag

fields = '__all__'

def __init__(self, *args, **kwargs):

super(MagForm, self).__init__(*args, **kwargs)

self.fields['attachment'].queryset = MagAttachment.objects.filter(mag__isnull=True)