Когда начинается разговор про перформанс-тестирование, то большинство программистов размышляет только о проведении замеров и сборе метрик, в то время как намного важнее задуматься об анализе собранных значений. Понять, как правильно использовать измеренные метрики и извлечь из них максимум пользы — не такая уж и простая задача.
В этом докладе мы обсудим основные задачи и сложности перформанс-анализа: поговорим о том, как изучать сырые данные и сводные метрики, применять статистические тесты, сравнивать перформансные распределения, писать перформансные тесты, анализировать историю замеров и выбирать правильные метрики.
Комментарий программного комитета
Кто делал замеры производительности, знает, что результаты замеров постоянно пляшут. Возникает много вопросов: стало ли лучше/хуже, и когда именно. Андрей на массе примеров опишет эти нюансы и объяснит, как не получать 1000 бесполезных уведомлений о деградации каждый день.