Приложение. Руководство по масштабированию и оценке размеров
Цель настоящего руководства – оценить влияние различных технологий, используемых в Kaspersky Security for Microsoft Exchange Servers на производительность почтовой системы Microsoft Exchange.
Описание тестовой среды
Тестирование проводилось на виртуализованных организациях Microsoft Exchange, развёрнутых в конфигурации «всё в одном». Контроллер домена и экземпляр Microsoft SQL Server располагались совместно с тестируемой системой. Были выбраны следующие параметры тестовых стендов:
Стенд 1. «Средний офис»
- CPU Intel Xeon 6C E5-2630v2 x 2
- RAM 8GB ECC DDR3 1600MHz x 3
- HDD 300GB 10K x 4 включены в RAID 0+1
- Microsoft Windows Server 2016
- Microsoft Exchange Server 2016 CU3
Стенд 2. «Крупный офис»
- CPU Intel Xeon 10C E5-2660v2 x 2
- RAM 8GB ECC DDR3 1866MHz x 7
- HDD 300GB 15K x 4 включены в RAID 0+1
- Microsoft Windows Server 2016
- Microsoft Exchange Server 2016 CU3
Методика проведения тестирования
Для проведения теста с помощью специального скрипта создавалась комплексная нагрузка на испытуемую систему в виде ряда параллельных SMTP и MAPI сессий, симулирующих поведение клиентов организации. Были эмулированы Входящий, Исходящий и Внутренний почтовый трафик с помощью специально подготовленной коллекции, имитирующей реальную почту по соотношению Чистая/Спам/Фишинг/Вирусы.
Соотношение писем в трафике:
- 13% спама
- 7% фишинга
- 7% зараженных вирусом
- 73% чистых писем
Размер сообщений:
- 1% 1-2 МБ
- 2% 0.5 -1 МБ
- 6% 100 - 500 КБ
- 90% 10-100 КБ
Количество одновременных сессий для эмуляции нагрузки было выбрано, исходя из максимальной нагрузки, которую смогли выдержать тестовые стенды.
Нагрузка создавалась локально на каждом сервере с помощью специальной тестовой утилиты, генерирующей потоки исходящей / входящей / внутренней почты.
Для оценки ODS сканирования (проверки почтовых ящиков по требованию) почтовые ящики предварительно наполнялись непроверенными сообщениями. Замер проводился без создания нагрузки на систему в виде активных сессий - только фоновой проверкой почтовых ящиков.
Перед началом тестов базы Антивируса и Анти-Спама обновлялись до актуального состояния. В процессе тестирования обновление баз было отключено.
Оценка производительности системы проводилась на основании следующих счетчиков производительности:
Счетчики производительности
Название счетчика |
Краткое описание |
MSExchangeTransport Queues(_total)\Messages Completed Delivery Per Second (MPS) |
Количество сообщений (end to end), доставленных в почтовые ящики пользователей |
MSExchangeTransport Queues(_total)\Active Mailbox Delivery Queue Length |
Размер очереди доставки сообщений Microsoft Exchange |
Processor Information(_Total)\% Processor Time |
Суммарная нагрузка на процессор |
Processor Information(Kavscmesrv) \% Process Time |
Нагрузка на процессор, создаваемая Kaspersky Security |
KSE Anti-Virus (Mailbox)\Antivirus scans per second |
Количество антивирусных сканирований в секунду, подсчитанное Kaspersky Security (для почтовых ящиков) |
KSE Anti-Virus (Transport)\Antivirus scans per second |
Количество антивирусных сканирований в секунду, подсчитанное Kaspersky Security (для транспортной роли) |
KSE Anti-Spam (Transport)\Antispam scans per second |
Количество Анти-Спам сканирований в секунду, подсчитанное Kaspersky Security (для транспортной роли) |
Memory\Committed Bytes in Use |
Процент использования выделенной памяти |
Показания счетчиков производительности снимались раз в 10 секунд локально для каждого из серверов.
Были указаны средние (average) значения из показаний счетчиков.
В началоРабота системы без установленного продукта
Данный замер показывает, насколько задействованы ресурсы системы при обработке потока сообщений без участия продукта:
До нагрузки
Счетчик |
Стенд 1 |
Стенд 2 |
Краткое описание |
Processor Information(_Total)\% Processor Time |
3% |
1% |
Суммарная нагрузка на процессор |
Memory/% Committed Bytes in Use |
30% |
16% |
Процент использования выделенной памяти |
Во время нагрузки
Счетчик |
Стенд 1 |
Стенд 2 |
Краткое описание |
Processor Information(_Total)\% Processor Time |
60% |
87% |
Суммарная нагрузка на процессор |
Memory\Committed Bytes in Use |
70% |
70% |
Процент использования выделенной памяти |
MSExchangeTransport Queues(_total)\Messages Completed Delivery Per Second (MPS) |
40 |
50 |
Количество сообщений (end to end), доставленных в почтовые ящики пользователей в секунду |
MSExchangeTransport Queues(_total)\Active Mailbox Delivery Queue Length |
88 |
30 |
Размер очереди доставки сообщений Microsoft Exchange |
Работа системы в конфигурации AntiVirus+AntiSpam+Antiphishing
Нагрузка системы
Счетчики |
Стенд 1 |
Стенд 2 |
Краткое описание |
Processor Information(_Total)\% Processor Time |
90% |
89% |
Суммарная нагрузка на процессор |
Processor Information(Kavscmesrv) \% Process Time |
50% |
62% |
Нагрузка на процессор, создаваемая Kaspersky Security |
Memory\Committed Bytes in Use |
88% |
60% |
Процент использования выделенной памяти |
MSExchangeTransport Queues(_total)\Messages Completed Delivery Per Second (MPS) |
32 |
45 |
Количество сообщений (end to end), доставленных в почтовые ящики пользователей в секунду |
KSE Anti-Virus (Transport)\Antivirus scans per second |
35 |
45 |
Количество антивирусных сканирований в секунду, подсчитанное Kaspersky Security (для транспортной роли) |
KSE Anti-Spam (Transport)\Antispam scans per second |
70 |
90 |
Количество Анти-Спам сканирований в секунду, подсчитанное Kaspersky Security (для транспортной роли) |
MSExchangeTransport Queues(_total)\Active Mailbox Delivery Queue Length |
67 |
40 |
Размер очереди Microsoft Exchange на доставку сообщений |
Нагрузка системы только во время фонового сканирования почтовых ящиков
Счетчики |
Стенд 1 |
Стенд 2 |
Краткое описание |
Processor Information(_Total)\% Processor Time |
23% |
33% |
Суммарная нагрузка на процессор |
Processor Information(Kavscmesrv) \% Process Time |
13% |
15% |
Нагрузка на процессор, создаваемая Kaspersky Security |
KSE Anti-Virus (Mailbox)\Antivirus scans per second |
150 |
155 |
Количество антивирусных сканирований в секунду, подсчитанное Kaspersky Security (фоновая проверка) |
Работа системы в конфигурации AntiVirus+AntiSpam+AntiPhishing+KSN
Включение KSN обеспечивает более точное обнаружение угроз благодаря использованию облачной системы Kaspersky Security Network. Результаты теста определяют влияние технологии на количество проверяемых сообщений и производительность системы.
Нагрузка системы
Стенд |
Стенд 1 |
Стенд 2 |
Краткое описание |
Processor Information(_Total)\% Processor Time |
85% |
80% |
Суммарная нагрузка на процессор |
Processor Information(Kavscmesrv) \% Process Time |
50 |
50% |
Нагрузка на процессор, создаваемая Kaspersky Security |
Memory\% Committed Bytes in Use |
87 |
65% |
Процент использования выделенной памяти |
MSExchangeTransport Queues(_total)\Messages Completed Delivery Per Second (MPS) |
30 |
40 |
Количество сообщений (end to end), доставленных в почтовые ящики пользователей в секунду |
KSE Anti-Virus (Transport)\Antivirus scans per second |
36 |
39 |
Количество антивирусных сканирований в секунду, подсчитанное Kaspersky Security (для транспортной роли) |
KSE Anti-Spam (Transport)\Antispam scans per second |
72 |
78 |
Количество Анти-Спам сканирований в секунду, подсчитанное Kaspersky Security (для транспортной роли) |
MSExchangeTransport Queues(_total)\Active Mailbox Delivery Queue Length |
55 |
30 |
Размер очереди доставки сообщений Microsoft Exchange |
Нагрузка системы только во время фоновой проверки почтовых ящиков
Счетчики |
Стенд 1 |
Стенд 2 |
Краткое описание |
Processor Information(_Total)\% Processor Time |
25% |
35% |
Суммарная нагрузка на процессор |
Processor Information(Kavscmesrv) \% Process Time |
15% |
11% |
Нагрузка на процессор, создаваемая Kaspersky Security |
KSE Anti-Virus (Mailbox)\Antivirus scans per second |
151 |
156 |
Количество антивирусных сканирований в секунду, подсчитанное Kaspersky Security (фоновая проверка) |
Использование ресурсов Microsoft SQL Server
Краткое описание таблиц в структуре базы данных Kaspersky Security для Microsoft Exchange Servers
Название таблицы |
Краткое описание |
[dbo].[AntispamDeferredStatisticsSchema]
|
В данной таблице хранится статистика сообщений, проверяемых по Reputation Filtering. |
[dbo].[AntispamStatisticsSchema]
|
В данной таблице хранится статистика работы Антивируса. Перед помещением в таблицу данные аккумулируются с пятнадцатиминутными интервалами по одной записи на резолюцию. Размер таблицы линейно растет по мере работы продукта и почти не зависит от нагрузки на почтовую систему. |
[dbo].[AntivirusStatisticsSchema]
|
В данной таблице хранится статистика работы Антивируса. Перед помещением в таблицу данные аккумулируются с пятнадцатиминутными интервалами по одной записи на резолюцию. Размер таблицы линейно растет по мере работы продукта и почти не зависит от нагрузки на почтовую систему. |
[dbo].[Metadata] |
В данной таблице хранятся метаданные об объектах резервного хранилища (сами объекты не попадают в базу). Количество записей в таблице напрямую зависит от количества объектов в резервном хранилище. |
Реальные размеры таблиц в базе данных
Название таблицы в базе данных Kaspersky Security |
Row count Количество строк, созданных в таблице |
Data Space (MB) Объем занятого дискового пространства таблицы |
Average row size (B) Средний размер каждой записи |
AntispamDeferredStatisticsSchema |
15608 |
1 |
60 |
AntispamStatisticsSchema |
2858674 |
347 |
121,385 |
AntivirusStatisticsSchema |
1559450 |
210 |
134,663 |
Metadata |
54433 |
422 |
7752,65 |
Итого |
4488165 |
980 |
- |
Размер некоторых таблиц не учтен, так как их объем незначителен по сравнению с указанными выше. Данные собраны при настройках продукта, установленных по умолчанию.
Параметры в узле Настройка в поле Хранение данных:
- Установлен флажок Ограничить размер резервного хранилища.
Размер резервного хранилища не должен превышать 5120 МБ.
- Установлен флажок Ограничить срок хранение объектов в резервном хранилище.
Хранить объекты не дольше 45 дней.
Следует учитывать, что реальный размер базы данных SQL может отличаться от занимаемого на диске пространства в силу особенностей работы. При использовании нескольких установленных экземпляров Kaspersky Security необходимо выделить место для SQL-базы данных под каждый сервер.
Расчет размера базы данных SQL
Таблица Metadata
Чтобы рассчитать примерный размер таблицы Metadata, нужно знать количество писем, помещаемых в резервное хранилище, и ожидаемое время хранения объектов в резервном хранилище.
((BackupItems)*Days)*8 (КБ)= MetadataSize
Где:
BackupItems
- ожидаемое количество объектов в резервном хранилище в день. Данное число можно получить на основании статистики о количестве вирусов и/или спама в потоке клиента (в процентах) и размере потока.
Days
- количество дней хранения объектов в резервном хранилище;
8 КБ
– средний размер одной записи с метаданными в SQL-таблице Metadata.
Следует помнить, что, помимо количества дней хранения, также можно ограничить суммарный размер файлов в резервном хранилище. По умолчанию это ограничение составляет 5120 МБ
Примерный расчет количества объектов:
BackupItems= ((VirusTrafficPercent+SpamTrafficPercent)*(MailTrafficPerDay/100))
Где:
VirusTrafficPercent
– примерный ожидаемый процент вирусов в почтовом трафике;
SpamTrafficPercent
– примерный ожидаемый процент спама в почтовом трафике;
MailTrafficPerDay
– примерный ожидаемый почтовый трафик в течение одного дня.
AntispamStatisticsSchema
+ AntivirusStatisticsSchema
По нашим данным, среднее количество записей в таблице статистики следующее:
AntivirusStatisticsSchema
- примерно 1700 строк в день;
AntispamStatisticsSchema
- примерно 3000 строк в день.
Средний размер таблиц статистики в базе данных SQL за год при среднем размере одной записи в 150 Б:
(1700+3000)*150 = 0,7 МБ в день
Соответственно, за год размер таблиц составит около 250 МБ.
В начало