Введение
Тестирование на защиту от вредоносных программ (Malware Protection Test) включает выполнение вредоносных файлов в системе. В то время как в динамическом тестировании антивирусов основной вектор атак – это Интернет, в тесте на защиту от вредоносных программ векторами могут быть, например, сетевые диски, USB-накопители или сценарии, в которых вредоносная программа уже находится на диске.
Обратите внимание, что лаборатория не рекомендует покупать антивирусное решение на основе исключительно данных индивидуальных испытаний. Пользователи должны учитывать и другие факторы: стоимость, удобство использования, совместимость и поддержку. Установка пробной версии антивируса позволяет провести тестирование в режиме повседневного использования, и на основании данного опыта принять решение о приобретении.
В тестировании принимали участие преимущественно комплексные антивирусы, предназначенные в основном для домашних пользователей. Тем не менее, некоторые вендоры настояли на тестировании своих бесплатных антивирусов.
В первой половине 2024 года тестовый набор состоял из 10,053 вредоносных образцов. Многие вредоносные экземпляры были собраны после предварительного сбора телеметрических данных с целью выявления новейших широко распространенных угроз, которые представляют серьезную опасность для пользователей. Различные варианты вредоносных программ были сгруппированы, чтобы создать сбалансированный тестовый набор (т.е. избежать чрезмерного представления одного и то же вредоносного образца в наборе). Процесс сбора образцов завершился в середине февраля 2024 года.
Тестируемые антивирусы
Все антивирусы были установлены на полностью обновленную систему Microsoft Windows 10 Pro 64-bit. Все продукты были протестированы в начале сентября. Каждый антивирус получил последние обновления и был протестирован с настройками по умолчанию.
- Avast Free Antivirus
- AVG Free Antivirus
- Avira Free Security
- Bitdefender Total Security
- ESET NOD32 Internet Security
- F-Secure Internet Security
- G Data Total Security
- Kaspersky Standard для Windows
- McAfee Total Protection
- Microsoft Defender Antivirus
- Norton Antivirus Plus
- Panda Free Antivirus
- Quick Heal Internet Security
- Total Defense Essential Antivirus
- TotalAV Antivirus Pro
- Trend Micro Internet Security
Информация о дополнительных сторонних движках / сигнатурах, используемых внутри продуктов: G DATA и Total Defense используют движок Bitdefender. F-Secure и TotalAV используют движок AVIRA. AVG использует движок Avast.
Методология
Тестирование на защиту от вредоносных программ (Malware Protection Test) оценивает способность антивирусов противостоять заражению систему вредоносными файлами до их запуска, во время исполнения и после него. При тестировании каждого антивируса использовалась единая методология. Перед выполнением, все тестовые образцы были подвергнуты проверкам по требованию, которые выполнялись при подключении к Интернету и без доступа к сети. Т.е. образцы, которые не были обнаружены во время данных проверок, были запущены в тестовой системе – при этом был организован доступ к Интернету, чтобы функции поведенческого анализа смогли полноценно работать. Если антивирус не предотвращал заражение и не отменял вредоносные изменения, внесенные конкретным вредоносным образцом, то считалось, что в данном тестовом сценарии продукт потерпел неудачу. Если антивирус спрашивал у пользователя, нужно ли разрешить запуск опасной программы или заблокировать объект, то неправильное решение приводило к заражению системы. Данный тестовый сценарий рассматривался как “User dependent”, т.е. действие над угрозой зависит от решения пользователя.
Уровни обнаружения в режимах онлайн и оффлайн
Многие тестируемые антивирусы используют облачные технологии защиты, такие как сервисы репутации или облачные сигнатуры, доступ к которым невозможен без активного подключения к Интернету. За счет выполнения сканирований по требованию в режимах онлайн ONLINE (с доступом к Интернету) и оффлайн OFFLINE (без доступа к Интернету), тест наглядно показывает зависимость каждого продукта от облачных компонентов защиты. В результате можно сделать вывод о том, насколько эффективную защиту предоставляет антивирус, если отсутствует подключение к Интернету. Лаборатория AV-Comparatives рекомендует вендорами, чьи продукты очень жестко привязаны к облачным технологиям, предупреждать пользователей о потере активного подключения, потому что данный факт может серьезно сказаться на качестве предоставляемой защиты. В данном испытании лаборатория проверяла доступность облачных сервисов, но пользователи должны иметь в виду, что далеко не всегда наличие подключения к сети означает, что облачные сервисы доступны и работают корректно.
Лаборатория также опубликовала уровни обнаружения тестируемых антивирусов в режимах сканирования онлайн и оффлайн.
Уровни обнаружения в режимах онлайн и оффлайн – Март 2024
| Антивирус | Уровень обнаружения OFFLINE | Уровень обнаружения ONLINE | Уровень защиты ONLINE | Ложные срабатывания |
|---|---|---|---|---|
| Avast | 95.6% | 98.8% | 99.95% | 10 |
| AVG | 95.6% | 98.8% | 99.95% | 10 |
| Avira | 94.3% | 98.9% | 99.95% | 12 |
| Bitdefender | 96.1% | 96.1% | 99.92% | 8 |
| ESET | 93.5% | 96.3% | 99.93% | 10 |
| F-Secure | 95.7% | 98.5% | 99.97% | 33 |
| G DATA | 96.7% | 96.7% | 99.93% | 10 |
| Kaspersky | 71.1% | 91.8% | 99.90% | 3 |
| McAfee | 58.7% | 98.7% | 99.91% | 19 |
| Microsoft | 63.1% | 97.5% | 99.94% | 18 |
| Norton | 81.8% | 98.9% | 99.97% | 26 |
| Panda | 49.1% | 89.5% | 99.57% | 39 |
| Quick Heal | 44.6% | 67.4% | 99.24% | 157 |
| TotalAV | 95.7% | 97.8% | 99.94% | 12 |
| Total Defense | 96.0% | 96.0% | 99.94% | 15 |
| Trend Micro | 45.1% | 84.5% | 97.10% | 3 |
По результатам тестирования "AV-Comparatives: Malware Protection Test March 2024" можно выделить антивирусы с наименьшей зависимостью от облачных технологий. Определение этого параметра основано на сравнении степени защиты антивируса при наличии и отсутствии интернет-соединения (оффлайн и онлайн).
Для определения антивирусов с наименьшей зависимостью от облачных технологий, нам нужно смотреть на разницу между OFFLINE Detection Rate и ONLINE Detection Rate. Чем меньше разница между этими показателями, тем меньше зависимость антивируса от интернет-соединения.
Исходя из вышеуказанных данных, антивирусы Bitdefender, G DATA и Total Defense показывают нулевую разницу между оффлайн и онлайн показателями, что говорит о их независимости от облачных технологий или интернет-соединения в данном конкретном тестировании.
- Bitdefender Internet Security - 96.1% (оффлайн) и 96.1% (онлайн)
- G Data Total Security - 96.7% (оффлайн) и 96.7% (онлайн)
- Total Defense Essential Antivirus - 96.0% (оффлайн) и 96.0% (онлайн)
Эти антивирусы показали наименьшую разницу между оффлайн и онлайн обнаружением вредоносных программ, что свидетельствует о меньшей зависимости от облачных технологий. Однако стоит учитывать и другие параметры, такие как уровень защиты, ложные срабатывания и общие результаты тестирования, чтобы выбрать антивирус, наиболее подходящий для конкретного пользователя.
Обнаружение или Защита
Общий процент защиты в реальных условиях:
Тестирование демонстрирует, что большинство антивирусных программ показали высокий уровень защиты, превышающий 99%. В группе 1, где уровень защиты находится между 99,9% и 99,97%, вошли продукты F-Secure, Norton, Avast, AVG, Avira, Microsoft, TotalAV, Total Defense, ESET, G Data, Bitdefender, McAfee и Kaspersky.
Обозначения в таблице
- Blocked – заблокированные угрозы
- User dependent – действие над угрозой зависит от решения пользователя
- Compromised – пропущенные угрозы
- Protection rate – общий уровень защиты
Пропущенные угрозы в процентах (меньше – лучше)
- Антивирусы в группе 1 обеспечивают высочайший уровень защиты, что отражается в защитных показателях выше 99.9%. Тем не менее, важно также учитывать частоту ложных тревог, где антивирусы, такие как Norton и McAfee, имеют сравнительно высокую частоту ложных тревог, что может влиять на удобство использования.
- Антивирусы в группах 3 и 4 показывают более низкий процент защиты. Особенно выделяется Trend Micro с защитой всего 97.11% и минимальным количеством ложных тревог, что указывает на потенциальные проблемы в обнаружении угроз.
Используемый тестовый набор содержал 10,053 последних / распространенных вредоносных образца за последние несколько недель / месяцев.
Обозначения на графике
- Blocked (Блок, % )- заблокированные угрозы
- User dependent (Решение, %) – действие над угрозой зависит от решения пользователя
- Compromised (Пропуск, %) – пропущенные угрозы
- False Positives (Ложные) – ложные срабатывания
Результаты (таблица)
| Вендоры | Блок % | Решение % | Пропуск % | Ложные |
|---|---|---|---|---|
| Avast | 99.95% | 0% | 0.05% | 10 |
| AVG | 99.95% | 0% | 0.05% | 10 |
| Avira | 99.95% | 0% | 0.05% | 12 |
| Bitdefender | 99.92% | 0% | 0.08% | 8 |
| ESET | 99.93% | 0% | 0.07% | 10 |
| F-Secure | 99.97% | 0% | 0.03% | 33 |
| G DATA | 99.93% | 0% | 0.07% | 10 |
| Kaspersky | 99.9% | 0% | 0.1% | 3 |
| McAfee | 99.91% | 0% | 0.09% | 19 |
| Microsoft | 99.94% | 0% | 0.06% | 18 |
| Norton | 99.97% | 0% | 0.03% | 26 |
| Panda | 99.57% | 0% | 0.43% | 39 |
| Quick Heal | 99.24% | 0% | 0.76% | 157 |
| Total Defense | 99.94% | 0% | 0.06% | 15 |
| TotalAV | 99.94% | 0% | 0.06% | 12 |
| Trend Micro | 97.1% | 0% | 2.9% | 3 |
Ложные срабатывания
Антивирус, который показывает высокий процент обнаружения угроз, но страдает от ложных срабатываний, не всегда лучше, чем антивирус, который обнаруживает меньше вредоносных файлов, но при этом генерирует меньше ложных тревог.
| Место | Антивирус | Ложные срабатывания (FPs) | Уровень |
|---|---|---|---|
| 1 | Kaspersky, Trend Micro | 3 | Мало ложных срабатываний |
| 2 | Bitdefender | 8 | |
| 3 | Avast, AVG, ESET, G DATA | 10 | |
| 4 | Avira, TotalAV | 12 | Много ложных срабатываний |
| 5 | Total Defense | 15 | |
| 6 | Microsoft | 18 | |
| 7 | McAfee | 19 | |
| 8 | Norton | 26 | Очень много ложных срабатываний |
| 9 | F-Secure | 33 | |
| 10 | Panda | 39 | |
| 11 | Quick Heal | 157 | Необычно много ложных срабатываний |
В результате тестирования ложных срабатываний антивирусных продуктов, важным показателем качества идентификации безопасных файлов является количество ложных тревог. На основе данных можно сделать следующие выводы:
- Kaspersky и Trend Micro демонстрируют отличную точность, с минимальным количеством ложных срабатываний (3), что делает их одними из лучших в данном аспекте.
- Bitdefender, Avast, AVG, ESET, и G DATA показывают умеренное количество ложных срабатываний (8-10), что указывает на хорошую точность, но с возможным потенциалом для улучшения.
- Avira и TotalAV имеют заметное количество ложных срабатываний (12), что может негативно сказаться на пользовательском опыте.
- Total Defense, Microsoft, McAfee, Norton, F-Secure, и Panda продемонстрировали повышенное количество ложных срабатываний (15-39), что требует улучшения их алгоритмов распознавания.
- Quick Heal выделяется существенным количеством ложных срабатываний (157), что может серьезно ограничить его практичность и вызывать проблемы у пользователей.
Эффективность антивируса не только в обнаружении угроз, но и в способности корректно идентифицировать безопасные файлы является критичной для обеспечения комфортной и безопасной работы пользователя.
Тест на защиту от вредоносных программ
Тест на файловое обнаружение (File Detection Test), который проводился в последние годы, включал только этап обнаружения вредоносных файлов. Он позволял оценить способность тестируемых антивирусов обнаруживать вредоносные образцы перед запуском. Данная способность остается очень важной функцией антивирусов, которая позволяет убедиться в безопасности файла, прежде чем отправить его друзьям родственникам или коллегам по работе.
Данный тест на защиту от вредоносных программ (Malware Protection Test) учитывает не только уровни обнаружения участвующих программ, но также их защитные возможности, например, способность предотвратить вредоносные изменения в системе со стороны зловреда. В некоторых случаях антивирусная программа может не обнаружить вредоносный образец, если он находится в неактивном состоянии, но моментально идентифицирует угрозу при запуске. Кроме того, многие антивирусы используют поведенческий анализ для мониторинга и блокировки нежелательных системных изменений, которые обычно свойственны для вредоносных приложений. Данная информация дополняет результаты динамического тестирования антивирусов (Real-World Protection Test), в котором источником вредоносных программ становятся реальные общедоступные URL-адреса. В этом случае веб-фильтры и другие компоненты веб-защиты могут вступить в действие. Тест на защиту от вредоносных программ (Malware Protection Test) воспроизводит ситуацию, когда вредоносная программа поступает из локального источника, например, из локальной сети или съемного USB-устройства флеш-памяти. Оба теста предусматривают запуск вредоносных программ, которые не были идентифицированы функциями защиты, чтобы дать шанс вступить в действие “последней линии обороны”.
AV-Comparatives 2023: Тестирование защиты антивирусов от интернет-угроз
Одним из важных аспектов облачных механизмов обнаружения заключается в следующем: авторы вредоносных программ постоянно ищут новые способы для обхода обнаружения и механизмов защиты. Использование облачной защиты позволяет вендорам обнаруживать и классифицировать подозрительные файлы в режиме реального времени с целью защиты от новейших неизвестных видов угроз. Размещение некоторых частей механизма обнаружения в облачном пространстве усложняет авторам вредоносных программ задачу быстрой адаптации к новым правилам обнаружения.
Уровень наград в тестировании
AV-Comparatives присваивает тестируемым антивирусам рейтинговые награды, которые основываются на уровне обнаружения угроз и на уровне ложных срабатываний. Так как отчет содержит не только итоговые рейтинги, но и сами уровни обнаружения угроз, то опытные пользователи могут быть менее обеспокоены ложными срабатываниями и могут полагаться исключительно на уровень защиты.
Advanced+
Avast Free Antivirus
AVG Free Antivirus
ESET NOD32 Internet Security
Bitdefender Total Security
Kaspersky Standard для WindowsG Data Total Security
Total AV Total Security
Advanced
Avira Free Security*
TotalAV Antivirus Pro*
Total Defense Essential Antivirus*
Microsoft Defender Antivirus*
McAfee Total Protection*
Standard
Norton Antivirus Plus*
F-Secure Internet Security*
Tested
Panda Free Antivirus*
Quick Heal Internet Security*
Trend Micro Internet Security
* Эти продукты были понижены в результатах из-за ложноположительных срабатываний.
Выводы
- Лучший антивирус по показателям защиты: Norton и F-Secure с показателем онлайн-защиты в 99.97%. Однако они имеют 26 и 33 ложных срабатывания соотвественно. Avast Free Antivirus, AVG Internet Security и Avira Free Security показали защиту на уровне 99.95% с меньшим количеством ложных срабатываний (10, 10 и 12 соответственно).
- Лучший антивирус с минимальным количеством ложных срабатываний: Kaspersky Standard и Trend Micro Internet Security показали минимум ложных срабатываний (3).
- Обратите внимание на антивирусы, которые получили рейтинг ADVANCED+. Результаты свидетельствует о высокой эффективности защиты от вредоносного ПО для данных антивирусных программ. Но стоит помнить, что при выборе антивируса нужно также учитывать такие факторы, как цена, удобство использования, совместимость и поддержка.
© Comss.one. По материалам AV-Comparatives