Несмотря на то, что уже проходит второй раунд тестирования, по-прежнему продолжают появляться оценки по первому сценарию. Во втором раунде многое изменилось и об этом я еще как-нибудь обязательно напишу по-подробнее, и может даже и изложу собственный опыт участия в тестировании.
Сегодня заметил, что опубликовались тесты F-Secure и McAfee, чьи результаты крайне интересны, так как эти производители также предлагают не просто EDR или какой-то клон NextGen-а , а законченное решение EPP-EDR.
Любопытство быстро победило прокрастинацию и результат оценки с помощью все того же тула уже доступен здесь (см. файлики out.json и out.html) + поправил ссылки со скриншотами, поскольку они переехали.
Как отмечал ранее и повторю сейчас, используемая мною методика не выдерживает критики, однако она удобно позволяет посмотреть на всех вендоров с точки зрения того кто какие детекты предлагает на ту или иную технику-процедуру. Это удобно и команде, занимающейся разработкой детектов, и конечному потребителю для выбора решения.
Предыдущая статья вызвала массу негатива, так как, из-за наличия в ней необъятной таблицы, она плохо читается, поэтому в эту заметку таблицу не публикую, можно взять ее самостоятельно с github-а (файлик out.*), однако, поскольку это ее уже не испортит, все же обновлю таблицу сравнения в предыдущей статье.
Итак, что же получилось по очкам:
Жирным отметил авангард, курсивом - арьергард.
Проблемы, которые видны с ходу и, возможно, которые я адресую в следующих постах по этой же теме:
А. Надо оценивать не только абсолютное количество очков, но и равномерность покрытия.
Б. Возможно, надо на каждую процедуру проставлять не абсолютную оценку, а относительную на фоне других участников (поскольку есть ряд процедур, которые технологически продетектить сложно\невозможно\не рентабельно)
В. Надо оценивать визуализации, поскольку время, требуемое аналитику на расследование детекта - очень важная метрика, которая может косвенно характеризоваться понятностью скриншота.
Г. ... еще куча других важных моментов...
В завершении хочется сказать, что при всей своей раскрученности тестирование по MITRE ATT&CK тоже не лишено недостатков\особенностей и лишь косвенно отражает качество продукта, как минимум, поскольку:
1. Тестирование проводится в несколько искусственных условиях, когда отключены все превентивные механизмы. Мы должны понимать, что эффективная безопасность - это комбинация Prevention-Detection-ThreatHunting, а когда одна из составляющих искусственно отрезана совокупная эффективность системы защиты уже не та. Хотите тестировать Living-Off-the-Land техники и бесфайловые сценарии? - пожалуйста!, но давайте по-честному. (Почему-то вспомнился доклад на одной из менеджерских конференций где докладчик рассказывал о том, что он отказался от использования антивируса, заменил его на современный EDR и посадил смотреть в него SOC, который реагировал на детекты EDR в ручном режиме... Смешно? Тогда он сделал мой день, поскольку я впервые видел человека, который гордился тем, что он заменил автоматическое удаление антивирусом на ручное SOC-ом)
2. Проверяется релевантность детектов техникам MITRE. Не раз писал, что MITRE - отличная вещь, но все равно - это модель и, если мои детекты реализуют какую-либо другую модель (ну, например, я сам ее придумал, и моя практика мониторинга подтверждает, что мои типы детектов эффективны и результативны, и вообще лучше), это не значит, что они плохие. Отчасти поэтому используемый мной подход проставления абсолютных баллов типам детектов не совсем правильный, что, возможно, будет компенсировано отмеченным выше п. Б. Констатировать просто перечень типов детектов - более правильно, как и делает сама MITRE, но как-то же надо выполнять сравнение, поэтому я и придумал эти, не выдерживающие критики, баллы.
3. Типы детектов в первом раунде и, особенно во втором, не всегда очевидны, каковы критерии их присвоения и какова там доля субъективизма - не известно, но станет понятно после самостоятельного прохождения теста.
Прямая ссылка на результат сравнения.
Сегодня заметил, что опубликовались тесты F-Secure и McAfee, чьи результаты крайне интересны, так как эти производители также предлагают не просто EDR или какой-то клон NextGen-а , а законченное решение EPP-EDR.
Любопытство быстро победило прокрастинацию и результат оценки с помощью все того же тула уже доступен здесь (см. файлики out.json и out.html) + поправил ссылки со скриншотами, поскольку они переехали.
Как отмечал ранее и повторю сейчас, используемая мною методика не выдерживает критики, однако она удобно позволяет посмотреть на всех вендоров с точки зрения того кто какие детекты предлагает на ту или иную технику-процедуру. Это удобно и команде, занимающейся разработкой детектов, и конечному потребителю для выбора решения.
Предыдущая статья вызвала массу негатива, так как, из-за наличия в ней необъятной таблицы, она плохо читается, поэтому в эту заметку таблицу не публикую, можно взять ее самостоятельно с github-а (файлик out.*), однако, поскольку это ее уже не испортит, все же обновлю таблицу сравнения в предыдущей статье.
Итак, что же получилось по очкам:
| FireEye | 5262 |
| CrowdStrike | 4467 |
| F-Secure | 4240 |
| PaloAltoNetworks | 3611 |
| Endgame | 2971 |
| McAfee | 2913 |
| CarbonBlack | 2810 |
| Cybereason | 2648 |
| Microsoft | 2601 |
| CounterTack | 1173 |
| SentinelOne | 862 |
| RSA | 775 |
Жирным отметил авангард, курсивом - арьергард.
Проблемы, которые видны с ходу и, возможно, которые я адресую в следующих постах по этой же теме:
А. Надо оценивать не только абсолютное количество очков, но и равномерность покрытия.
Б. Возможно, надо на каждую процедуру проставлять не абсолютную оценку, а относительную на фоне других участников (поскольку есть ряд процедур, которые технологически продетектить сложно\невозможно\не рентабельно)
В. Надо оценивать визуализации, поскольку время, требуемое аналитику на расследование детекта - очень важная метрика, которая может косвенно характеризоваться понятностью скриншота.
Г. ... еще куча других важных моментов...
В завершении хочется сказать, что при всей своей раскрученности тестирование по MITRE ATT&CK тоже не лишено недостатков\особенностей и лишь косвенно отражает качество продукта, как минимум, поскольку:
1. Тестирование проводится в несколько искусственных условиях, когда отключены все превентивные механизмы. Мы должны понимать, что эффективная безопасность - это комбинация Prevention-Detection-ThreatHunting, а когда одна из составляющих искусственно отрезана совокупная эффективность системы защиты уже не та. Хотите тестировать Living-Off-the-Land техники и бесфайловые сценарии? - пожалуйста!, но давайте по-честному. (Почему-то вспомнился доклад на одной из менеджерских конференций где докладчик рассказывал о том, что он отказался от использования антивируса, заменил его на современный EDR и посадил смотреть в него SOC, который реагировал на детекты EDR в ручном режиме... Смешно? Тогда он сделал мой день, поскольку я впервые видел человека, который гордился тем, что он заменил автоматическое удаление антивирусом на ручное SOC-ом)
2. Проверяется релевантность детектов техникам MITRE. Не раз писал, что MITRE - отличная вещь, но все равно - это модель и, если мои детекты реализуют какую-либо другую модель (ну, например, я сам ее придумал, и моя практика мониторинга подтверждает, что мои типы детектов эффективны и результативны, и вообще лучше), это не значит, что они плохие. Отчасти поэтому используемый мной подход проставления абсолютных баллов типам детектов не совсем правильный, что, возможно, будет компенсировано отмеченным выше п. Б. Констатировать просто перечень типов детектов - более правильно, как и делает сама MITRE, но как-то же надо выполнять сравнение, поэтому я и придумал эти, не выдерживающие критики, баллы.
3. Типы детектов в первом раунде и, особенно во втором, не всегда очевидны, каковы критерии их присвоения и какова там доля субъективизма - не известно, но станет понятно после самостоятельного прохождения теста.
Прямая ссылка на результат сравнения.
No comments:
Post a Comment