24 января, 2013
Каша из топора.
«Все животные равны, но некоторые равнее других», — так заключил кабан Наполеон в знаменитой Оруэлловской антиутопии. Гениальность этой фразы состоит в её универсальности – небольшая добавка выворачивает истину наизнанку. Увы, это встречается не только в фермерско- революционных сагах, но и в таких, казалось бы, очень отдалённых тематиках, как – не поверите! – антивирусные тесты. Точнее, «грамотный» маркетинг этих самых тестов частенько вовсю использует эту же аргументацию.
Представим себе антивирусную компанию, не отличающуюся выдающимися технологическими достижениями и качеством защиты, но имеющую глобальные амбиции и внушительный сейлс-план. Что делать? Докручивать движки, базы данных, точить качество детекта и скорострельность? Ой, долго это, да и дорого… В принципе, до «середняка» дорасти не так уж и сложно. Но чем ближе к топ-позициям по уровню защиты, тем дороже обходится каждая сотая доля реального процента детекта и тем больше мозгов она требует. Гораздо дешевле, быстрее и эффективнее другой путь — не технологический, а маркетинговый. Недостаток технологического мастерства и качества антивирусного детекта нужно неким образом компенсировать хитрой стратегией.
Как именно?
А вот так. Что лучше всего свидетельствует о качестве защитных технологий антивирусного продукта? Правильно, независимое, объективное мнение со стороны. Аналитики, заказчики, партнёры… Но прежде всего — результаты сравнительных тестов. Однако тестеры – народ непростой, в технологиях неплохо, в общем-то, разбирающийся и провести их не так-то просто. И тут «на помощь» приходит тестовый маркетинг – хитрое манипулирование результатами тестов, а по сути дела – каша из топора, применение на практике восточной притчи про слона и слепцов. Только в данном случае «спепцы» умело и умышленно притворяются.
На самом деле в манипулировании результатами тестов нет ничего криминального. Это как в «12 стульев» — «Кто скажет, что это девочка, пусть первый бросит в меня камень». Действительно — можно, например, повыдирать из нескольких не самых профессиональных и бородатых тестов данные о быстродействии своего ненаглядного продукта, умалчивая при этом о результатах детектирования вредоносов, сравнить с конкурентами, развесить эту клюкву во всех маркетинговых материалах и использовать как передовую отстройку. Или сравнить себя, любимого, со старой версией конкурента.
Вроде и не соврал, а результат совсем другой, ага? И на самом деле официально прищучить таких горе-безопасников невозможно, поскольку они «играются» не с формальными критериями, а с этическими категориями. Да-да, ваш мозг, уважаемые пользователи, хитро имеют – «суфийские мудрецы» выдают вам змею за слона. И, поскольку законных путей восстановить справедливость нет, мы призываем вас быть начеку и внимательно фильтровать вливаемую в уши маркетинговую лабуду. В обратном случае, велик риск «вляпаться» в красивую пустышку, потерять доверие к тестам в частности и секюрити-индустрии в целом, и, главное, поставить под угрозу вашу собственную безопасность. И кому оно надо? :)
Тема нечистоплотного тестового маркетинга тут уже поднималась. Сейчас рассмотрим предметно — какие уловки в ходу у адептов этого направления и как с этим бороться? По пунктам.
1. Использование «мутных» площадок для тестирования качества антималварного детекта.
Это, пожалуй, самый простой и безрисковый ход. Особо в почёте у небольших антивирусных компаний или технологически деградирующих вендоров. Находится некий тестовый центр, которому ставится сами догадываетесь какая задача. Стоит недорого, методология обычно скрывается, проверить результаты невозможно, плюс все риски несёт на себе та самая лаборатория (а она и не против).
Вывод: если у теста отсутствует описание методологии, или в методологии есть серьёзные «баги» — результатам этих тестов верить нельзя.
2. Использование старых тестов.
Зачем напрягаться постоянно, когда можно раз в 2-3 года случайно выиграть один тест, показать впечатляющий результат, а потом несколько лет размахивать им, как наглядным доказательством своего превосходства?
Вывод: проверяйте дату теста. Если тест «давно протух» или отсутствует ссылка на источник (публичные результаты теста с датой проведения) – верить этой клюкве нельзя.
3. Сравнение со старыми версиями.
Тут два аспекта. Во-первых, сравнение конкурентов со старой версией своего продукта, которая когда-то давно, каким-то волшебным образом неплохо себя показала в тестах. Разумеется, за это время «паровоз индустрии» ушёл далеко вперед, а качество антивирусного детекта продукта изменилось до неузнаваемости. Во-вторых, — сравнение со старыми версиями продуктов конкурентов.
Вывод: внимательно следите за свежестью версий продуктов. Если обнаруживается несоответствие – вам впаривают туфту, надо убегать.
4. Сравнение несравниваемого.
Как ещё лучше доказать свою технологическую продвинутость? Ага – сравнить несравниваемое в одной-двух специально выбранных плоскостях. Например, продукты из разных категорий (корпоративный и персональный) или принципиально отличающиеся технологии защиты (пример — agentless и agent-based подходы для защиты виртуальных сред).
Вывод: обращайте внимание не только на версии и даты выпуска сравниваемых продуктов, но и на названия.
5. Выпячивание специфических черт и замалчивание других.
Провалили тест? И даже все тесты? Ничего страшного, ибо тестовый маркетинг и не такое переварит! Рецепт прост – берём некую конкретную фичу (обычно высокая скорость работы или низкое ресурсопотребление – они как раз сопутствуют дырявой защите), выдёргиваем её показатели из тестов, вешаем на знамя и красноречиво размахиваем им в доказательство уникальной отстройки. Феерический пример здесь.
Вывод: если вам впаривают нечто «быстро, качественно, дёшево» — скорее всего, это разводка.
6. Использование нерелевантной методологии.
Ну, здесь вообще огромное пространство для манёвра. Пользователь обычно не вникает в подробности тестирования, а, как известно, «чёрт в деталях». Часто случается, что тесты не соответствуют «живым» условиям и не отражают качество антивирусной защиты продуктов на реальном боевом дежурстве. Другой пример — субъективная оценка весов значимости тестируемых параметров.
Вывод: если в куче сравниваются «мухи и котлеты» — верить результатам теста нельзя.
7. Использование выборочных тестов.
Это уже серьёзная аналитическая работа и требует опыта ударного дискурсмонгерства© не ниже первой статьи :) Тут подводится мощная статистическо-методологическая база – определяются сильные стороны продукта, тесты, где эти стороны себя хорошо показали, делается сравнительный анализ с использованием комбинации методов, описанных выше. Ещё один феерический пример здесь.
Вывод: хорошо сказано — «если врёшь будь краток» (с). Если слишком длинно и не очень по теме – ну, очевидно…
8. Читерство.
Возможностей масса. Самое распространённое – воровство детекта и заточка под конкретные тесты (дальше по сценариям выше). В индустриальных кулуарах много и часто шепчутся о других вопиющих формах читерства. Например, один неназванный разработчик предлагал тестерам специальную версию продукта, который детектировал вообще все файлы, если он обнаруживал слишком много зараженных объектов вокруг. Таким образом продукт «догадывался», что находится в тестовом окружении и пытался компенсировать свои технологические недостатки. Ничего себе, ага?
Вывод: поймать на читерстве могут только профессионалы. Увы, обычному рядовому пользователю это не под силу. Что делать? Смотрите несколько конкурирующих тестов. Если в каких-то тестах некий продукт показывает восхитительный результат – а в других проваливается по полной программе, то не исключено, что имел место быть факт обмана тестеров…
9. И последняя уловка, самая простая – отказаться от участия в тесте.
Или запретить тестерам называть продукты собственными именами, а прятаться за «Продукт-1», «Продукт-2». А зачем участвовать, если в результате тестирования окажется, что «король-то голый»? Вот некоторые названия продуктов и исчезают из списка… Можно ли верить такому продукту? По моему мнению – нет.
Вывод: внимательно посмотрите, во всех ли заслуживающих доверия публичных тестах участвует данный продукт. Если только в тех, где показаны достоинства без недостатков – включайте подозрительность. Не исключено, что это опять «тестовый маркетинг».
Кстати, если внимательный читатель вдруг пожелает исследовать различные антивирусные тесты и обнаружит там косяки моей любимой компании – не стесняйтесь наезжать в комментах. Обещаю исправить, а виновных «поощрить».
Ещё раз кратко — что делать пользователю, кому верить и как ориентироваться в сотнях табличек, тестов и графиков. (кстати, этот вопрос тут уже поднимался) Итак, несколько важных правил «чтения» результатов тестирования с целью обнаружения нечистоплотного тестового маркетинга:
- Проверяйте дату теста, версию и назначение тестируемых продуктов.
- Проверяйте историю «выступлений» продукта в тестах.
- Не ведитесь на конкретную фичу – смотрите на весь спектр возможностей продукта и в первую очередь на качество защиты.
- Знакомьтесь с методологией и проверяйте реноме тестовой площадки.
Последний пункт под силу далеко не всем, только специалистам, поэтому рекомендую ориентироваться на нижеследующий список площадок. Это уважаемые команды, много лет в индустрии, работают по проверенным и релевантным методологиям, вполне соответствуют стандартам AMTSO (Anti-Malware Testing Standards Organization).
И сразу обязательный «дисклеймер», чтобы пресечь троллинг – мы не всегда там занимаем первые места и рекомендуем ориентироваться на эти тесты только по причине их профессионализма.
И вот такой вот финальный аккорд по перечисленным тестовым центрам за период 2011-2012гг. Информация для размышления.
И уже совсем в завершении, подводя итог большому количеству букв выше.
Наверное, кто-то захочет упрекнуть автора в попытке «лёгкого наезда» на конкурентов. На самом деле, здесь главная задача — в очередной раз вынести на публичное обсуждение проблему, о которой многие давно и часто говорят, но решений так и не появилось. А именно: по-прежнему, не существует установленных и понятных методик проведения тестирования антивирусных продуктов. Причём часто не до конца понятными они являются не только для потребителей, но и самих разработчиков!
Поэтому — давайте жить дружно, но не закрывать глаза на стоящие перед отраслью проблемы, успокаивая себя тем, что вроде бы «средняя температура по больнице» у каждого разработчика находится в пределах допустимых значений. Пользователям по-прежнему приходится делать выбор наощупь, зачастую смахивая лапшу с ушей. Не трудно догадаться, что не всем это удаётся.
