トレンドマイクロの防御力がNo.1だったテストの真実(前編)

Symantec Endpoint Protection の更新をしに行った時に、トレンドマイクロの宣伝を見かけてちょっと疑問に思ったので調査してみました。

広告では4つのテスト全てで1位を誇っているトレンドマイクロですが…。

まず、NSS Lab についてちょっと調べてみました。

セキュリティ対策ソフトのテスト手法を標準化するための業界団体「Anti- Malware Testing Standards Organization（AMTSO）」と言うのがあるんですが、これは、要するに公平にセキュリティソフトのテストを行おうって言う団体なのです。
NSS Labs は当初所属していたのですが、今年に入って脱退しています。(過去のWebアーカイブを見るとメンバー一覧にNSS Labsの文字が・・・)

更に、この2009年9月に行われたテストについてのAMTSOによる評価がありました。

テストを行うにあたって、９つの原則と言うのがあります。

1. テストは公共で危険にさらされることがあります。
2. テストは公平でなければなりません。
3. テストは、合理的にオープンで透明である必要があります。
4. バランスの取れた方法で、マルウェア対策製品の有効性と性能で測定する必要があります。
5. テスターはテストサンプルやテストケースが正確に悪意のあるコードか無効か分類するために合理的な管理をする必要があります。
6. テスト方法は、テストの目的と整合させる必要があります。
7. テストの結論は、テストの結果に基づいている必要があります。
8. テスト結果は統計的に有効である必要があります。
9. ベンダーとテスターと出版社は、テストに関連する対応でアクティブな接点を持つ必要があります。

まず、このテストでは、合理的にオープンで透明であるとは決定できないとされて△ になっています。
その理由として、
・全てのバージョンテストではなく特定のバージョン製品だけのテスト、ターゲットシステムの構成が不明(XPSP3とだけ明記されている)。
・サンプルやテストがどうやって選ばれたのかが不明である。
･検証のための悪意のあるサンプルやテストが自社のハニーポットなどで収集されたものをサンドボックスを使用して識別されたものである(この点に付いては構わないと書いてあります)。
・少なくともいくつかはベンダーに特化した環境が使われた。
・どのようなソリューションの応答を測定したかが不明。

これらについては、AMTSOの原則に準拠したコンプライアンスのかどうかテストする必要があるとされています。

次が、原則から外れているとされた『テスト方法はテストと整合させる必要がある』という点。
・社会的に設計されたマルウェアに対する製品の保護をテストする場合には、
そのような状況で製品をテストする必要がある。URLが実際にエンドポイントシステムに到達する方法が考慮されていない。例えば、SPAMなどが考えられる。
また、製品が、スパムフィルタリングを使っている場合、スパムメッセージを使っている場合が掲載さない可能性があり、その場合システムがユーザー同様保護される事を考慮していない。

ちょっとこれは酷いですね、一部のベンダーのセキュリティソフトが検出時のメッセージがでなければ、ブロックできたと判断せずに、検出できなかったと判定しているそうです。

最後の、『テストの結論はテストの結果に基づいている必要がある』についての総評が酷いのですが、

結論は、定められた目的を反映していますか？
・いいえ。このエグゼクティブサマリーのレポートはソーシャルエンジニアリング的マルウェアに対してのみの製品の保護を判断する目的であると断言します。
これは明らかにソーシャルエンジニアリングに基づいたマルウェアの検出をすることが出来ないだけで、製品の他の保護層の評価が行われていないと結論付けられる。
データとして提示された結果の論理的な解釈か？
・いいえ。上記のように、結論があまりにも一般的な特徴や欠点や考察で各製品の一部の機能だけのテストに完結している。

要するに非常に偏ったテストだと、AMTSOに判断されて、公平なセキュリティテストをする団体から、除名されたと言うのが推測できます。

さて、続きは、後編の明日の夕方18:30公開予定の記事で

関連記事：
間違いだらけのウィルスバスター
間違いだらけのウィルスバスターその後
またウィルスバスターかっ(笑)
Vectorで大規模な感染事故理由はウィルスバスターの定義対応遅れ？

関連サイト：
IE8 の SmartScreen Filter™ による保護の実際 - Windows Live
AMTSO - Anti Malware Testing Standards Organization
中国 NSFOCUS、米国ITセキュリティ認定機関NSS Labsより「Recommended」認定を獲得 - プレスリリース検索
ウイルスバスターはPCライフの最高のバトラー
うちもウイルスバスターです　ねっとでしあわせきゃっちしましょ
この木なんの木気になる木 ウィルスバスターってすごい！
ウイルスバスターは良いかも！？ パプパプの部屋/ウェブリブログ
まいにちのこと:毎日の生活もパソコンも総合防御力が大事ですよね
しぃまま の たまてばこ 総合防御力��顳韻離Εぅ襯好丱好拭次�