ウイルスバスターが好成績のAVテストをシマンテックが拒否した理由が衝撃的過ぎた話
コメントで読書さんから、最近の 独立機関AV-comparatives によるウイルスバスターの評価がすごくいいのはなんでだろう？
って疑問を頂いたので調べてみた。
セキュリティソフトのウイルス検出率の比較 2015年版 – the比較
前回は非常に悪かったけど、今回はウイルスバスターは好調だ。
ちょっと気になったのが、 Symantec がこのテストに参加していない点だ。
探してみた所理由が分かった
Why is Norton not participating in AV Comparatives testing? | Norton Community
| Symantec has long been an advocate of independent “whole product” or “real-world” tests that most closely represent the interests of consumers and utilize all of the proactive technologies provided with a product, as opposed to “static” tests that only test an individual component. Currently AV-Comparatives does not offer a subscription focused solely on these “whole product” or “real-world” types of tests. At this time, Symantec has chosen not to subscribe to AV-Comparatives’ testing program for 2012. Our philosophy is to participate in tests that have high relevance and meaning for consumers, and most accurately align with their real-world need for comprehensive protection and machine cleanup from evolving online threats. We will continue to seek out and participate in a range of tests that meet these standards to measure our products’ efficacy and performance. |
要するに、AV-Comparatives の提供する現実環境テストが、実際のテストに即していないので、2012年に Symantec はテストを辞退したというのだ。
本当にそうなのか調べてみた
以下資料へのリンク
2014下期
2014上期
2013下期
2013上期
2012下期
2012上期
2011下期
2011上期
2010
2009
まず、実環境のテストとして 2012年下半期まで Windows XP SP3 だけで、それが一般的な環境としてテストしている。
2013年からようやく Windows 7 SP 1-x64 版を導入したことが分かります。
凄いのが、 まずFirefoxの環境
| – | 2009a | 2009b | 2010a | 2010b | 2011a | 2011b | 2012a | 2012b | 2013a | 2013b | 2014a | 2014b |
| AV-Comparatives で使用した版 |
(3.0.10) | 2.0 (3.5) |
2.0 | ? | ? | ? | 9.0.1 | 9.0.1 | 18.0.1 | 23 | 27.0.1 | 27.0.1 |
| Firefox | 3.0.8 | 3.5.2 | 3.0.19/ 3.5.9 |
3.5.11/ 3.6.8 |
3.5.18/ 3.6.16/ 4.0 |
3.6.21/ 8.0 |
11.0 | 15.0 | 19.0.2 | 23.0 | 28.0 | 31.0 |
上期のテストが 3月-6月
下期のテストが 8月から11月
になってるのでそれぞれ3月/8月のバージョンを記しました。
2009年のかっこ内の数字は別のテスト環境なので参考に。
Java の環境
| – | 2009a | 2009b | 2010a | 2010b | 2011a | 2011b | 2012a | 2012b | 2013a | 2013b | 2014a | 2014b |
| AV-Comparatives で使用した版 |
6u7 | 6u14 | 6u14 | 6u14 | 6u14 | 6u7 (7u7の間違い？) |
7u11 | 7u25 | 7u51 | 7u51 | ||
| Java | 6u13 | 6u15 | 6u19 | 6u21 | 6u25 | 6u27 | 6u31 | 7u7 | 7u17 | 7u25 | 7u51 | 7u67 |
QuickTime の環境
| – | 2009a | 2009b | 2010a | 2010b | 2011a | 2011b | 2012a | 2012b | 2013a | 2013b | 2014a | 2014b |
| AV-Comparatives で使用した版 |
7.1 | 7.1 | 7.1 | 7.1 | 7.7 | 7.7 | 7.7 | 7.7 | ||||
| Java | 7.6 | 7.6 | 7.6 | 7.6 | 7.6 | 7.7 | 7.7 | 7.7 | 7.7 | 7.7 | 7.7 | 7.7 |
Flash の環境
| – | 2009a | 2009b | 2010a | 2010b | 2011a | 2011b | 2012a | 2012b | 2013a | 2013b | 2014a | 2014b |
| AV-Comparatives で使用した版 |
10.1 | 10.1 | 10.1 | 10.1 | 10.1 | 11.5 | 11.8 | 12 | 12 | |||
| Java | 10 | 10 | 10 | 10.1 | 10.2 | 10.3 | 11.2 | 11.4 | 11.6 | 11.8 | 12 | 14 |
結論 AV-Comparatives の実環境試験は昔からすごく偏っている。
・2011年下半期には Windows 7と XP のシェアがほとんど同じになり、2012年には逆転してるのに、2013年までXPだけで試験し続けた。
・試験環境が一般的な環境と言いつつ、その場その場で、アップデートを怠っていたり、最新のものを入れたりで統一されていない。
確かに、 Symantec さんの主張は正しい
ちなみに、Symantec さんの参加してる
Dennis Technology Labsの試験結果
もういっそのこと、第三者機関の公平度とか、検証の正確さとかも分析してくれるサイトがあればいいのにって思った。
後、渦中のMcAfeeさんは最近ボロボロなのが分かったので収穫。
【悲報】McAfeeが詐欺ソフトに協力してる事が判明/創業者近況
Symantec Declares On-Demand Antivirus Tests “Misleading”
AV-Comparatives File Detection Test – September 2013 | Norton Community
余談ですが、断られた 翌年、Symantec の検証を勝手にやって、ぼろぼろのスコアを出して、断られた 仕返しをしたため、Symantec から批判を受けています。
どう見ても、腹いせにやったようにしか思えませんね(笑)
|｡･ω･) 。o ( AV-Comparatives の公平性なんてこんなもんなんでしょう )
Translate
ご存知でしたら失礼ですが、シマンテックの言うreal worldっていうのは静的なファイルスキャンテストに対して動的にURLを踏んでマルウェアを実行するテストのことです。
こっちの方がわかりやすいかもしれません。
https://community.norton.com/en/blogs/norton-protection-blog/beyond-headlines-don%E2%80%99t-be-fooled-misleading-security-tests
“Similarly, testing security products with just a file scan, as seen in the recent AV-Comparatives report and similar types of tests, is misleading. Such a testing approach does not accurately represent the real-world threat conditions seen today – and also does not accurately represent the level of protection provided by a security product. Putting forward conclusions from such flawed testing creates confusion and does a disservice to consumers.”
ちなみに↑は2013年にAV-Cが勝手にノートンもひっくるめたファイルスキャンテストをしたことに対する応答として書かれたものです。
ま、正しいんですけどね。
>試験環境が一般的な環境と言いつつ、その場その場で、アップデートを怠っていたり、最新のものを入れたりで統一されていない。
どうなんでしょうね。一般的な「穴のある」環境でちゃんとブロックするかというテストという風に見えなくもないです。
ちゃんとドキュメント中に、『一般的ユーザーの環境にしました』って言ってるので、テスト開始時点での最新版にするとか、テスト開始時点で○か月前の環境に統一するとかしないとテスト結果が偏るのでダメだと思います。
極端に言えば、 Windows 98環境で片っ端から、Webサイトにアクセスして、ウィルスに感染させたら、このセキュリティソフトは、防御できませんでした。このセキュリティソフトは非常に優秀でしたって言ってるようなもの。
特に、Win7がメインになりつつある中で、そっちにも注力してるセキュリティソフトが、古い環境にだけ力を入れてるセキュリティソフトに有利になるのでは意味がありません。
調べていただいてありがとうございます。
シマンテック不参加の理由がわかりました。
AV-Cのテスト環境が、たまにいる「アップデート通知うぜぇ」だったんですねぇ。
それとも、作りこんだ自社システムのためパッチテストが追いつかない状態か？
まぁ、AV-Cについては、実の所、Kingsoftよりいくらか上位にBuiduがいること一番不思議
後、McAfeeたたくと買い取ったIntelの立場が…
>2013年にAV-Cが勝手にノートンもひっくるめたファイルスキャンテスト
ありがとうございます。2013年のこの投稿は知りませんでした。
追記させていただきました。
>>ウィルスバスターの独立機関AV-comparatives
この一文が全てを語っている。
そうすると、他の結果も全て模造の可能性大！
まぁあちらの国技ですからね。。。
この記事に対するアマゾンのおススメが
カスペ、ESETに続けて
ザーメンセキュリティ2009がならんでて吹いた
|｡･ω･)。o ( ばれたか )
そ、そういうことか･･･ｸﾞﾌｯ