ベンチマークソフト大手の Futuremark が、サムスンやHTC製 Android 端末の一部をベンチマーク結果リストから除外しました。理由は Futuremark のルールに反して、ベンチマークスコアを不当に操作している疑いがあるため。

バージョンアップで怪しい端末を除外するようになったのは、Futuremark の定番グラフィックベンチマーク 3DMark の Android版。

Futuremark は自社のベンチマークが公正な性能比較に役立つようルールを定めており、「ベンチマークアプリをほかの一般アプリと同様に扱い、特別扱いしない」 プラットフォームのみを有効な対象としています。


発表文ではメーカーも端末も直接名指しはしておらず、あくまで「疑わしいスコア」と表現するものの、除外されたデバイスはたとえばサムスン Galaxy Note 3、Galaxy Note 10.1 (2014)、HTC One、HTC One Mini など。サムスンやHTCといえば、特定のベンチマークアプリを名前で識別して、通常とは異なる設定で動かす「最適化」が発覚したメーカーに含まれています。ベンチを特別扱いしない原則に露骨に違反することは言うまでもありません。

除外の具体的な影響はといえば、ベンチマーク結果が無効と見なされるためランキングなどの対象から外れ、末尾にスコアなしの無効端末として掲載されることになります。

ルールや除外といってもあくまで私企業が定めた自社製品内での決まりごとではありますが、客観的な指標であることが存在価値のベンチマークにとってはやむを得ない自衛手段です。メーカーにはランキングから消えることよりも、自社製品のユーザーに「あなたが買ったのはズルをするメーカーの製品なのでスコアは無効です」画面を見せてしまうリスクを想像していただきたいところです。