一応IA(インフォメーションアーキテクト=情報設計者)として飯を食わせてもらってますので、ウェブサイトのヒューリスティック調査の依頼とかよく依頼が来ます。で、たまーに他社さんがやられたのとかを拝見することがあるんですが、ずっと疑問だったのが、スコアつけてグラフ化したやつ。

こういうやつです。評価項目は至極適当です。気にしないでください。
こういうの、今まで一度もピンと来たことが無いので、この際このモヤモヤをハッキリさせておこうと思いました。以下、結構身も蓋もない話が展開されますので、この手の話が嫌いな方はスルーして頂くか、あるいは是非とも意見を下さい！

ご注意願いたいのは、ヒューリスティック調査自体は意義あるものだと思ってます。そのアウトプットを点数にするのが無理あるんじゃないか、というだけですので、悪しからず。

グラフ支持の人からありそうな意見としては、こんな感じですかね。

• 比較しやすいじゃないか！
• 改善方針が出しやすくなるやんけ！
• クライアントが理解しやすいねん！

ひとつづつ検証したいと思います。

1. 比較しやすいのか？

比較観点の前に、まずこの点数が何を意味するのか？ですが、絶対評価をしたいのか、相対評価をしたいのかで意味が変わってくるかなぁと思うので、そこから整理します。

1-1. 絶対評価

つまり、満点である10点に対して、現時点の点数を評価する、という意味合いになるわけですが。
ここでいう満点って何がどういう状況になれば実現できるのでしょうか。「これ以上何の改善施策も思いつかない！」という状態を指すのでしょうか。そういう意味では理論上定義可能ではあります。が、世の中にそんなサイトがあったら教えてほしいのですが、たぶん誰も挙げられないと思うので、実現性が無いという意味で評価の意味を成さないような気がしてしまいます。

1-2. 相対評価

ユーザビリティ観点の相対評価がしたいとして、じゃあ次に「何と何を比較したいのか」ということになるわけですが。まぁ大抵の場合、以下のどっちかということになるかと思います。

• 自社サイトと競合サイトを比較したい場合
• 自社サイトを改善前後で比較したい場合

あんまり後者のパターンは聞いたことないですが、まぁ理論上ありえるということで。

A. 自社サイトと競合サイトを比較したい
よく出てくる話です。個人的には、ウェブサイトの他社比較って大抵の場合あんまり意味ないと思っているのですが、それは別稿に譲るとして、こういうご依頼が多いのは事実です。
下にさっき出した図を再掲しますが、結論としてはこういう図が求められている、ということになります。

ハテ、この図から何が分かるのか…という話になるわけですが。

この図で分かるのは

• 競合Bには全ての点で優っている
• 競合Aに対しては、回遊性と視認性では劣っているが、それ以外では優れている

ということなんですが、それが分かって誰が得するのかが私にさっぱり分からないんですよ…。
この図は、例えば以下の疑問に答えられるだけの情報量が無いんですねぇ。

• じゃあ競合Bは参考になる施策は1つも無いの？それともちょっとはあるの？
• あるとしたら、それはどこなの？
• 回遊性を向上させて競合Aを超えるスコアを記録したとして、それで満足したらいいの？だめなの？
• 3社中トップのスコアである項目は改善しなくていいの？それともやるべきなの？
• 強豪に負けてる回遊性は7点だけど、トップだけども点数が低い操作性6点、どっちを優先して改善したらいいの？

これらに対する答えは、このグラフを出す前に行ったはずの調査工程自体にあるはずですよね。ということで、敢えて追加コスト払ってまで点数化することで得られるメリット何だ？という結論が得られません。

B. 自社サイトを改善前後で比較したい
こっちの方が俺はまだ意義あるように思いますが、話としては少ないです。

こういう図を期待することになるのだと思いますが。
ただこの比較、調査スパンが1ヵ月とかならまだいいですが、半年とか期間が空くと、この調査は意味を成さないと思います。

• 例え同じ企業でも、全く同じ調査員を当てないと2回の調査基準が合わない。合わないというか絶対ズレる。
• 調査員は日々変わりまくるウェブのトレンドに晒されているので、同じ人が調査しても視点がアップデートしてしまっている
• 調査会社と施策実施業者が同じの場合、業者心理として改善後のスコアを下げるわけがない

自分の身に置き換えて考えても、今やった調査と半年後の調査の視点を合わせられるかといったら絶対合わせられないです。というか、半年経ってもユーザビリティのセンスが変わってない人間がいたら、そっちの方が問題です。勉強不足です。

比較評価視点のまとめ
ということで、ヒューリスティック調査の点数付け(&グラフ化)に意義があるのは、

• 調査後の改善施策が1ヵ月、遅くても3ヶ月後に改善施策を実現できる目処がたっていて
• 同じスタッフで再度自己評価するところまで依頼が確定している
• 改善施策実施会社と、調査会社を別で契約している

という条件においてのみ、という感じになってしまいました。こんなこと実際にあるのかしら。

2. 改善方針が出しやすいのか？

次に、改善方針が導きやすいぞ！という声についてです。
調査の仮定でいろいろと問題点が発覚するでしょうが、それらは調査時点ではただの文字の羅列。そこにコストとの兼ね合いで優先度をつけて施策化してく、という意味でこれは一理ありそうです。

ということで、この図から「次の施策の優先順位を決めよう！」となるわけですが。

あくまで例えばですが、下みたいな図を作ると、「回遊性」「視認性」「操作性」がやべぇ！という結論になりそうな気がします。

これでざっくり優先度が付きましたが、もっとディテールに突っ込んでひとつひとつの施策を選択しなきゃならんという時に、有効なのでしょうかこれ。特に改善予算があまりとれない場合はかなりシビアにピックアップする必要があります。費用対効果の観点ではこの選定が超キモになるはずです。

この過程における私の懸念を挙げておきます。懸念という言葉を使っているのは、私がこういう状況に際したことがないので、単純に私の脳内シミュレーションの域を越えないからです。

懸念1. 問題点と改善方法は一意に紐付かない

経験上、調査により可視化された問題点のほとんどは、それぞれが重複していたり、競合関係にあったり、包含関係にあったりします。例えば、視認性を上げたいということで商品画像を大きくしたら、今度は商品同士が遠くなって比較しづらくなっちゃいました、みたいな例。あるひとつの問題点が、他の問題と完全に背反して単独に存在するケースなんて、あんまり無いです。で、その関係性を完璧に定義するのは不可能です。論理的には可能ですがコストがかかりすぎて意味が薄いです。なので、問題点の優先度がつけただけでは、有効な施策を選択するところまでは至れません。

ということで、問題点の優先順位がついたとしても、それとは別のロジックで重複・競合・包含関係を整理しながら最適な施策の組み合わせを選定する、という工程が必要になるわけです。

ここで言うのは、ざっくりした優先度をつけることに意味が無いということではなく、それだけでは施策に落ちませんよ、ということです。が、↓の方はもっと根本的な話です。

懸念2. そもそも調査者には、このグラフを作る前にすでに優先順位が見えている

これはもう身も蓋もなさすぎる話なんですが。調査者は、自社も他社もかなり細かいところまでサイトを舐めつくすように見ています。調査してるんですから。何時間も見てると、「ここがクリティカルにやばい」くらいの察しなんてだいたいついてるわけです。
さらに言うと、制作経験のある調査者なら、問題点ひとつひとつの改善コストだってもう見えてます。CMSで変えれば一発で終了なのか、ひとつづつ潰してく必要があるからハイコストになるか、あたりはレポート出す前からもう分かっています。

ということで、グラフなんて作らなくても、視認性だとか回遊性だとかいうレイヤーよりももっとディテールレイヤーでの優先順位が、実はもう定義できる状態になってます。それを上手く可視化できるかどうかはその調査者のウデ次第ですが。

それに対してクライアントが「納得いかん」ということを言い出すと、まぁスコア化の意義もあるかもしれませんが、対クライアント目線という意味では次の3.に話を譲ります。

施策優先度の判定、という意味でのまとめ

ということで、だいたいの優先順位をつける目処はつくが、実はその必要って無いかも…というのがこの項の話でした。

3. クライアントが理解しやすい

これは一番分かります。みんな限られた時間で業務しているわけなので、たかがウェブサイトの調査で50ページとか100ページの文字文字したドキュメントなんてちゃんと見れるか！という話ですわな。もっと言うと、そうでもしないと依頼者がその上司に報告しづらい(というか上司が理解してくれない)、という側面もあるでしょう。

まぁしょうがないわな…と思いつつ、こういうことを俺たち受注側が許してると、ずっとデジタル従事者の議論が本質からズレ続けるというか、長い目で良いことが全く無いと思います。めちゃ乱暴に言うと、クライアントを甘やかすことのツケが、デジタル業界の地位向上を阻んでいると本気で思っています。我々ベンダーは、我々の持つ専門分野において、もっとクライアントを教育する姿勢で望むべきでしょう。いや、別に文字通り「教育してやる」という態度をとるという意味ではなく。

重要なのは、「意味ないのでやめましょう」ではなく、「意味ないのでこっちの方がいいです」と舵取りをしてあげることかと。結構そういうことが出来ない同業者は多いです。めちゃ上から目線ですみませんが。

クライアントも我々も、業務を通じて一緒に目を肥やしていく関係になればいいなぁと思うのですが。

結論

ということで、ヒューリスティック調査をスコア化する意義がある状況は、以下に該当する場合かなぁというのがこの記事で得られた整理ということになります。

• 短スパンで同じ評価者が改善後評価することが決まっている
• とりあえず、施策のことは置いといてざっくりと優先度を得たい
• クライアントが何らかの理由で熱望している

私は、いちおう「ユーザビリティ調査は次の施策を導くものでないと意味がない」という信念がありまして、上の3つを見ても…どうも施策に落ちるという結論になりません。
なので、スコア化の意義がよくわからん、と思うに至っている次第です。

じゃあどないせえちゅうねん

定性調査なんだから、無理にスコア化するんじゃなくて、問題点の抽出手法として素直に捉えればいいと思っています。
そして、レポートをメールで送って終わり、じゃなくて、ちゃんとクライアントに調査結果と得られた問題点を説明して、かけられるコストと合わせて優先順位をつけて、ひとつづつ施策に落としていくべき、と。ヒューリスティック調査はそういうもんじゃないかしら、というのが私の考えです。

ただの理想論ですかね？

参考サイト

本稿とは全く関係無いですが、エクセルで円形のレーダーチャート作り方法を教わりました。
エクセルで円形のレーダーチャートを作る | How to Desing a Presentation Slide