私はウェブ解析は統計ではない、とよく言ってる。もちろん統計もウェブ解析もディスりたいわけではなく、違うということはつたえておきたい。
アンケートなどと比べウェブ解析のデータはとても扱いにくい。膨大な全数っぽいデータを抱え、かつさまざまななノイズがある。検索エンジンの意向でランクダウンさせられたり、風評被害で急にトラフィックが増えることもある。
統計的な手法がほとんど使えないのは、このようなばらつきの大きいデータで、外的要因による乱高下が多く、しかもその要素が複数にわたるためだ。
だからウェブ解析のデータを基本鵜呑みにしていはいけないと思ってる。それはその状況で、さまざまな要因で現れた数字であって安定もしてないし確度も怪しい。だから全てにおいて一つの参考値として扱ったほうがいい。
だから行動した結果にしか真実はないと思ってて、ウェブ解析の指標を見て、問題だと思ったらその問題を改善するための仮説をたて、予想をし、施策を行う。その結果を測定し改善しているかどうかから成否や法則判断していくしかないと思ってる。多変量解析やらで係数を決めてもすぐその係数が変わってしまうので役に立たない。測定と対策、CheckとActionでしか前に進めない混沌な世界だと思っている。
統計は標本をもちいて全数データーを推定したり、検定をもちいて標本データで全体の判断をする。あやふやなデータを扱うのはウェブ解析と同じだが、統計は事業の成果につなげるとか売上を伸ばすというような生臭い話に用いられるための技術ではない。標本からなるべく正確に全数を推定するというような技術である。
選挙速報とか視聴率のような標本調査から全数を推定する技術だ。だから精度が大事である。間違わないように、正確に言えば間違いがおきる確率も出しながら、扱うものである。
ウェブ解析では、みんなで数字からユーザーを妄想すること、行動すること。そこに価値があると思う。