今、アンケートが「危ない」

実施自体はとても容易

調査業界で正式には定量調査と呼ばれるものが、いわゆるアンケートです。私が業界に入った35年以上前に比べると、随分とアンケートは実施しやすくなりました。当時、なぜ調査会社にわざわざ依頼しなくてはならなかったかといえば、その理由は大きく二つありました。一つは調査票の作成には慣れが必要であること。もう一つは、条件に合致する充分な人数の調査対象者(適格対象者)を集めることが、一般には困難であったことです。

その後のインターネット(調査)の普及により、この二つの理由の両方ともが、見事に解決されたかのように見えているのが、今です。ただし、それは「一見」に過ぎません。アンケートを名目とした営業行為のようなものまで見かける中、それは別としても、下記に示す様々な要因が絡まって、アンケートの質の低下が見られます。今後は氾濫を食い止める動きも必要になるかもしれません。

何が問題か

まず一つ目の「調査票作成に対する慣れ」については、例えばGoogleフォームを利用すれば、回答方法のパターンを見ながら、合いそうな質問形式を簡単に選べます。あとは質問文と答えの選択肢を入れ込みさえすればよいような錯覚を覚えます。ここでの問題点は、おそらくいきなり質問を考え始めてしまい、構成についてはせいぜい、質問項目が一通りできた後に適当に順番を入れ替えれば大丈夫だろうと高を括ってしまっている点です。

次に二つ目の「適格対象者の量的確保」については、圧倒的な数を集められさえすれば、厳密には条件に合わない人が多少含まれていたところで誤差として吸収できてしまうだろうとの思いが透けて見えるのです。インターネット調査サービスを提供する主な調査会社を見ると、パネル(= アンケート協力登録者リスト)の数が十万単位・百万単位と相当な数です。対面インタビュー形式のアンケートでは100の回答を集めるのも大変なところ、その10倍の1000が瞬時に戻ってくるとなれば、「数打ちゃ当たる」「数で勝負」の誘惑にかられるのも、わからないではありません。

スクリーニングされているなら

例え目標の10倍の回答が集まったとしても全てを集計せず、その中から「適格者」を慎重に選び該当者のみを最終的な集計対象とするよう「スクリーニング」をきちんと行なっているなら、まだ信頼できます。もちろん調査専門会社はこれを先にきちんと行ないますが、一般の人が行う調査の場合には「とにかく数だ」という考えが根強く残っていそうです。他者が行った調査を利用するにあたっては、この点に注意が必要です。

ただし、調査会社のスクリーニングにおいてもやや不安が残るのが、「対象者の慣れ」に関する部分です。伝統的なスクリーニング項目に必ず入っていた質問には、「あなたは過去半年以内に調査に参加したことがありますか」「同種のテーマの調査には過去2年以内に参加したことがありますか」といった「調査参加経験(フレッシュサンプルかどうか)の確認」がありました。いわゆる「調査慣れ」や、悪い言葉で呼ぶところの「調査擦れ(= 聞かれたことに対して素直に答えることをせず、裏読みするような態度でアンケートに面すること)」を避けるのがその主な目的でした。

私自身もインターネット調査のパネルに登録していたことが過去にありますが、調査に参加するにあたって、それ以前の参加経験を確認された記憶はありません。また、本来は、情報漏洩の危険も考え、調査会社社員、広告会社社員、調査の対象となる製品の業界関係者等はスクリーニングで外さなくてはならないと考えるのが「かつての常識」でした。残念ながら、現在はそのような除外をせずに調査が実施されているケースも見られます。

ポイ活が招く危険

インターネット調査に協力することをアルバイト感覚で行なっている人がいます。謝礼はポイント還元が一般化されていますので、いわゆる「ポイ活」です。先ほどの、一定期間内の調査参加経験者を除外するとなれば、参加可能案件が減ることから、人気が落ちます。協力者が離れるでしょうから調査会社としてはその条件は緩めたいでしょう。また、参加経験は、他の調査会社が実施した調査への分も含みますが、オンライン上の自己申告のケースでそれを誤魔化すことは難なくできてしまいます。そんなことも、スクリーニング自体を緩めようということにつながってしまっている原因といえるでしょう。

割の悪いバイト

ちょっとした空き時間にスマホで手軽に回答できることは、調査協力者にとっては好都合です。しかし、報酬は決して高くはありません。いわゆる「一般の人」を対象とするようなアンケートの場合、インターネットリサーチ出現前と後では調査費用に何十倍もの差が生まれました。以前は一本のアンケートへの協力で500円の図書カードが謝礼ということもありました。今、500円分の謝礼をもらうのに何本のアンケートに答える必要があるでしょうか。

協力者からすれば、1回の空き時間で何本のアンケートに答えられるかが重要になるわけですが、時短で答えようとすれば回答は雑になります。勢い余って質問文の理解はそこそこに回答している人がいても不思議ではありません。選択肢を早く選ぶのには読解スピードが大切ですが、文章で回答を埋める場合は文章構成力も必要になります。急いだ回答で、意味が充分正しく伝わるような文章を書ける人は、実はあまり多くありません。

高くつくバイト代

文章で書かれたコメントを集計しようとしてぶつかるのが「何が言いたいのかわからない問題」です。急いで書いていることも影響しているでしょうが、そもそも日本人の文章力が落ちてきたのではないかと疑わざるを得ない回答に出くわすことが最近増えてきました。明らかな「てにをは」の間違いといったものではありません。「そうとも取れるがこうとも取れる」という厄介な回答が増えてきたのです。書いた本人はおそらくそうは思っておらず、伝えた・伝わったつもりでいるでしょう。何かの資格試験の問題に回答する時のように、後で再度自分の回答を読み直すなどの行為をアンケートに求めることは期待しすぎです。しかし、今のままでは、安く情報を入手するつもりが、返って「高くついた」と感じることも増えてくることでしょう。

また、最近は時折、質問文自体の意味がわかりづらいアンケートも見かけるようになりました。依頼者・協力者の双方に国語力の向上が求められているといえそうです。

キャパオーバー

簡単にアンケートを作成することができるようになったため、一般企業が直接、顧客アンケートを打つ回数が増えてきました。顧客情報の管理ができていれば、顧客にアンケートを打つこと自体は容易になっています。しかし、受け取る側からすると様々な取引先からアンケートが送られてくることになり、明らかな「キャパオーバー」状態です。これでは、丁寧な回答は期待できません。

「危ない」の最後は、切り取り

アンケートの集計数値の扱いについても問題が見られることがあります。全体で何問もある質問の、ある一問への回答だけを切り取って紹介されるような場合です。また、そもそもどんな属性の人から、数は何人に聞いたかを明らかにせずに%数値のみを示す使い方も見られます。これでは「エビデンスを示すふりをしたフェイクニュース配信」になりかねません。注意が必要です。

中高生へのアドバイス

中学生・高校生が探究に関連してアンケートの活用を検討する場合には、まず、以下の点を振り返って欲しいと思います。

  1. そのアンケートは、何を具体的な目的として実施したいのか
  2. そのアンケートの実施は必須か。アンケートを打つ以外に必要とする情報の収集方法はないのか
  3. 聞くべき人にしっかり聞けるか。「とりあえずクラスの人に聞いてみる」になっていないか
  4. (一番)知りたいことは何で、その答えをどう予想しているか
  5. 何通りかに分かれるであろう答えの、それぞれの理由は何だと予想しているか
  6. 理由を明確に・詳細に理解するのに、何か尋ね漏れしていることはないか
  7. (比較したいものがある場合)アンケートで得られる情報は、何と比較したいのか (例: 全国版との比較、社会人の反応との比較、等)

最後の項目は、例えば、全国版はあっても地元版がないので自分でアンケートをとってみたいというケースや、普段、地元の中高年層と若者で意識の差がみられるので、それを詳らかにしたいというケースを指します。アンケートは、何かと何かを比較提示したいという目的が明確であれば、より有効な構成および結果活用が期待できます。

何の予想も無しにアンケートを作成するのは難しいものです。ある程度の予想の元に質問を考え始めると、「これも聞いておくべき」や「この順番で聞くとバイアスを与えそう」などのことに気付きやすくなります。

10歳からわかる「まとめ」

・インターネットの普及で実施が容易になったアンケートだが、落とし穴も多い。自分で計画する際は、必要の有無の検討もはじめ、慎重に準備したい

・様々なアンケート結果をあちこちで見かけるようになった。それを活用する際は、正しく実施されているかを確認すると同時に、結果提示におけるマナーにも気を配ろう

・現状の質の低下を考えると、今後は、むやみにアンケートを利用しないことの検討が必要になるかもしれない

以下、余談です。

OECD PISA 数学問題

【参照】　OECD PISA 2022 数学問題

先週、12/5午後7:00の発表翌日、東京大学・安田講堂で開催されたアジア・ローンチ・シンポジウムに参加してきました。オーストラリアや香港からは直接来場、インド教育大臣はインターネットでの参加と、アジア・ローンチと呼ぶにふさわしい会でした。結果でもシンガポールの健闘が際立っています。帰宅後、じっくり数学の問題に取り組んでみました。新聞発表等の見出しの意味がよくわかりました。試されていたのは計算力でも高度・難解な問題を解く力でもありません。日常生活で出くわすような場面で、いかに数学的な力を活かせるかという応用の力を問うものばかりです。論理立てて読める・書ける力が求められています。

日頃目にするアンケートで、子ども達に「変な日本語」を読んだり書いたりする癖がついてしまわないようにと、願ってしまいました。

第40回「探究対話の進め方」を読む