Примеры плохих опросов: разбираем, какие вопросы задавать не стоит и почему

Описанные в материале правила будут полезны заказчикам исследований, чтобыобращать внимание на альтернативные методы получения знаний и более осознанновоспринимать результаты исследований.
Три основных правила проведения опросов1. Не выясняйте то, что не нужно вам для принятия решенийОгромное число исследований инициируются без конкретных бизнес-задач. К намрегулярно приходят с запросами на опрос, где понятно все, кроме того, зачем онопроводится и на какие решения повлияет результат.
Когда рынок для компании новый, хочется «исследовать что-нибудь». Нопрактика показывает, что чем размытее задача, тем меньше вероятность, что потомрезультаты будут применяться. 
Если исследователь не понимает, что именно спрашивать и на что обращатьвнимание при анализе, то по такому запросу на выходе вы получите предсказуемыеи бесполезные результаты. Для получения полезных инсайтов надо хотя бы примернопонимать, что мы ищем.
Хотите просто осмотреться в рынке — посмотрите готовую статистику илипочитайте открытые исследования. Так у вас появятся идеи и более прикладныевопросы по конкретным аспектам рынка, где вы увидите для себя возможности илириски. После этого можно заказывать собственное исследование, понимая, какиспользовать его результаты.
Клиент: «Мы уже приняли решение и точно выпустим вотэтот продукт, но давайте его протестируем».
Если уже решено, что будет сделано, независимо от результатовисследования, — не стоит тратить на него время и деньги. Клиент может быть уверен в том, что опрос покажет определенный результат, ипроводит исследование только «для подтверждения, не имея плана на другойслучай. Если итог оказался противоположным, у него нет понимания, что делать.
Если вы знаете, что любое мнение респондентов не изменит ваше решение, нетсмысла пытаться его узнать.2. Не подменяйте нужную аудиторию доступнойКлиент: «Хотим узнать, почему не подключают наш сервис.
Предлагаем взять нашу базу пользователей и опросить 50 000, потратив меньшеденег». 
Задача и аудитория исследования неразрывно связаны. Что произойдет, еслипоследовать за логикой заказчика из примера выше? Можно очень подробнорасспросить пользователей сервиса про его недостатки, но, если новыхпотенциальных клиентов отпугивает неудобная страница регистрации, вы этого,скорее всего, не узнаете, потому что опросили тех, кто давно зарегистрирован.
Они уже преодолели это препятствие, и страница регистрации раньше могла бытьдругой. Большая выборка здесь не поможет, неправильно выбранная аудиторияколичеством анкет не компенсируется.
Определение целевой аудитории (кого мы опрашиваем) и условий ееотбора — важная составляющая дизайна проекта. Обязательно задавайте себепри планировании проекта следующие вопросы:
— Чье мнение меня интересует в рамках конкретной задачи? 
— У меня вопрос ко всем потребителям в отрасли? К тем, кто знает мой бренд? Кмоим покупателям или к какой-то еще особой группе? Неправильные ответы на эти вопросы могут сделать исследование бесполезнымнезависимо от качества самой анкеты и размера выборки. 3. За экспертным знанием — к профессионалам«Сколько будет стоить нефть в следующем месяце?»«Как лучшелечить коронавирус?»
«Что определяет надежность мотоцикла?»
Для ответа на эти вопросы нужно быть экспертом в конкретной предметнойобласти. Как правило, в таких случаях проводятся глубинные подробныенеформализованные интервью с небольшим количеством профильных специалистов.
Бывают ситуации, когда важно знать именно общественные представления потаким вопросам. Нужно отдавать себе отчет, что опрос по таким вопросамдаст вам информацию только о популярных представлениях, а не по существу. Еслиже вы зачем-то решили спросить такое у широкой аудитории, будьте готовы, что ееответы не совпадут с экспертными мнениями. И главное, не делайте на основетаких опросов выводов по сути заданного вопроса.
Три правила о том, что не стоит спрашивать1. Не спрашивайте то, что люди не помнят«Откуда вы впервые услышали о компании “Аэрофлот”?»«С какойполки вы взяли йогурт две недели назад?»«Где вы видели этотрекламный баннер?»
Подумайте, точно ли то, что вы хотите узнать, в целом помнит значимое числообычных людей. Если нет, то лучше и не пытаться спрашивать — не стоитрассчитывать, что все, кто не помнит ответ, в этом признаются. Многие простоответят так, как им кажется логично.
Яркий пример: про множество рекламных роликов до половины узнающих ихреспондентов отвечают, что видели их по телевизору, даже если видео выходилитолько в интернете. Это не умышленное вранье, люди действительно помнят ролик,но не помнят, где его смотрели. Так происходит потому, что аудитория каждыйдень видит десятки рекламных материалов на различных экранах. А так кактелевидение для многих остается источником видео «по умолчанию», выбирают егокак самый логичный ответ на вопрос.
Решение: не пытаться вытащить из людей такую информацию, а получать еедругими способами. В случае с роликами — это статистика рекламных кампаний илисчетчики, фиксирующие реальные контакты людей с рекламой. А если вам надопонять, с какой полки берут йогурт, то лучше организовать наблюдение в реальноммагазине.2. Не заставляйте людей считать
«Какой у вас средний доход на члена семьи? Сложите все доходы всех членовсемьи за год, разделите на количество людей в семье и на количество месяцев.
Впишите результат в поле ниже».
Такой вопрос работает неточно и ухудшает отношение респондента к вашейанкете, что плохо влияет и на последующие ответы. Что делать:

Спросите себя, точно ли вам нужен этот вопрос. Для анализа обычнонамного полезнее вопросы про уровень жизни, так как в них уже учтены не толькодоходы, но и фиксированные расходы. Если вы хотите узнать потребительскийпотенциал человека, то полезнее спросить, как он живет, а не угадывать, какуючасть формального дохода он отдает за ипотеку. А еще человек может и не знатьточно доходы других членов семьи, это тоже снижает качество результатов потакому вопросу.

Отдельно уточните доход и число членов семьи. При анализе выразделите одно число на другое без ошибок, что совершенно не гарантированно,когда респонденты делят в уме.

Откажитесь от года. Можете попросить учесть премии и другиенерегулярные платежи. Но лучше спрашивать про месячный доход, так результатбудет точнее.

Предложите на выбор разумные интервалы. Так человеку не понадобитсявысчитывать точное число и вписывать или озвучивать его с риском очереднойошибки.

Поставьте такой вопрос в конец анкеты. Если не сработает, то вы хотябы не повлияете на качество ответов на другие вопросы.

Аналогичные подходы можно применять и к другим похожим вопросам: у человекалучше спрашивать то, что он проще всего вспомнит, а посчитать из этого всенеобходимое исследователь может самостоятельно.3. Не спрашивайте про неопределенное или далекое будущее«Готовы ли вы когда-нибудь платить за музыку?»«Планируете ливы побывать за границей?»«Допускаете ли вы взятиекредита?»
Ответы на такие вопросы будут не столько отражением объективной реальности,сколько следствием личных характеристик человека. Кто-то все допускает, акто-то отвечает из представлений о ближайшем месяце.
Сравните рассуждения: «мало ли, может, когда-то что-то случится, придется икредит брать» и «у меня же все хорошо, зачем мне сейчас кредит». Они совершенноне противоречат друг другу и могут отражать мысли людей с одинаковойготовностью к кредитам, но по-разному воспринявших вопрос.
Решение простое: всегда указывайте в формулировке вопроса горизонт интереса.
Желательно, чтобы он был не больше чем «в ближайшие год-два». На более долгийсрок большинство респондентов могут ответить только по ограниченному числувопросов.
Три принципа формулирования вопросов и ответов1. Избегайте терминов и сложных словОднажды мы делали исследование по коммуникациям благотворительного фонда, исамым важным и неожиданным результатом оказалось то, что половина их аудиториине знали значения слова «паллиативный», которым фонд пользовался во всех своихпубликациях без разъяснений. Когда стали заменять его на понятные синонимы илидобавлять поясняющие сноски, эффект коммуникаций резко вырос.
Аналогично и с анкетами. Любой заказчик исследования мыслит в рамках своейотрасли, живет в мире привычных терминов (иногда иностранного происхождения) иаббревиатур, он погружен в тему лучше среднего потребителя своего товара.
Вашу анкету должен хорошо понимать наименее продвинутый из попадающих в вашуаудиторию. Поэтому не стесняйтесь использовать простые синонимы, а кнеобходимым терминам добавлять пояснения или иллюстрации.
Несколько примеров слов, непонятных для массового опроса по максимально широкойаудитории: ПЭТ-упаковки, реструктуризация кредита, билборд, MBA, GPT, СПГ.2. Избегайте вопросов с социально одобряемыми ответами.
«Важно ли для вас мнение вашей семьи?»
«Есть ли у вас вредные привычки?»«Украдете ли вы жвачку измагазина, если там не будет камер?»
Все эти вопросы могут применяться в личностных и психологических тестах, нов маркетинговых исследованиях от них нет пользы — невозможно надежновычислить, какой процент ответов дан под влиянием социальной нормы. Однакоснизить эффект социального давления можно переформулированием вопроса.
Например, если мы хотим выяснить, в какой степени люди ориентируются намнение семьи при выборе интересующего нас товара, то можно спросить так: «Ккому вы скорее всего прислушаетесь при покупке … ?» И предложить вариантыответа (семья, друзья, продавцы, эксперты и т. д.), ограничив число ответовкаждого респондента одним-двумя. На выходе вы увидите рейтинг всех возможныхответов, и там уже совершенно необязательно члены семьи будут на первомместе. 
Если же нам надо узнать о привычках человека, не стоит называть их«вредными». Лучше предложить респонденту список, где есть и вредные, инейтральные, и полезные привычки и попросить выбрать то, что для негоактуально, — так доля полностью честных ответов повысится.3. Избегайте наводящих, оценивающих и эмоциональных формулировок«Хотели бы вы воспользоваться этим выгоднымпредложением?»«Почему вы не купите этот недорогой йогурт?»
Заказчики обычно вовлечены в свой продукт и рынок и могут даже неосознаннонастаивать на использовании окрашенных формулировок, например, потому что имочевидно, что предложение выгодное. Но важно помнить, что для корректногорезультата анкеты должны быть максимально нейтральными, чтобы на респондента невлияло ничего, кроме его собственного мнения. Схожая проблема бывает не только с вопросами, но и с ответами:Как вы оцениваете экологическую обстановку в вашем городе?

Ужасная
Плохая
Посредственная
Приемлемая
Нормальная

Такая асимметричная эмоционально окрашенная шкала уже задает конкретнуюрамку и смещает результаты.
Во-первых, человеку, который считает, что экологическая обстановка оченьхорошая, просто нечего ответить — такого важно избегать. Если у вас вопросс вариантами ответа, то каждый должен всегда находить там свойвариант.  
Во-вторых, даже те, кто недоволен, воспринимают такую шкалу как подсказку состороны составителей опроса. Они будут считать, что от них ждут максимальнонегативной оценки, а не просто искренней.***
Подводя итог, напомним, что в опросах НЕ стоит:

Спрашивать то, что люди наверняка не помнят.
Заставлять людей считать.
Спрашивать про неопределенное или далекое будущее.
Использовать термины и сложные слова.
Задавать вопросы с социально одобряемыми ответами.
Использовать наводящие, оценивающие и эмоциональные формулировки.

Это далеко не все правила, которые рождаются из опыта работы с опросами, нодаже ограниченный набор поможет понять, на что важно обращать внимание приподготовке исследований.