설문조사의 목적은 응답자의 솔직하고 객관적인 의견을 듣는 것입니다. 하지만 질문을 만드는 과정에서 조사자의 의도나 편견이 은연중에 반영되어 특정 답변을 유도하게 되는 경우가 종종 발생합니다. 이러한 편향된 질문(Biased Question)은 응답자의 진실된 생각을 왜곡시켜 데이터의 신뢰성을 심각하게 훼손하며, 결국 잘못된 비즈니스 결정으로 이어질 수 있는 위험을 초래합니다. 예를 들어, 이라크 전쟁에 대한 여론조사에서 "미군 수천 명의 사상자가 발생할 수 있다"는 조건을 추가했을 때 군사 행동 찬성률이 68%에서 43%로 급감한 사례는 질문의 작은 차이가 응답에 얼마나 큰 영향을 미치는지 극명하게 보여줍니다.7 마케터가 편향된 질문으로 신제품 컨셉에 대한 긍정적 응답만 유도한다면, 실제 시장 반응과 동떨어진 제품 출시라는 값비싼 대가를 치를 수도 있습니다.
다음은 마케터들이 설문 작성 시 흔히 저지르는 주요 편향 유발 질문 유형과 그 해결책입니다. 다양한 좋은 예와 나쁜 예를 통해 명확히 이해하고, 설문 질문의 질을 한 단계 높여보시기 바랍니다.
1. 유도 질문 (Leading Question)
- 나쁜 질문 예시: "저희의 혁신적이고 뛰어난 신제품 디자인에 얼마나 만족하셨습니까?"
- 문제점 분석: '혁신적이고 뛰어난'과 같은 긍정적 수식어가 이미 제품에 대한 긍정적 평가를 전제하고 있어, 응답자가 객관적인 평가를 하기 어렵게 만듭니다. 응답자는 부정적인 의견을 표현하기 부담스러워할 수 있습니다.
- 좋은 질문 예시: "저희 신제품의 디자인에 대해 어떻게 생각하십니까?" 또는 "저희 신제품 디자인에 대한 귀하의 만족도를 평가해주십시오."
- 핵심 개선 포인트: 중립적이고 객관적인 단어를 사용하여 응답자가 자신의 의견을 자유롭게 표현할 수 있도록 합니다. 감정을 자극하거나 특정 방향을 암시하는 표현을 피합니다.
- 핵심 개선 포인트: 중립적이고 객관적인 단어를 사용하여 응답자가 자신의 의견을 자유롭게 표현할 수 있도록 합니다. 감정을 자극하거나 특정 방향을 암시하는 표현을 피합니다.
- 나쁜 질문 예시: "대부분의 전문가들은 OOO 정책이 효과적이라고 평가하는데, 귀하의 생각은 어떠십니까?"
- 문제점 분석: '전문가의 의견을 제시하며 은연중에 특정 답변(정책이 효과적이다)을 유도하고 있습니다. 응답자는 다수의 의견에 동조해야 한다는 압박감을 느낄 수 있습니다.
- 좋은 질문 예시: "OOO 정책의 효과에 대해 어떻게 생각하십니까?"
- 핵심 개선 포인트: 외부의 의견이나 권위를 빌려 특정 답변을 암시하지 않고, 응답자 자신의 순수한 생각을 묻습니다.
2. 가정 질문 (Assumptive/Loaded Question)
- 나쁜 질문 예시: "귀하의 자녀가 가장 좋아하는 저희 회사 장난감은 무엇입니까?"
- 문제점 분석: '응답자가 자녀가 있고, 그 자녀가 저희 회사 장난감을 좋아한다고 가정하고 있습니다. 자녀가 없거나, 저희 회사 장난감을 좋아하지 않는 응답자는 답변하기 곤란합니다.
- 좋은 질문 예시: (1단계) "자녀가 있으십니까? (예/아니오)" (2단계, '예' 응답자 대상) "자녀가 저희 회사 장난감을 가지고 놉니까? (예/아니오)" (3단계, '예' 응답자 대상) "자녀가 가장 좋아하는 저희 회사 장난감이 있다면 무엇입니까?"
- 핵심 개선 포인트: 응답자의 상황이나 경험에 대해 단정하지 않고, 필요한 경우 사전 질문을 통해 해당 여부를 확인한 후 다음 질문으로 연결합니다. '해당 없음' 선택지를 제공하는 것도 방법입니다.
- 핵심 개선 포인트: 응답자의 상황이나 경험에 대해 단정하지 않고, 필요한 경우 사전 질문을 통해 해당 여부를 확인한 후 다음 질문으로 연결합니다. '해당 없음' 선택지를 제공하는 것도 방법입니다.
- 나쁜 질문 예시: "주말에 주로 어떤 OTT 서비스를 통해 영화를 시청하십니까?"
- 문제점 분석: '응답자가 주말에 OTT 서비스를 이용하고, 영화를 시청한다고 가정하고 있습니다.
- 좋은 질문 예시: "주말에 영화를 시청하신다면, 주로 어떤 방법을 이용하십니까? (복수 응답 가능)" (선택지: OTT 서비스, 케이블 TV, IPTV, 영화관, 기타 등)
- 핵심 개선 포인트: 응답자의 행동이나 상태를 가정하지 않고, 일반적인 질문으로 시작하거나 다양한 선택지를 제공하여 모든 응답자가 답변할 수 있도록 합니다.
3. 이중 질문 (Double-Barreled Question)
- 나쁜 질문 예시: "저희 웹사이트의 정보 검색 기능과 디자인의 사용 편의성에 얼마나 만족하십니까?"
- 문제점 분석: 정보 검색 기능과 디자인 사용 편의성이라는 두 가지 다른 측면을 하나의 질문으로 묻고 있어, 응답자가 어떤 부분에 대해 답해야 할지 혼란스러울 수 있습니다. 긍정/부정 답변 시 어느 부분에 대한 평가인지 알 수 없습니다.
- 좋은 질문 예시: (질문 1) "저희 웹사이트의 정보 검색 기능 사용 편의성에 얼마나 만족하십니까?" (질문 2) "저희 웹사이트의 디자인 사용 편의성에 얼마나 만족하십니까?"
- 핵심 개선 포인트: 하나의 질문에는 반드시 하나의 내용만 포함하도록 합니다. 두 가지 이상을 묻고 싶다면 질문을 분리합니다. '그리고', '또는' 등의 접속사가 있는지 확인합니다.
- 핵심 개선 포인트: 하나의 질문에는 반드시 하나의 내용만 포함하도록 합니다. 두 가지 이상을 묻고 싶다면 질문을 분리합니다. '그리고', '또는' 등의 접속사가 있는지 확인합니다.
- 나쁜 질문 예시: "제품의 가격 대비 성능과 A/S 만족도는 어떠셨습니까?"
- 문제점 분석: 가격 대비 성능(가성비)과 A/S 만족도라는 별개의 두 가지 주제를 동시에 묻고 있습니다.
- 좋은 질문 예시: (질문 1) "저희 제품의 가격 대비 성능에 대해 어떻게 평가하십니까?" (질문 2) "저희 제품의 A/S(애프터서비스)에 얼마나 만족하셨습니까?"
- 핵심 개선 포인트: 각기 다른 평가 기준이 필요한 항목은 반드시 분리하여 질문합니다.
4. 절대적 표현 사용 질문 (Questions with Absolutes)
- 나쁜 질문 예시: "귀하는 항상 대중교통 이용 시 마스크를 착용하십니까?"
- 문제점 분석: '항상'이라는 절대적인 표현은 응답자가 극단적인 답변(예/아니오)을 하도록 강요합니다. 대부분의 사람은 '항상' 그렇다고 답하기 어려워 '아니오'를 선택하게 되어 실제 행동 패턴을 왜곡할 수 있습니다.
- 좋은 질문 예시: "대중교통 이용 시 마스크를 얼마나 자주 착용하십니까?" (선택지: 항상 착용한다, 대부분 착용한다, 가끔 착용한다, 거의 착용하지 않는다, 전혀 착용하지 않는다)
- 핵심 개선 포인트: '항상', '절대', '모든', '전혀' 등의 극단적인 단어 사용을 피하고, 빈도나 정도를 나타내는 다양한 선택지를 제공하여 응답자가 자신의 상황에 맞게 답변할 수 있도록 합니다.
- 핵심 개선 포인트: '항상', '절대', '모든', '전혀' 등의 극단적인 단어 사용을 피하고, 빈도나 정도를 나타내는 다양한 선택지를 제공하여 응답자가 자신의 상황에 맞게 답변할 수 있도록 합니다.
- 나쁜 질문 예시: "저희 제품에 대해 전혀 불만이 없으십니까?"
- 문제점 분석: ''전혀'라는 표현은 응답자가 사소한 불만이라도 있다면 '아니오'(불만이 있다)라고 답하게 만들어, 실제보다 부정적인 결과로 이어질 수 있습니다.
- 좋은 질문 예시: "저희 제품 사용 경험에 대해 전반적으로 얼마나 만족하십니까?" (만족도 척도 제시 후) "혹시 저희 제품 사용 중 불편하셨던 점이나 개선을 바라는 점이 있다면 말씀해주십시오."
- 핵심 개선 포인트: 극단적인 표현 대신 중립적인 질문과 개방형 질문을 조합하여 구체적인 의견을 수렴합니다.
5. 답변 보기의 편향 (Biased Answer Choices)
- 나쁜 질문 예시: "저희 신규 서비스에 대한 기대감을 선택해주세요. (① 매우 기대됨 ② 기대됨 ③ 조금 기대됨)"
- 문제점 분석: 답변 선택지가 모두 긍정적인 방향으로 치우쳐 있어, 부정적이거나 중립적인 의견을 가진 응답자는 자신의 생각을 정확하게 표현할 수 없습니다. 결과적으로 긍정 편향된 데이터가 수집됩니다.
- 좋은 질문 예시: "저희 신규 서비스에 대한 기대감을 선택해주세요. (① 매우 기대됨 ② 어느 정도 기대됨 ③ 보통이다 ④ 별로 기대되지 않음 ⑤ 전혀 기대되지 않음)"
- 핵심 개선 포인트: 긍정적, 중립적, 부정적 의견을 모두 포함하는 균형 잡힌 답변 선택지를 제공해야 합니다. '기타' 또는 '의견 없음'과 같은 선택지를 포함하는 것도 고려할 수 있습니다.
- 핵심 개선 포인트: 긍정적, 중립적, 부정적 의견을 모두 포함하는 균형 잡힌 답변 선택지를 제공해야 합니다. '기타' 또는 '의견 없음'과 같은 선택지를 포함하는 것도 고려할 수 있습니다.
- 나쁜 질문 예시: "하루 평균 스마트폰 사용 시간은 어떻게 되십니까? (A. 1시간 미만 B. 1시간~2시간 C. 2시간~3시간)"
- 문제점 분석: B와 C 선택지에서 '2시간'이 중복되어, 하루 2시간 사용하는 응답자는 어떤 것을 선택해야 할지 혼란스럽습니다. 또한, 3시간 이상 사용하는 사람은 선택할 보기가 없습니다.
- 좋은 질문 예시: "하루 평균 스마트폰 사용 시간은 어떻게 되십니까? (A. 1시간 미만 B. 1시간 이상 ~ 2시간 미만 C. 2시간 이상 ~ 3시간 미만 D. 3시간 이상 ~ 4시간 미만 E. 4시간 이상)"
- 핵심 개선 포인트: 답변 선택지는 상호 배타적(mutually exclusive)이고 포괄적(collectively exhaustive)이어야 합니다. 즉, 하나의 응답은 하나의 보기에만 해당되어야 하며, 모든 가능한 응답을 포함해야 합니다.
편향된 질문은 설문조사의 가장 큰 적입니다. 조사자는 항상 자신의 질문이 응답자에게 어떤 영향을 미칠지 세심하게 검토하고, 최대한 중립적이고 객관적인 질문을 만들기 위해 노력해야 합니다. 설문지를 작성한 후 동료나 주변 사람들에게 미리 보여주고 피드백을 받는 것도 편향을 줄이는 좋은 방법입니다.