여러 브랜드를 측정할 때마다 같은 질문을 받았습니다

여러 브랜드의 GEO 측정을 진행하면서 고객에게 가장 자주 받은 질문이 있습니다.

"이 질문들이 실제 소비자를 대표하나요?"

당연한 질문입니다. AI에서 우리 브랜드가 얼마나 자주 언급되는지 알려면 먼저 AI에게 무언가를 물어야 합니다. 그런데 무엇을 묻느냐에 따라 브랜드 언급률과 경쟁사 순위가 달라질 수 있습니다.

고객이 질문을 만들어줄 수도 있습니다. 고객은 자기 제품과 시장을 잘 알고 있고, 상담이나 영업 현장에서 반복되는 질문도 알고 있습니다. 저희가 브랜드와 시장을 공부한 뒤 질문을 만들 수도 있습니다. AI에게 소비자가 물을 법한 질문을 만들어달라고 할 수도 있습니다.

세 방법 모두 질문을 만드는 데 도움이 됩니다. 하지만 어느 방법도 그 질문이 실제 소비자의 질문을 대표한다고 증명해주지는 못합니다.

소비자가 AI에게 무엇을 많이 묻는지는 공개되지 않습니다

검색광고에서는 사람들이 어떤 키워드를 얼마나 검색했는지 확인할 수 있습니다. 반면 GPT나 Gemini에서는 소비자가 어떤 질문을 얼마나 많이 입력하는지 공개하지 않습니다. 업종별 질문의 종류나 구매 단계별 비중도 알 수 없습니다.

이것이 GEO 질문 설계의 출발점이자 가장 큰 한계입니다.

고객이 만든 질문에는 회사가 답하고 싶은 내용이 반영될 수 있습니다. 저희가 만든 질문에는 담당자가 중요하다고 판단한 내용이 들어갈 수 있습니다. AI가 만든 질문은 실제 행동 데이터가 아니라, AI가 '소비자가 물을 법하다'고 추정한 문장입니다.

결국 누구도 "이것이 실제 AI 사용자의 전체 질문"이라고 말할 수 없습니다. 저희도 그렇게 말하지 않습니다.

볼 수 없는 소비자의 AI 질문에 어떻게 최대한 가까이 갈 것인가?

질문을 상상하기보다 소비자의 흔적을 모았습니다

저희가 선택한 방법은 질문을 곧바로 만들어내는 것이 아니었습니다. 먼저 외부에서 관찰할 수 있는 소비자의 흔적을 모으는 일이었습니다.

사람들이 무엇을 찾는지, 어떤 문제를 반복해서 이야기하는지, 제품을 고를 때 무엇을 비교하는지 확인했습니다. 검색 행동과 실제 상담, 후기와 커뮤니티처럼 서로 성격이 다른 소비자 신호를 함께 봤습니다.

이 데이터는 소비자가 AI에 입력한 질문 원문은 아닙니다. 검색창에 쓰는 짧은 표현과 AI에게 설명하는 긴 질문은 다를 수 있습니다. 그래도 소비자가 어떤 문제에 관심을 가지고 어떤 말로 표현하는지는 보여줍니다.

모은 데이터를 살펴보면 비슷한 고민이 반복해서 나타납니다. 저희는 그 문제들을 분류하고, 어떤 질문이 일시적인 관심인지, 어떤 질문이 여러 소비자에게 반복되는지 확인합니다. 그다음에야 측정에 사용할 질문 후보를 만듭니다.

내부의 세부 분류 기준이나 가중치까지 공개할 필요는 없다고 생각합니다. 다만 고객에게는 각 질문이 담당자의 감이 아니라 어떤 소비자 문제에서 출발했는지 설명할 수 있어야 합니다.

같은 제품을 묻는 소비자도 모두 같은 상태는 아닙니다

질문의 빈도만으로는 소비자를 충분히 설명할 수 없습니다. 같은 제품을 알아보는 사람도 제품에 대한 관여와 이해 수준이 다르기 때문입니다.

처음 카테고리를 알아보는 사람과 여러 제품을 비교하는 사람, 구매를 앞두고 마지막 조건을 확인하는 사람은 서로 다른 질문을 합니다. 앞 단계의 소비자는 "어떤 종류가 있는지"부터 묻지만, 관여가 높아질수록 사용 조건과 차이, 선택 기준을 구체적으로 설명합니다.

그래서 질문을 소비자 퍼널에 맞춰 구성했습니다. 단순히 질문을 보기 좋게 나누기 위한 분류가 아닙니다. 제품에 대한 관여 수준이 다른 소비자들이 측정에서 빠지지 않게 하기 위한 장치입니다.

질문의 문장도 짧은 검색어로만 만들지 않습니다. GPT나 Gemini가 실제 사용 상황을 보여주는 방식처럼, 소비자의 맥락과 문제가 담긴 세 가지 상황형 질문으로 구성합니다. 그 상황과 문제 역시 저희가 상상해서 붙이는 것이 아니라, 앞서 모은 소비자 데이터에서 근거를 찾습니다.

기초 질문에서는 특정 브랜드를 빼놓습니다

질문에 특정 브랜드명을 넣으면 AI는 그 브랜드를 답변에서 다시 언급할 가능성이 높아집니다. 그러면 AI가 자연스럽게 브랜드를 떠올린 것인지, 질문에 이미 이름이 있었기 때문에 반복한 것인지 구분하기 어렵습니다.

그래서 기본 노출을 확인하는 기초 질문에서는 특정 브랜드를 제외합니다. 브랜드를 미리 알려주지 않은 상태에서 AI가 어떤 브랜드를 스스로 언급하고 추천하는지 보기 위해서입니다.

물론 모든 조사에서 브랜드 질문을 금지한다는 뜻은 아닙니다. 특정 브랜드에 대한 평가나 비교가 목적이라면 브랜드를 포함한 별도 질문이 필요할 수 있습니다. 중요한 것은 브랜드가 없는 기초 측정과 브랜드를 전제로 한 조사를 섞지 않는 것입니다.

질문의 목적이 다르면 결과를 해석하는 방식도 달라져야 합니다.

질문은 고객과 근거를 보며 확정합니다

데이터를 바탕으로 만든 기초 질문안이 곧 최종안은 아닙니다. 다음 단계는 고객과의 협의입니다.

고객은 실제 상담과 영업 과정에서 저희가 데이터만으로 알기 어려운 정보를 가지고 있습니다. 특정 퍼널 단계가 사업상 더 중요할 수도 있고, 새롭게 확인하고 싶은 소비자 문제가 있을 수도 있습니다.

이때 고객이 원하는 질문을 그대로 추가하지는 않습니다. 관련 소비자 신호가 있는지 다시 확인하고, 왜 이 질문을 넣어야 하는지 근거를 함께 봅니다. 퍼널의 비중을 바꾸면 측정 결과가 어떻게 달라질 수 있는지도 설명합니다. 그 과정을 거쳐 고객과 합의한 뒤 최종 질문을 만듭니다.

즉, 크림웍스가 일방적으로 질문을 정하는 것도 아니고, 고객이 원하는 문장을 그대로 측정에 넣는 것도 아닙니다.

소비자 데이터로 기초안을 만들고, 고객의 현장 지식을 더한 뒤, 결과에 미칠 영향을 확인하고 합의합니다.

질문 구성이 결론을 바꾼 적도 있습니다

이 과정을 계속 다듬게 된 데에는 실제 경험이 있었습니다.

한 프로젝트에서 저희는 특정 성능이 해당 브랜드만의 강한 연상이라고 판단했습니다. 브랜드가 언급된 답변에서 그 성능 표현이 10.1%포인트 더 많이 나왔고, 통계 검정도 통과했습니다. 처음 결과를 봤을 때는 리포트에 넣어도 되겠다고 생각했습니다.

그런데 발행 전에 질문별 결과를 다시 펼쳐보니 특정 질문에서 차이가 유난히 크게 벌어지고 있었습니다. 질문 구성을 맞춰 다시 계산하자 10.1%포인트였던 차이는 3.5%포인트로 줄었습니다. 다른 성능 항목은 방향 자체가 반대로 바뀌었습니다.

브랜드의 힘이라고 생각했던 차이 상당 부분이 질문 구성에서 만들어진 것이었습니다. 계산은 맞았지만, 그 숫자로 한 해석이 틀렸습니다. 결국 기존 결론을 거둬들였습니다.

그 일을 겪고 질문 수집과 분류 프로그램을 계속 조정했습니다. 질문이 그럴듯한지만 확인하는 것이 아니라, 어떤 소비자 문제에서 시작됐는지, 퍼널이 한쪽으로 치우치지 않았는지, 특정 브랜드나 결론을 미리 유도하지 않는지 확인하는 방향으로 바꿨습니다.

완벽한 대표성을 주장하지는 않습니다

이 과정을 거친 질문도 실제 AI 사용자의 질문을 완벽하게 복제한다고 말할 수는 없습니다. AI 플랫폼이 실제 질문의 전체 분포를 공개하지 않는 한, 완벽한 대표성을 증명할 방법은 없습니다.

대신 저희는 알 수 없는 영역을 상상으로 채우지 않으려고 합니다. 관찰 가능한 소비자 신호를 모으고, 반복되는 문제를 분류하고, 관여 수준이 다른 소비자를 퍼널별로 반영합니다. 특정 브랜드가 답을 유도하지 않게 기초 질문을 만들고, 고객의 현장 지식도 근거와 함께 반영합니다.

소비자의 실제 AI 질문을 직접 볼 수 없다면, 가장 가까운 소비자 신호를 모으고 편향을 줄여가는 수밖에 없습니다. 저희는 그것이 현재 AI 플랫폼이 공개하지 않는 소비자의 질문에 가장 정직하게 접근하는 방법이라고 판단했습니다.

정답 질문을 가지고 있다고 주장하는 대신, 보이지 않는 질문에 최대한 가까이 가는 과정을 설명하는 것. 그것이 크림웍스가 선택한 GEO 질문 설계 방식입니다.