미쉐린의 언급이 0건으로 나왔습니다

지난 글에서는 AI에게 무엇을 물을지를 이야기했습니다. 이번에는 답변을 받은 뒤의 일, 브랜드가 몇 번 나왔는지 세는 이야기입니다.

한 타이어 브랜드의 경쟁 분석 중이었습니다. AI 답변을 모아 주는 외부 측정 도구의 결과표에서 경쟁 브랜드 미쉐린의 언급은 0건이었습니다. 이 숫자를 믿으면 AI가 미쉐린을 전혀 말하지 않는다는 뜻입니다.

저희는 그 숫자를 그대로 받아 쓰지 않고, AI 답변 원문을 처음부터 다시 읽어 세었습니다. 결과는 942건이었습니다.

원인은 이름 표기였습니다. 측정 도구에는 "미쉐린타이어"로 등록돼 있었는데, AI는 "미쉐린"이라는 짧은 이름으로 말하는 경우가 많았습니다. 도구는 등록된 이름과 글자가 똑같은 경우만 센 것입니다. 사람에게는 같은 이름인데, 컴퓨터에게는 다른 단어였습니다.

세는 일은 두 방향으로 틀립니다

이 일을 겪고 나서 저희는 집계가 두 방향으로 틀린다는 것을 알게 됐습니다.

적게 세는 경우입니다. 이름이 다르게 적혀서 빠집니다. 일부 AI는 나열할 때 앞말을 생략해 "법무법인 가, 나, 다, 라 등"처럼 쓰는데, "법무법인"은 맨 앞 이름 '가'에만 붙어 있습니다. 한 법률 분야의 순위표를 점검하다가, 이 때문에 저희 초기 집계에서 빠져 있던 언급을 발견했습니다. 그중 한 법무법인의 언급은 17건이 아니라 42건이었고, 순위는 6위가 아니라 1위였습니다.

영문 표기도 같은 문제를 만듭니다. 예를 들면 한글로 등록해 둔 브랜드를 AI가 답변에서 영문 "Michelin"으로 적으면, 사람에게는 같은 브랜드지만 글자가 다르니 집계에서 빠집니다. 한국어 답변에도 영문 이름이 섞여 나오기도 합니다.

많이 세는 경우입니다. 같은 글자가 다른 뜻으로 쓰입니다. 한 자동차 분석의 저희 초기 집계에서는 "현대적인 디자인"처럼 형용사로 쓰인 "현대적인"이 현대자동차의 언급으로 21건 잘못 세어져 있었습니다. 글자만 보면 "현대"가 들어 있지만, 문장의 뜻은 브랜드와 아무 관련이 없었습니다. 결과를 직접 대조하다 발견했고, 해당 건을 바로잡았습니다.

이름이 정확히 같아도 같은 대상이라는 보장은 없습니다. 예를 들면 생활용품 브랜드 '모아'를 조사하는데 답변에 "모아"가 나왔다고 가정해 보겠습니다. 문장을 읽어 보니 같은 이름의 소프트웨어 회사를 설명하고 있다면, 그 언급은 셀 수 없습니다.

적게 세는 실수와 많이 세는 실수는 동시에 일어납니다. 한쪽만 조심해서는 정확한 숫자가 나오지 않습니다.

이름 목록으로는 부족했습니다

처음에는 이름을 더 많이 등록하면 된다고 생각했습니다. 하지만 곧 한계가 보였습니다. 숫자가 틀리는 이유가 이름이 모자라서만은 아니었기 때문입니다.

어떤 표기들이 같은 브랜드를 가리키는지, 회사 이름이 나왔을 때 그 회사의 모든 브랜드가 언급된 것인지, 같은 이름이 어떤 분야에서는 경쟁사이고 어떤 분야에서는 집계에서 빼야 하는 대상인지. 이런 판단은 이름 목록이 아니라 브랜드에 대한 이해가 있어야 내릴 수 있었습니다.

그래서 저희는 브랜드 분류 체계를 만들었습니다. 브랜드마다 여러 표기를 하나로 묶고, 회사와 브랜드, 제품의 관계를 정리하고, 분야별로 경쟁사인지 집계에서 빼야 하는 대상인지를 구분합니다. 각 분류가 확인이 끝났는지, 아직 확인 중인지도 따로 표시합니다.

이 체계는 처음부터 있던 것이 아닙니다. 위와 같은 일을 겪으면서 필요해서 하나씩 만든 것입니다. 지금은 모든 분석이 같은 체계를 함께 사용합니다. 저희 분석 도구마다 다르게 세는 일이 없도록 하며, 발표한 숫자가 어떤 브랜드 명단으로 만들어졌는지도 나중에 확인할 수 있습니다.

구체적인 판정 기준은 계속 다듬어 온 저희의 노하우라 여기서는 원리까지만 소개합니다.

이번 편의 팁: '언급됨'과 '언급되지 않음' 답변을 함께 읽어 보세요

GEO 보고서를 받으면 이렇게 확인해 볼 수 있습니다. '언급됨'과 '언급되지 않음'으로 나뉜 답변을 각각 몇 개씩 골라, 원문에서 그 이름이 누구를 가리키는지 읽어 보는 것입니다.

언급된 답변에서는 같은 이름의 다른 대상이 섞이지 않았는지 봅니다. 언급되지 않은 답변에서는 줄임말이나 다른 표기로 우리 브랜드를 말하고 있지는 않은지 봅니다. 한쪽만 읽으면 놓치는 것이 생깁니다.

보고서에 어디까지를 하나의 대상으로 셌는지도 적혀 있어야 합니다. 브랜드 전체의 언급인지, 특정 제품의 언급인지에 따라 같은 숫자도 다르게 읽히기 때문입니다.

원문 몇 개를 읽었다고 전체 집계가 검증되는 것은 아닙니다. 그래도 숫자만 볼 때는 보이지 않던 기준의 빈틈을 찾을 수 있고, 그다음에 확인할 범위를 넓혀 갈 수 있습니다.

숫자를 설명할 수 있어야 합니다

깔끔하게 정리된 숫자일수록 어떻게 셌는지가 중요합니다. 언급률이 달라졌을 때 AI의 답변이 달라진 것인지, 세는 기준이 달라진 것인지 구분할 수 있어야 하기 때문입니다.

942건 사례에서도 AI가 브랜드를 말한 횟수는 그대로였고, 달라진 것은 세는 쪽이었습니다. 다음 글에서는 AI 답변 아래에 붙는 출처 링크, 그 링크가 무엇을 뒷받침하는지를 이야기합니다.