자가 진단으로 보이지 않는 세 가지

1. 3주 동안 숫자가 올랐다

프로바이오틱스 브랜드 드시모네의 AI 노출을 매주 재고 있었다. 1.2% → 1.5% → 2.7%. 세 번 재는 동안 두 배 넘게 올랐다.

3라운드에서 우리도 효과가 나타났다고 봤다. 데이터는 깨끗했고, 세 번 연속 같은 방향이었고, 마침 작업을 시작한 시점과도 맞아떨어졌다. 다음 라운드에서도 오를 거라고 봤다.

4라운드에서 1.3%가 나왔다. 3주 전 출발점이다.

올라간 게 아니었다. 흔들린 거였다.

5편까지 오면서 두 게임의 작업법은 정리됐다. citation(인용, AI가 답하면서 출처 링크로 우리를 다는 것)이 약하면 우리 사이트 안에서, mention(멘션, 출처 링크 없이 AI가 우리 이름만 답에 적는 것)이 약하면 사이트 밖에서. 그런데 아직 안 짚은 게 하나 남았다. 우리가 직접 잰 그 숫자, 얼마나 믿을 수 있나.

이번 편은 자가 진단으로 안 보이는 세 가지다. 숫자가 흔들린다는 것, 어떤 질문을 골랐느냐가 숫자를 만든다는 것, AI 봇이 실제로 왔는지는 화면에 안 나온다는 것.

일반론이 아니다. 우리가 직접 측정한 결과를 가지고 말하겠다.

측정 조건은 이렇다. 라운드당 쿼리 1,000개씩, 4라운드를 돌렸다(2026년 5월 22일~6월 12일, 주 1회). 답변 4,000개다. 자체 측정 도구를 썼다. 브랜드명 공개는 동의를 받았고, 함께 등장한 경쟁 브랜드는 A사·B사로 쓴다. 4라운드 내내 노출은 사실상 Gemini 한 곳에서만 나와서, 아래 숫자는 그 기준이다.

2. 한계 1 — 한 번 잰 숫자는 그날 숫자일 뿐이다

라운드별 mention율이다.

먼저 이 숫자가 무슨 뜻인지부터. mention율 1.2%는 쿼리 100개를 던졌을 때 한 번 남짓 브랜드 이름이 나온다는 뜻이다. 원래 낮은 자리에서 오르내린 것이다.

몸무게를 생각하면 쉽다. 아침저녁으로 1kg씩 오르내린다. 어느 날 아침 숫자 하나 보고 "살쪘다"고 하지 않는다. 며칠은 재봐야 방향이 보인다.

AI 노출도 똑같다. 다른 점이 하나 있다면, 이쪽은 여러 번 재본 사람이 거의 없다는 것이다.

자가 진단은 보통 한 번 돌리고 끝난다. 문제는 그 한 번이 1라운드 자리인지 3라운드 자리인지 알 방법이 없다는 것이다. 2편에서 "최소 3~5라운드"라고 쓴 이유가 이거다. 여기 데이터는 그것도 모자랄 수 있다고 말한다.

왜 흔들리나

세 가지가 겹친다.

첫째, AI는 같은 질문에 매번 같은 문장을 만들지 않는다. 답을 미리 적어두고 꺼내는 게 아니라 그때그때 조립한다.

둘째, 검색을 하는 답변은 그날 웹에서 무엇을 찾았느냐에 따라 달라진다. 셋째, 모델이 조용히 바뀐다. 공지 없이 업데이트되는 경우가 대부분이다.

2편에서 이걸 "어제 나왔는데 오늘은 없다"로 다뤘다. 답변 하나가 달라지는 이야기였다. 여기서 보이는 건 한 층 위다. 답변 4,000개를 평균 낸 숫자도 같이 흔들린다.

3. 한계 2 — 어떤 질문을 골랐느냐가 숫자를 만든다

왜 이렇게 흔들렸는지는 쿼리별로 뜯어보면 나온다.

쿼리 1,000개 중 브랜드가 등장한 곳은 사실상 두 개 질문 묶음(Q7·Q9)뿐이었다. 나머지는 거의 0이다.

노출이 두 군데에만 몰려 있으면, 그 두 군데가 그날 잘 나왔느냐 아니냐로 전체 숫자가 출렁인다. 3라운드의 2.7%가 그거였다. 브랜드가 넓게 퍼진 게 아니라, 그 두 묶음이 그날 잘 나온 것뿐이다.

이게 자가 진단에서는 이렇게 나타난다. 쿼리 20개를 만든다고 하자.

• Q7·Q9 같은 질문이 그 20개에 들어가면 → 실제보다 높게 나온다
• 안 들어가면 → 0%가 나온다

같은 브랜드, 같은 날인데 숫자가 완전히 다르다. 브랜드가 달라진 게 아니라 질문지를 다르게 만든 것뿐이다.

같은 데이터에서 하나 더 보였다. 질문을 고객 여정 단계로 나눠봤다. 알아보는 단계, 비교하는 단계, 사는 단계. 비교하는 단계 질문에서는 4라운드 내내 노출이 0%였다.

반대로 노출이 되기만 하면 답변에서 첫 번째로 언급되는 비율이 4라운드 기준 77%였다.

나오면 잘 나오는데, 나올 자리가 거의 없다. 이 두 숫자를 붙여놔야 상태가 보인다. 그런데 쿼리 20개로는 "어디가 비었는지"가 안 보인다. 빈 곳을 찾으려면 그 자리를 덮을 만큼 질문이 있어야 한다.

오해 없게 덧붙인다. 쿼리 20개짜리 측정이 쓸모없다는 얘기가 아니다. 20개로도 "우리 브랜드가 이 바닥 대화에 거의 없다"는 건 확인된다. 그것만 해도 큰 발견이고, 대부분의 브랜드는 아직 그 확인조차 안 해봤다.

다만 그 20개에서 나온 15%와 0%를 성적표로 읽으면 안 된다. 방향을 잡는 데 쓰면 유용하다.

4. 한계 3 — 왔는데 화면에 안 적히는 경우가 있다

세 번째가 제일 안 보인다.

4라운드 내내 답변 화면에 우리 링크가 붙은 건 0건이었다. 화면만 보고 적으면 citation 0%다. 2편에서 다룬 방법대로 해도 정확히 이 숫자가 나온다.

그런데 답변 뒤에 남는 기록을 되짚어보니, AI가 우리 도메인을 참조한 흔적이 6건 있었다.

AI는 답을 만들 때 웹 문서를 여러 개 읽는다. 그중 화면에 출처로 붙이는 건 일부다. 나머지는 읽고도 안 적는다.

가게로 치면 손님이 들어와서 물건을 다 구경하고 갔는데 방명록에는 이름이 없는 것이다. 화면이 방명록이고, 우리가 되짚은 건 그 뒤에 남은 출입 기록이다. 업계에서는 이 기록을 grounding이라고 부른다.

이 차이가 실무에서 뜻하는 건 하나다. "citation 0"이 나왔을 때, 봇이 안 온 건지 왔는데 표시가 안 된 건지 화면으로는 구분이 안 된다. 두 상황의 처방은 정반대다.

안 온 거라면 3편에서 다룬 입구 문제다. robots.txt부터 열어봐야 한다. 왔는데 표시가 안 된 거라면 입구는 이미 열려 있다. 손댈 곳은 콘텐츠 구조 쪽이고, 4편에서 다룬 영역이다.

입구가 열려 있는데 입구를 붙잡고 몇 주를 쓰면, 그 몇 주는 그냥 날아간다.

3편에서 "봇이 실제로 들어왔는지는 서버 로그가 있어야 안다"고 선을 그었다. 이유가 이거다. 열심히 안 봐서 안 보이는 게 아니다. 화면 앞에 앉아서는 볼 수 없는 자리에 있다.

5. 그래서 자가 진단은 어디까지 쓸 수 있나

한계를 셋 늘어놨지만, 자가 진단을 하지 말라는 얘기가 아니다. 우리도 클라이언트 진단의 첫 단추는 2편에서 소개한 것과 같은 방식이다. 다만 그 숫자로 무엇을 말할 수 있는지는 알고 써야 한다.

정리하면 자가 진단은 방향을 보는 도구다. "어느 게임이 약한가"까지는 직접 알 수 있다. "얼마나 약한가", "지난달보다 나아졌나", "경쟁사보다 앞서나"는 다른 도구가 필요한 질문이다.

우리가 이걸 아는 이유는 간단하다. 4주차를 돌렸기 때문이다. 3주에서 멈췄으면 우리도 틀린 보고서를 냈다.

경계는 보통 이 세 순간에 드러난다. 작업 전후를 비교해야 할 때. 경쟁 브랜드와 나란히 놓고 봐야 할 때. 그리고 이 숫자로 예산을 움직여야 할 때.

앞의 표를 다시 보면 이유가 분명하다. "1.2에서 2.7로 올랐다"는 보고서와 "4주 뒤 1.3"이라는 보고서가 같은 브랜드, 같은 기간에서 나온다. 어느 쪽을 들고 회의에 들어가느냐로 결정이 갈린다.

하나 덧붙인다. 4라운드 동안 부정적인 맥락의 언급은 0건이었다. 좋은 소식이다. 동시에 노출 자체가 드물어서 나온 숫자이기도 하다.

숫자 하나만 떼어내서 보면 늘 이런 식으로 잘못 읽힌다. 도구를 바꿔도 이건 남는 문제다.

6. 한계를 알았다면, 그다음은

여기까지가 자가 진단으로 갈 수 있는 데까지다. 숫자가 흔들린다는 것도 알았고, 질문지가 그 숫자를 만든다는 것도 알았고, 화면 밖에 안 보이는 자리가 있다는 것도 알았다.

그럼 이제 뭘 해야 하나. 한계를 안다는 건 손을 놓으라는 뜻이 아니다. 어디까지는 직접 하고, 어디부터는 다른 방법이 필요한지 선을 그으라는 뜻이다. 그 선을 긋는 게 의사결정이다.

다음 편(7편, 7월 31일)은 시즌 1의 마지막이다. 이 한계를 알고 있는 상태에서 무엇을 결정해야 하는가 — 두 게임 자가 진단 워크북, 의사결정자가 물어야 할 7가지 질문, 그리고 시즌 2 예고.

이 글의 한 줄

자가 진단으로는 세 가지가 안 보인다. 한 번 잰 숫자가 흔들린다는 것, 어떤 질문을 골랐느냐가 그 숫자를 만든다는 것, 봇이 실제로 왔는지는 화면 밖에 있다는 것. 자가 진단은 방향을 보는 도구지 재는 도구가 아니다.

참고 자료

• 크림웍스. (2026). 드시모네 GEO 추이 분석. 자체 측정 도구 수집 데이터 (라운드당 쿼리 1,000개 × 4라운드 = 답변 4,000개, 2026.05.22~06.12). 브랜드명 공개는 사전 동의를 받음.