일본 웹 디자인 회사 자사 사이트의 AI 검색 대응도: 2,357개 사이트(2026년 11월)
일본 웹 디자인 회사 사이트 2,357곳의 홈페이지, robots.txt, llms.txt를 수집했습니다. 13.6%(321곳)가 llms.txt를, 68.9%(1,624곳)가 구조화 데이터(JSON-LD)를 갖추고 있었고, 1.3%(robots.txt가 있는 2,158곳 중 28곳)는 robots.txt에서 AI 봇을 하나 이상 차단하고 있었습니다.
2026-11-10 공개. 데이터 집계일 2026-11-05. 조사: Nurevo AEO(Bestie.合同会社). Nurevo는 AI 검색 최적화(AEO) 도구를 판매하고 있어 이 주제와 이해관계가 있습니다.
주요 결과
- 일본 웹 제작사 사이트의 13.6%(2,357곳 중 321곳)가 llms.txt를 갖추고 있으며, 0.6%(14곳)는 llms-full.txt도 있습니다.
- 1.3%(robots.txt가 있는 2,158곳 중 28곳)가 robots.txt에서 AI 봇을 하나 이상 차단합니다. AI 크롤러를 막는 곳은 거의 없습니다.
- 68.9%가 구조화 데이터(JSON-LD)를, 58.3%가 Organization 유형 노드를, 3.9%가 FAQPage를 갖추고 있습니다.
조사 개요
- 모집단: 웹 디자인 회사임을 확인할 수 있었던 일본 내 2,756개 회사의 자사 사이트. 모든 기업 사이트를 대표하는 표본이 아닙니다.
- 접속 성공: 2,357곳(85.5%)의 홈페이지를 가져올 수 있었습니다. 모든 결과는 이 2,357개 사이트를 기준으로 합니다.
- 수집 대상: 각 사이트의 홈페이지, /robots.txt, /llms.txt, /llms-full.txt를 각각 한 번씩(User-Agent: NurevoSurvey/1.0) 2026년 11월 초에 수집했고, 2026-11-05에 집계했습니다.
- 판정 방법: 구조화 데이터는 홈페이지의 JSON-LD를 파싱해 @type 값을 세어 판정했습니다(파싱되지 않는 JSON-LD는 오류로 집계). llms.txt는 상태 코드 200과 함께 20자를 넘는 HTML이 아닌 텍스트를 반환하면 있는 것으로 봤습니다. robots.txt는 해당 봇에 적용되는 그룹이 홈페이지(/)를 disallow하면 차단으로 보고, 가장 길게 일치하는 규칙을 적용했습니다.
- 같은 조사에서는 일본 외 제작사도 다뤘습니다(총 20,720개 사이트, 접속 성공 15,657개). 비교 결과는 별도 보고서로 공개할 예정입니다.
결과: 주요 항목
기본 SEO 설정(HTTPS, meta description, robots.txt, canonical)은 80~90% 이상의 사이트에서 갖춰져 있습니다. 반면 llms.txt나 FAQPage처럼 AI를 겨냥한 새로운 항목은 아직 소수입니다.
| 항목 | 사이트 수 | 비율 |
|---|---|---|
| HTTPS로 제공 | 2,355 / 2,357 | 99.9% |
| WordPress로 구축 | 2,166 / 2,357 | 91.9% |
| meta description 있음 | 2,139 / 2,357 | 90.8% |
| robots.txt 있음 | 2,158 / 2,357 | 91.6% |
| robots.txt에 Sitemap 기재 | 1,988 / 2,158 | 92.1% |
| canonical 링크 있음 | 1,988 / 2,357 | 84.3% |
| Open Graph(og:title) 있음 | 1,909 / 2,357 | 81.0% |
| 구조화 데이터(JSON-LD) 있음 | 1,624 / 2,357 | 68.9% |
| Organization 유형 구조화 데이터 있음 | 1,373 / 2,357 | 58.3% |
| llms.txt 있음 | 321 / 2,357 | 13.6% |
| schema.org 마이크로데이터 있음 | 184 / 2,357 | 7.8% |
| FAQPage 구조화 데이터 있음 | 92 / 2,357 | 3.9% |
| robots.txt에서 AI 봇을 하나 이상 차단 | 28 / 2,158 | 1.3% |
| llms-full.txt 있음 | 14 / 2,357 | 0.6% |
robots.txt는 AI 크롤러를 어떻게 다루는가
robots.txt가 있는 2,158곳 중 2.5%(54곳)가 AI 봇을 이름으로 명시했고, 1.3%(28곳)가 AI 봇 하나 이상에 대해 홈페이지를 disallow했습니다. 차단 대부분은 학습용 크롤러(GPTBot, Google-Extended, CCBot 등)를 대상으로 합니다. 검색 크롤러인 OAI-SearchBot이나 Claude-SearchBot을 차단한 사이트는 없었습니다.
| 봇 | 차단 사이트 수 | 비율 |
|---|---|---|
| GPTBot (OpenAI) | 27 | 1.3% |
| Google-Extended (Google) | 24 | 1.1% |
| CCBot (Common Crawl) | 24 | 1.1% |
| Bytespider (ByteDance) | 24 | 1.1% |
| anthropic-ai (Anthropic) | 22 | 1.0% |
| ClaudeBot (Anthropic) | 21 | 1.0% |
| Applebot-Extended (Apple) | 21 | 1.0% |
| ChatGPT-User (OpenAI) | 2 | 0.1% |
| PerplexityBot (Perplexity) | 1 | 0.05% |
| OAI-SearchBot (OpenAI) | 0 | 0% |
| Claude-SearchBot (Anthropic) | 0 | 0% |
| Googlebot (Google) | 0 | 0% |
| Bingbot (Microsoft) | 0 | 0% |
llms.txt
2,357곳 중 321곳(13.6%)이 llms.txt를 갖추고 있습니다. 이들 llms.txt 길이의 중앙값은 96줄입니다. 14곳(0.6%)은 전문판인 llms-full.txt도 갖추고 있습니다.
구조화 데이터의 유형
JSON-LD가 있는 1,624곳 중 1.7%(27곳)에는 파싱되지 않는 JSON-LD가 포함되어 있습니다. 가장 흔한 유형은 WebSite, Organization, BreadcrumbList이며, PostalAddress는 16.3%, LocalBusiness는 5.3%, FAQPage는 3.9%의 사이트에서 나타났습니다.
| @type | 비율 |
|---|---|
| WebSite | 62.4% |
| Organization | 53.7% |
| BreadcrumbList | 43.0% |
| ImageObject | 38.1% |
| WebPage | 34.1% |
| SearchAction | 28.6% |
| PostalAddress | 16.3% |
| Person | 10.1% |
| ContactPoint | 6.4% |
| ProfessionalService | 5.6% |
| LocalBusiness | 5.3% |
| FAQPage | 3.9% |
6개 항목 체크
각 사이트가 다음 6개 항목 중 몇 개를 충족하는지 세었습니다: (1) llms.txt 있음, (2) JSON-LD 있음, (3) Organization 또는 LocalBusiness 유형 있음, (4) GPTBot, ClaudeBot, PerplexityBot, OAI-SearchBot을 하나도 차단하지 않는 robots.txt 있음, (5) meta description 있음, (6) canonical 링크 있음. 이는 이번 조사를 위해 만든 단순 집계이며, Nurevo 제품의 0–100점 점수가 아닙니다. 평균은 4.0개이고, 6개 모두 충족한 곳은 10.5%입니다.
| 충족 항목 수 | 사이트 수 | 비율 |
|---|---|---|
| 0 | 40 | 1.7% |
| 1 | 116 | 4.9% |
| 2 | 254 | 10.8% |
| 3 | 369 | 15.7% |
| 4 | 360 | 15.3% |
| 5 | 971 | 41.2% |
| 6 | 247 | 10.5% |
이 조사 인용하기
"Nurevo AEO survey (nurevo.jp)"라고 출처를 밝히고 이 페이지로 링크하면 수치와 표를 자유롭게 인용·전재할 수 있습니다. 바로 인용할 수 있는 문장:
- 일본 웹 디자인 회사 사이트 2,357곳 중 13.6%가 llms.txt 파일을 갖추고 있었다(Nurevo AEO survey, 2026년 11월).
- 일본 웹 디자인 회사 사이트 중 robots.txt에서 AI 봇을 차단한 곳은 1.3%(robots.txt가 있는 2,158곳 중 28곳)에 불과했다(Nurevo AEO survey, 2026년 11월).
- 일본 웹 디자인 회사 사이트의 68.9%가 홈페이지에 JSON-LD 구조화 데이터를 갖추고 있었지만, FAQPage는 3.9%에 그쳤다(Nurevo AEO survey, 2026년 11월).
- 일본 웹 디자인 회사 사이트의 91.9%가 WordPress로 운영된다(Nurevo AEO survey, 2026년 11월).
한계
- 홈페이지만 조사했습니다. 하위 페이지의 구조화 데이터와 사이트 전체의 상태는 포함되지 않습니다.
- robots.txt는 홈페이지(/)에 대해서만 판정했습니다. 일부 디렉터리만 차단하는 사이트는 차단하지 않는 것으로 집계됩니다. 다른 수단(방화벽, CDN 봇 방어)을 통한 차단은 측정하지 않았습니다.
- 모집단은 일반 기업이 아닌 웹 디자인 회사의 자사 사이트입니다. 제작사 목록은 자체적으로 작성한 것으로, 일본의 모든 제작사를 포괄하지는 않습니다.
- 사이트당 1회 수집: 홈페이지에 접속할 수 없었던 399곳(일시적 오류 포함)은 제외했습니다. llms.txt는 존재 여부만 확인했으며 품질은 평가하지 않았습니다.
우리의 해석(의견)
아래는 조사 결과가 아닌 저희의 의견입니다. 제작사 사이트는 기본 SEO 설정이 대체로 갖춰져 있고, AI 크롤러를 막는 곳은 극히 적습니다. 반면 llms.txt나 FAQPage처럼 AI가 회사 정보를 읽는 데 도움이 되는 항목은 아직 일부 사이트에만 있습니다. 이를 추가한다고 AI 답변에 나타난다는 보장은 없지만(저희의 다른 연구에서는 사이트 내 신호와 노출 사이에 관련성이 보이지 않았습니다), AI가 회사의 사실을 정확히 읽기 위한 기반으로서 점검할 가치가 있다고 봅니다.
자사 또는 고객사 사이트를 점검하세요
무료 진단으로 약 1분 만에 llms.txt, 구조화 데이터, AI 크롤러 접근 상태를 확인할 수 있습니다. WordPress라면 Nurevo WebMCP 플러그인이 llms.txt와 구조화 데이터를 게시해 줍니다. 고객사 사이트 전반에 도입하려는 제작사는 파트너 프로그램을 확인해 보세요.
자주 묻는 질문
일본 웹 제작사 사이트에서 llms.txt는 얼마나 보급되어 있나요?
이번 조사에서는 일본 웹 디자인 회사 사이트 2,357곳 중 321곳(13.6%)이 llms.txt를 갖추고 있었습니다(2026년 11월).
robots.txt에서 AI 크롤러를 차단하는 제작사가 많나요?
적습니다. robots.txt가 있는 2,158곳 중 28곳(1.3%)이 AI 봇을 하나 이상 차단했습니다. 검색 크롤러인 OAI-SearchBot이나 Claude-SearchBot을 차단한 곳은 없었습니다.
이 수치가 일반 기업 사이트에도 적용되나요?
반드시 그렇지는 않습니다. 이 조사는 웹 디자인 회사의 자사 사이트, 그것도 홈페이지만을 대상으로 합니다.
이 수치를 기사에 써도 되나요?
네. "Nurevo AEO survey (nurevo.jp)"라고 출처를 밝히고 이 페이지로 링크하면 자유롭게 인용·전재할 수 있습니다.