जापानी वेब डिज़ाइन एजेंसियों की अपनी वेबसाइटों की AI सर्च तैयारी: 2,357 साइटें (नवंबर 2026)
हमने जापानी वेब डिज़ाइन एजेंसियों की 2,357 वेबसाइटों का होम पेज, robots.txt और llms.txt प्राप्त किया। 13.6% (321) के पास llms.txt था, 68.9% (1,624) के पास संरचित डेटा (JSON-LD) था, और 1.3% (robots.txt वाली 2,158 में से 28) ने robots.txt में कम से कम एक AI बॉट को ब्लॉक किया था।
2026-11-10 को प्रकाशित। डेटा 2026-11-05 को एकत्रित। शोध: Nurevo AEO (Bestie.合同会社)। Nurevo AI सर्च ऑप्टिमाइज़ेशन (AEO) टूल बेचता है, इसलिए इस विषय में उसका हित है।
मुख्य निष्कर्ष
- जापानी वेब एजेंसी वेबसाइटों में से 13.6% (2,357 में से 321) के पास llms.txt है; 0.6% (14) के पास llms-full.txt है।
- 1.3% (robots.txt वाली 2,158 में से 28) robots.txt में कम से कम एक AI बॉट को ब्लॉक करती हैं। लगभग कोई भी AI क्रॉलर को नहीं रोकता।
- 68.9% के पास संरचित डेटा (JSON-LD) है, 58.3% के पास Organization-प्रकार का नोड है, और 3.9% के पास FAQPage है।
सर्वे के बारे में
- समष्टि: जापान की 2,756 वेब डिज़ाइन एजेंसियों की कंपनी वेबसाइटें, जिनके एजेंसी होने की हम पुष्टि कर सके। यह सभी व्यावसायिक वेबसाइटों का नमूना नहीं है।
- पहुँच: 2,357 (85.5%) का होम पेज प्राप्त किया जा सका। सभी परिणाम इन्हीं 2,357 साइटों से संबंधित हैं।
- क्या प्राप्त किया गया: हर साइट का होम पेज, /robots.txt, /llms.txt और /llms-full.txt, हर एक एक बार (User-Agent: NurevoSurvey/1.0), नवंबर 2026 की शुरुआत में, 2026-11-05 को एकत्रित।
- आकलन का तरीका: संरचित डेटा के लिए होम पेज के JSON-LD को पार्स करके @type मान गिने गए (जो JSON-LD पार्स नहीं होता उसे टूटा हुआ माना गया)। llms.txt तभी गिना गया जब वह स्टेटस 200 के साथ 20 अक्षरों से लंबा गैर-HTML टेक्स्ट लौटाए। robots.txt में किसी बॉट को ब्लॉक माना गया यदि उस पर लागू होने वाला समूह होम पेज (/) को disallow करता है, सबसे लंबे मेल खाने वाले नियम के आधार पर।
- इसी रन में जापान के बाहर की एजेंसियाँ भी शामिल थीं (कुल 20,720 साइटें, 15,657 तक पहुँच)। तुलना एक अलग रिपोर्ट में आएगी।
परिणाम: मुख्य बिंदु
बुनियादी SEO सेटिंग्स (HTTPS, meta description, robots.txt, canonical) 80 से 90 प्रतिशत से अधिक साइटों पर मौजूद हैं। AI के लिए बने नए बिंदु, जैसे llms.txt और FAQPage, अभी भी अल्पसंख्यक हैं।
| बिंदु | साइटें | हिस्सा |
|---|---|---|
| HTTPS पर उपलब्ध | 2,355 / 2,357 | 99.9% |
| WordPress पर बनी | 2,166 / 2,357 | 91.9% |
| meta description मौजूद | 2,139 / 2,357 | 90.8% |
| robots.txt मौजूद | 2,158 / 2,357 | 91.6% |
| robots.txt में Sitemap दर्ज | 1,988 / 2,158 | 92.1% |
| canonical लिंक मौजूद | 1,988 / 2,357 | 84.3% |
| Open Graph (og:title) मौजूद | 1,909 / 2,357 | 81.0% |
| संरचित डेटा (JSON-LD) मौजूद | 1,624 / 2,357 | 68.9% |
| Organization-प्रकार का संरचित डेटा मौजूद | 1,373 / 2,357 | 58.3% |
| llms.txt मौजूद | 321 / 2,357 | 13.6% |
| schema.org microdata मौजूद | 184 / 2,357 | 7.8% |
| FAQPage संरचित डेटा मौजूद | 92 / 2,357 | 3.9% |
| robots.txt कम से कम एक AI बॉट को ब्लॉक करता है | 28 / 2,158 | 1.3% |
| llms-full.txt मौजूद | 14 / 2,357 | 0.6% |
robots.txt AI क्रॉलर के साथ कैसा व्यवहार करता है
robots.txt वाली 2,158 साइटों में से 2.5% (54) किसी AI बॉट का नाम लेकर उल्लेख करती हैं, और 1.3% (28) कम से कम एक AI बॉट के लिए होम पेज को disallow करती हैं। अधिकांश ब्लॉक ट्रेनिंग क्रॉलर (GPTBot, Google-Extended, CCBot और इसी तरह के) को निशाना बनाते हैं। किसी भी साइट ने सर्च क्रॉलर OAI-SearchBot या Claude-SearchBot को ब्लॉक नहीं किया।
| बॉट | ब्लॉक करने वाली साइटें | हिस्सा |
|---|---|---|
| GPTBot (OpenAI) | 27 | 1.3% |
| Google-Extended (Google) | 24 | 1.1% |
| CCBot (Common Crawl) | 24 | 1.1% |
| Bytespider (ByteDance) | 24 | 1.1% |
| anthropic-ai (Anthropic) | 22 | 1.0% |
| ClaudeBot (Anthropic) | 21 | 1.0% |
| Applebot-Extended (Apple) | 21 | 1.0% |
| ChatGPT-User (OpenAI) | 2 | 0.1% |
| PerplexityBot (Perplexity) | 1 | 0.05% |
| OAI-SearchBot (OpenAI) | 0 | 0% |
| Claude-SearchBot (Anthropic) | 0 | 0% |
| Googlebot (Google) | 0 | 0% |
| Bingbot (Microsoft) | 0 | 0% |
llms.txt
2,357 में से 321 साइटों (13.6%) के पास llms.txt है। इनमें llms.txt की माध्यिका लंबाई 96 पंक्तियाँ है। 14 साइटों (0.6%) के पास पूर्ण-पाठ वाली llms-full.txt भी है।
संरचित डेटा के प्रकार
JSON-LD वाली 1,624 साइटों में से 1.7% (27) में ऐसा JSON-LD है जो पार्स नहीं होता। WebSite, Organization और BreadcrumbList सबसे आम प्रकार हैं; PostalAddress 16.3% साइटों पर, LocalBusiness 5.3% पर और FAQPage 3.9% पर दिखता है।
| @type | हिस्सा |
|---|---|
| WebSite | 62.4% |
| Organization | 53.7% |
| BreadcrumbList | 43.0% |
| ImageObject | 38.1% |
| WebPage | 34.1% |
| SearchAction | 28.6% |
| PostalAddress | 16.3% |
| Person | 10.1% |
| ContactPoint | 6.4% |
| ProfessionalService | 5.6% |
| LocalBusiness | 5.3% |
| FAQPage | 3.9% |
छह-बिंदु जाँच
हमने गिना कि हर साइट छह में से कितने बिंदु पूरे करती है: (1) llms.txt मौजूद; (2) JSON-LD मौजूद; (3) Organization या LocalBusiness प्रकार मौजूद; (4) ऐसा robots.txt जो GPTBot, ClaudeBot, PerplexityBot और OAI-SearchBot में से किसी को ब्लॉक नहीं करता; (5) meta description मौजूद; (6) canonical लिंक मौजूद। यह इस सर्वे के लिए की गई एक साधारण गिनती है, Nurevo का 0–100 वाला प्रोडक्ट स्कोर नहीं। औसत 4.0 बिंदु है; 10.5% साइटें सभी छह पूरे करती हैं।
| पूरे किए गए बिंदु | साइटें | हिस्सा |
|---|---|---|
| 0 | 40 | 1.7% |
| 1 | 116 | 4.9% |
| 2 | 254 | 10.8% |
| 3 | 369 | 15.7% |
| 4 | 360 | 15.3% |
| 5 | 971 | 41.2% |
| 6 | 247 | 10.5% |
इस सर्वे का हवाला देना
आप आँकड़ों और तालिकाओं को स्वतंत्र रूप से उद्धृत और पुनर्प्रकाशित कर सकते हैं, बशर्ते आप "Nurevo AEO survey (nurevo.jp)" को श्रेय दें और इस पेज का लिंक दें। उद्धृत करने के लिए तैयार वाक्य:
- जापानी वेब डिज़ाइन एजेंसियों की 2,357 वेबसाइटों में से 13.6% के पास llms.txt फ़ाइल थी (Nurevo AEO survey, नवंबर 2026)।
- जापानी वेब डिज़ाइन एजेंसी वेबसाइटों में से केवल 1.3% (robots.txt वाली 2,158 में से 28) ने robots.txt में किसी AI बॉट को ब्लॉक किया (Nurevo AEO survey, नवंबर 2026)।
- जापानी वेब डिज़ाइन एजेंसी वेबसाइटों में से 68.9% के होम पेज पर JSON-LD संरचित डेटा था, लेकिन केवल 3.9% के पास FAQPage था (Nurevo AEO survey, नवंबर 2026)।
- जापानी वेब डिज़ाइन एजेंसी वेबसाइटों में से 91.9% WordPress पर चलती हैं (Nurevo AEO survey, नवंबर 2026)।
सीमाएँ
- केवल होम पेज की जाँच की गई। अंदरूनी पेजों का संरचित डेटा और पूरी साइट की स्थिति शामिल नहीं है।
- robots.txt का आकलन केवल होम पेज (/) के लिए किया गया। जो साइट केवल कुछ डायरेक्टरी ब्लॉक करती है, उसे ब्लॉक न करने वाली माना गया। अन्य तरीकों (फ़ायरवॉल, CDN बॉट सुरक्षा) से ब्लॉकिंग नहीं मापी गई।
- समष्टि वेब डिज़ाइन एजेंसियों की अपनी वेबसाइटें हैं, सामान्य व्यवसाय नहीं। एजेंसियों की सूची हमारी अपनी है और जापान की हर एजेंसी को कवर नहीं करती।
- हर साइट पर एक बार प्राप्ति: वे 399 साइटें जिनके होम पेज तक पहुँच नहीं हो सकी (अस्थायी त्रुटियों सहित) बाहर रखी गईं। llms.txt के लिए हमने केवल यह जाँचा कि वह मौजूद है या नहीं, उसकी गुणवत्ता नहीं।
हमारी व्याख्या (राय)
आगे जो लिखा है वह हमारी राय है, निष्कर्ष नहीं। एजेंसी वेबसाइटों पर बुनियादी SEO सेटिंग्स काफ़ी हद तक मौजूद हैं, और बहुत कम साइटें AI क्रॉलर को रोकती हैं। कंपनी की जानकारी पढ़ने में AI की मदद करने वाले बिंदु, जैसे llms.txt और FAQPage, अभी भी केवल कुछ साइटों पर हैं। इन्हें जोड़ने से AI जवाबों में दिखने की गारंटी नहीं मिलती (हमारे एक अन्य अध्ययन में ऑन-साइट संकेतों का दिखने से कोई संबंध नहीं मिला), लेकिन हमें लगता है कि AI द्वारा कंपनी के तथ्यों को सही ढंग से पढ़ने के आधार के रूप में इन्हें जाँचना उपयोगी है।
अपनी या अपने क्लाइंट्स की साइटें जाँचें
मुफ़्त जाँच लगभग एक मिनट में llms.txt, संरचित डेटा और AI क्रॉलर की पहुँच दिखाती है। WordPress पर, Nurevo WebMCP प्लगइन llms.txt और संरचित डेटा प्रकाशित करता है। जो एजेंसियाँ इसे क्लाइंट साइटों पर लागू करना चाहती हैं, वे पार्टनर प्रोग्राम देख सकती हैं।
अक्सर पूछे जाने वाले प्रश्न
जापानी वेब एजेंसी वेबसाइटों पर llms.txt कितना आम है?
इस सर्वे में, जापानी वेब डिज़ाइन एजेंसियों की 2,357 वेबसाइटों में से 321 (13.6%) के पास llms.txt था (नवंबर 2026)।
क्या कई एजेंसियाँ robots.txt में AI क्रॉलर को ब्लॉक करती हैं?
बहुत कम। robots.txt वाली 2,158 साइटों में से 28 (1.3%) ने कम से कम एक AI बॉट को ब्लॉक किया। किसी ने भी सर्च क्रॉलर OAI-SearchBot या Claude-SearchBot को ब्लॉक नहीं किया।
क्या ये आँकड़े सामान्य व्यावसायिक वेबसाइटों पर लागू होते हैं?
ज़रूरी नहीं। यह सर्वे वेब डिज़ाइन एजेंसियों की अपनी वेबसाइटों को, और केवल उनके होम पेजों को कवर करता है।
क्या मैं इन आँकड़ों को किसी लेख में इस्तेमाल कर सकता हूँ?
हाँ। "Nurevo AEO survey (nurevo.jp)" को श्रेय दें और इस पेज का लिंक दें, फिर आप इन्हें स्वतंत्र रूप से उद्धृत और पुनर्प्रकाशित कर सकते हैं।