જાપાની વેબ ડિઝાઇન એજન્સીઓની પોતાની વેબસાઇટ્સની AI સર્ચ તૈયારી: 2,357 સાઇટ્સ (નવેમ્બર 2026)
અમે જાપાની વેબ ડિઝાઇન એજન્સીઓની 2,357 વેબસાઇટ્સનું હોમ પેજ, robots.txt અને llms.txt મેળવ્યાં. 13.6% (321) પાસે llms.txt હતી, 68.9% (1,624) પાસે સ્ટ્રક્ચર્ડ ડેટા (JSON-LD) હતો, અને 1.3% (robots.txt ધરાવતી 2,158 માંથી 28) એ robots.txt માં ઓછામાં ઓછો એક AI બૉટ બ્લૉક કર્યો હતો.
2026-11-10 ના રોજ પ્રકાશિત. ડેટા 2026-11-05 ના રોજ એકત્રિત. સંશોધન: Nurevo AEO (Bestie.合同会社). Nurevo AI સર્ચ ઑપ્ટિમાઇઝેશન (AEO) ટૂલ્સ વેચે છે, તેથી આ વિષયમાં તેનો હિત છે.
મુખ્ય તારણો
- જાપાની વેબ એજન્સી વેબસાઇટ્સમાંથી 13.6% (2,357 માંથી 321) પાસે llms.txt છે; 0.6% (14) પાસે llms-full.txt છે.
- 1.3% (robots.txt ધરાવતી 2,158 માંથી 28) robots.txt માં ઓછામાં ઓછો એક AI બૉટ બ્લૉક કરે છે. લગભગ કોઈ AI ક્રૉલર્સને રોકતું નથી.
- 68.9% પાસે સ્ટ્રક્ચર્ડ ડેટા (JSON-LD) છે, 58.3% પાસે Organization-પ્રકારનો નોડ છે, અને 3.9% પાસે FAQPage છે.
સર્વે વિશે
- વસ્તી: જાપાનની 2,756 વેબ ડિઝાઇન એજન્સીઓની કંપની વેબસાઇટ્સ, જેમના એજન્સી હોવાની અમે પુષ્ટિ કરી શક્યા. આ તમામ બિઝનેસ વેબસાઇટ્સનો નમૂનો નથી.
- પહોંચ: 2,357 (85.5%) નું હોમ પેજ મેળવી શકાયું. તમામ પરિણામો આ 2,357 સાઇટ્સને લાગુ પડે છે.
- શું મેળવ્યું: દરેક સાઇટનું હોમ પેજ, /robots.txt, /llms.txt અને /llms-full.txt, દરેક એક વાર (User-Agent: NurevoSurvey/1.0), નવેમ્બર 2026 ની શરૂઆતમાં, 2026-11-05 ના રોજ એકત્રિત.
- મૂલ્યાંકનની રીત: સ્ટ્રક્ચર્ડ ડેટા માટે હોમ પેજનો JSON-LD પાર્સ કરીને @type મૂલ્યો ગણાયા (જે JSON-LD પાર્સ ન થાય તે તૂટેલો ગણાય). llms.txt ત્યારે જ ગણાય જ્યારે તે સ્ટેટસ 200 સાથે 20 અક્ષરથી લાંબું બિન-HTML ટેક્સ્ટ પરત કરે. robots.txt માં, બૉટ બ્લૉક ગણાય જો તેને લાગુ પડતો જૂથ હોમ પેજ (/) ને disallow કરે, સૌથી લાંબા મેળ ખાતા નિયમના આધારે.
- આ જ રનમાં જાપાન બહારની એજન્સીઓ પણ આવરી લેવાઈ (કુલ 20,720 સાઇટ્સ, 15,657 સુધી પહોંચ). સરખામણી અલગ રિપોર્ટમાં આવશે.
પરિણામો: મુખ્ય મુદ્દા
મૂળભૂત SEO સેટિંગ્સ (HTTPS, meta description, robots.txt, canonical) 80 થી 90 ટકાથી વધુ સાઇટ્સ પર હાજર છે. AI માટેના નવા મુદ્દા, જેમ કે llms.txt અને FAQPage, હજી લઘુમતીમાં છે.
| મુદ્દો | સાઇટ્સ | હિસ્સો |
|---|---|---|
| HTTPS પર ઉપલબ્ધ | 2,355 / 2,357 | 99.9% |
| WordPress પર બનેલી | 2,166 / 2,357 | 91.9% |
| meta description છે | 2,139 / 2,357 | 90.8% |
| robots.txt છે | 2,158 / 2,357 | 91.6% |
| robots.txt માં Sitemap દર્શાવેલ છે | 1,988 / 2,158 | 92.1% |
| canonical લિંક છે | 1,988 / 2,357 | 84.3% |
| Open Graph (og:title) છે | 1,909 / 2,357 | 81.0% |
| સ્ટ્રક્ચર્ડ ડેટા (JSON-LD) છે | 1,624 / 2,357 | 68.9% |
| Organization-પ્રકારનો સ્ટ્રક્ચર્ડ ડેટા છે | 1,373 / 2,357 | 58.3% |
| llms.txt છે | 321 / 2,357 | 13.6% |
| schema.org microdata છે | 184 / 2,357 | 7.8% |
| FAQPage સ્ટ્રક્ચર્ડ ડેટા છે | 92 / 2,357 | 3.9% |
| robots.txt ઓછામાં ઓછો એક AI બૉટ બ્લૉક કરે છે | 28 / 2,158 | 1.3% |
| llms-full.txt છે | 14 / 2,357 | 0.6% |
robots.txt AI ક્રૉલર્સ સાથે કેવો વ્યવહાર કરે છે
robots.txt ધરાવતી 2,158 સાઇટ્સમાંથી 2.5% (54) કોઈ AI બૉટનો નામથી ઉલ્લેખ કરે છે, અને 1.3% (28) ઓછામાં ઓછા એક AI બૉટ માટે હોમ પેજને disallow કરે છે. મોટા ભાગના બ્લૉક ટ્રેનિંગ ક્રૉલર્સ (GPTBot, Google-Extended, CCBot અને તેના જેવા) ને લક્ષ્ય બનાવે છે. કોઈ પણ સાઇટે સર્ચ ક્રૉલર્સ OAI-SearchBot કે Claude-SearchBot ને બ્લૉક કર્યા નથી.
| બૉટ | બ્લૉક કરતી સાઇટ્સ | હિસ્સો |
|---|---|---|
| GPTBot (OpenAI) | 27 | 1.3% |
| Google-Extended (Google) | 24 | 1.1% |
| CCBot (Common Crawl) | 24 | 1.1% |
| Bytespider (ByteDance) | 24 | 1.1% |
| anthropic-ai (Anthropic) | 22 | 1.0% |
| ClaudeBot (Anthropic) | 21 | 1.0% |
| Applebot-Extended (Apple) | 21 | 1.0% |
| ChatGPT-User (OpenAI) | 2 | 0.1% |
| PerplexityBot (Perplexity) | 1 | 0.05% |
| OAI-SearchBot (OpenAI) | 0 | 0% |
| Claude-SearchBot (Anthropic) | 0 | 0% |
| Googlebot (Google) | 0 | 0% |
| Bingbot (Microsoft) | 0 | 0% |
llms.txt
2,357 માંથી 321 સાઇટ્સ (13.6%) પાસે llms.txt છે. તેમાં llms.txt ની મધ્યસ્થ લંબાઈ 96 લીટીઓ છે. 14 સાઇટ્સ (0.6%) પાસે સંપૂર્ણ-લખાણવાળી llms-full.txt પણ છે.
સ્ટ્રક્ચર્ડ ડેટાના પ્રકારો
JSON-LD ધરાવતી 1,624 સાઇટ્સમાંથી 1.7% (27) માં એવો JSON-LD છે જે પાર્સ થતો નથી. WebSite, Organization અને BreadcrumbList સૌથી સામાન્ય પ્રકારો છે; PostalAddress 16.3% સાઇટ્સ પર, LocalBusiness 5.3% પર અને FAQPage 3.9% પર દેખાય છે.
| @type | હિસ્સો |
|---|---|
| WebSite | 62.4% |
| Organization | 53.7% |
| BreadcrumbList | 43.0% |
| ImageObject | 38.1% |
| WebPage | 34.1% |
| SearchAction | 28.6% |
| PostalAddress | 16.3% |
| Person | 10.1% |
| ContactPoint | 6.4% |
| ProfessionalService | 5.6% |
| LocalBusiness | 5.3% |
| FAQPage | 3.9% |
છ-મુદ્દાની ચકાસણી
અમે ગણ્યું કે દરેક સાઇટ છમાંથી કેટલા મુદ્દા પૂરા કરે છે: (1) llms.txt છે; (2) JSON-LD છે; (3) Organization અથવા LocalBusiness પ્રકાર છે; (4) એવી robots.txt છે જે GPTBot, ClaudeBot, PerplexityBot અને OAI-SearchBot માંથી કોઈને બ્લૉક કરતી નથી; (5) meta description છે; (6) canonical લિંક છે. આ સર્વે માટે કરેલી એક સાદી ગણતરી છે, Nurevo નો 0–100 પ્રોડક્ટ સ્કોર નથી. સરેરાશ 4.0 મુદ્દા છે; 10.5% સાઇટ્સ બધા છ પૂરા કરે છે.
| પૂરા થયેલા મુદ્દા | સાઇટ્સ | હિસ્સો |
|---|---|---|
| 0 | 40 | 1.7% |
| 1 | 116 | 4.9% |
| 2 | 254 | 10.8% |
| 3 | 369 | 15.7% |
| 4 | 360 | 15.3% |
| 5 | 971 | 41.2% |
| 6 | 247 | 10.5% |
આ સર્વેનો સંદર્ભ આપવો
તમે આંકડા અને કોષ્ટકો મુક્તપણે ટાંકી અને ફરી પ્રકાશિત કરી શકો છો, જો તમે "Nurevo AEO survey (nurevo.jp)" ને શ્રેય આપો અને આ પેજની લિંક આપો. ટાંકવા માટે તૈયાર વાક્યો:
- જાપાની વેબ ડિઝાઇન એજન્સીઓની 2,357 વેબસાઇટ્સમાંથી 13.6% પાસે llms.txt ફાઇલ હતી (Nurevo AEO survey, નવેમ્બર 2026).
- જાપાની વેબ ડિઝાઇન એજન્સી વેબસાઇટ્સમાંથી માત્ર 1.3% (robots.txt ધરાવતી 2,158 માંથી 28) એ robots.txt માં AI બૉટ બ્લૉક કર્યો હતો (Nurevo AEO survey, નવેમ્બર 2026).
- જાપાની વેબ ડિઝાઇન એજન્સી વેબસાઇટ્સમાંથી 68.9% ના હોમ પેજ પર JSON-LD સ્ટ્રક્ચર્ડ ડેટા હતો, પણ માત્ર 3.9% પાસે FAQPage હતું (Nurevo AEO survey, નવેમ્બર 2026).
- જાપાની વેબ ડિઝાઇન એજન્સી વેબસાઇટ્સમાંથી 91.9% WordPress પર ચાલે છે (Nurevo AEO survey, નવેમ્બર 2026).
મર્યાદાઓ
- માત્ર હોમ પેજ તપાસવામાં આવ્યું. અંદરનાં પેજનો સ્ટ્રક્ચર્ડ ડેટા અને આખી સાઇટની સ્થિતિ સામેલ નથી.
- robots.txt નું મૂલ્યાંકન માત્ર હોમ પેજ (/) માટે થયું. જે સાઇટ માત્ર કેટલીક ડિરેક્ટરીઓ બ્લૉક કરે તે બ્લૉક ન કરતી ગણાય. અન્ય રીતે (ફાયરવૉલ, CDN બૉટ પ્રોટેક્શન) થતું બ્લૉકિંગ માપવામાં આવ્યું નથી.
- વસ્તી વેબ ડિઝાઇન એજન્સીઓની પોતાની વેબસાઇટ્સ છે, સામાન્ય વ્યવસાયો નહીં. એજન્સીઓની યાદી અમારી પોતાની છે અને જાપાનની દરેક એજન્સીને આવરી લેતી નથી.
- દરેક સાઇટ માટે એક વાર મેળવણી: જે 399 સાઇટ્સના હોમ પેજ સુધી પહોંચી ન શકાયું (અસ્થાયી ભૂલો સહિત) તે બાકાત છે. llms.txt માટે અમે માત્ર તે અસ્તિત્વમાં છે કે નહીં તે જોયું, તેની ગુણવત્તા નહીં.
અમારું અર્થઘટન (અભિપ્રાય)
નીચે જે છે તે અમારો અભિપ્રાય છે, તારણ નથી. એજન્સી વેબસાઇટ્સ પર મૂળભૂત SEO સેટિંગ્સ મોટા ભાગે હાજર છે, અને બહુ ઓછી સાઇટ્સ AI ક્રૉલર્સને રોકે છે. કંપનીની માહિતી વાંચવામાં AI ને મદદ કરતા મુદ્દા, જેમ કે llms.txt અને FAQPage, હજી માત્ર કેટલીક સાઇટ્સ પર છે. તેમને ઉમેરવાથી AI જવાબોમાં દેખાવાની ખાતરી મળતી નથી (અમારા બીજા એક અભ્યાસ માં ઑન-સાઇટ સંકેતોનો દેખાવા સાથે કોઈ સંબંધ જોવા મળ્યો નહીં), પરંતુ અમારા મતે AI કંપનીની હકીકતો યોગ્ય રીતે વાંચે તે માટેના આધાર તરીકે તેમને તપાસવા યોગ્ય છે.
તમારી અથવા તમારા ક્લાયન્ટ્સની સાઇટ્સ તપાસો
મફત ચકાસણી લગભગ એક મિનિટમાં llms.txt, સ્ટ્રક્ચર્ડ ડેટા અને AI ક્રૉલર્સની પહોંચ બતાવે છે. WordPress પર, Nurevo WebMCP પ્લગઇન llms.txt અને સ્ટ્રક્ચર્ડ ડેટા પ્રકાશિત કરે છે. જે એજન્સીઓ તેને ક્લાયન્ટ સાઇટ્સ પર લાગુ કરવા માગે છે તેઓ પાર્ટનર પ્રોગ્રામ જોઈ શકે છે.
વારંવાર પૂછાતા પ્રશ્નો
જાપાની વેબ એજન્સી વેબસાઇટ્સ પર llms.txt કેટલું સામાન્ય છે?
આ સર્વેમાં, જાપાની વેબ ડિઝાઇન એજન્સીઓની 2,357 વેબસાઇટ્સમાંથી 321 (13.6%) પાસે llms.txt હતી (નવેમ્બર 2026).
શું ઘણી એજન્સીઓ robots.txt માં AI ક્રૉલર્સ બ્લૉક કરે છે?
બહુ ઓછી. robots.txt ધરાવતી 2,158 સાઇટ્સમાંથી 28 (1.3%) એ ઓછામાં ઓછો એક AI બૉટ બ્લૉક કર્યો. કોઈએ પણ સર્ચ ક્રૉલર્સ OAI-SearchBot કે Claude-SearchBot ને બ્લૉક કર્યા નથી.
શું આ આંકડા સામાન્ય બિઝનેસ વેબસાઇટ્સને લાગુ પડે છે?
જરૂરી નથી. આ સર્વે વેબ ડિઝાઇન એજન્સીઓની પોતાની વેબસાઇટ્સ, અને માત્ર તેમનાં હોમ પેજને આવરી લે છે.
શું હું આ આંકડા કોઈ લેખમાં વાપરી શકું?
હા. "Nurevo AEO survey (nurevo.jp)" ને શ્રેય આપો અને આ પેજની લિંક આપો, પછી તમે તેમને મુક્તપણે ટાંકી અને ફરી પ્રકાશિત કરી શકો છો.