Katalogda faqat real talab bor va o'ziga xos kontentga ega filtr birikmalari indekslanadi — masalan "erkaklar krossovkasi 42-razmer". Qolgan barcha birikmalar (rang + narx + brend + saralash tartibi bir vaqtda) indeksga tushmasligi kerak, chunki ular bir xil mahsulot ro'yxatini turli tartibda qayta ko'rsatadi va katalogning haqiqiy sahifalaridan kuchni tortib oladi. Bu muammo index bloat deb ataladi: indeksda saytning o'zidan ko'ra ko'proq "hosila" URL yotadi.
Filtr sahifalari qayerdan paydo bo'ladi
Katalogli saytda har bir filtr belgisi URL ga bitta parametr qo'shadi. Uch filtr — rang, o'lcham, brend — va har birida 10 tadan qiymat bo'lsa, kombinatorika bo'yicha mingdan ortiq URL kelib chiqadi. Ustiga saralash (sort=price_asc), ko'rinish (view=grid), sahifalash (page=7) va sessiya parametrlari qo'shiladi. Amalda bunday sayt bir necha yuz mahsulotga ega bo'lib turib, o'n minglab skanerlanadigan manzil taklif qiladi.
Google buni "faceted navigation" deb ataydi va alohida hujjatda ko'rsatma bergan: crawling-managing-faceted-navigation. Asosiy fikri oddiy — bunday URL'lar cheksiz ko'payishi mumkin, shuning uchun saytning o'zi qaysi birini ochiq qoldirishni hal qilishi kerak.
Zarari nimada
Birinchisi — skanerlash resursi. Robot saytga ajratgan vaqtni yangi mahsulot kartochkalariga emas, bir xil ro'yxatning yuzlab variantiga sarflaydi. Yangi tovar indeksga kech tushadi.
Ikkinchisi — kannibalizatsiya. "Krossovka" toifasi, "krossovka + qora" filtri va "krossovka + qora + 42" filtri bir xil so'rov uchun raqobatlashadi. Google qaysi birini ko'rsatishni o'zi tanlaydi va tanlovi barqaror bo'lmaydi.
Uchinchisi — sifat signali. Ko'p filtr sahifalarida 2-3 ta mahsulot bo'ladi yoki umuman bo'lmaydi. Bo'sh natijali sahifa indeksda turishi saytning umumiy sifat bahosiga foyda keltirmaydi. Bu jihat SEO audit ro'yxatidagi indeksatsiya bandi bilan bevosita bog'liq.
Qaysi filtr indekslashga arziydi
Uchta shart birdan bajarilsa — sahifa ochiq qoldiriladi:
- Qidiruvda talab bor. Odamlar "42 razmer krossovka" deb qidiradi; "qora, 42 razmer, 300-400 ming, arzondan qimmatga" deb qidirmaydi.
- Natija barqaror va yetarli. Ro'yxatda doimiy ravishda o'nlab mahsulot bo'ladi, mavsumga qarab bo'shab qolmaydi.
- Sahifada o'ziga xos element bor. O'z title/description'i, qisqa matni, ehtimol o'z H1'i.
| Sahifa turi | Indeks | Sabab |
|---|---|---|
Toifa: /krossovka/ |
Ha | Asosiy talab |
Bitta atribut: /krossovka/42-razmer/ |
Ha | Qidiruvda so'raladi |
Brend + toifa: /krossovka/nike/ |
Ha | Talab bor |
| Ikki-uch atribut birikmasi | Odatda yo'q | Talab past, kontent takrorlanadi |
| Narx oralig'i | Yo'q | Cheksiz variant |
| Saralash, ko'rinish, sahifa hajmi | Yo'q | Kontent bir xil |
| Bo'sh natijali filtr | Yo'q | Foydalanuvchiga qiymati yo'q |
Texnik vositalar va ularning chegarasi
To'rt vosita bor va ular bir-birining o'rnini bosmaydi:
| Vosita | Nima qiladi | Nima qilmaydi |
|---|---|---|
robots.txt Disallow |
Skanerlashni to'xtatadi | Indeksdan olib tashlamaydi |
noindex meta teg |
Indeksdan chiqaradi | Skanerlashni to'xtatmaydi |
rel=canonical |
Takroriy kontentda asosiysini ko'rsatadi | Buyruq emas, tavsiya |
| Havolani umuman qo'ymaslik | URL topilmaydi | Tashqi havola bo'lsa ishlamaydi |
Eng ko'p uchraydigan xato — bir URL'ni robots.txt da yopib, ichiga noindex qo'yish. Robot sahifani ocholmagani uchun noindex ni ko'rmaydi; URL indeksda tavsifsiz holda qolib ketishi mumkin. Ikkalasidan bittasini tanlang: indeksdan chiqarish kerak bo'lsa — noindex qo'ying va skanerlashga ruxsat bering; sahifa allaqachon indeksda bo'lmasa va shunchaki resurs tejash kerak bo'lsa — robots.txt.
URL tuzilishini oldindan ajrating
Eng ishonchli yechim — indekslanadigan filtrlarni "toza" yo'lga (path), qolganini parametrga chiqarish. Shunda qoida bitta satrga sig'adi:
# Indekslanadi — path ko'rinishida
/krossovka/
/krossovka/nike/
/krossovka/42-razmer/
# Indekslanmaydi — parametr ko'rinishida
/krossovka/?color=qora&price=300000-400000
/krossovka/?sort=price_asc
# robots.txt
User-agent: *
Disallow: /*?sort=
Disallow: /*?view=
Disallow: /*?price=
Allow: /*?page=
Parametrlar tartibi ham muhim: ?color=qora&size=42 va ?size=42&color=qora — bu ikki xil URL. Backendda parametrlarni doimo bir xil alifbo tartibida chiqaring, aks holda bitta ro'yxatning ikki nusxasi paydo bo'ladi. Filtr qiymatlarini # fragmentida saqlash ham tavsiya etilmaydi — Google fragmentni alohida sahifa deb qabul qilmaydi va kontent umuman ko'rinmay qolishi mumkin.
Sahifalash va saralashni chalkashtirmang
Sahifalash bilan saralash bir xil emas. ?page=2 — bu boshqa mahsulotlar ro'yxati, ya'ni real yangi kontent; uni skanerlashga ochiq qoldirish kerak, aks holda ro'yxat ichidagi mahsulot kartochkalariga yo'l topilmaydi. ?sort=price_asc esa o'sha mahsulotlarni boshqa tartibda ko'rsatadi — yangi kontent yo'q.
Shuning uchun page=2 ni birinchi sahifaga canonical qilib qo'yish xato: robot uni takror deb hisoblab, ichidagi havolalarga jiddiy qaramasligi mumkin. To'g'ri usul — har bir sahifalash sahifasi o'ziga canonical bo'lsin, saralash variantlari esa filtrsiz asosiy sahifaga canonical qilinsin. rel="next" va rel="prev" teglariga tayanmang: Google 2019-yilda ularni indeksatsiya signali sifatida ishlatishni to'xtatganini rasman e'lon qilgan.
Ichki havolalar orqali boshqarish
Robot sahifani asosan havola orqali topadi. Demak, indekslanmasligi kerak bo'lgan filtr birikmalariga havola bermaslikning o'zi kuchli vosita. Amalda: filtr paneli natijani JavaScript bilan almashtirsin, lekin har bir chekboks <a href> bo'lib HTML'da turmasin. Aksincha, indekslanadigan filtr sahifalari — "42-razmer", "Nike" kabi — toifa sahifasidan ko'rinadigan havola bilan bog'lansin.
Bu pillar va cluster tuzilmasi mantig'ining katalogdagi ko'rinishi: toifa — pillar, tanlangan filtr sahifalari — cluster. Bisyor.uz katalogini qurishda ham asosiy qaror shu bosqichda qabul qilingan: qaysi kesim alohida sahifa bo'ladi, qolgani esa faqat interfeys elementi bo'lib qoladi.
Qanday tekshirish kerak
- Search Console → Pages hisobotida indekslangan URL sonini saytdagi real sahifalar soni bilan solishtiring. Farq bir necha barobar bo'lsa — bloat bor.
- O'sha hisobotdagi "Duplicate without user-selected canonical" va "Crawled — currently not indexed" ro'yxatlarini oching: filtr URL'lari odatda shu yerda to'planadi.
- Qidiruvda
site:sayt.uz inurl:sort=kabi so'rov bilan parametrli URL'lar indeksga tushganini qo'lda tekshiring. - Server loglarida robot eng ko'p qaysi manzillarni so'raganini ko'ring — bu eng aniq manba.
- Yopishdan oldin har bir shablon uchun trafikni tekshiring: allaqachon tashrif keltirayotgan filtr sahifasini
noindexqilib qo'ymang.
O'zgartirish kiritilgach natija darhol ko'rinmaydi — URL'lar indeksdan chiqishi uchun robot ularni qayta ochishi kerak, bu haftalar oladi.
Ko'p so'raladigan savollar
Filtr sahifalarini yopsam trafik yo'qotamanmi?
Agar yopilayotgan sahifalar hozir tashrif keltirmayotgan bo'lsa — yo'q. Shuning uchun tartib shunday: avval Search Console'dan har bir shablon bo'yicha bosishlarni tekshiring, keyin nol bosishli va takroriy kontentli birikmalarni yoping. Trafigi bor filtr sahifasi aksincha kuchaytirilishi kerak — unga o'z matni va toifadan havola qo'shiladi.
Nechta filtr sahifasini ochiq qoldirish kerak?
Aniq raqam yo'q, mezon — talab. Odatda bitta toifa uchun bir necha o'nlab: eng ko'p so'raladigan bitta atribut bo'yicha kesimlar (o'lcham, brend, asosiy tur). Ikki atributli birikma faqat qidiruvda aniq so'ralsa ochiladi.
Buni o'zim qila olamanmi yoki dasturchi kerakmi?
robots.txt va meta teglarni sozlash — konsolda bajariladigan ish. Lekin URL tuzilmasini o'zgartirish (parametrni path'ga chiqarish, parametrlar tartibini birxillashtirish) backend tomonidan bajariladi. Katalog allaqachon ishlab turgan bo'lsa, eski URL'lardan yangisiga 301 kerak bo'ladi — bu qismini dasturchisiz qilib bo'lmaydi.
Index bloat jarima hisoblanadimi?
Yo'q, bu alohida sanksiya emas. Zarari bilvosita: skanerlash resursi behuda ketadi, sahifalar o'zaro raqobatlashadi va saytdagi past sifatli sahifalar ulushi ortadi. Sanksiya kutilmaydi, lekin o'sish sekinlashadi.
Katalogli saytda indeksatsiya strategiyasi filtr interfeysi yozilishidan oldin hal qilinsa, keyinchalik minglab URL'ni qaytarib yig'ishtirishga to'g'ri kelmaydi. Loyihangizda shu qatlamni ko'rib chiqish kerak bo'lsa — xizmatlar sahifasida ish tartibi yozilgan.