Փորձառու բլոգերներից շատերը, անկասկած, գիտեն, թե ինչ է robots.txt- ը և ինչու է ձեզ պետք այս ֆայլը: Բայց քիչ հեղինակներ անմիջապես շտապում են ստեղծել robots.txt ֆայլ WordPress- ում բլոգ տեղադրելուց հետո:
Robots.txt- ը տեքստային ֆայլ է, որը վերբեռնված է ձեր կայքի արմատային գրացուցակում և պարունակում է սողունների ցուցումներ: Դրա օգտագործման հիմնական նպատակն է արգելել կայքի առանձին էջերի և բաժինների ինդեքսավորումը: Այնուամենայնիվ, օգտագործելով robots.txt, կարող եք նաև նշել տիրույթի ճիշտ հայելին, նշանակել կայքի քարտեզի ուղին և այլն:
Modernամանակակից որոնիչների մեծ մասը սովորել է լավ կողմնորոշվել հայտնի CMS- ում և սովորաբար չի փորձում ինդեքսավորել այն բովանդակությունը, որը նախատեսված չէ դրա համար: Օրինակ, Google- ը չի ինդեքսավորի ձեր WordPress բլոգի ադմինիստրատորի տարածքը, նույնիսկ եթե դուք դա ուղղակիորեն չեք նշում robots.txt- ում: Այնուամենայնիվ, որոշ դեպքերում ուղղակի արգելքների օգտագործումը դեռ կարող է օգտակար լինել: Եվ մենք առաջին հերթին խոսում ենք կրկնօրինակ բովանդակության արգելման մասին:
Որոշ վեբ վարպետներ այնքան հեռու են, որ արգելում են կատեգորիայի և պիտակի էջերի ինդեքսավորումը, քանի որ դրանց բովանդակությունը մասամբ կրկնօրինակում է հիմնական էջի բովանդակությունը: Բայց մեծ մասը սահմանափակվում է հետադարձ կապի և թարմացվող էջերի արգելմամբ, որոնք ամբողջությամբ կրկնօրինակում են հոդվածի բովանդակությունը և ընդհանրապես նախատեսված չեն որոնիչների համար: Նման նախազգուշական միջոցները ոչ միայն «ավելի մաքուր» կդարձնեն կայքի արդյունքները, այլև կփրկեն ձեզ որոնման հնարավոր զտիչներից, մանավանդ նոր Google Panda ալգորիթմի ներդրումից հետո:
Ահա առաջարկվող հրահանգները robots.txt ֆայլի համար (այն կգործի գրեթե ցանկացած WordPress բլոգի համար).
Օգտագործող գործակալ. * Արգելել. /Wp-login.php Արգելել. wp-content / cache Արգելել ՝ / wp-content / թեմաներ Արգելել ՝ / trackback / Disallow: / feed / Disallow: * / trackback / Disallow: * / feed /
Խնդրում ենք նկատի ունենալ, որ robots.txt- ում wp-admin և wp-ներառում վարչական պանակները ամբողջովին փակ են ինդեքսավորման համար: Wp- պարունակության պանակը միայն մասամբ է փակված, քանի որ այն պարունակում է վերբեռնումների գրացուցակ, որը պարունակում է ձեր բլոգի բոլոր պատկերները, որոնք պետք է ինդեքսավորվեն:
Այն ամենը, ինչ ձեզ հարկավոր է անել, վերը նշված կոդից հրահանգները պատճենելն է (նշեք, որ յուրաքանչյուր հրահանգ պետք է գրվի նոր տողի վրա), պահեք դրանք տեքստային ֆայլում, որը կոչվում է robots.txt, և վերբեռնել ձեր կայքի արմատային գրացուցակում:
Միշտ կարող եք ստուգել, թե արդյոք robots.txt- ը ճիշտ է աշխատում Google Webmaster Tools- ի և Yandex Webmaster- ի միջերեսների միջոցով:
