Бул макалада биз веб-сайттардагы трафикти башкаруудагы robots.txt файлынын негизги ролун карап чыгабыз, анын болушунун зарылдыгын талкуулайбыз жана баракты индексациялоону эффективдүү башкаруу үчүн аны түзүү боюнча сунуштарды беребиз. Кошумчалай кетсек, биз robots.txt файлында директиваларды туура колдонуу мисалдарын талдап, анын жөндөөлөрүнүн тууралыгын текшерүү боюнча көрсөтмө беребиз.
Эмне үчүн Robots.txt керек
Robots.txt - бул сайттын серверинде, анын түпкү каталогунда жайгашкан файл. Бул издөө роботторуна ресурстун мазмунун кантип сканерлөө керектиги жөнүндө маалымат берет. Бул файлды туура колдонуу керексиз баракчаларды индекстөөнүн алдын алууга жардам берет, жашыруун маалыматтарды коргойт жана SEO оптималдаштыруунун натыйжалуулугун жана издөө натыйжаларында сайттын көрүнүүсүн жакшыртат. robots.txt конфигурациясы директивалар аркылуу жасалат, биз аны мындан ары карайбыз.
Robots.txt ичинде Директиваларды орнотуу
Колдонуучунун агенти
Негизги директива User-Agent деп аталат, анда биз роботтор үчүн атайын ачкыч сөздү койдук. Бул сөздү тапкандан кийин, робот эреже атайын ал үчүн арналганын түшүнөт.
Robots.txt файлында User-Agent колдонуунун мисалын карап көрөлү:
User-Agent: *
Disallow: /private/Бул мисал бардык издөө роботтору (белгиси менен көрсөтүлгөн) көрсөтөт.*") ичинде жайгашкан барактарга көңүл бурбоо керек /жеке/ каталогдорду.
Бул жерде нускама конкреттүү издөө роботторун кантип карайт:
User-Agent: Googlebot
Disallow: /admin/
User-Agent: Bingbot
Disallow: /private/Бул учурда, googlebot издөө роботу баракчаларды этибарга албашы керек /admin/ каталог, while бингбот ичиндеги барактарга көңүл бурбоо керек /жеке/ каталогдорду.
Уруксат берүү
Уруксат берүү издөө роботторуна веб-сайтта кайсы URL даректерин өткөрүп жиберип же индекстебестигин айтат. Бул директива сиз издөө системалары тарабынан индекстелген купуя маалыматтарды же сапаты төмөн мазмун барактарын жашыргыңыз келгенде пайдалуу. Эгерде robots.txt файлында жазуу камтылса Тыюу салуу: /каталогдор/, анда роботтор көрсөтүлгөн каталогдун мазмунуна кирүүсүнө тыюу салынат. Мисалы,
User-agent: *
Disallow: /admin/Бул маани ошону көрсөтүп турат бардык роботтор менен башталган URL'дерди этибарга албашы керек /admin/. Бардык сайтты кандайдыр бир роботтор индекстөөсүнө бөгөт коюу үчүн, эреже катары түпкү каталогду орнотуңуз:
User-agent: *
Disallow: /уруксат берүү
"Уруксат берүү" мааниси "Бөгөт коюуга" карама-каршы иштейт: роботтор.txt файлындагы башка директивалар ага кирүүгө тыюу салса дагы, ал издөө роботторуна белгилүү бир баракка же каталогго кирүүгө уруксат берет.
Мисалга карап көрөлү:
User-agent: *
Disallow: /admin/
Allow: /admin/login.htmlБул мисалда роботторго кирүүгө уруксат берилбейт деп көрсөтүлгөн /admin/ каталогунан башкасы /admin/login.html индекстөө жана сканерлөө үчүн жеткиликтүү бет.
Robots.txt жана Сайттын картасы
Сайттын картасы – бул издөө системалары тарабынан индекстеле турган сайттын бардык барактарынын жана файлдарынын URL даректеринин тизмесин камтыган XML файлы. Издөөчү робот robots.txt файлына кирип, сайттын картасынын XML файлына шилтемени көргөндө, ал бул файлды сайттагы бардык жеткиликтүү URL даректерин жана ресурстарын табуу үчүн колдоно алат. Директива төмөнкү форматта көрсөтүлгөн:
Sitemap: https://yoursite.com/filesitemap.xmlБул эреже, адатта, документтин аягында белгилүү бир Колдонуучу-Агентке байланбастан жайгаштырылат жана бардык роботтор тарабынан иштетилет. Эгер сайттын ээси sitemap.xml колдонбосо, эрежени кошуунун кажети жок.
Конфигурацияланган Robots.txt мисалдары
WordPress үчүн Robots.txt орнотуу
Бул бөлүмдө биз WordPress үчүн даяр конфигурацияны карап чыгабыз. Биз купуя маалыматтарга кирүүгө бөгөт коюу жана негизги барактарга кирүүгө уруксат берүүнү изилдейбиз.
Даяр чечим катары, сиз төмөнкү кодду колдоно аласыз:
User-agent: *
# Block access to files containing confidential data
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
# Allow access to the main site pages
Allow: /wp-content/uploads/
Allow: /sitemap.xml
Allow: /feed/
Allow: /trackback/
Allow: /comments/feed/
Allow: /category/*/*
Allow: /tag/*
# Prohibit the indexing of old versions of posts and parameterized queries to avoid content duplication or suboptimal indexing.
Disallow: /*?*
Disallow: /?s=*
Disallow: /?p=*
Disallow: /?page_id=*
Disallow: /?cat=*
Disallow: /?tag=*
# Include the sitemap (location needs to be replaced with your own)
Sitemap: http://yourdomain.com/sitemap.xmlБардык директивалар комментарийлер менен коштолгонуна карабастан, тыянактарды тереңирээк изилдеп көрөлү.
- Роботтор сезимтал файлдарды жана каталогдорду индекстебейт.
- Ошол эле учурда роботторго сайттын негизги баракчаларына жана ресурстарына кирүүгө уруксат берилет.
- тыюу мазмунду кайталоону алдын алуу үчүн посттордун жана параметрлештирилген сурамдардын эски версияларын индексациялоого коюлган.
- Сайттын картасынын жайгашкан жери жакшыртылган индекстөө үчүн көрсөтүлгөн.
Ошентип, биз даяр конфигурациянын жалпы мисалын карап чыктык, анда кээ бир сезимтал файлдар жана жолдор индекстөөдөн жашырылган, бирок негизги каталогдор жеткиликтүү.
Көптөгөн популярдуу CMS же атайын жазылган сайттардан айырмаланып, WordPressте robots.txt файлын түзүүнү жана башкарууну жеңилдеткен бир нече плагиндер бар. Бул максат үчүн популярдуу чечимдердин бири болуп саналат Yoast SEO.
Аны орнотуу үчүн, сизге керек:
- WordPress администратор панелине өтүңүз.
- "Плагиндер" бөлүмүндө "Жаңы кошуу" тандаңыз.
- "Yoast SEO" плагинин таап, аны орнотуңуз.
- плагин жандандыруу.
robots.txt файлын түзөтүү үчүн сизге төмөнкүлөр керек:
- Администратор панелинин капталдагы менюсунда "SEO" бөлүмүнө өтүп, "Жалпы" дегенди тандаңыз.
- "Куралдар" өтмөгүнө өтүңүз.
- "Файлдарды" чыкылдатыңыз. Бул жерде сиз ар кандай файлдарды көрөсүз, анын ичинде robots.txt.
- Сиздин талаптарыңызга ылайык керектүү индекстөө эрежелерин киргизиңиз.
- Файлга өзгөртүүлөрдү киргизгенден кийин, "Robots.txtге өзгөртүүлөрдү сактоо" баскычын чыкылдатыңыз.
WordPress үчүн ар бир robots.txt файл жөндөөлөрү уникалдуу жана сайттын өзгөчө муктаждыктарына жана өзгөчөлүктөрүнө көз каранды экенин эске алыңыз. Бардык ресурстарга ылайыктуу универсалдуу шаблон жок. Бирок, бул мисал жана плагиндерди колдонуу тапшырманы кыйла жөнөкөйлөтө алат.
Robots.txt кол менен орнотуу
Ошо сыяктуу эле, сиз сайт үчүн даяр CMS жок болгон учурда да файлдын конфигурациясын орното аласыз. Колдонуучу ошондой эле robots.txt файлын сайттын түпкү каталогуна жүктөп, керектүү эрежелерди көрсөтүшү керек. Бул жерде бардык жеткиликтүү директивалар көрсөтүлгөн мисалдардын бири болуп саналат:
User-agent: *
Disallow: /admin/ # Prohibit access to the administrative panel
Disallow: /secret.html # Prohibit access to a specific file
Disallow: /*.pdf$ # Prohibit indexing of certain file types
Disallow: /*?sort= # Prohibit indexing of certain URL parameters
Allow: /public/ # Allow access to public pages
Sitemap: http://yourdomain.com/sitemap.xml # Include the sitemapRobots.txt файлын кантип текшерсе болот
robots.txt файлында каталарды текшерүүдө көмөкчү курал катары онлайн кызматтарды колдонуу сунушталат.
мисалын карап көрөлү Yandex Webmaster кызмат. Текшерүү үчүн, файл серверге жүктөлгөн болсо, тиешелүү талаага сайтыңызга шилтемени киргизишиңиз керек. Андан кийин, курал өзү файл конфигурациясын жүктөйт. Конфигурацияны кол менен киргизүү мүмкүнчүлүгү да бар:
Андан кийин, текшерүүнү талап кылып, натыйжаларды күтүшүңүз керек:
Берилген мисалда каталар жок. Эгерде бар болсо, кызмат көйгөйлүү жерлерди жана аларды оңдоонун жолдорун көрсөтөт.
жыйынтыктоо
Жыйынтыктап айтканда, биз robots.txt файлы сайттагы трафикти көзөмөлдөө үчүн канчалык маанилүү экенин баса белгиледик. Издөө системалары баракчаларды кантип индекстөө үчүн аны кантип туура орнотуу боюнча кеңештерди бердик. Мындан тышкары, биз бул файлды кантип туура колдонуунун мисалдарын карап чыктык жана бардык орнотуулар туура иштеп жатканын текшерүү боюнча көрсөтмөлөрдү бердик.
