robots.txt

Во оваа статија, ќе ја испитаме клучната улога на датотеката robots.txt во управувањето со сообраќајот на веб-локациите, ќе разговараме за неопходноста од нејзиното присуство и ќе дадеме препораки за нејзино поставување за ефективно управување со индексирање на страници. Дополнително, ќе анализираме примери за правилно користење на директивите во датотеката robots.txt и ќе обезбедиме водич за тоа како да ја проверите исправноста на нејзините поставки.

Зошто е потребен Robots.txt

Robots.txt е датотека лоцирана на серверот на страницата во нејзиниот root директориум. Ги информира роботите на пребарувачите како треба да ја скенираат содржината на ресурсот. Правилната употреба на оваа датотека помага да се спречи индексирање на несакани страници, ги штити доверливите податоци и може да ја подобри ефикасноста на оптимизацијата на SEO и видливоста на страницата во резултатите од пребарувањето. Конфигурацијата на robots.txt се врши преку директиви, кои ќе ги разгледаме понатаму.

Поставување директиви во Robots.txt

Корисник агент

Примарната директива е позната како кориснички агент, каде што поставуваме посебен клучен збор за роботите. По откривањето на овој збор, роботот разбира дека правилото е наменето специјално за него.

Размислете за пример за користење на кориснички агент во датотеката robots.txt:

User-Agent: *
Disallow: /private/

Овој пример покажува дека сите пребарувачки роботи (претставени со симболот „ * “) треба да ги игнорираат страниците што се наоѓаат во директориумот /private/.

Еве како изгледа инструкцијата за специфични роботи за пребарување:

User-Agent: Googlebot
Disallow: /admin/

User-Agent: Bingbot
Disallow: /private/

Во овој случај, роботот за пребарување на Googlebot треба да ги игнорира страниците во директориумот /admin/ , додека Bingbot треба да ги игнорира страниците во директориумот /private/.

Не дозволувај

„Недозволи“ им кажува на роботите за пребарување кои URL-адреси да ги прескокнат или да не ги индексираат на веб-страницата. Оваа директива е корисна кога сакате да скриете чувствителни податоци или страници со содржина со низок квалитет од индексирање од страна на пребарувачите. Ако датотеката robots.txt го содржи записот „ Недозволи: /директор/“ , тогаш на роботите ќе им биде одбиен пристапот до содржината на наведениот директориум. На пример,

User-agent: *
Disallow: /admin/

Оваа вредност покажува дека сите роботи треба да ги игнорираат URL-адресите што почнуваат со /admin/ . За да го блокирате индексирањето на целата страница од страна на роботи, поставете го root директориумот како правило:

User-agent: *
Disallow: /

Дозволете

Вредноста „Дозволи“ делува спротивно на „Не дозволувај“: им дозволува на роботите за пребарување пристап до одредена страница или директориум, дури и ако другите директиви во датотеката robots.txt забрануваат пристап до неа.

Размислете за пример:

User-agent: *
Disallow: /admin/
Allow: /admin/login.html

Во овој пример, е наведено дека на роботите не им е дозволен пристап до директориумот /admin/ , освен до страницата /admin/login.html , која е достапна за индексирање и скенирање.

Robots.txt и Мапа на сајтот

Мапа на сајтот е XML-датотека која содржи список на URL-адреси на сите страници и датотеки на страницата што може да се индексираат од пребарувачите. Кога роботот за пребарување пристапува до датотеката robots.txt и гледа врска до XML-датотека од картата на страницата, може да ја користи оваа датотека за да ги најде сите достапни URL-адреси и ресурси на страницата. Директивата е наведена во формат:

Sitemap: https://yoursite.com/filesitemap.xml

Ова правило обично се става на крајот од документот без да биде поврзано со одреден кориснички агент и го обработуваат сите роботи без исклучок. Ако сопственикот на страницата не користи sitemap.xml, не е неопходно да се додаде правилото.

Примери на конфигурирани Robots.txt

Поставување Robots.txt за WordPress

Во овој дел, ќе разгледаме готова конфигурација за WordPress. Ќе го истражиме блокирањето на пристапот до доверливите податоци и дозволувањето пристап до главните страници.

Како подготвено решение, можете да го користите следниов код:

User-agent: *
# Block access to files containing confidential data
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php

# Allow access to the main site pages
Allow: /wp-content/uploads/
Allow: /sitemap.xml
Allow: /feed/
Allow: /trackback/
Allow: /comments/feed/
Allow: /category/*/*
Allow: /tag/*

# Prohibit the indexing of old versions of posts and parameterized queries to avoid content duplication or suboptimal indexing.
Disallow: /*?*
Disallow: /?s=*
Disallow: /?p=*
Disallow: /?page_id=*
Disallow: /?cat=*
Disallow: /?tag=*

# Include the sitemap (location needs to be replaced with your own)
Sitemap: http://yourdomain.com/sitemap.xml

Иако сите директиви се придружени со коментари, да навлеземе подлабоко во заклучоците.

1. Роботите нема да индексираат чувствителни датотеки и директориуми.
2. Во исто време, на роботите им е дозволен пристап до главните страници и ресурси на страницата.
3. забраната е поставена за индексирање на стари верзии на објави и параметризирани барања за да се спречи дуплирање на содржината.
4. Локацијата на картата на сајтот е означена за подобрено индексирање.

Така, разгледавме општ пример за подготвена конфигурација, во која некои чувствителни датотеки и патеки се скриени од индексирање, но главните директориуми се достапни.

За разлика од многу популарни CMS или веб-страници напишани по нарачка, WordPress има неколку додатоци кои го олеснуваат креирањето и управувањето со датотеката robots.txt. Едно од популарните решенија за оваа намена е Yoast SEO.

За да го инсталирате, треба:

1. Одете во административниот панел на WordPress.
2. Во делот „Приклучоци“, изберете „Додај ново“.
3. Најдете го приклучокот „Yoast SEO“ и инсталирајте го.
4. Активирај го приклучокот.

За да ја уредите датотеката robots.txt, треба:

1. Одете во делот „SEO“ во страничното мени на административниот панел и изберете „Општо“.
2. Одете во табулаторот "Алатки".
3. Кликнете на "Датотеки". Овде ќе видите различни датотеки, вклучувајќи го и robots.txt.
4. Внесете ги потребните правила за индексирање според вашите барања.
5. Откако ќе направите промени во датотеката, кликнете на копчето „Зачувај промени во robots.txt“.

Имајте предвид дека секоја поставка за датотека robots.txt за WordPress е единствена и зависи од специфичните потреби и карактеристики на страницата. Не постои универзален шаблон што би одговарал на сите ресурси без исклучок. Сепак, овој пример и употребата на приклучоци може значително да ја поедностават задачата.

Рачно поставување на Robots.txt

Слично на тоа, можете да ја поставите вашата конфигурација на датотеката дури и во отсуство на подготвен CMS за страницата. Корисникот исто така треба да ја постави датотеката robots.txt во root директориумот на страницата и да ги наведе потребните правила. Еве еден од примерите, во кој се наведени сите достапни директиви:

User-agent: *
Disallow: /admin/             # Prohibit access to the administrative panel
Disallow: /secret.html	      # Prohibit access to a specific file
Disallow: /*.pdf$	      # Prohibit indexing of certain file types
Disallow: /*?sort=	      # Prohibit indexing of certain URL parameters
Allow: /public/		      # Allow access to public pages
Sitemap: http://yourdomain.com/sitemap.xml # Include the sitemap

Како да ја проверите датотеката Robots.txt

Како помошна алатка при проверка на датотеката robots.txt за грешки, се препорачува да се користат онлајн услуги.

Разгледајте го примерот на услугата Yandex Webmaster . За да проверите, треба да вметнете линк до вашата страница во соодветното поле ако датотеката е веќе качена на серверот. После тоа, самата алатка ќе ја вчита конфигурацијата на датотеката. Исто така, постои опција за рачно внесување на конфигурацијата:

Следно, треба да побарате проверка и да ги чекате резултатите:

Во дадениот пример, нема грешки. Доколку ги има, услугата ќе ги прикаже проблематичните области и начините за нивно поправање.

Заклучок

Накратко, нагласивме колку е важна датотеката robots.txt за контрола на сообраќајот на страницата. Дадовме совети за тоа како правилно да го поставите за да управувате со тоа како пребарувачите индексираат страници. Покрај ова, разгледавме и примери за правилно користење на оваа датотека и дадовме упатства како да провериме дали сите поставки работат правилно.