Bu yazıda biz robots.txt faylının veb-saytlarda trafikin idarə edilməsində əsas rolunu araşdıracağıq, onun mövcudluğunun zəruriliyini müzakirə edəcəyik və səhifənin indeksləşdirilməsinin effektiv idarə edilməsi üçün onu qurmaq üçün tövsiyələr verəcəyik. Bundan əlavə, biz robots.txt faylında düzgün direktivlərdən istifadə nümunələrini təhlil edəcəyik və onun parametrlərinin düzgünlüyünü yoxlamaq üçün bələdçi təqdim edəcəyik.
Robots.txt niyə lazımdır
Robots.txt saytın serverində, kök kataloqunda yerləşən fayldır. O, axtarış motoru robotlarına resursun məzmununu necə skan etmələri barədə məlumat verir. Bu fayldan düzgün istifadə istənməyən səhifələrin indeksləşdirilməsinin qarşısını almağa kömək edir, məxfi məlumatları qoruyur və SEO optimallaşdırmasının səmərəliliyini və axtarış nəticələrində saytın görünməsini yaxşılaşdıra bilər. Robots.txt faylının konfiqurasiyası direktivlər vasitəsilə həyata keçirilir, biz bunu daha ətraflı nəzərdən keçirəcəyik.
Robots.txt-də Direktivlərin qurulması
İstifadəçi Agent
Əsas direktiv İstifadəçi-Agent kimi tanınır, burada biz robotlar üçün xüsusi açar söz təyin edirik. Bu sözü aşkar etdikdən sonra robot qaydanın xüsusi olaraq bunun üçün nəzərdə tutulduğunu başa düşür.
Robots.txt faylında User-Agent istifadə nümunəsinə nəzər salın:
User-Agent: *
Disallow: /private/Bu nümunə göstərir ki, bütün axtarış robotları (" simvolu ilə təmsil olunur*") -də yerləşən səhifələrə məhəl qoymamalıdır /şəxsi/ kataloq.
Təlimat xüsusi axtarış robotları üçün necə görünür:
User-Agent: Googlebot
Disallow: /admin/
User-Agent: Bingbot
Disallow: /private/Bu vəziyyətdə Googlebot Axtarış robotunda səhifələrə məhəl qoymamalıdır /admin/ kataloq, isə Bingbot -dəki səhifələrə məhəl qoymamalıdır /şəxsi/ kataloq.
Disallow
Disallow Axtarış robotlarına vebsaytda hansı URL-lərin atlanacağını və ya indekslənməməsini bildirir. Bu direktiv həssas məlumatları və ya aşağı keyfiyyətli məzmun səhifələrini axtarış motorları tərəfindən indekslənmədən gizlətmək istədiyiniz zaman faydalıdır. Əgər robots.txt faylında giriş varsa İcazə ver: /kataloqlar/, sonra robotların göstərilən kataloqun məzmununa girişi qadağan ediləcək. Məsələn,
User-agent: *
Disallow: /admin/Bu dəyər onu göstərir bütün robotlar ilə başlayan URL-lərə məhəl qoymamalıdır /admin/. Bütün saytın hər hansı robot tərəfindən indeksləşdirilməsini əngəlləmək üçün bir qayda olaraq kök kataloqunu təyin edin:
User-agent: *
Disallow: /Imkan
"İcazə Ver" dəyəri "İcazə Vermə"nin əksinə işləyir: robots.txt faylındakı digər direktivlər ona girişi qadağan etsə belə, axtarış robotlarına xüsusi səhifə və ya kataloqa daxil olmağa icazə verir.
Məsələni nəzərdən keçirək:
User-agent: *
Disallow: /admin/
Allow: /admin/login.htmlBu misalda, robotların daxil olmaq üçün icazə verilmədiyi göstərilmişdir /admin/ qovluğu istisna olmaqla /admin/login.html indeksləşdirmə və skan etmək üçün mövcud olan səhifə.
Robots.txt və Sayt xəritəsi
Saytın xəritəsi axtarış motorları tərəfindən indeksləşdirilə bilən saytdakı bütün səhifələrin və faylların URL-lərinin siyahısını ehtiva edən XML faylıdır. Axtarış robotu robots.txt faylına daxil olduqda və sayt xəritəsi XML faylına keçid görəndə, o, bu fayldan saytda bütün mövcud URL-ləri və resursları tapmaq üçün istifadə edə bilər. Direktiv aşağıdakı formatda göstərilmişdir:
Sitemap: https://yoursite.com/filesitemap.xmlBu qayda adətən konkret İstifadəçi-Agentə bağlanmadan sənədin sonunda yerləşdirilir və istisnasız olaraq bütün robotlar tərəfindən işlənir. Sayt sahibi sitemap.xml istifadə etmirsə, qayda əlavə etmək lazım deyil.
Konfiqurasiya edilmiş Robots.txt nümunələri
WordPress üçün Robots.txt quraşdırma
Bu bölmədə WordPress üçün hazır konfiqurasiyanı nəzərdən keçirəcəyik. Biz məxfi məlumatlara girişin bloklanmasını və əsas səhifələrə girişə icazə verilməsini araşdıracağıq.
Hazır bir həll olaraq, aşağıdakı kodu istifadə edə bilərsiniz:
User-agent: *
# Block access to files containing confidential data
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
# Allow access to the main site pages
Allow: /wp-content/uploads/
Allow: /sitemap.xml
Allow: /feed/
Allow: /trackback/
Allow: /comments/feed/
Allow: /category/*/*
Allow: /tag/*
# Prohibit the indexing of old versions of posts and parameterized queries to avoid content duplication or suboptimal indexing.
Disallow: /*?*
Disallow: /?s=*
Disallow: /?p=*
Disallow: /?page_id=*
Disallow: /?cat=*
Disallow: /?tag=*
# Include the sitemap (location needs to be replaced with your own)
Sitemap: http://yourdomain.com/sitemap.xmlBaxmayaraq ki, bütün direktivlər şərhlərlə müşayiət olunur, gəlin nəticələri daha dərindən araşdıraq.
- Robotlar həssas faylları və qovluqları indeksləməyəcək.
- Eyni zamanda, robotların saytın əsas səhifələrinə və resurslarına daxil olmasına icazə verilir.
- qadağa məzmunun təkrarlanmasının qarşısını almaq üçün yazıların və parametrləşdirilmiş sorğuların köhnə versiyalarının indeksləşdirilməsinə qoyulub.
- Sayt xəritəsinin yeri təkmilləşdirilmiş indeksləşdirmə üçün göstərilmişdir.
Beləliklə, biz hazır konfiqurasiyanın ümumi nümunəsini nəzərdən keçirdik, burada bəzi həssas fayllar və yollar indeksləşdirmədən gizlədilir, lakin əsas kataloqlar əlçatandır.
Bir çox məşhur CMS və ya xüsusi yazılmış saytlardan fərqli olaraq, WordPress robots.txt faylının yaradılmasını və idarə olunmasını asanlaşdıran bir neçə plaginlərə malikdir. Bu məqsəd üçün məşhur həllərdən biri Yoast SEO.
Onu quraşdırmaq üçün sizə lazımdır:
- WordPress idarəetmə panelinə keçin.
- "Pluginlər" bölməsində "Yeni əlavə et" seçin.
- "Yoast SEO" plaginini tapın və quraşdırın.
- Eklentiyi aktivləşdirin.
robots.txt faylını redaktə etmək üçün sizə lazımdır:
- İdarəetmə panelinin yan menyusunda "SEO" bölməsinə keçin və "Ümumi" seçin.
- "Alətlər" sekmesine keçin.
- "Fayllar" üzərinə klikləyin. Burada robots.txt daxil olmaqla müxtəlif faylları görəcəksiniz.
- Tələblərinizə uyğun olaraq lazımi indeksləşdirmə qaydalarını daxil edin.
- Faylda dəyişikliklər etdikdən sonra "Dəyişiklikləri robots.txt-də saxla" düyməsini klikləyin.
Qeyd edək ki, WordPress üçün hər bir robots.txt fayl parametri unikaldır və saytın xüsusi ehtiyaclarından və xüsusiyyətlərindən asılıdır. İstisnasız olaraq bütün resurslara uyğun gələn universal şablon yoxdur. Bununla belə, bu nümunə və plaginlərin istifadəsi işi əhəmiyyətli dərəcədə asanlaşdıra bilər.
Robots.txt-in Manual Setting
Eynilə, sayt üçün hazır CMS olmadıqda belə, faylın konfiqurasiyasını qura bilərsiniz. İstifadəçi həmçinin robots.txt faylını saytın kök kataloquna yükləməli və lazımi qaydaları dəqiqləşdirməlidir. Bütün mövcud direktivlərin göstərildiyi nümunələrdən biri budur:
User-agent: *
Disallow: /admin/ # Prohibit access to the administrative panel
Disallow: /secret.html # Prohibit access to a specific file
Disallow: /*.pdf$ # Prohibit indexing of certain file types
Disallow: /*?sort= # Prohibit indexing of certain URL parameters
Allow: /public/ # Allow access to public pages
Sitemap: http://yourdomain.com/sitemap.xml # Include the sitemapRobots.txt faylını necə yoxlamaq olar
Robots.txt faylında səhvlər yoxlanarkən köməkçi vasitə kimi onlayn xidmətlərdən istifadə etmək tövsiyə olunur.
Məsələni nəzərdən keçirək Yandex Webmaster xidmət. Yoxlamaq üçün fayl artıq serverə yüklənibsə, müvafiq sahəyə saytınıza keçid daxil etməlisiniz. Bundan sonra alət özü fayl konfiqurasiyasını yükləyəcək. Konfiqurasiyanı əl ilə daxil etmək üçün bir seçim də var:
Sonra, bir çek tələb etməli və nəticələri gözləməlisiniz:
Verilmiş nümunədə heç bir səhv yoxdur. Əgər varsa, xidmət problemli sahələri və onları aradan qaldırmaq yollarını göstərəcək.
Nəticə
Xülasə, biz robots.txt faylının saytdakı trafikə nəzarət üçün nə qədər vacib olduğunu vurğuladıq. Axtarış motorlarının səhifələri necə indekslədiyini idarə etmək üçün onu necə düzgün qurmaq barədə məsləhətlər verdik. Bundan əlavə, biz bu fayldan düzgün istifadə nümunələrinə də baxdıq və bütün parametrlərin düzgün işlədiyini yoxlamaq üçün təlimatlar verdik.
