この記事では、ウェブサイトのトラフィック管理における robots.txt ファイルの主な役割を検討し、その存在の必要性について説明し、効果的なページ インデックス管理のために robots.txt ファイルを設定するための推奨事項を示します。さらに、robots.txt ファイルでの正しいディレクティブの使用例を分析し、その設定の正確性を確認する方法についてのガイドを提供します。
Robots.txt が必要な理由
robots.txt は、サイトのサーバーのルート ディレクトリにあるファイルです。検索エンジン ロボットにリソースのコンテンツをスキャンする方法を通知します。このファイルを適切に使用すると、不要なページのインデックス作成を防ぎ、機密データを保護し、SEO 最適化の効率と検索結果でのサイトの可視性を向上させることができます。robots.txt の構成はディレクティブを通じて行われます。これについては後で詳しく説明します。
Robots.txt でのディレクティブの設定
ユーザエージェント
主なディレクティブは User-Agent と呼ばれ、ロボット用の特別なキーワードを設定します。この単語を検出すると、ロボットはルールが自分専用であることを理解します。
robots.txt ファイルで User-Agent を使用する例を考えてみましょう。
User-Agent: *
Disallow: /private/この例は、すべての検索ロボット（「 * 」記号で表される）が/private/ディレクトリにあるページを無視する必要があることを示しています。
特定の検索ロボットに対する指示は次のようになります。
User-Agent: Googlebot
Disallow: /admin/
User-Agent: Bingbot
Disallow: /private/この場合、Googlebotの検索ロボットは/admin/ディレクトリ内のページを無視し、Bingbotは/private/ディレクトリ内のページを無視する必要があります。
禁じます
Disallow は、Web サイト上でどの URL をスキップするか、インデックスしないかを検索ロボットに指示します。このディレクティブは、機密データや低品質のコンテンツページが検索エンジンにインデックスされないようにしたい場合に便利です。robots.txt ファイルにDisallow: /directory/というエントリが含まれている場合、ロボットは指定されたディレクトリの内容へのアクセスを拒否されます。たとえば、
User-agent: *
Disallow: /admin/この値は、すべてのロボットが/admin/で始まる URL を無視することを意味します。サイト全体がどのロボットにもインデックスされないようにするには、ルートディレクトリをルールとして設定します。
User-agent: *
Disallow: /許可する
「許可」値は「許可しない」と逆の動作をします。つまり、robots.txt ファイル内の他のディレクティブによってアクセスが禁止されている場合でも、検索ロボットが特定のページまたはディレクトリにアクセスすることを許可します。
例を考えてみましょう：
User-agent: *
Disallow: /admin/
Allow: /admin/login.htmlこの例では、 /admin/ login.htmlページを除き、ロボットが/admin/ディレクトリにアクセスすることは許可されていないと指定されています。/admin/login.html ページは、インデックス作成とスキャンに使用できます。
Robots.txt とサイトマップ
サイトマップは、検索エンジンによってインデックス化できるサイト上のすべてのページとファイルの URL のリストを含む XML ファイルです。検索ロボットが robots.txt ファイルにアクセスし、サイトマップ XML ファイルへのリンクを見つけると、このファイルを使用して、サイト上の利用可能なすべての URL とリソースを見つけることができます。ディレクティブは次の形式で指定されます。
Sitemap: https://yoursite.com/filesitemap.xmlこのルールは通常、特定の User-Agent に結び付けられることなくドキュメントの最後に配置され、例外なくすべてのロボットによって処理されます。サイト所有者が sitemap.xml を使用していない場合は、ルールを追加する必要はありません。
設定された Robots.txt の例
WordPress の Robots.txt の設定
このセクションでは、WordPress の既成構成を検討します。機密データへのアクセスをブロックし、メイン ページへのアクセスを許可する方法について説明します。
すぐに使える解決策として、次のコードを使用できます。
User-agent: *
# Block access to files containing confidential data
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
# Allow access to the main site pages
Allow: /wp-content/uploads/
Allow: /sitemap.xml
Allow: /feed/
Allow: /trackback/
Allow: /comments/feed/
Allow: /category/*/*
Allow: /tag/*
# Prohibit the indexing of old versions of posts and parameterized queries to avoid content duplication or suboptimal indexing.
Disallow: /*?*
Disallow: /?s=*
Disallow: /?p=*
Disallow: /?page_id=*
Disallow: /?cat=*
Disallow: /?tag=*
# Include the sitemap (location needs to be replaced with your own)
Sitemap: http://yourdomain.com/sitemap.xmlすべての指示にはコメントが付随していますが、結論をさらに深く掘り下げてみましょう。
- ロボットは機密ファイルやディレクトリをインデックスしません。
- 同時に、ロボットはサイトのメインページとリソースにアクセスできるようになります。
- コンテンツの重複を防ぐため、古いバージョンの投稿やパラメータ化されたクエリのインデックス作成が禁止されています。
- インデックス作成を改善するために、サイトマップの場所が示されます。
このように、一部の機密ファイルとパスがインデックスから隠されているが、メインディレクトリにはアクセスできる、準備完了の構成の一般的な例を検討しました。
多くの人気CMSや独自開発サイトとは異なり、WordPressにはrobots.txtファイルの作成と管理を容易にするプラグインが多数用意されています。この目的のための人気ソリューションの1つがYoast SEOです。
インストールするには、次の手順が必要です。
- WordPress 管理パネルに移動します。
- 「プラグイン」セクションで、「新規追加」を選択します。
- 「Yoast SEO」プラグインを見つけてインストールします。
- プラグインを有効にします。
robots.txt ファイルを編集するには、次の手順を実行する必要があります。
- 管理パネルのサイドメニューの「SEO」セクションに移動し、「一般」を選択します。
- 「ツール」タブに移動します。
- 「ファイル」をクリックします。ここには robots.txt を含むさまざまなファイルが表示されます。
- 要件に応じて必要なインデックス作成ルールを入力します。
- ファイルに変更を加えたら、「robots.txt への変更を保存」ボタンをクリックします。
WordPress の各 robots.txt ファイル設定はそれぞれ異なり、サイトの特定のニーズと機能によって異なります。例外なくすべてのリソースに適合する汎用テンプレートはありません。ただし、この例とプラグインの使用により、タスクを大幅に簡素化できます。
Robots.txt の手動設定
同様に、サイト用の CMS が準備されていない場合でも、ファイルの構成を設定できます。ユーザーは、robots.txt ファイルをサイトのルート ディレクトリにアップロードし、必要なルールを指定する必要があります。次に、使用可能なすべてのディレクティブが示されている例の 1 つを示します。
User-agent: *
Disallow: /admin/ # Prohibit access to the administrative panel
Disallow: /secret.html # Prohibit access to a specific file
Disallow: /*.pdf$ # Prohibit indexing of certain file types
Disallow: /*?sort= # Prohibit indexing of certain URL parameters
Allow: /public/ # Allow access to public pages
Sitemap: http://yourdomain.com/sitemap.xml # Include the sitemapRobots.txt ファイルを確認する方法
robots.txt ファイルのエラーをチェックする際の補助ツールとして、オンライン サービスを使用することをお勧めします。
Yandex Webmasterサービスの例を考えてみましょう。確認するには、ファイルが既にサーバーにアップロードされているかどうか、該当するフィールドにサイトへのリンクを入力する必要があります。その後、ツール自体がファイル構成を読み込みます。構成を手動で入力するオプションもあります。
次に、チェックをリクエストして結果を待つ必要があります。
この例ではエラーはありません。エラーがある場合は、問題のある箇所とその修正方法が表示されます。
結論
要約すると、サイトのトラフィックを制御するために robots.txt ファイルがどれほど重要であるかを強調しました。検索エンジンがページをインデックスする方法を管理するために、robots.txt ファイルを適切に設定する方法についてアドバイスを提供しました。これに加えて、このファイルを正しく使用する方法の例も示し、すべての設定が正しく機能しているかどうかを確認する方法についても説明しました。
