Robots.txt ファイル

テンプレートから robots.txt ファイルを生成するには、以下のように サイト設定 を変更します。

enableRobotsTXT: true

enableRobotsTXT = true

{
   "enableRobotsTXT": true
}

デフォルトでは、Hugo は 内部テンプレート  を使用して robots.txt を生成します。

User-agent: *

ロボット排除プロトコル (Robots Exclusion Protocol) を尊重する検索エンジンは、これをサイト内のすべてをクロールする許可を得たと解釈します。

Robots.txt テンプレートの検索順序

内部テンプレートは、カスタムテンプレートで上書きできます。Hugo は、この検索順序を使用してテンプレートを選択します。

1. /layouts/robots.txt
2. /themes/<THEME>/layouts/robots.txt

Robots.txt テンプレートの例

User-agent: *
{{ range .Pages }}
Disallow: {{ .RelPermalink }}
{{ end }}

このテンプレートは、サイトの各ページに Disallow ディレクティブを含む robots.txt ファイルを作成します。 ロボット排除プロトコル (Robots Exclusion Protocol) を尊重する検索エンジンは、サイト上のどのページもクロールしないようにします。