Robots.txt 和 SEO：用途完整指南
什麼是Robots.txt？ Robots.txt 是一個文件，告訴搜尋引擎蜘蛛不要抓取網站的某些頁面或部分。大多數主要搜尋引擎（包括 Google、Bing 和 Yahoo）都會識別並尊重 Robots.txt 請求。 為什麼 Robots.txt 很重要？ 大多數網站不需要robots.txt檔案。 這是因為 Google 通常可以找到您網站上的所有重要頁面並為其編制索引。 他們會自動不索引不重要的頁面或其他頁面的重複版本。 也就是說，您想要使用 robots.txt 檔案有 3 個主要原因。 封鎖非公開頁面：有時您的網站上有一些您不希望編入索引的頁面。例如，您可能有頁面的暫存版本。或登入頁面。這些頁面需要存在。但你不希望隨機的人登陸它們。在這種情況下，您可以使用 robots.txt 來阻止搜尋引擎抓取工具和機器人存取這些頁面。 最大化抓取預算：如果您很難將所有頁面編入索引，則可能存在抓取預算問題。透過使用 robots.txt 封鎖不重要的網頁，Googlebot 可以將更多的抓取預算花在真正重要的網頁上。 防止資源索引：使用元指令可以像 Robots.txt 一樣防止頁面被索引。但是，元指令不適用於多媒體資源，例如 PDF 和影像。這就是 robots.txt 發揮作用的地方。 底線是什麼？Robots.txt 告訴搜尋引擎蜘蛛不要抓取您網站上的特定頁面。 您可以在Google Search Console中檢查您已將多少頁面編入索引。 如果該數字與您想要索引的頁面數匹配，則無需費心使用 Robots.txt 檔案。 但如果該數字高於您的預期（並且您注意到不應編入索引的索引網址），那麼就需要為您的網站建立 robots.txt …
