10個方法讓谷歌快速索引你的網站
如果Google沒有將你的網站編入索引，那麼網站幾乎是不可見的。 你不會出現在任何搜尋結果中，也不會獲得任何自然流量。
既然你在這裡，相信你已經知道這件事情了。 因此，讓我們直接開始進入話題。
更多內容歡迎關注公眾號： SEO那些事兒
本文會教你如何解決以下這三個問題：
1.你的整個網站沒有被索引;
2.一部分頁面有索引，而其他的沒有;
3.新發佈的頁面並沒有被即時索引。
但是首先，我們得先理解索引的意義。
什麼是抓取和索引？
Google通過抓取來發現新的網頁，然後將這些網頁添加到索引中。 他們使用稱為Googlebot的網路爬蟲來進行此操作。
很困惑？ 讓我們來對一些名詞做一些解釋：
抓取：在網頁上跟蹤超連結以發現新內容的過程。
索引： Google 已將某個網頁「編入索引」是指：Google 抓取工具（"Googlebot"）已訪問該網頁、已分析其內容和含義並已將其存儲在Google索引中。 已編入索引的網頁可以顯示在Google搜尋結果中（前提是這些網頁遵循了Google的網站站長指南）。 雖然大多數網頁都是在被抓取后才被編入索引，但 Google 也可能會在不訪問網頁內容的情況下將網頁編入索引（例如，如果相應網頁被 robots.txt 指令遮罩了）。
網路爬蟲：一種執行抓取的程式。
Googlebot：谷歌的網路爬蟲（谷歌蜘蛛）。
當你在Google搜索內容時，其實是在要求Google返回其索引中的所有相關頁面。 由於通常有成千上萬的網頁符合要求，因此Google的排名演算法會盡力對網頁進行排序，以便你會首先看到最好的和最相關的結果。
我這裡要闡述的一個要點是，索引和排名是兩個不同的事情。
索引為了是參與，而排名是為了獲勝。
如果你都沒有參與是不可能獲得獲勝的。
如何檢查你的頁面是否被索引了
進入谷歌，然後進行如下搜索 site：你的網址
這裡的數字顯示的是大致的索引頁面數量。
如果你想檢查某個具體的頁面是否被索引的話，同樣也可以進行這樣的操作site：詳細的網址
如果沒有任何結果的話，就說明頁面沒有被索引。
如果你是Google Search Console的用戶的話，你只需要查看覆蓋率額報告就可以找到精準的索引數據。 你只需要進入：
Google Search Console > 索引 > 覆蓋率
你可以使用Google Search Console來檢測特定頁面是否被索引。 你只需要將頁面URL放入URL檢測工具中。
如何讓谷歌索引你的頁面
你的網站或者頁面沒有被谷歌索引？ 試下這些：
進入Google Search Console。
進入URL檢測工具。
將需要索引的URL粘貼到搜索框中。
等待谷歌檢測URL。
點擊「請求編入索引」 按鈕。
當你發佈新帖子或頁面時，最好這麼操作。 你實際上是在告訴Google，你已經在網站上添加了一些新內容，它們應該去看看。
但是，請求編入索引不太可能解決舊頁面的索引問題。 如果是這種情況，請按照下面的清單進行診斷並解決問題。
- 去除Robots.txt中的抓取阻礙
- 去除不必要的noindex標籤
- 將需要索引的頁面包含在網站地圖中
- 去除不必要的canonical標籤
- 檢查頁面是否是孤島頁面
- 修復不必要的內部nofollow連結
- 在「強力」頁面中加入內部連結
- 確保頁面獨特並且有價值
- 去除低品質頁面 （優化"抓取預算"）
- 建立高品質的外鏈
1） 去除Robots.txt中的抓取阻礙
Google沒有索引整個網站？ 這可能是由於robots.txt檔存在抓取阻礙導致的。
進入http://yourdomain.com/robots.txt檢查詳細的問題。
檢查是否右下方的這兩段中的任意一個代碼：
1 User-agent: Googlebot
2 Disallow: /
1 User-agent: *
2 Disallow: /
這兩個都告訴Googlebot，不允許它們抓取網站上的任何頁面。 要解決此問題，你只需要刪除它們，就這麼簡單。
如果Google沒有為單個網頁編製索引，也有可能是robots.txt中的某個代碼導致的。 要檢查是否存在這種情況，請將URL粘貼到Google Search Console中的URL檢測工具中。 點擊覆蓋率板塊以顯示更多詳細訊息，然後查找「是否允許抓取？ 否：被robots.txt阻止"錯誤。
這就代表，頁面被robots.txt阻止了。
如果是這種情況，請重新檢查你的robots.txt檔中是否有與該頁面或相關目錄有關的「禁止」規則。
在需要的情況下移除這段代碼即可。
2) 移除不必要的noindex分頁
如果你告訴谷歌不索引某個網頁，谷歌是不會為其編製索引的。 這可以讓一部分頁面保持隱秘。 有兩種方法可以做到這一點：
方法1：meta標籤
在頁面的<head> 中如果出現如下任意代碼，則不會被谷歌索引：
<meta name=“robots” content=“noindex”>
<meta name=“googlebot” content=“noindex”>
這是一個針對爬蟲的meta標記，它告訴搜尋引擎它們是否可以為該頁面編製索引。
小提示. 核心的參數是「noindex」 如果出現了「noindex」 就代表頁面設置了不索引。
方法2：X-Robots-Tag
網路爬蟲遵循X-Robots-Tag的HTTP回應標頭。 你可以使用伺服器端文本語言（例如PHP）、. htaccess檔中的內容或通過更改伺服器配置來實現此效果。
Google Search Console中的URL檢查工具可告訴你，是否是由於此標頭而阻止Google抓取頁面。 只需輸入URL，然後查找「允許索引？ 否：在" X-Robots-Tag" http標頭中檢測到" noindex"標記。
3） 將需要索引的頁面包含在網站地圖中
網站地圖會告訴Google網站上的哪些頁面很重要，哪些不重要。 它同時也可以為谷歌的抓取頻率做一些指導。
Google應該能夠在你的網站上找到網頁，無論它們是否在網站地圖中，但將它們包括在網站地圖內仍然是一種很好的做法。 畢竟，沒必要讓谷歌進行毫無意義的抓取。
要檢查網頁是否在你的網站地圖中，請使用Google Search Console中的URL檢查工具。 如果你看到"此網站未顯示在Google搜尋結果中"和"網站地圖：不適用"，則表明該URL未建立索引或不在你的網站地圖中。
可以向谷歌站長工具提交網站地圖（xml格式）
4） 去除不必要的canonical標籤
Canonical標籤會告訴Google哪個是頁面的首選版本。 它看起來像這樣：
<link rel=“canonical” href=“/page.html”/>
大多數頁面沒有canonical標籤，也就是所謂的自引用的canonical標籤。 這就告訴Google該頁面本身就是首選版本，同時可能是唯一的版本。 換句話說，你希望對該頁面建立索引。
但是，如果你的頁面有不規範的canonical標籤，那麼有可能在告訴Google錯誤的首選版本。 在這種情況下，你的頁面將不會被索引
檢測canonical標籤，你只需要使用谷歌的URL檢測工具。 如果你的頁面的canonical標籤指向了另外一個頁面，你看可以看到"具有Canonical標籤的備用頁面"的提示。 如果這個不應該出現，你希望當前頁面被索引，那麼只需要去除該頁面的canonical標籤即可。
提示：請注意，canonical標籤並不總是不好的。 帶有這些標籤的大多數頁面都會有它們的原因。 如果你看到你的頁面具有canonical標籤，請檢查對應的頁面。 如果確實是該頁面的首選版本，並且也無需索引該頁面，則應該保留canonical標記。
5） 檢查頁面是否是孤島頁面
孤島頁面指的是那些沒有內部連結支撐的頁面。
由於Google通過抓取連結發現新內容，因此他們無法通過該過程發現孤島頁面。 網站訪客也將無法找到這些內容。
檢測孤島頁面，可以使用Ahrefs' Site Audit（網站診斷）工具。 然後點擊 Incoming links（指向連結）報告，並查看「孤島頁面 （沒有任何指向連結）」錯誤：
這會顯示出所有可索引、在網站地圖中顯示的、但沒有內部指向連結的所有頁面。
提示：
這個只有在下方兩種情況下才能夠正常檢測出結果：
1.所有需要索引的頁面都在你的網站地圖中。
2.在Ahrefs的Site Audit（網站診斷）最開始，將選擇使用網站地圖中的頁面選項打勾。
你可以通過以下兩種中任意一個方法解決孤島問題：
1.如果頁面不重要，那麼將它刪除，並移出網站地圖。
2.如果頁面很重要，將它放到你的內鏈結構中去。
6) 修復不必要的內部nofollow連結
Nofollow連結指的是那些有著 rel="nofollow" 標記的連結。 它們會阻止PageRank的傳遞。 同時谷歌並不會抓取Nofollow連結。
這裡是谷歌針對這個做的說明：
本質上，使用nofollow會導致我們從抓取目錄中刪除目標連結。 但是，如果其他網站在不使用nofollow的情況下連結到目標頁面，或者這些URL是在網站地圖中提交給Google的，則目標頁面仍可能會出現在我們的索引中。
簡而言之，你需要確保指向索引頁面的連結是follow狀態的。
同樣可以使用Ahrefs的Site Audit（網站診斷）工具對網站進行抓取。 檢查"Incoming links（指向連結）"報告中是否出現"Page has nofollow incoming internal links only（頁面僅具有nofollow的指向連結）"的錯誤：
假設你要Google索引該頁面，請從這些指向連結中刪除nofollow標記。 如果不是，請刪除該頁面或對該頁面進行noindex處理。
7） 在「強力」頁面中加入內部連結
Google通過抓取你的網站來發現新內容。 如果你忽略了內部連結到相關頁面，則它可能找不到這個頁面。
解決此問題的一種簡單方法是在網站中添加一些內部連結。 你可以在建立索引的任何網頁上執行此操作。 但是，如果你希望Google盡可能快地為頁面建立索引，則可以在一些「強力的」頁面上建立一些內部連結。
為什麼？ 因為相比於一些不太重要的頁面，Google會更快地抓取此類頁面。
做法就是，進入Ahrefs Site Explorer（網站分析），輸入你的域名，並查看 Best by links（最佳連結）報告。
這將顯示網站上的所有頁面，按URL Rating（網址評分）進行排序。 換句話說，它首先顯示的是權重最高的頁面。
查看清單並查找相關頁面，可以在這些頁面上添加一些目標頁面的內部連結。
建議：在你添加完內部鏈接之後，將該頁面粘貼到Google的URL檢查工具中。 點擊「請求編入索引」按鈕，以使Google知道頁面上的某些內容已更改，它需要儘快對其進行重新抓取。 這可以加快Google發現內部連結並因此發現你要索引的頁面的進程。
8） 確保頁面獨特並且有價值
Google不太可能將低品質的網頁編入索引，因為它們對用戶沒有任何價值。
如果你的頁面已經排除了技術問題但還是不索引，那麼可能就是頁面的價值不足。 因此，你需要重新審視頁面並問自己：這個頁面真的有價值嗎？ 如果使用者從搜尋結果中點擊該頁面，會在該頁面找到有用的內容嗎？
如果對上述兩個問題的回答均為否，那麼你就需要改進你的內容。
"內容為王"時至今日在SEO領域還是適用。
9) 去除低品質頁面（優化"抓取預算"）
網站上的劣質頁面過多，會浪費谷歌的抓取預算。
這裡是谷歌對此做的說明：
在低價值頁面上浪費伺服器資源，會使抓取有價值內容的頻率下降，這可能會導致在網站上發現大量新內容時出現延遲。
可以將其視為導師在給論文進行評分，其中一個就是你的論文。 如果他們要審閱10篇論文，那麼他們很快就會看到你的論文。 如果他們要審閱一百個，那將花費更長的時間。 如果有成千上萬的話，那麼他們的工作量就太高了，他們可能永遠也無法對你的內容進行打分。
Google確實指出：抓取預算[...] 並不是大多數站長都需要擔心的事情，並且「如果網站的頁面少於幾千個」，則都可以對其進行有效的抓取。
不過，從你的網站上刪除低質量的頁面絕不是一件壞事。 它只會產生積極影響。
10） 建立高品質的外鏈
外鏈告訴Google這個頁面很重要。 畢竟，如果有人連結到它，則它必須具有一定的價值。 這些是Google想要索引的頁面。
Google不僅會索引帶有外鏈的網頁。 有很多（上億的）沒有外鏈的頁面也編入了索引。 但是，由於Google認為具有高品質鏈接的頁面更為重要，因此與不具有高品質鏈接的頁面相比，它們抓取和重新抓取的速度可能更快。 這會使得索引變的更快。
關於外鏈的文章可以參考之前的：
索引 ≠ 排名
在Google上獲得索引，並不代表你能獲得排名或者是流量。
這是兩個不同的東西。
索引意味著谷歌已經看到了你的網站，但是並不意味著你的內容值得谷歌對特定關鍵詞進行排序。
這就是SEO需要做的——優化網頁以針對特定關鍵詞進行排名的藝術。
簡單的來說，SEO包含：
找到你的使用者在搜索什麼;
圍繞話題創作內容;
針對目標關鍵詞進行優化;
外鏈建設;
對頁面內容進行更新，保持"新鮮"。
結語
Google不索引你網站或頁面的原因只有兩個：
技術性問題導致它無法索引;
它認為你的內容沒有價值，不值得被索引。
這兩個問題很可能同時存在。 但是，我想說技術問題要普遍得多。 技術問題還可能導致低品質內容的自動生成（例如，分頁問題）。
儘管如此，通過上面的步驟檢查多數是可以解決索引問題的。
記住索引≠排名。 如果你想對任何有價值的關鍵詞進行排名，並吸引源源不斷的自然流量，那麼SEO就是至關重要的。
掃碼關注，更多精彩：