產生資訊檢索如何重塑搜尋

產生資訊檢索如何重塑搜尋
生成式人工智慧正在改變搜尋。再見藍色鏈接,你好 AI 答案。了解這種轉變對 SEO 和流量的未來意味著什麼。
搜尋已死,搜尋萬歲!
搜尋已不再像以前那樣。
搜尋引擎不再簡單地將使用者查詢中的關鍵字或短語與網頁進行比對。我們正在遠遠超越詞彙搜尋的世界,詞彙搜尋只是基於文本,不理解事物之間的語義聯繫,也不理解事物/概念的多媒體表示之間的語義聯繫。
如今,人工智慧可以充分利用機率預測和模式匹配來理解、闡釋並產生訊息,以響應用戶意圖。
這項轉變是由產生資訊檢索所推動的。
產生資訊檢索是系統顯示和呈現資訊方式的根本轉變。
Google DeepMind 的傑出科學家 Marc Najork 在 SIGIR 2023 的主題演講中闡述了大型語言模型 (LLM) 如何改變搜尋和資訊檢索,值得重新回顧。他的演講也探討了我們如何隨著時間的推移,透過從詞彙到語義、混合和生成方法的迭代變化來達到這一目標。
從檢索到生成
幾十年來,搜尋引擎一直透過指向可能包含答案的文件來回應用戶查詢。

但該模式正在不斷發展。我們現在正處於生成資訊檢索的早期階段。
該系統不僅僅是尋找內容;它根據以多模式方式檢索到的內容產生答案,將未指定的查詢可能代表的所有內容整合在一起,並在一個視圖中進行綜合。
Najork 將這種轉變描述為從傳統的基於檢索的系統(傳回文件的排序清單)轉向檢索增強生成 (RAG) 系統。
在 RAG 設定中,模型從語料庫中檢索相關文檔,然後使用它們作為基礎知識和上下文來產生直接的自然語言回應。

簡而言之,搜尋者不會看到網頁連結清單。他們得到的是綜合的、直接的答案,通常是帶有樂於助人的助手的語氣和風格。
這種新方法由經過大量資料訓練的 LLM 提供支持,並且可以對檢索到的內容進行推理。
這些系統並不完善。我們知道他們產生了幻覺並誤解了事實。
我們可以親眼看到,搜尋引擎和其他科技公司利用人工智慧和大型語言模型來總結新聞標題和摘要等多種方式,正在努力控制法學碩士和生成式人工智慧的幻覺性質。
問題?
生成式人工智慧建立在機率模式而非事實之上。
谷歌正在研究新聞標題和摘要產生錯誤的基本原因,並開發了一個名為ExHalder的評估框架。另一個例子是彭博社(需要訂閱),僅在過去一周左右它就不得不對 AI 和 LLM 生成的摘要發布多次更正。
儘管在搜尋中使用 LLM 存在缺點(正如 Najork 在 2023 年 SIGIR 演講中提到的那樣,它們在資訊檢索領域並非沒有爭議),但生成式 AI/生成式資訊檢索已經走出了門檻,現在代表了資訊存取和傳遞方式的根本轉變。
這對於SEO也具有重大影響。優化內容以在「10 個藍色連結」中排名與優化以包含在 AI 生成的摘要中不同。
流量推薦挑戰
演示中提出的一個大問題是,當語言模型產生答案時,引薦流量會發生什麼變化。
我們已經看到這個問題以訴訟的形式出現,例如Chegg 就 AI 概述起訴谷歌。我們也聽說,自從推出 AI Overviews 以來,許多不同規模的網站都看到自然搜尋流量下降,尤其是資訊查詢。
在「經典」搜尋模式中,用戶點擊連結來獲取訊息,從而為品牌、創作者和企業的網站帶來流量。然而,有了生成系統,用戶可以直接從人工智慧答案中獲得所需信息,而無需訪問網站。
這一直是爭論的焦點。如果人工智慧接受「公共」內容的訓練並使用該內容來產生回應,那麼原始來源如何獲得信譽,或者更重要的是,如何獲得可以貨幣化的流量?
這個尚未解決的問題對於任何依賴自然搜尋可見性來推動業務成果的人來說都有重大影響。而且正如我們最近發現的那樣,Google似乎在內部將為發布商提供流量視為「必要之惡」。
Najork 的演講並沒有提供解決方案,但這似乎暗示著一些無法適應這種轉變的內容創作者的未來將會黯淡。正如 Najork 所說:
- 悲觀的觀點:直接的回答會減少對內容提供者的推薦,從而損害他們的獲利能力。
- 樂觀的看法:直接回答中的歸因將帶來更高品質的推薦,整體而言更有價值。
- 現實的觀點:期待多樣化的商業模式和收入來源。
然而,我們應該注意到,內容創作很大程度上是由搜尋引擎驅動的流量的激勵所驅動,即使是“必要之惡”也是“必要的”,因此適應新的環境而不是放棄 SEO 更具挑戰性。
納約克還提到了谷歌傑出工程師安德烈·布羅德 (Andre Broder) 於 2023 年創造的重要術語“德爾菲成本”,布羅德還創建了著名的《網絡搜索分類法》。關於德爾菲成本的爭論是,透過直接在搜尋結果中產生答案而不是將搜尋者發送到其他資源,可以大大降低搜尋者的成本,這應該是搜尋引擎的關鍵目標。
這將如何實現並發揮作用?這還有待觀察。
然而,我們最近在紐約舉行的谷歌搜尋中心活動中看到,在面向未來的演示中,搜尋者可以節省大量成本。
預計德爾菲成本(或類似的關於減少搜尋者摩擦的討論)和用戶搜尋的成本節省元素將越來越多地影響 Google 和 SEO 之間的溝通。
SEO 與 GEO
最近,LinkedIn 和其他地方的 SEO 影響者和專家之間一直在就語義進行一些爭論,關於生成引擎優化 (GEO)是否僅僅是一個新的流行詞(而且,我們怎麼敢重命名 SEO!)。
最近,在 Christina Adame 的文章《如何將 GEO 與 SEO 結合》在 Search Engine Land 上發表後,我看到了很多這樣的內容。
好的。沒有人重新命名 SEO。
SEO 不是 GEO。
GEO 不是 SEO。事實上,有一篇專門討論 GEO 的研究論文。
生成(答案)引擎不是搜尋引擎。正如Fred Laurent 在 LinkedIn 上簡潔地指出的那樣:
- “人工智慧解讀,搜尋引擎排名”
這是需要理解的關鍵區別。人工智慧產生的搜尋中的引用/提及不是傳統的排名。
此外,汽車不是卡車,但兩種汽車都有發動機,可以幫助您到達目的地。
2023 年可能被稱為產生資訊檢索的曙光,但這並不意味著資訊檢索已經消失。它只不過有另一面而已。 SEO 也是如此。
我們正處於一個前所未有的變革時期。
產生資訊檢索是搜尋新現實的基礎,但它仍然是搜尋和資訊檢索,但具有額外的細微差別。
同樣,在資訊檢索中,有人專門研究推薦系統、索引、排名、排名學習和自然語言處理 (NLP),或者研究搜尋引擎用戶如何與搜尋介面互動的前門領域,SEO 的這種變化也創造了另一個細微的領域,有些人會關注這個領域,而有些人會概括這個領域。
無論命名約定如何,幫助使用者在正確的時間找到正確的資訊的核心基礎保持不變。
底線:SEO 正在(再次)發展。
如果您堅持使用舊的 SEO 劇本,那麼在不久的將來,您可能會像恐龍一樣滅絕,因為谷歌將繼續從傳統搜尋轉向人工智慧答案。
注意:您可以在 Google Slides 上看到 Najork 的簡報。感謝Dawn Anderson分享並審查本文的準確性。