Skip to main content

LLM 與 RAG 的巧妙關係

前言

近年來大型語言模型（Large Language Model, LLM）的崛起，徹底改變了人們與資訊互動的方式。然而，LLM 並非萬能，它有著知識更新落後、容易產生幻覺（Hallucination）等先天限制。為了解決這些問題，檢索增強生成（Retrieval-Augmented Generation, RAG）應運而生。本文將詳細說明 LLM 與 RAG 的運作流程，以及兩者如何巧妙地結合，發揮一加一大於二的效果。

一、什麼是 LLM？

大型語言模型是一種基於深度學習（特別是 Transformer 架構）訓練而成的模型。它透過閱讀海量的文字資料，學習語言中的統計規律與語意關聯，進而能夠理解問題並生成流暢、合理的回答。

LLM 的核心特性包括：

  • 強大的語言理解與生成能力，能夠回答問題、撰寫文章、進行翻譯與摘要。
  • 知識被「壓縮」在模型參數中，回答時不需要連線查詢外部資料。
  • 訓練成本高昂，模型一旦完成訓練，其知識便停留在訓練資料的截止時間點。

二、LLM 的限制

儘管 LLM 功能強大，但在實際應用上仍有幾項明顯的痛點：

  1. 知識時效性不足：模型的知識停留在訓練截止日，無法得知最新資訊。
  2. 幻覺問題：當遇到不確定的問題時，LLM 可能會「一本正經地胡說八道」，生成看似合理但實際錯誤的內容。
  3. 缺乏專屬知識：對於企業內部文件、私有資料庫等未公開資料，LLM 一無所知。
  4. 難以追溯來源：模型給出的答案無法明確指出依據，降低了可信度。

三、什麼是 RAG？

檢索增強生成（RAG）是一種將「資訊檢索」與「文字生成」結合的技術架構。其核心理念是：在 LLM 生成答案之前，先從外部知識庫中檢索出與問題相關的資料，再將這些資料作為「參考依據」一併提供給 LLM，讓模型根據這些可靠的內容來組織答案。

簡單來說，RAG 就像是讓 LLM 在回答問題前，先「翻書查資料」，而不是單純依賴記憶。

四、RAG 的完整運作流程

RAG 的流程可以分為兩個主要階段：資料準備階段與查詢生成階段。，整體運作可以用下圖表示：

flowchart TD
    subgraph A[階段一：資料準備（離線建立知識庫）]
        A1[文件載入<br/>Loading] --> A2[文件切割<br/>Chunking]
        A2 --> A3[向量化<br/>Embedding]
        A3 --> A4[(向量資料庫<br/>Vector DB)]
    end

    subgraph B[階段二：查詢與生成（即時）]
        Q[使用者提問<br/>Query] --> QE[問題向量化]
        QE --> R{相似度檢索<br/>Retrieval}
        R --> AUG[組合提示詞<br/>Augmentation]
        AUG --> LLM[大型語言模型<br/>LLM]
        LLM --> ANS[生成最終答案]
    end

    A4 -. 提供相關段落 .-> R

階段一：資料準備（建立知識庫）

  1. 文件載入（Loading）：收集並匯入各種來源的文件，例如 PDF、網頁、Word、資料庫等。
  2. 文件切割（Chunking）：將長文件切割成較小的段落區塊，方便後續檢索與處理。
  3. 向量化（Embedding）：透過嵌入模型，將每個文字區塊轉換成高維度的向量表示，用以捕捉其語意。
  4. 建立索引（Indexing）：將這些向量儲存到向量資料庫（Vector Database）中，建立可快速搜尋的索引。

階段二：查詢與生成

  1. 使用者提問（Query）：使用者輸入問題。
  2. 問題向量化：將使用者的問題同樣轉換成向量。
  3. 相似度檢索（Retrieval）：在向量資料庫中，計算問題向量與文件向量的相似度，找出最相關的若干段落。
  4. 組合提示詞（Augmentation）：將檢索到的相關段落與原始問題組合成一個增強後的提示詞（Prompt）。
  5. 生成答案（Generation）：將增強後的提示詞交給 LLM，由模型根據提供的參考資料生成最終答案。

五、LLM 與 RAG 的巧妙關係

LLM 與 RAG 並非互相取代的競爭關係，而是相輔相成的最佳拍檔：

  • LLM 提供「理解與表達」能力：負責解析問題、整合資訊並生成自然流暢的回答。
  • RAG 提供「知識與依據」：負責補足 LLM 缺乏的即時、專屬與可追溯的知識。

兩者結合後帶來的優勢包括：

  1. 降低幻覺：因為答案有具體資料為基礎，大幅減少模型憑空捏造的情況。
  2. 知識即時更新：只需更新知識庫，無需重新訓練模型，即可讓系統掌握最新資訊。
  3. 答案可追溯：可以標示答案來源，提升回答的可信度與透明度。
  4. 成本效益高：相較於重新微調或訓練模型，維護知識庫的成本低廉許多。

六、實際應用場景

RAG 結合 LLM 的架構，已廣泛應用於以下情境：

  • 企業知識問答系統：員工可快速查詢公司內部規章、技術文件與標準作業流程。
  • 客戶服務機器人：根據產品手冊與常見問題，提供準確的客服回應。
  • 法律與醫療諮詢輔助：基於專業文獻與法規條文，提供有依據的參考資訊。
  • 個人知識管理：將個人筆記、文件整合成可對話的智慧助理。

結語

LLM 賦予機器流暢的語言能力，而 RAG 則為這份能力注入了可靠的知識來源。兩者的巧妙結合，不僅克服了單一技術的侷限，更開創了智慧應用的全新可能。未來，隨著檢索技術與生成模型的持續演進，LLM 與 RAG 的協作將會更加緊密，為各行各業帶來更深遠的價值。

Back to top