AI Edge RAG 指南

AI Edge RAG SDK 提供基本元件，可透過 LLM 推論 API 建構擷取擴增生成 (RAG) 管道。RAG 管道可讓 LLM 存取使用者提供的資料，其中可能包含更新、機密或特定領域的資訊。透過 RAG 新增的資訊檢索功能，LLM 可針對特定用途產生更準確且符合情境的回覆。

AI Edge RAG SDK 適用於 Android，且可完全在裝置上執行。請按照 Android 指南的說明開始使用 SDK，該指南會逐步引導您使用 RAG 實作範例應用程式的基本功能。

RAG 管道

使用 AI Edge RAG SDK 設定 RAG 管道時，請按照下列重要步驟操作：

  1. 匯入資料：提供 LLM 產生輸出內容時會使用的文字資料。
  2. 分割及為資料建立索引：將資料分割成小型區塊，以便在資料庫中建立索引。
  3. 產生嵌入項目：使用嵌入器將分塊轉為向量，以便儲存在向量資料庫中。
  4. 擷取資訊：定義系統如何識別及擷取相關資訊，以回應使用者提示。針對指定提示，檢索元件會搜尋向量資料庫，找出相關資訊。
  5. 使用 LLM 產生文字：使用大型語言模型，根據從向量資料庫擷取的資訊產生輸出文字。

重要模組

AI Edge RAG SDK 為 RAG 管道提供下列重要模組和 API：

  • 語言模型：具備開放式提示 API 的 LLM 模型，可為本機 (裝置端) 或伺服器端。這個 API 以 LanguageModel 介面為基礎。
  • 文字嵌入模型：將結構化和非結構化文字轉換為嵌入向量，用於語意搜尋。這個 API 是以 Embedder 介面為基礎。
  • 向量儲存庫：向量儲存庫會儲存從資料區塊衍生的嵌入和中繼資料。您可以查詢該資料，以取得相似的片段或完全相符的片段。這個 API 是以 VectorStore 介面為基礎。
  • 語意記憶：做為語意擷取器，在指定查詢時，擷取前 K 個相關區塊。這個 API 以 SemanticMemory 介面為基礎。
  • 文字分割：將使用者資料分割成較小的部分，以利索引。這個 API 以 TextChunker 介面為基礎。

SDK 提供鏈結，可在單一管道中結合多個 RAG 元件。您可以使用鏈結來協調擷取和查詢模型。這個 API 是以 Chain 介面為基礎。如要開始使用，請試試擷取和推論鏈結或擷取鏈結。