Dlaczego RAG zwraca złą odpowiedź — i jak znaleźć przyczynę?
Prześledź drogę pytania od dokumentów źródłowych do końcowej odpowiedzi. Znajdź pierwszy etap, na którym potrzebne dowody znikają, zmieniają się lub przestają potwierdzać twierdzenie.
10 min · Lektura i ćwiczenieBezpłatna lekcja · Bez rejestracji
Odróżnij brak dokumentów, błędy wyszukiwania i generowanie bez oparcia w źródłach. Wybierz kolejny eksperyment na podstawie dowodów z etapu, który zawiódł.
Zanim zaczniesz
Znasz kryteria oceny z lekcji 01. RAG polega na wyszukiwaniu istotnych informacji i przekazywaniu ich modelowi jako kontekstu do przygotowania odpowiedzi.
01 / Prześledź proces
Jedna zła odpowiedź może mieć kilka przyczyn.
W typowym procesie RAG aplikacja przygotowuje dokumenty, wyszukuje istotne fragmenty, wybiera kontekst i prosi model o odpowiedź na jego podstawie. RAG może dostarczyć dowody z aktualizowanych informacji firmowych. Nie gwarantuje jednak, że każde wyszukiwanie znajdzie właściwy fragment ani że każda odpowiedź poprawnie go wykorzysta.
Fikcyjny przykład dydaktyczny
Pytanie o dostęp dla kontraktora
Wymyślone, obecne zasady Northstar pozwalają kontraktorom uzyskać dostęp na 30 dni po akceptacji opiekuna. Nieaktualne zasady zawierają limit 90 dni. Przewodnik wdrożenia pracowników opisuje inny proces. Pytamy: „Czy kontraktor może otrzymać dostęp na 90 dni bez akceptacji?” Wszystkie dokumenty i wyniki w tym przykładzie służą ilustracji.
Jeśli odpowiedź brzmi „tak”, najpierw zapisz dowody: zapytanie, dokumenty dostępne dla użytkownika, odnalezione fragmenty, końcowy kontekst i odpowiedź z odwołaniami do źródeł. Powtarzanie pytania bez zapisania tych etapów znacznie utrudnia diagnozę.
Powiąż ślad wykonania za pomocą identyfikatora żądania. Kontroluj dostęp zarówno do logów diagnostycznych, jak i do wyników wyszukiwania. Unikaj zapisywania danych uwierzytelniających oraz zbędnych treści poufnych.
02 / Sprawdź źródło
Wyszukiwanie nie odzyska reguły, która nigdy nie trafiła do indeksu.
Otwórz oryginalny dokument i sprawdź, czy obecna reguła istnieje, czy ekstrakcja ją zachowała oraz czy zapisano wersję i zakres zastosowania. Nieaktualny import, nieczytelny skan lub pominięta komórka tabeli mogą usunąć kluczowy warunek jeszcze przed wyszukiwaniem.
Sprawdź rzeczywiste fragmenty. Zdanie „Dostęp jest dozwolony przez 30 dni” może utracić znaczenie, jeśli „po akceptacji opiekuna” trafi do innego, niepowiązanego fragmentu. Zachowaj kontekst niezbędny do zrozumienia reguły i dołącz identyfikatory źródeł, nagłówki oraz metadane wersji. Testuj granice fragmentów na typowych pytaniach zamiast wybierać ich rozmiar z przyzwyczajenia.
Porównaj dwa fragmenty
Niepełny: Dostęp dla kontraktora jest dozwolony przez 30 dni.
Użyteczny: Dostęp dla kontraktora jest dozwolony przez 30 dni po akceptacji opiekuna. Dotyczy kontraktorów zewnętrznych. Obecne zasady.
Drugi fragment zawiera warunek i zakres zastosowania potrzebne do oceny pytania. Nagłówek może stanowić istotny dowód, a nie tylko ozdobę tekstu.
03 / Sprawdź wyszukiwanie
Czy fragment potwierdzający odpowiedź znalazł się wśród kandydatów?
Uruchom zapisane zapytanie na właściwej wersji indeksu. Sprawdź kandydatów przed dalszą selekcją. Dokładne identyfikatory produktów często wymagają dopasowania słów; pytania sformułowane inaczej mogą korzystać z podobieństwa znaczenia. Wyszukiwanie hybrydowe łączy te sygnały, a reranking może uporządkować kandydatów według trafności. Żaden z tych kroków nie naprawi brakującego lub niepoprawnie odczytanego źródła.
Obserwacja
Etap do zbadania
Kolejne sprawdzenie
Obecnych zasad nie ma w indeksie
Import lub aktualność danych
Status importu, odczytana treść i wersja.
Zasady są w indeksie, ale odpowiedniego fragmentu nie ma w wynikach
Wyszukiwanie
Treść zapytania, filtry i wyszukiwanie kandydatów.
Właściwy fragment odnaleziony, ale nieobecny w końcowym kontekście
Dobór kontekstu
Reranking, usuwanie duplikatów i limit tokenów.
Właściwe dowody w kontekście, niepotwierdzone twierdzenie w odpowiedzi
Generowanie
Instrukcja, potwierdzenie twierdzeń i postępowanie przy niepewności.
Egzekwuj uprawnienia do dokumentów przed przekazaniem treści modelowi. Instrukcja „Nie ujawniaj informacji z ograniczonym dostępem” nie zastępuje filtra autoryzacji. Dostępny dokument może być nieistotny, a bardzo trafny dokument może być objęty ograniczeniami.
04 / Sprawdź końcowy kontekst
Odnalezione dowody pomagają tylko wtedy, gdy model je otrzyma.
Porównaj odnalezionych kandydatów z dokładnym kontekstem przekazanym do generowania. Limit tokenów może odciąć warunek akceptacji; usuwanie duplikatów może zachować nieaktualną wersję; reranking może faworyzować ogólny przewodnik pracownika. Podczas składania kontekstu zachowaj informacje o pochodzeniu, aby osoba sprawdzająca mogła powiązać każdy fragment z dokumentem.
Jawnie rozstrzygaj, które źródło ma zastosowanie. W przykładzie Northstar preferuj obecne zasady dla kontraktorów zamiast nieaktualnych, korzystając z utrzymywanych metadanych i reguł biznesowych. Jeśli obecne źródła faktycznie sobie przeczą, pokaż konflikt lub poproś o wyjaśnienie. Nie wymuszaj pewnej odpowiedzi na podstawie sprzecznych dowodów.
Przydatny eksperyment diagnostyczny polega na bezpośrednim podaniu znanego, właściwego fragmentu przy tej samej instrukcji odpowiadania. Jeśli odpowiedź jest wtedy poprawna, skup się na wcześniejszym wyszukiwaniu i selekcji. Jeśli nadal jest błędna, zbadaj generowanie. To zawęża poszukiwania, ale samo nie dowodzi niezawodności produkcyjnej.
05 / Zweryfikuj odpowiedź
Sprawdź każde twierdzenie względem dowodów.
Wymagaj, aby odpowiedź odróżniała potwierdzone fakty od brakujących informacji. Sprawdzaj, czy każde ważne twierdzenie wynika z przytoczonego fragmentu, a nie tylko czy zawiera odwołanie do źródła. Gdy kontekst nie zawiera odpowiedzi, asystent powinien wskazać, czego brakuje, i zaproponować użyteczny następny krok.
Odnalezione dokumenty są niezaufanymi danymi wejściowymi. Fragment nakazujący asystentowi zignorować instrukcje nie powinien zyskać nadrzędnej roli wobec aplikacji. Stosuj uprawnienia narzędzi i walidację poza modelem, aby ograniczyć skutki próby prompt injection.
Po ukierunkowanej zmianie ponownie uruchom sprawdzenia wyszukiwania i pełne testy odpowiedzi. Zachowaj przykłady zwykłe, niejednoznaczne, bez dowodów i ze sprzecznymi źródłami. Zwiększenie liczby wyszukiwanych fragmentów może poprawić pokrycie, ale też wprowadzić nieistotny kontekst; zmierz rzeczywisty efekt.
Twoje ćwiczenie / Około 5 minut
Znajdź pierwszy wadliwy etap w laboratorium RAG.
Otwórz interaktywne laboratorium i porównaj pytanie, odnalezione fragmenty oraz odpowiedź w poszczególnych scenariuszach. To deterministyczna symulacja dydaktyczna z fikcyjnymi dokumentami, więc możesz wielokrotnie przeanalizować ten sam błąd.
Zacznij od scenariusza z wystarczającymi dowodami. Wskaż fragment potwierdzający odpowiedź.
Porównaj go ze scenariuszem, w którym użyteczne dowody są nieobecne lub mylące.
Zapisz pierwszy etap, który nie dostarcza już wystarczających dowodów, i jedną zmianę, którą warto tam przetestować.
„Model się myli” to objaw. Użyteczna diagnoza wskazuje brakujące lub niewłaściwie użyte dowody, etap powstania problemu i test potwierdzający przyczynę. Gdy źródło nie zawiera odpowiedzi, właściwym zachowaniem jest powstrzymanie się od jej udzielenia.
Sprawdź wiedzę
Źródła i dalsza lektura
Sekwencja diagnozy i fikcyjne przykłady są materiałem dydaktycznym. Te źródła pierwotne wyjaśniają architekturę wyszukiwania i obsługę niezaufanych treści.