01 · RAG i ewaluacja / Studium przypadku
Clinical RAG na syntetycznych danych EHR
Badawczy prototyp wyszukiwania i odpowiedzi, w którym każda odpowiedź ma pozostać związana z dowodem oraz konkretnym pacjentem w syntetycznym zbiorze.
Problem
Zbudować sprawdzalny przepływ RAG dla fragmentów dokumentacji w stylu NHS bez używania prawdziwych danych pacjentów.
Mój wkład
Zbudowałem przepływ od syntetycznych fragmentów dokumentacji przez wyszukiwanie TF-IDF i filtrowanie pacjenta po odpowiedź szablonową z cytowaniami. Dołączyłem CLI, etykiety trafności, testy retrievalu i zachowania systemu oraz dokumentację założeń.
Najpierw właściwa dokumentacja
Filtr pacjenta ogranicza zbiór dowodów przed przygotowaniem odpowiedzi. Podobnie brzmiący tekst z innej kartoteki nie jest właściwym źródłem.
Przejrzysty punkt odniesienia
TF-IDF pozwala sprawdzić zachowanie prostego retrievera. Ta wersja generuje odpowiedzi z szablonu; nie przedstawiam jej jako otwartego czatu z LLM.
Odpowiedź ma mieć źródło
Cytowania pokazują podstawę odpowiedzi. Brak dowodu oraz pytania o diagnozę lub leczenie mają odrębne, ograniczone odpowiedzi.
Dowód i interpretacja
Co rzeczywiście mówi wynik.
Raportowane wyniki retrievalu: Precision@3 0,583, Recall@3 1,000 i MRR 1,000 w zdefiniowanej ewaluacji projektu.
Recall@3 równy 1,000 opisuje odnalezienie oznaczonych dowodów w tym syntetycznym teście. Precision@3 równe 0,583 przypomina, że nie każdy zwrócony fragment jest trafny. Żadna z tych liczb nie mierzy skuteczności klinicznej.
Zbiór jest syntetyczny, a system jest prototypem akademickim — nie produktem klinicznym ani narzędziem medycznym.
Kolejny sensowny eksperyment
Rozszerzyć zbiór trudnych negatywnych przykładów i porównać retrievery przy tym samym podziale oraz etykietach. To plan rozwoju publicznego prototypu, oddzielny od pracy magisterskiej.
Opisy sprawdzone z publiczną dokumentacją projektów 17 września 2026. Metryki pochodzą z raportów projektów; eksperymenty nie były ponownie uruchamiane przy tej aktualizacji strony.