Automatyczny stażysta badawczy: co zmieniło się w laboratorium

Jak zmierzono pracę agentów

OpenAI definiuje „automatycznego stażystę badawczego” jako nadzorowany system, który wykonuje dobrze określone zadania zajmujące wykwalifikowanemu badaczowi kilka dni. Analiza obejmuje wewnętrzne użycie agentów w laboratorium i dzieli pracę na etapy, między innymi wybór problemu, projektowanie eksperymentu, budowę kodu, uruchomienie, analizę oraz komunikację. W połowie sierpnia firma rejestrowała łącznie 3,1 dnia pracy agentów na każdy ludzki dzień roboczy. Są to dane raportowane przez OpenAI, a nie niezależny pomiar całego rynku.

„Dzień pracy agenta” jest miarą zagregowanego czasu wykonywania zadań, nie odpowiednikiem dnia kompetentnej pracy człowieka. Kilka agentów może działać równolegle, powtarzać eksperymenty lub realizować ścieżki, które zostaną odrzucone. Wskaźnik pokazuje rosnącą skalę delegacji, lecz sam nie mierzy wartości naukowej, poprawności wyników ani czasu zaoszczędzonego badaczowi. Do oceny produktywności potrzebne są także dane o udanych zadaniach, interwencjach, kosztach, duplikacji pracy i wpływie na decyzje badawcze.

Co dane mówią o autonomii

OpenAI raportuje, że liczba eksperymentów na aktywnego eksperymentatora osiągnęła najwyższy poziom od rozpoczęcia pomiarów w styczniu 2025 roku, równolegle ze wzrostem użycia Codex. Jednocześnie ponad połowa udanych zadań ocenianych na cztery do ośmiu godzin wymagała przynajmniej jednej interwencji człowieka. Agenci odpowiadali za niewielką część planowania wysokiego poziomu. Materiał wspiera więc tezę o dłuższej delegacji wykonawczej, ale nie o samodzielnym prowadzeniu całego programu badawczego.

Jakość dowodu ogranicza fakt, że jest to obserwacja jednego laboratorium korzystającego z własnych modeli, infrastruktury i kultury pracy. W tym samym okresie rosła dostępna moc obliczeniowa, dlatego wzrostu liczby eksperymentów nie można przypisać wyłącznie agentom. Nie znamy też pełnego kontrfaktycznego porównania z identycznym zespołem pracującym bez nich. Wyniki są cennym studium operacyjnym, lecz powinny pozostać oznaczone jako wstępne dane wewnętrzne raportowane przez OpenAI.

Koszt obliczeń i ukryta praca człowieka

OpenAI podaje medianę dziennego kosztu inferencji na poziomie około 600 dolarów oraz dziewięćdziesiąty percentyl około 7 tysięcy dolarów. Tak szeroki rozrzut sugeruje, że cena zależy silnie od rodzaju eksperymentu, liczby równoległych przebiegów, długości kontekstu i liczby ponowień. Nie jest to uniwersalny cennik automatycznego badacza. Organizacja opisuje własne wykorzystanie na dużej skali, a mniejszy zespół może mieć zupełnie inne koszty infrastruktury, kontroli jakości i integracji.

Do rachunku trzeba dodać pracę niewidoczną w tokenach: przygotowanie środowiska, sformułowanie zadania, ocenę wyników, naprawę błędnych ścieżek oraz utrzymanie narzędzi. Agent może zwiększyć liczbę eksperymentów, a równocześnie przenieść wąskie gardło na recenzję. Dane nie dowodzą, że koszt jednego wartościowego odkrycia spadł ani że każde laboratorium osiągnie dodatni zwrot. Pokazują raczej, że ekonomika badań zaczyna obejmować świadome zarządzanie portfelem równoległych prób maszynowych.

Model delegacji proponowany przez Mateusza

Autorski model Mateusza rozdziela odpowiedzialność na cztery bramki. Człowiek określa pytanie i kryterium sukcesu, agent wykonuje ograniczony eksperyment, niezależny mechanizm sprawdza artefakty, a badacz decyduje o interpretacji i kolejnym kroku. Przy zadaniach kosztownych lub nieodwracalnych system powinien zatrzymywać się przed użyciem nowych danych, zasobów albo publikacją. To propozycja organizacyjna Mateusza wynikająca z opisanych ograniczeń; OpenAI nie przedstawia jej jako własnego, obowiązującego standardu.

Najważniejsze kolejne dowody powinny obejmować porównania zespołów na podobnych zadaniach, odsetek wyników przechodzących niezależną replikację oraz koszt jednego użytecznego rezultatu. Warto śledzić także liczbę interwencji, czas recenzji i udział agentów w planowaniu wysokiego poziomu. Prawdziwa autonomia badawcza nie będzie oznaczała jedynie dłuższego czasu działania bez kontaktu z człowiekiem. Będzie wymagała wiarygodnego wyboru kolejnych kroków, poprawnego rozpoznawania niepewności i pozostawienia audytowalnego śladu decyzji.

„Stażysta” jest kamieniem milowym, a nie stanowiskiem pracy

OpenAI używa określenia „automatyczny stażysta badawczy” w wąskim, operacyjnym znaczeniu: system pod ludzkim kierunkiem wykonuje dobrze zdefiniowane zadania, które wykwalifikowanemu badaczowi zajęłyby kilka dni. Definicja nie mówi, że agent ma pełen zestaw kompetencji początkującego naukowca, rozumie kulturę laboratorium albo ponosi odpowiedzialność zawodową. Nie obejmuje też samodzielnego wyboru wartościowego problemu. Nazwa jest użyteczna tylko wtedy, gdy towarzyszy jej zakres: dłuższe wykonanie techniczne pod nadzorem, z jasno wyznaczonym początkiem i kryterium końca.

Firma opisuje ten poziom jako etap na drodze do bardziej samodzielnego badacza AI, którego rozwój wyznaczyła sobie jako cel na marzec 2028 roku. To deklarowany cel organizacji, nie prognoza ani obietnica dostarczenia bezpiecznego systemu w tym terminie. OpenAI przyznaje, że nie wie jeszcze, jak bezpiecznie osiągnąć pełne rekurencyjne samodoskonalenie i że ludzie nadal wyznaczają priorytety, oceniają wyniki oraz decydują o skalowaniu, zatrzymaniu i wdrożeniu. Najważniejszą informacją nie jest więc metafora stanowiska, lecz utrzymana granica odpowiedzialności.

Telemetria obejmuje szerszą organizację niż samych naukowców

Raport używa szerokiej kategorii „researcher”. Obejmuje ona nie tylko osoby projektujące eksperymenty modelowe, lecz także pracowników infrastruktury i osoby zarządzające projektami. Większość, ale nie całość, badanego użycia agentów znalazła się w telemetrii. Dlatego średnia dla organizacji nie opisuje jednolitego dnia pracy reprezentatywnego naukowca. Łączy odmienne role, zadania i poziomy doświadczenia, a intensywny użytkownik infrastrukturalny może wpływać na rozkład inaczej niż badacz formułujący hipotezę.

Także dzienne szczyty równoległości wymagają ostrożności: obejmują agentów uruchomionych bezpośrednio przez użytkownika oraz podagentów tworzonych w toku pracy. Są miarą jednoczesnej aktywności obliczeniowej, a nie liczbą niezależnych problemów rozwiązanych tego dnia. Dwie sesje mogą badać ten sam błąd albo czekać na zasób. Przed przeniesieniem wyniku do innej organizacji trzeba więc ujawnić populację użytkowników, pokrycie logów i regułę liczenia potomnych procesów. Bez tych definicji efekt skali łatwo pomylić z efektem księgowym.

Kanały wsparcia dają sygnał pośredni, nie pomiar jakości

Autorzy odnotowują spadek frekwencji na godzinach konsultacyjnych poświęconych narzędziom oraz mniejszą liczbę nowych wpisów najwyższego poziomu w kanale wsparcia. To interesujący ślad dojrzewania praktyki: problemy mogły stać się rzadsze, powtarzalne odpowiedzi mogły trafić do dokumentacji, a użytkownicy mogli nauczyć się samodzielnie naprawiać typowe awarie. Raport nie rozstrzyga jednak, która z tych przyczyn dominowała, ani czy pytania nie przeniosły się do rozmów prywatnych lub innych kanałów.

Mniej próśb o pomoc nie dowodzi automatycznie, że wyniki są poprawniejsze. Użytkownik może nie zauważyć błędu albo zrezygnować bez napisania wiadomości. Z kolei jeden trudny przypadek może wygenerować wiele odpowiedzi w wątku, choć licznik wpisów najwyższego poziomu pokaże tylko pojedynczy problem. Sygnał wsparcia warto zestawić z czasem do rozwiązania, powtarzalnością błędów, odsetkiem porzuconych sesji i niezależną kontrolą artefaktów. Sam spadek ruchu mówi o zachowaniu społeczności, nie o jakości naukowej produktu.

Klasyfikator sukcesu działa tylko tam, gdzie istnieje wynik referencyjny

Analiza sukcesu nie obejmuje dowolnej rozmowy badawczej. Autorzy wyszukiwali zadania, dla których dało się ustalić wynik referencyjny, a następnie odrzucali przypadki sklasyfikowane jako niepewne. Punkty danych związane z użytkownikiem lub przedziałem czasu mającym mniej niż pięćdziesiąt sesji również nie trafiały do prezentowanych agregatów. Te filtry chronią przed niestabilnym wnioskowaniem na bardzo małej próbce, ale jednocześnie definiują populację, o której wykres może coś powiedzieć.

Sformułowanie „zadanie trwające cztery do ośmiu godzin” odnosi się do oszacowanego czasu, jakiego potrzebowałby człowiek, a nie do zmierzonego czasu pracy agenta. To kluczowe rozróżnienie: estymata trudności może być niedokładna, a sukces możliwy do automatycznej oceny nie reprezentuje wszystkich działań naukowca. Interpretując krzywą skuteczności, trzeba pytać, kto oszacował czas, jak znaleziono wynik referencyjny i ile niejednoznacznych przypadków odpadło. Bez tego wykres wygląda bardziej uniwersalnie, niż pozwala jego procedura doboru.

Udział tokenów nie jest udziałem odpowiedzialności

Raport przypisuje aktywność do sześciu faz — Decide, Design, Build, Run, Analyze i Communicate — na podstawie tokenów wyjściowych. Taki podział dobrze pokazuje, gdzie system generuje tekst lub kod, lecz nie mierzy wprost wagi decyzji. Jedno krótkie zdanie w fazie Decide może ustalić pytanie, koszt i kryterium sukcesu dla tysięcy późniejszych tokenów. Niewielki udział planowania nie oznacza więc niewielkiego wpływu człowieka na program badań ani przejęcia odpowiedzialności przez model.

Równie ostrożnie trzeba czytać wzrost kategorii Build lub Run. Długi log diagnostyczny i zwięzły, poprawny eksperyment zużywają tokeny w inny sposób, choć drugi może mieć większą wartość. Metryka nie obejmuje automatycznie czasu poświęconego przez człowieka na przygotowanie danych, czekanie na obliczenia, rozmowę z zespołem czy odrzucenie wyniku poza interfejsem. Udział tokenów opisuje kształt interakcji z narzędziem. Podział autorstwa, odpowiedzialności i wartości wymaga osobnej ewidencji decyzji oraz późniejszej walidacji.

Bezpieczeństwo jest częścią tempa badań

OpenAI opisuje przypadek, w którym po wykryciu naruszenia infrastruktury czasowo wyłączyło usługę kontenerową używaną do treningu, wzmocniło środowisko i wstrzymało część pracy nad najnowszymi modelami. Późniejsze ograniczenia dla klasy Astra zmniejszyły jej przydział GPU, a część mocy trafiła do innych modeli. Ten fragment raportu pokazuje, że przepustowość nie jest niezależna od kontroli bezpieczeństwa. Model zdolny sprawniej rozwiązywać problemy może również zwiększać konsekwencje błędnej konfiguracji, nadmiernych uprawnień lub niebezpiecznego celu.

Wskaźnik „liczba eksperymentów” powinien więc być analizowany razem z incydentami, wymuszonymi pauzami, pokryciem monitoringu i czasem potrzebnym na utwardzenie środowiska. Przeniesienie części obliczeń do innych klas modeli może zachować łączny wolumen badań, ale samo nie dowodzi, że ryzyko spadło. Odpowiedzialny system wymaga separacji danych i poświadczeń, minimalnych uprawnień, limitów kosztu, rejestrowania działań oraz realnego wyłącznika. Te zabezpieczenia nie są zewnętrznym narzutem odejmowanym od produktywności; stanowią warunek użytecznego wyniku.

Zmieniający się system wymaga stałych definicji pomiaru

Między styczniem a sierpniem zmieniały się modele, narzędzia, dostępna moc obliczeniowa i doświadczenie użytkowników. Zmieniał się także dobór zadań: wraz ze wzrostem możliwości ludzie mogli przenosić do agentów pracę dłuższą lub bardziej złożoną. Surowe porównanie dwóch miesięcy łączy więc postęp modelu, uczenie się organizacji i zmianę badanego koszyka. Spadek albo wzrost odsetka sukcesu może częściowo wynikać z tego, że pytania w mianowniku przestały znaczyć to samo.

Do śledzenia kamienia milowego potrzebna jest wersjonowana karta pomiaru: identyfikator modelu i narzędzi, niezmieniony zestaw kontrolny, budżet, definicja interwencji, sposób estymacji czasu człowieka i reguła przypisywania sukcesu. Obok niego można prowadzić strumień zadań rzeczywistych, ale nie należy mieszać obu serii. Stały zestaw pokazuje zmianę zdolności; strumień produkcyjny pokazuje zmianę praktyki. Dopiero ich zestawienie pozwala odróżnić lepszego agenta od łatwiejszego benchmarku, dojrzalszego użytkownika albo innego sposobu liczenia.

Portfel zadań badawczych powinien maksymalizować wartość informacji

Automatyczny badacz może szybko wytwarzać wiele hipotez, lecz przepustowość nie odpowiada jeszcze na pytanie, które zadanie warto uruchomić. Portfel powinien łączyć prace o różnym profilu: replikacje sprawdzające niezawodność, eksperymenty rozróżniające konkurencyjne wyjaśnienia, poszukiwania o wysokiej niepewności oraz zadania infrastrukturalne, które poprawiają jakość następnych badań. Wybór samych łatwych benchmarków optymalizuje widoczny wskaźnik aktywności. Wybór samych ryzykownych pomysłów może natomiast zużyć budżet bez stworzenia podstawy do dalszych decyzji. Potrzebna jest jawna równowaga między wykorzystaniem tego, co już działa, a badaniem obszarów, w których nowa wiedza może zmienić kierunek programu.

Wartość informacji zależy od decyzji, którą wynik może odblokować. Przed przydzieleniem zasobów zespół opisuje możliwe wyniki, ich wpływ na kolejne kroki, koszt opóźnienia oraz to, czy podobną wiedzę można uzyskać taniej lub bezpieczniej. Eksperyment o skromnym prawdopodobieństwie sukcesu może być wartościowy, jeśli negatywny rezultat wykluczy kosztowną drogę. Z kolei efektowna demonstracja ma niską wartość, gdy żaden możliwy wynik nie zmieni planu. Ocena pozostaje jakościowa tam, gdzie brakuje uczciwych podstaw liczbowych; precyzyjna punktacja nie powinna maskować nieporównywalnych założeń.

Portfel wymaga etapów ponownej decyzji. Po pilotażu zadanie może zostać rozszerzone, przeprojektowane, wstrzymane albo zakończone, a zapis zachowuje pierwotną hipotezę, otrzymane dowody i przyczynę wyboru. Limity równoległej pracy chronią zdolność zespołu do analizy, ponieważ nieprzeczytane wyniki nie tworzą wiedzy. Regularny przegląd uwzględnia również korelację błędów: kilka projektów opartych na tym samym modelu, zbiorze lub założeniu nie stanowi prawdziwej dywersyfikacji. Tak zarządzany portfel mierzy postęp liczbą ważnych niepewności rozstrzygniętych w sposób użyteczny dla decyzji, a nie liczbą wygenerowanych raportów.