Wyzwanie
Platforma dla branży prawniczej obejmuje złożone przepływy w przeglądarce, asynchroniczne aktualizacje i współdzielone dane testowe. Wyzwaniem było zadbanie o to, by zielony wynik testu rzeczywiście potwierdzał oczekiwane działanie.
Rola AI w pracy zespołu
Asystenci AI wspierają rozwój testów, refaktoryzację, przegląd zmian i analizę błędów w CI. Instrukcje w repozytorium opisują konwencje i znane pułapki interfejsu, a osobne procedury określają sposób wprowadzania zmian w testach, przeglądu kodu i analizy wyników uruchomień. Inżynierowie dostarczają kontekst, analizują wyniki i odpowiadają za decyzje.
Diagnozowanie niestabilnych i fałszywie zielonych testów
Jedna z analiz ujawniła test porównujący wartości zastępcze po nieudanym odczycie licznika, co dawało mylący pozytywny wynik. Poprawka sprawiła, że funkcja pomocnicza zgłasza błąd, gdy rzeczywisty odczyt nie jest dostępny. W innym przypadku problem powodowała asynchroniczna aktualizacja formularza; obserwacja żądania sieciowego dawała lepszą przesłankę niż wnioskowanie ze stanu formularza.
Architektura i weryfikacja
Testy w Playwright i TypeScript korzystają z fixtures, page objects i funkcji pomocniczych wielokrotnego użytku. Zespół analizuje ślady wykonania oraz zachowanie aplikacji, sprawdza wynikowy stan aplikacji i weryfikuje poprawki niestabilnych testów przez wielokrotne uruchomienia. Testy uruchamiane są w potokach Azure DevOps.
Rezultat
W opisanych przypadkach test zgłasza błąd, gdy nie może odczytać rzeczywistego licznika, a diagnostyka formularza rozróżnia brak wysłania żądania od oczekiwania na odpowiedź. Te rozwiązania pokazują, jak sprawdzać zachowanie aplikacji i wykrywać mylące wyniki testów.