Zagadnienie tego, w jaki sposób agent AI podejmuje kolejne decyzje, dotyczy samego rdzenia jego architektury. U fundamentu leży tak zwana pętla percepcja–planowanie–działanie, w której program najpierw odbiera informacje z otoczenia, następnie analizuje dostępne możliwości, a wreszcie wykonuje wybraną akcję. Cały ten obieg odtwarza się kilkakrotnie, aż do osiągnięcia zamierzonego efektu.
Trzonem tego procesu jest model językowy, który pełni rolę wewnętrznego głosu doradczego agenta. To on odczytuje polecenia użytkownika, rozbija złożone zadanie na mniejsze podzadania i sugeruje kolejność ich realizacji. Środowisko modelu stanowią dodatkowe narzędzia – wyszukiwarki, kalkulatory, interfejsy API – które agent wywołuje wtedy, gdy potrzebuje precyzyjnych danych spoza swojej pamięci treningowej.
Interesującym elementem architektury jest tak zwana pamięć operacyjna, w której agent przechowuje tło bieżącego zadania. Dzięki niej nie traci nici nawet wtedy, gdy proces rozciąga się na wiele etapów i potrzebuje przełączania między różnymi źródłami informacji. To dokładnie ta umiejętność odróżnia agenta od podstawowego skryptu, który odtwarza jedynie z góry ustaloną listę poleceń.
Oddzielną kwestią pozostaje mechanizm oceny własnych działań. Dobrze skonstruowany agent jest w stanie rozpoznać, że otrzymany wynik nie zgadza się od zamierzonego, i wrócić do wcześniejszego etapu, by spróbować innej ścieżki. Taka autokorekta przybliża działanie maszyny do ludzkiego nawyku sprawdzania własnej pracy przed jej złożeniem.