Kwestia tego, w jaki sposób agent AI podejmuje kolejne decyzje, dotyczy samego serca jego architektury. U fundamentu leży tak zwana pętla odbieranie–układanie planu–wykonywanie, w której program najpierw odbiera informacje z otoczenia, następnie analizuje dostępne możliwości, a wreszcie realizuje wybraną akcję. Cały ten obieg odtwarza się wielokrotnie, aż do uzyskania zamierzonego efektu.
Trzonem tego procesu jest model językowy, który pełni rolę wewnętrznego głosu konsultacyjnego agenta. To on interpretuje polecenia użytkownika, dzieli złożone zadanie na mniejsze podzadania i sugeruje kolejność ich realizacji. Otoczenie modelu stanowią pomocnicze narzędzia – wyszukiwarki, kalkulatory, interfejsy API – które agent uruchamia wtedy, gdy potrzebuje precyzyjnych danych spoza swojej wiedzy treningowej.
Interesującym składnikiem architektury jest tak zwana pamięć operacyjna, w której agent trzyma tło bieżącego zadania. Dzięki niej nie traci nici nawet wtedy, gdy proces rozkłada się na wiele etapów i potrzebuje przeskakiwania między różnymi źródłami informacji. To dokładnie ta zdolność odróżnia agenta od prostego skryptu, który wykonuje jedynie wcześniej ustaloną listę poleceń.
Oddzielną sprawą pozostaje mechanizm ewaluacji własnych działań. Dobrze zbudowany agent jest w stanie rozpoznać, że otrzymany wynik nie zgadza się od oczekiwanego, i cofnąć się do wcześniejszego etapu, by podjąć próbę alternatywnej ścieżki. Taka autokorekta zbliża działanie maszyny do ludzkiego zwyczaju weryfikowania własnej pracy przed jej złożeniem.