Исчезающее здание - это, конечно, несколько кринжово. Все-таки не фэнтези. Но допустим, этот "помощник" манипулирует временем - и тогда, возможно, здание стояло здесь, а позже его снесли. И ГГ сначала заехал в прошлое, а потом его выкинуло обратно в настоящее.
(Если автор ничего этого не продумывал, то я за него поработала.)