Семья это не только жена. Гг же сказала, что такой цвет глаз в основном только у аристократии. Значит он аристократ и наверняка его семья не в восторге от того, что он хочет провести свою жизнь с какой-то простолюдинкой (аристократы подобное призирали).
@~~ВиНиШкО~~, В контексте происходящего всё действительно выглядит так, будто он хочет бросить жену с детьми ради другой женщины. Но Вы правы, такого развития событий авторы бы ни за что не допустили.