Елена Шашкина,
для начала, поговорить с ним и осознать, почему вы даже не заметили то, что ваш муж считает серьёзной проблемой. Хотя бы для того, чтоб не повторять это. В этих, или в новых отношениях.