Не знаю как с ним расстаться...

ты объясни ему что не так и пригрози расставанием,он должен исправится, если ты не хочешь с ним встречаться только из-за этого.
а вообще правильней бы было использовать "эффект зеркала". говори и делай так же как он.
но лично я бы подвела его к тому, чтобы он сам захотел со мной расстаться, тогда он не будет чувствовать себя брошенным и быстрее адаптируется, не переживая большого стресса от расставания.