да в отношениях людей все так непросто.

Любовница считает, что "не отпускает" жена. А жена считает, что "не отпускает" любовница. А со стороны посмотреть: разницы нет. Потому что "не отпускает" - это всего лишь: "не прогоняет".
Каждая считает, что прогнать должна другая.