Ни хрена, дорогой. Ты возможно искренне заблуждаешься, что ваши отношения держатся на сексе, на самом деле они держатся на том, что ты получаешь эмоциональную близость и теплоту общения.
Обычно на стороне добирают секс, но в твоем случае тебе в семье не хватает эмоций, теплоты, близости. Для этого тебе и нужна любовница.
Но женщины могут это давать лишь временно, рано или поздно ей надо стать единственной и главной, иначе какая же это эмоциональная близость? Для нее - нет. Если уходишь к женщине полностью, со всеми потрохами - тогда она продолжит давать тебе все эти моральные ништяки