Не давайте ему определенности, не вступайте в долгие разговоры, пусть таскается к детям и берет их куда-то на встречи. А сами живите своей жизнью, знакомьтесь с другими.
С близкими родственниками, если навязчиво советуют что-то, на словах соглашайтесь "да-да-да, наверное, в этом что-то есть", "так я даю ему шанс, пусть ведет детей на концерт" и ничего глобально не меняйте в реале согласно их советам.