Ну как же не бывает бывших? Бывают. И коли уж стал бывшим, то заслужено, окончательно, бесповоротно, пожизненно. Смысла вспоминать о таком нет.
Другое дело, наверное, если бывшим(ей) кто-то стал против желания, тогда наверняка воспоминания не избежны, а может даже и надежды.