Говорю прямо,что не помню:и мне легко и ему нетрудно.

Мне по жизни с этим жить приходится - плохая память на лица людей... Есть даже отдельный индивидум, с которым меня знакомили уже 8 раз... Так что обычно я здороваюсь в ответ и безо всякого смущения прошу напомнить в каких обстоятельствах мы пересекались ранее.

я не выкручиваюсь..я так и говорю - "Извините, но я вас не помню..." или (если действительно - не знаю, человек может и перепутать..) - "Вы меня с кем-то путаете..."