そうじゃなくて、実際は質問者さんが若い子と絡んでるとその女性のほうが質問者さんのことを妬んじゃうってことだと思います。
自分よりなにかが上回ってる人をそうやって難癖つけて排除したいんだろうなってかんじがしますね…。
>毎回陰で言われるのでウンザリです。
わざと聞こえるように言ってこられるなら迷惑だからやめてって1回はっきり言ったほうがいいかもですが、
「この人そんなことしかできなくてほんとにかわいそう」って流せるならそのほうがいいかも。
実際にそう見られてるってわけじゃないと思うので、真に受けなくても大丈夫ですよ!