「待て」と言われたので大人しく待っているんですが、彼のほうはわたしが鬱陶しいからわたしの気持ちがさめるのを「待って」いるんですかね?(笑) 待つ間ほかの男性とあそんでいるのって、浮気じゃないですよね?

「待つ」「あそぶ」「浮気」あたりがどのへんのことを言っているのかちょっとよくわからないのですが、僕は浮気か浮気じゃないかを決めるのは当人どうしの関係以外にないと思っているので、ご質問にあるような判断はいたしかねますね。
ただそんな自虐的なことをおっしゃるくらいの関係になってしまったんだったら、浮気か浮気じゃないかを気にするようなこともないと思いますけど。そこまでして恋人関係を維持する理由が僕にはよくわかりません。
それが浮気かどうかはわかりませんが(いっそ浮気になってしまったほうがいいのでは)、ほかの男性とあそんで最終的にどこかに乗り換えてしまえばいいのに、と思ってしまいました。