Ganz sicher nicht, es ist kein Problem, ganz individuell und ohne Zugehörigkeit zu einer Organisation antifaschistisch zu sein.

Das verteten einer Meinung, Zugehörigkeitsempfindungen oder einfach das Sein sind nicht an Menschengemachte Konstrukte gebunden.
Organisationen sind das Resultat von Meinungen, nicht umgekehrt.

Antifa bedeutet ausgesprochen : antifaschistische Aktion. Es beinhaltet Ideen und Verhaltensweisen einer sozialen Bewegung. Jeder, der gegen Faschismus, Rassismus, Antisemitismus, völkischen Nationalismus ist, ist also Antifa.

Kein Plan, distanziere mich von solchen Gruppen

Bloss nicht, deine Einstellung kann sein was sie will sei es weit links außen oder gar weit rechts außen, solange es nur deine Einstellung ist, ist es doch ok tut keinem weh und ist auch keine Straftat.

Da halte ich mich raus weiß nicht genau

Man muss ein Hurensohn sein.