Caro professor, boa noite! Gostaria de saber: fisicamente, por que apenas avançamos no tempo? Deixando a pergunta um pouco mais clara: Se o tempo é uma dimensão como as três outras espaciais, o que nos impossibilita de viajar livremente por ela?

Boa noite!
É uma pergunta muito interessante. Infelizmente, eu não tenho uma resposta melhor que "A natureza é assim".
O tempo é uma de quatro dimensões do Espaço-Tempo, mas ele não tem as mesmas propriedades que as outras três dimenções (espaciais). Viajando com altas velocidades ou aproximando-se de massas altas e densas, você pode até mudar a taxa, com aquela o tempo avança, fenômeno chamado Dilatação do Tempo, mas não consegue inverté-la.
Se fosse possível voltar no tempo, surgiriam um monte de possibilidades paradoxas, como impedir seu próprio nascimento, etc. Várias obras da Ficção Científica brincam com estas possibilidades.
As Relatividades Restrita e Geral (Einstein, 1905; 1915) descrevem a física do Espaço-Tempo, incluindo a Dilatação do Tempo e a impossibilidade de inverter o sentido do tempo. De 1905 até agora, a Relatividade foi corroborada em inúmeros experimentos.
Me desculpe por não ter uma resposta melhor!
Abraço