Básicamente estás preguntando por qué no puedes ver que dejas de moverte en el tiempo. Para responder a eso, tenemos que distinguir entre el tiempo y el flujo del tiempo.
Para distinguir entre sucesos que ocurren en el mismo punto del espacio pero en momentos distintos, necesitamos especificar cuándo y dónde ha ocurrido un suceso, por lo que añadimos una coordenada temporal t. De este modo, los sucesos pueden localizarse unívocamente por sus coordenadas espaciotemporales (t,x,y,z). Para un físico, el tiempo no es más que una coordenada utilizada para especificar sucesos en el espaciotiempo. Por tanto, las coordenadas espaciales dependen del observador. Sin embargo, el tiempo es absoluto. Suponiendo que ambos utilicemos la hora del meridiano de Greenwich (o algún otro estándar similar), siempre estaremos de acuerdo en la hora, independientemente de dónde nos encontremos en la Tierra o de cómo nos movamos uno respecto al otro. En la mecánica newtoniana, el tiempo es especial por esta razón, por lo que tiene sentido considerarlo por separado del espacio. La cuestión es que en la relatividad el tiempo no está definido de forma única. Cuando consideramos las coordenadas utilizadas por diferentes observadores nos encontramos con que el tiempo y el espacio se mezclan entre sí. El tiempo ya no es distinto del espacio, y por eso los físicos lo tratan como una más de las cuatro coordenadas que forman el espaciotiempo cuatridimensional.
https://physics.stackexchange.com/a/235512/132371
Ahora bien, ¿por qué fluye el tiempo (en el sentido cotidiano)? La respuesta es la entropía. La entropía es una propiedad extensiva de un sistema termodinámico. Está relacionada con los microestados que puede tener un sistema macroscópico, y es coherente con las cantidades macroscópicas que puede tener un sistema. La segunda ley de la termodinámica establece que la entropía de un sistema aislado nunca disminuye con el tiempo. Los sistemas aislados evolucionan espontáneamente hacia el equilibrio termodinámico, la entropía máxima.
https://en.wikipedia.org/wiki/Entropy
Nuestra definición científica del tiempo utiliza el concepto de entropía para codificar el cambio en el espacio. En la relatividad especial y la relatividad general, el tiempo se define como una cuarta coordenada a la par que las tres direcciones espaciales, con una extensión a los números imaginarios para las transformaciones matemáticas implicadas. El éxito de la descripción de la naturaleza, en particular por la relatividad especial, confirma la utilización del tiempo como una coordenada a la par de las coordenadas espaciales. Es la flecha del tiempo lo que lo distingue en su comportamiento de las demás coordenadas en lo que respecta a la descripción teórica de la naturaleza.
https://physics.stackexchange.com/a/32074/132371
Ahora bien, básicamente en nuestro propio marco de referencia, no podemos detener el flujo del tiempo, porque tenemos masa en reposo. No tiene sentido decir cosas como qué veríamos desde el marco de referencia de un fotón (sin masa). Porque las partículas sin masa no tienen marco de referencia. A veces se oyen frases como los fotones no experimentan el tiempo o los fotones ven el tiempo detenido. En realidad, los fotones no tienen un tiempo propio. Y esto tiene que ver con que no tienen masa. Mientras te encuentres en un marco de referencia de un objeto que sí tiene masa en reposo, no puedes detener el flujo del tiempo.
¿Cómo definir el tiempo propio de un fotón?
Así que básicamente las partículas sin masa son las únicas que no tienen un tiempo propio, pero como tu pregunta es sobre objetos (no lo especificas, pero supongo que con masa en reposo), no puedes detener el flujo del tiempo en tu marco. Para hacerlo (para experimentar el tiempo de forma diferente) tendrías que perder masa en reposo.
Básicamente estás preguntando qué diferencia la dimensión temporal de las espaciales, y la respuesta es la flecha del tiempo.