Il problema principale è che le teorie scientifiche si basano sull'osservazione degli oggetti attraverso le loro caratteristiche misurabili. Quindi nel tuo caso il tutto si riduce al fatto che tu possa misurare o meno una proprietà "assoluta" dell'oggetto tempo: la teoria della relatività di Einstein dice che questo non è possibile per qualunque osservatore, indipendentemente da come sia fatto effettivamente il tempo. Noi di questo oggetto possiamo solo misurarne delle caratteristiche che sono relative. Di altri oggetti (come i quadrivettori o la velocità della luce, ad esempio) abbiamo, invece, tutti la stessa "visione".
Insomma, puoi vedere la relatività come una teoria che ti permette di dividere gli osservabili in due categorie delle quali una è composta da proprietà di oggetti che sono relative alle condizioni di ogni osservatore e l'altra invece comprende quelle proprietà che non variano con gli osservatori.
Si può sempre introdurre una componente "immaginaria" del tempo (in senso matematico), ma questa dovrà avere comunque un significato "tangibile", altrimenti avrai effettivamente a che fare con un bel "giochetto" matematico che nulla ha a che fare con il mondo fisico. Nel tuo caso, però, avresti sempre un termine che non è assoluto ma è relativo in dipenza della condizioni di "fase" in cui si troverebbe ogni osservatore.
Un piccolo appunto: il fatto che non siamo in grado di spiegare come mai le sonde che stanno lasciando il sistema solare stiano rallentando non è detto che sia in contraddizione con la meccanica relativistica; al momento qualunque spiegazione è solo una congettura che andrà verificata sperimentalmente: solo allora si potrà dire che è "in barba" o meno a ciò che sappiamo oggi.... e questo è quello che si sta facendo ormai dai tempi di Galileo!!

J.