Если башня лёгкая, то существенно влиять будет только гравитационный колодец Земли, то есть где-то в районе невесомости должно быть. Если достаточно тяжёлая, чтоб оказывать существенное гравитационное воздействие — то орбиту распидарасит так, что ощущать он будет только панику, да и то недолго.