Little endian с Big endian попутал. Хорошо что юниттест написал, он мне обнаружил что мои индексы как-то не так отсортированы.