С моей любовью "проехаться по памяти голыми указателями" мне, так и, нужно освоиться с gdb. Пол дня искал что приводит к выходу за пределы массива, оказалось я сначала прибавлял к указателю конец массива, а после считал этот указатель началом массива. Хлоп, сегфолт.