@WildPowerHammer
Могу говорить только за linux, но вроде бы в любом случае у твоего движка будут посредники в виде ядра и графического драйвера, если мы говорим про память видеокарты.
Самый "низкоуровневый" способ для юзерспейса -- это обращение к drm: https://en.m.wikipedia.org/wiki/Direct_Rendering_Manager

Также советую обратить внимание на то, что по умолчанию проге доступен не весь апи, потому что "мастером" для /dev/dri/cardX обычно становится x-server или композитор wayland