Es liegt aber trotzdem nicht an der Hardware, sondern an deinen Videodateien. Wenn MKVToolnix beim muxxen schon meckert, dann lies dir die Fehler-/Warnmeldungen dazu durch. Bei Fehlermeldungen versucht MKVToolnix das zu korrigieren, kann klappen, muss aber nicht. Neu encoden würde in den meisten fällen auch zu nix führen. Die Datei ist dann defekt. I.d.R. liegt es an an den Zeitstempeln, die nicht zueinander passen oder gar fehlen.
In Kodi kannst du unter Einstellungen->Player->Videos->Verarbeitung die Hardwarebeschleunigung deaktivieren. Aber wie bereits gesagt, der Cube reagiert da Hardwareseitig nicht drauf (warum auch immer).
Beim muxxen von .avi in andere Container und zurück hast du keine Qualitätsverluste, da dabei die Video-/Ton- und Untertitelspuren lediglich ein einen anderen Container gemuxxed werden. Das hat mit encoden nix zu tun. Testweise könntest du eine solche Datei ja tatsächlich mal neu encoden mit z.B. Handbrake oder 'nem anderen (einfacherem) Tool.
Gruß Gz