Danke für die bisherigen Antworten. Gerade habe ich festgestellt, dass auch der Mediaplayer Classic kein DXVA für diese Videos nutzt, vermutlich also wegen der 10bit. Dennoch ist die Wiedergabe hier ruckelfrei.
Die Ruckler bei XBCM treten vor allem dann auf, wenn Szenen mit schlechter Bildqualität auftreten und der Renderer vermutlich "nachbessert". Ist das ggf. ein Hinweis? In den Einstellungen, die XBMC anbietet, habe ich auch keine Lösung gefunden und schon so ziemlich alles probiert. Auch Videoskalierungsmethode in den Videoeinstellungen (bilinear etc.) bringt keine Verbesserung.
P.S. Mediaplayer Classic nutzt für die betroffenen Videos den LAV Video Decoder.