Jub. Ich würde sagen die ganze Verarbeitung dauert auf dem Pi viel zu lang. Das Abrufen und das Verarbeiten. Ich weis jetzt nicht wie ob der Pi evtl. alles im Speicher macht oder sogar auf die Platte bzw. auf die langsame SD auslagern muss währen der Verarbeitung.
Dazu kommt dann noch das Präsentieren über den Webserver zum Browser, wo vermutlich auch teilweise wieder auf die SD gecached wird. Ich habe damals den Shield verkauft, da der mir viel zu langsam war mit der CPU. Die GPU war super aber der Rest Deswegen bin ich wieder auf einen "normalen" HTPC zurück.
Leider habe ich dazu keine Antwort wie man das verbessern kann. Da das Script über einen normalen PC blitzschnell ausgeführt wird, musst Du wohl damit leben.