SSL Verschlüsselung

SSL bedeutet, dass die Kommunikation zwischen beiden verschlüsselt ist.
Nutzt man es nicht, dann könnte man den Datenverkehr mitschneiden und lesen.
Also auch die Passworteingabe etc.
Ob man das nun als Sicherheitsproblem einstuft oder nicht, muss jeder selber entscheiden.

Ich greife auf meinen Emby-Server von außen via VPN (Raspberry als VPN-Server) zu.
Funktioniert bestens.

Jetzt würde ich gerne einen Raspberry 3 + 2,5" HDD als kleinen Emby-Downloadserver für meine Familie einrichten.
Denen möchte ich jedoch die Verbindung über einen VPN-Client nicht zumuten.

Welche Möglichkeiten habe ich um den Zugriff nur für von mir bestimmten Personen zu gewähren?
Einmaliges installieren eines Zertifikates oder dyndns-Updater wäre ok.

Eine reine Passwortabsicherung ist mir definitiv zu wenig.

Grüße