Kodi Mag seine Laufwerke nicht mehr Mounten

  • 4TB hoert sich irgendwie wie eine magische groesse an. Sollte aber ein bug sein. evtl. mal an die winbtrfs entwickler melden, wenn du willst das das mal besser funktioniert. allerdings kann es dann sein, das du das nochmal wiederholen musst, wenn die irgendwelche diagnose wollen, die du bisher nicht erfasst hast.

    welches sync tool hast du denn ? frag bloss, weil ich rsync nehme, und das macht normalerweise ja keinen richtigen byte-by-byte vergleich, da muss man extra option '-c' nehmen, damit da auch auf quelle und ziel nochmal alles gelesen und verglichen wird. ansonsten werden ja nur namen/groessen/datum verglichen. Kann man eigentlich immer gut an der geschwindigkeit des vergleichs erkennen.

    beim letzten formattieren mit btrfs: hast du die unter linux oder winbtrfs formattiert ? wuerde auf jeden fall empfehlen, unter linux zu formattieren, der winbtrfs treiber hat ja viel leichter noch andere fehler, z.b. bei der formattierung. die sich dann irgendwann mal zeigen koennten.

    wegen dem abbruch beim befuellen ueber das netzwerk: schu dir halt mal den syslog im linux an, was du da siehst. auch dmesg. abbruch der uebertragung ist evtl. nicht so kritisch, aber das die platte ausgehaengt wurde ist schon schlecht. das sollte nicht passieren.

  • welches sync tool hast du denn ?

    FreeFileSync
    Download FreeFileSync 12.4. FreeFileSync is a free open source data backup software that helps you synchronize files and folders on Windows, Linux and macOS.
    freefilesync.org

    Da kann man einstellen ob man "Datum, Größe" oder "Inhalt" will. Habe damit nie Probleme gehabt und es hat mir oft Ungereimtheiten angezeigt, wenn welche da waren. Auf das Tool kann man sich verlassen.

    beim letzten formattieren mit btrfs: hast du die unter linux oder winbtrfs formattiert ?

    Ja unter Linux Mint! Der Win Treiber kann (glaube ich) gar nicht formatieren.

    Soweit läuft alles. Ich melde mich, wenn es einige Zeit lief...

  • Jetzt mach ich die Tage mal einen Dateiinhalt Test ob auch jedes Byte gleich ist,

    Ich weiss zwar nicht, wie du dass bewerkstelligen willst, aber du könntest auch Folgendes tun (jeweils für beide Platten):

    find . -type f -print0 | xargs -0 md5sum >> MD5_$(date +%F);

    Den Pfad (hier der Punkt "." nach find) musst du anpassen

    und

    eine alte "MD5_*" solltest du vorher löschen, den nach "md5sum" steht ein ">>", welches ggf. an eine breits vorhandene Datei anhängt !

    kannst ja f. d. jeweiligen Platten den Ausgabenamen temporär ändern in "MD5_$(date +%F)_Platte_1" bzw "MD5_$(date +%F)_Platte_2"

    und dann beide Dateien vergleichen.

    unter linux gibt es da ein graph. Tool "meld"

    Alternative:

    - du erzeugst nur eine MD5_* von einer Platte

    - du schraubst die Platten im USB Case um

    - und machst:

    md5sum -c MD5_* | grep -vi ok

    Bedingung:

    die Pfade zu den Platten (mountpoint) müssen exakt gleich sein.

    "-vi" nach grep filtert case sensitive alle Dateien, die mit "ok" quittiert wurden (also identisch sind) raus => du siehst nur die Unterschiede (die NICHT vorhanden sein sollten !)

  • Jo, sowas in der Art mache ich bei mir auch. Allerdings dachte ich das btrfs ja selvbsst checksums macht und auch deren consistenz pruefen kann. Wenn man dem allerdings (noch) nicht100% vertraut sollte man immer md5sum machen. Und vielleicht eben auch die btrfs boardmittel ausprobieren/verwenden - und vergleichen.

    Sobald man halt mal bad-sectors beim lesen hat und man kein backup hat isses eigentlich eh zu spaet. Habe sowas bisher nicht auf filesysystemstrukturen gehabt, aber schon bei dateiinhalten. Und bei videos merkt man es teilweise garnicht beim abspielen.

    Eigentlich sollte man halt immer SMART checken, pending sectors, das sind die die lesefehler liefern. Muss immer 0 sein, ansonsten platte tauschen. Ausser man hat sich mal solche sektoren random durch kabel/stromfehler eingehandelt. Da muss man ein wenig Erfahrung in der Diagnose haben.

    Eigentlich ist der wichtigste Test den ich bisher nicht gut automatisiert habe unter linux der lese-speed test. Gibts ein programm unter windows das eine speed-map zeigt. Aka: bevor sektoren unlesbar werden werden sie beim lesen langsamer, weil der kopf vielleicht ein paarmal rueber fahren muss. Aber so richtig gut messen kriegt man das auch nur hin, wenn die platte sonst nicht gelesen wird.

  • Jo, sowas in der Art mache ich bei mir auch. Allerdings dachte ich das btrfs ja selvbsst checksums macht und auch deren consistenz pruefen kann. Wenn man dem allerdings (noch) nicht100% vertraut sollte man immer md5sum machen. Und vielleicht eben auch die btrfs boardmittel ausprobieren/verwenden - und vergleichen.

    und die Boardmittel wären ?

    mir fällt nix ein, wie ich zwei Kopien einer Datei btrfs-technisch auf Gleichheit prüfen könnte ..., schon garnicht auf inhaltliche Integrität.

    ich schätze zwei kaputte Videos, auf zwei btrfs Laufwerken sind - btrfs-checksum-technisch - korrekt.

    ich kann die Video's trotzdem nicht (komplett) abspielen, weil kaputt.

    Btrfs macht keine Aussagen, ob Dateien inhaltlich integer sind, nur dass sie "stimmig" im Dateisystem sind

    ===

    vlt. mal "hdat2" probieren, da waren ein paar Tests dabei (keine Ahnung ob's dir hilft ...)

    HDAT2/CBL Hard Disk Repair Utility

  • Ok, falsche Erinnerung, gerade mal gegoogled. Das sind block- crc32 checksums, keine File-checksums. die koennen bit-rot entdecken. aber ersetzen die file-checksum nicht. Erinnere mich glaube ich auch daran, das ich damit mal rumgespielt hatte. Also Datensektor nach dem beschreiben veraendert, und btrfs hat danach I/O error beim lesen des files gebracht.

  • Gibts ein programm unter windows das eine speed-map zeigt. Aka: bevor sektoren unlesbar werden werden sie beim lesen langsamer, weil der kopf vielleicht ein paarmal rueber fahren muss.

    Speedmap kann man mit Windows Standard Tool perfmon hinkriegen. Meine neue 18 TB Platte braucht einen knappen Tag, ein Mal voll gelesen zu werden. Daher in perfmon->Leistungsüberwachung->Allgemein->Stichprobe->alle 100s und Dauer 100000 s (ein guter Tag) einstellen. (Mehr als 1000 Stichproben schafft perfmon nicht in der grafischen Darstellung, daher kann man nicht Stichprobe alle 10 s und Dauer 100000 s einstellen. Falls du darauf aus bist, auch kleine Einbrüche von sagen wir 2 s festzustellen, die man bei 100 s nicht sieht, musst du da halt als File schreiben lassen und dann in csv wandeln.) Perfmon zeigt hier übrigens nicht einen etwas zufälligen momentanen Wert, sondern schon den Mittelwert für die Dauer der Stichprobe. Andere Monitoring Tools machen das normalerweise auch so.

    Als Leistungsindikatoren hinzufügen: Physikalischer (oder auch logischer) Datenträger -> Bytes gelesen/s

    Windows APIs können auch direkt auf gesamte Platte oder Partitionen/Filesysteme zugreifen, ähnlich Linux /dev/sda und /dev/sda1. Viele Tools (zum Beispiel ein zufälliges md5sum, das ich rumliegen habe) können das. Die Benamung: Naming Files, Paths, and Namespaces - Win32 apps | Microsoft Learn

    Hilfreich auch wmic diskdrive list brief oder das sysinternals Tool winobj unter Device um die korrekten Namen zu finden. Mein privates Tool (das keine Tricks nutzt, nur Standard Windows API, die Namen funktionieren sogar mit Posix open()/close()/read()/write() und sogar mit Standard C fopen()/fclose()/fread()/fwrite()). Typische Device-Namen:

    \\.\PhysicalDrive2

    \Device\Harddisk0\DR0

    \Device\Harddisk4\Partition1

    \\.\c:

    \\.\CdRom1

    Ohne es probiert zu haben, denke ich dass Windows dd Clone (leicht erhältlich) geeignet ist, die Daten mit maximaler Geschwindigkeit direkt vom Device zu lesen (und nach nul schreiben). Mein zufällig rumliegendes md5sum scheint etwas langsam. Windows copy / robocopy fressen die Device-Namen leider nicht.

    Kodi 21.1, 17.6, 21.1, 16, 20.5 on Windows 11 Pro, Android 6, Android 12, FireTV Box 2nd Gen, FireTV 4k Max 2nd Gen
    Media on NAS, OpenMediaVault 6 (Debian Linux).

  • Danke fuer die Info, aber die Platten haegen bei mir alle an Linux Servern. Gerade wiedr 3 * 20TB gekauft und versuche jetzt alle 8TB platten auszumustern ;)

    Ich denke das wird auf irgendwas rauslaufen, was regelmaessig einen stripe der platte liest, so das man z.b. einmal im quartal die komplette platte gelesen hat. Und dann halt die speed-daten merkt, und quartal zu quartal vergleicht. Kann man ja nachts laufen lassen, muss aber irgendwie gucken, das da andere zugriffe in der zeit unrerbrochen werden. Noch nicht klar, wie ich das am geschicktesten mache.

  • Wenn du die Platten unter Linux hast, warum fragst du "Gibts ein programm unter windows das eine speed-map zeigt."? Für meine neue 18 TB Toshiba Platte habe ich ne Speedmap gemacht (auch Linux, ext4 formatiert). 1. Mit eigenem Programm, dass ähnlich dem bekannten h2testw von Heise arbeitet. Hier schrieb ich 100 GiByte große Dateien mit Pseudo-Zufallszbits, wieder gelesen und Inhalt überprüft. 2. Nur Lesen direkt von /dev/sda

    Beim ersten Diagramm hatte ich vorher halt schon bisschen was auf Platte probiert und dann wieder gelöscht. Daher ist der Verlauf nicht streng monoton. War auch schon ca. 1 TB beschrieben, als der Test anfing. Jeder Punkt ist für eine Datei. Beschriftung oben ist leider falsch, es wurden 100 GiB große Dateien geschrieben/gelesen, nicht 10 GiB.


    2.

    Ganz "sauber" scheint es nicht zu sein, wegen der beiden kleinen Einbrüche. Hatte früher auch schon mal solche Diagramme ohne die Dellen. Alle Smart error counts sind aber immerhin 0. Kann aber auch gut sein, dass bei den Dellen halt was anderes auf dem Server grade passiert. Brauch schon auch CPU, die ganze Zeit 250 MByte/s zu verarbeiten.

    Kann man ja nachts laufen lassen

    Bei typischer moderner Platte die man so heutzutage als Kodinerd kauft für Medien mit guten Preis/Volumenverhältnis landet man da irgendwo bei 14-20TB Platten. Die kann man nicht mehr über Nacht lesen. Bei meiner durchaus schnellen 18 TB (=16764 GiB) Platte dauerte das 22 h (durchschnittlich 226 MB/s). *)

    War übrigens bisschen von den Datenblättern geschockt, da sind doch nicht so wahnsinnig hohe Transfervolumina genannt: Rated Annual Workload: 550 TB.

    *) Ich meine bei meiner aller ersten Festplatte, 20 MiB war das statt einem Tag keine Minute. Ca. 1987.

    Kodi 21.1, 17.6, 21.1, 16, 20.5 on Windows 11 Pro, Android 6, Android 12, FireTV Box 2nd Gen, FireTV 4k Max 2nd Gen
    Media on NAS, OpenMediaVault 6 (Debian Linux).

    Einmal editiert, zuletzt von buers (20. Juli 2023 um 21:46)

  • Interessante kurve.

    Einmal im Quartal die ganze Platte lesen, also einmal in der Nach halt 1/90'tel der Platte lesen. Dauert ca. 15 minuten bei 20TB platte. Wuerde das auch nicht uebers filesystem machen, sondern bloss das blockdevice nehmen.

  • Ich habe die neue Platte nun eine Woche laufen und auch schon Backups drauf gespiegelt. Bisher keine Probleme!

    Gestern und heute habe ich auch nochmal alle Filme (11 TB) auf Dateiinhalt Gleichheit mit der Quellplatte gecheckt. Da werden wirklich Byte für Byte in den Dateien verglichen. Das dauert entsprechend. Ergebnis: Alles gleich! (Das war schonmal anders!, darum mache ich das Spiel)

    Ich habe auch rausgefunden warum beim ersten Versuch über Netzwerk die neue Platte auf einmal Unmounted war. Es war ein fehlerhafte Master/Slave-Steckdose wo der USB-Rahmen dransteckte. (das kommt zu dem unsauberen Unmounten von Libreelec noch dazu)

  • Klein bisschen am Rande zu OT. Da hier aber durchaus auch eine Rolle spielt, wie man zuverlässig frühzeitig Fehler erkennen kann ...

    Eigentlich ist der wichtigste Test den ich bisher nicht gut automatisiert habe unter linux der lese-speed test.

    Hab mir dazu nochmals meine Gedanken gemacht. Bin ja nun in der "glücklichen" Situation, dass grade ne Festplatte kaputt ging (WD Red 6 TB), die mir die Gelegenheit gibt, nochmals nachzumessen. (Hatte die Platte schon ersetzt, aber nun zum Test nochmals eingebaut)

    Hier auch alles unter Linux #1 SMP Debian 4.19.282-1 (2023-04-29)

    Mein altes selbstgeschriebenes HDD-Testprogramm brach bislang beim ersten Lesefehler ab (und ist dann ja auch schon ein Zeichen, dass die Platte futsch ist). Habe das leicht modifiziert, so dass es zum nächsten Block springt, und da versucht weiterzumachen. Hat funktioniert. Und ich habe noch weitere identische gleich alte und offenbar voll funktionsfähige WD Red 6 TB im Einsatz. Habe mir so nach deiner Idee mal die Lesespeed im Vergleich vorgenommen. Wohlgemerkt nicht paar Sektoren, um die "Speedmap" zu erstellen, sondern gesamte Platte, jedes Bit, bzw. gesamtes Partition (Ergebnis war praktisch Identisch, ob /dev/sda - Platte - oder /dev/sda1 - Partition). Hier das Ergebnis:

    Die kaputte Platte brachte Lesefehler in vielen Sektoren zwischen Position 100 und 110 Gib, das ist der zweite Einbruch im Diagramm. Beim ersten Einbruch (der reproduzierbar ist) kommen (noch) keine Lesefehler. Insgesamt ist die kaputte Platte offenbar etwas langsamer.

    Dennoch, praktisch gleichzeitig zu dem Zeitpunkt an dem ich merkte, dass was schief geht (Fehlermeldung beim Kopieren) zeigte der OMV View von SMART auch rot. Und mein eigener Check mit Hashes über die Dateien verglichen mit gespeicherten Werten auch (in ganz wenigen Fällen). Mein Gefühl sagt mir, die Speedmap wird nicht viel bringen - SMART ist mindestens genauso schnell, anbahnende Probleme zu erkennen.

    Kodi 21.1, 17.6, 21.1, 16, 20.5 on Windows 11 Pro, Android 6, Android 12, FireTV Box 2nd Gen, FireTV 4k Max 2nd Gen
    Media on NAS, OpenMediaVault 6 (Debian Linux).

    Einmal editiert, zuletzt von buers (27. Juli 2023 um 07:54)

  • Hast Du dein HDD speedtest programm irgendwo zum runterladen ?

    Ich glaub auch, das nicht alle Festplattenprobleme mit langsamerer Lesezeit korrelieren. Bloss das ich eben einige Platten hatte, die eben gefuehlt immer langsamer wurden und dabei kaputte Sektoren bekommen haben.

    Aber auch gerade eine 2TB Platte gehabt wo ich keine gute Erklaerunge fuer Lesefehler hatte. Nervig war dann das smartctl mit Platte im USB Gehaeuse keine pending sectors lesen konnte. Platte aus USB rausbasteln, per SATA anschliessen, sieht man pending sectors, aber man kommt nicht auf die Daten, weil die platte native 512 Bloecke hat aber der USB controller 4k macht. Aber platte hat auch nicht die SCIOCTLs um auf 4k umzustellen.

    Auf jeden Fall mal komplette ueberschrieben, und nun keine Lesefehler. Und danach gibts keine guten Anzeichen mehr das die Plaatte wahrscheinlich wieder Matsch ist. Ausser, man schaut sich den SMART Log an...

    Es bleibt schwierig.

Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!