Ich baue mir ein NAS - der 18TB Würfel

Thecus N3200Pro und das neue NAS

Einleitung

Ich hatte schon lange versprochen, Euch über den Ausgang des Aufbaus und die Teile meines neuen NAS zu informieren. Zuerst kurz zur Motivation. Bisher habe ich ein Thecus N3200PRO mit 3x 1TB WD-Green als RAID-5 im Einsatz. Da aber keinerlei Updates vom Hersteller mehr eintrudeln, es kein rsync kann, das NFS unzuverlässig ist und ich seit geraumer Zeit ein Fan von Filesystemen mit Prüfsummen bin (Thema Bitfäule), war eine Neuanschaffung unvermeidlich.

Nun hätte man wieder ein Thecus oder ein Synology oder so kaufen können, aber damit wäre ich wieder im Kerker der Hersteller gelandet. Nicht nur, dass man den Typ des Filesystems meist nicht wählen kann, die Updates sterben meist schnell und im Lichte der vielen Sicherheitsproblemen von Routern und NAS in den letzten Monaten, war mir etwas Zugeschlossenes zutiefst unsympathisch. Im Preis macht es sich auch nicht gross bemerkbar, oft sind die fertigen NAS sogar teurer.

Auf dem Bild rechts ist übrigens der weisse Würfel das neue Gerät und das kleine schwarze Ding auf ihm, ist das alte Thecus.

Wahl der Basis I

Zuerst habe ich mich nach Open Source NAS-Software umgesehen. Der Markt ist natürlich sehr gross, aber es gibt nur wenige Mitspieler, die schon länger und mit ausreichend Beachtung versehen sind. Natürlich hätte man auch ein Standard-Linux draufwerfen können und sich ein RAID zusammenschrauben, aber ich wollte etwas Komfort und nicht zu vergessen, was gegen Bitfäule.

Als Kandidaten standen also FreeNAS, NAS4Free, OpenFiler und Open Media Vault in den Startlöchern.

Kurz zur Bitfäule

Im Englischen "bit rot" genannt, ist das Phänomen, dass entweder durch sporadische, aber unbemerkte Fehler, einzelne Informationsbits kippen oder durch Lagerung einfach die Medien schwach werden und die Information nicht mehr vernünftig halten. Der letzte Punkt ist bei Festplatten nicht ganz so ein starker Faktor, wenn sie nicht die ganze Zeit im Schrank liegt, aber bei CDs ein Thema.

Bei Festplatten kann es passieren, dass auf der Festplatte nicht die Daten ankommen, die der Prozessor eigentlich ablegen wollte. Dummerweise merkt das niemand, da das Bit auf dem Weg von CPU zur physischen Platte irgendwo kippt. Das kann ein Software- oder ein Hardwarefehler sein oder einfach auch nur Zufall, weil bei unseren derzeitigen Computern, nur noch wenige Atome die Leiterbahnen bilden, die Spannungsniveaus extrem niedrig und die Geschwindigkeiten so stark gestiegen sind, dass wir teilweise an physikalischen Limits kratzen.

Also kann es passieren, dass beim Schreiben oder Lesen, einfach die Daten eine kleine Macke bekommen. Beim Lesen wäre es nicht weiter schlimm, wenn man es merken würde und nicht später die kaputte Information wieder zurückschreibt oder gar aufs Backup kopiert. In einem Video fällt das nicht auf, aber ein JPEG oder ein UTF-8 Text sehen dann schon richtig komisch aus. Ein schöner Artikel dazu ist Bitrot and atomic COWs: Inside "next-gen" filesystems.

Um dem Problem Herr zu werden, hat man Dateisysteme entwickelt, die sich dieses Problems durch Prüfsummen annehmen. Das Thema nennt sich Datenintegritätssicherung. Einfaches Praxisbeispiel. Wenn man Geld von A nach B bringt, dann zählt man es und verpackt es. Die Zählsumme wird unabhängig vom Geld transportiert oder gelagert. Wenn man das Geld braucht, dann zählt man zuerst nach und vergleicht es mit der Zählsumme. Stimmt es nicht, ist entweder Geld manipuliert worden oder die Zählsumme falsch gespeichert worden. Man kann also ein Problem melden. Wenn man jetzt noch die Zählsumme absichert, indem man sie z.B. als Kopie mit dem Geld transportiert, dann kann man ggf. sogar sagen, ob Zählsumme oder Geldbetrag falsch sind. Das ist natürlich ziemlich vereinfacht, aber so ungefähr geht es. Die Magie der Mathematik im Rechner kann sogar kaputte Daten anhand von Prüfsummen wieder zusammenstoppeln.

Wahl der Basis II

Es gibt nur wenige Filesysteme, die mit Bitrot umgehen können und das sind ZFS (FreeBSD), Btrfs (Linux), ReFS (Microsoft) und noch etwas von Netapp glaube ich, aber da ist kein rankommen. Nur ZFS und Btrfs sind frei verfügbar. Btrfs ist noch etwas frisch und so gehen die RAID-Level 5/6 noch nicht so prickelnd und keine grössere NAS-Distribution nutzt es. Damit ist Linux raus, weil ich mir kein Ext4 via Software-RAID antue. Da wäre ich nicht anders unterwegs als jetzt.

Also nur ZFS und damit sind wir bei FreeNAS und NAS4Free. Die beiden sind verwandt. Beide haben die gleichen Wurzeln, trennten sich aber irgendwann. Ich glaube, weil man über FreeNAS mehr liest, habe ich das gewählt.

Die Hardware

Es war klar, dass ich nix von der Stange kaufe werde, weil das System zuverlässig sein sollte, aber auch leise. Ich habe eine Weile gewühlt und gelesen und wollte schon fast etwas bestellen, da fiel mir noch auf, dass man ZFS nur mit ECC-Memory betreiben sollte, weil sonst der Sinn von ZFS und seiner Datenintegrität ad-absurdum geführt wird. Oder auf Deutsch, wenn der Hauptspeicher nicht merkt, dass er Mist baut, wie soll dann die Disk eine Chance haben, richtig zu liegen, schliesslich laufen alle Datenaktionen durch den Hauptspeicher.

Also zurück auf Los und nochmal. Dieser Haufen wurde es dann:

ASRock C2550D4I - Mainboard - Mini ITX

Das Motherboard wurde erwählt, weil es Mini-ITX als Formfaktor ist, die CPU inkl. passiven Kühlkörper bereits enthält und 12 SATA-Ports besitzt. 6 Ports hätten gereicht, aber da gibt es einfach keine Board mit ECC-Speicher Unterstützung.

Das Gehäuse, weil es kompakt und Mini-ITX ist, sowie Platz für 6 Platten hat. Der Speicher einfach mal, weil er ECC ist und 16GB, weil ZFS mindestens 8GB bekommen sollte. Der kleine USB-Stick ist quasi die Festplatte fürs FreeNAS und lebt dort. Steckt draussen dran. Ist so klein, dass nix abreissen kann. Das Netzteil hat seinen Job bekommen, weil es unter normalen Umständen seinen Lüfter nicht drehen lässt und eine hohe Energieeffizienz hat, zudem kann es 6 Platten mit Strom versorgen.

Platten

Eine NAS ist nichts ohne seine Platten. Damit man den gewünschten Ausfallsicherheitseffekt erzielt, sollte man nicht alle Platten vom gleichen Hersteller haben und nicht alle gleichzeitig, also quasi vom Band nacheinander kaufen. Aus diesem Grunde habe ich von drei Herstellern Platten gekauft. Jeweils als 3TB Modell und als NAS Variante. Leider habe ich bei der Hitachi nicht gesehen, dass sie eine 7200er Platte ist, also schneller dreht. Sie wird bis zu 5 Grad wärmer und macht deutlich mehr Lärm. Doofe Wahl, aber nun ist es zu spät.

NAS-Platten

Zusammenbau

Ich möchte mich hier nicht mit dem Zusammenbau aufhalten, weil ich eher nicht der Anleitungsschreiber bin. Nur als Tipp sei hier gesagt, dass 50cm SATA-Kabel teilweise zu lang sind und das Kabelset des Corsair extrem störrisch ist. Am Ende der Bauerei sind fast nur Kabel noch zu sehen und man muss sie echt clever legen, damit sie nicht dem Luftstrom im Wege sind oder irgendwo ständig anstossen oder reiben. Hier wäre eine bessere Kabellösung toll oder eventuell andere Kabel, die nicht flach, sondern rund sind.

Statistisches

Das gute Stück schluckt 3,5W, wenn es aus ist. Es gibt keinen harten Netzschalter am Gehäuse und so ist das Ding quasi lauschend. Angeschaltet sind es im Schnitt 65W, also nix für den 24x7 Dauerlauf zu Hause. Da sollte man eher 25W haben. Keine Ahnung, wo der grösste Verbraucher sitzt, ob es das Board mit CPU ist oder die Platten. Jedenfalls schwankt der Verbrauch auch bei Zugriff kaum.

Das Teil ist richtig schnell. Wenn ich via rsync Daten schreibe, dann sagt das Gigabit-Netzwerk, dass wir bei 800Mbit sind. Mehr geht fast nicht und da ist wohl eher mein Rechner die Grenze, als das NAS. Wenn ich versehentlich via WLAN aufs NAS gehe und loskopiere, dann ist in 10 min der WLAN-Router TP-Link TL-WDR4300 tot und braucht ein Reboot. Das läuft wohl was über. Wird Zeit, dass er ein OpenWRT bekommt. Fürchte mich noch vorm Kaputtflashen. Netzfirewall ist er ja nicht mehr, pfSense sei dank.

Von den 6x 3TB bleiben nach Einrichtung des RAID ca. 10,6 TB übrig. Ich habe kein RAID-5 genommen, sondern RAIDZ2, der Entsprechung von RAID-6. Ich kann damit zwei Platten verlieren, ohne das Daten verloren gehen... nun gut, bis dahin sollte man nicht kommen. Rechnerisch sind das also 6x3TB - 2x3TB = 12TB - Overhead der Prüfsummen.

Kleinigkeiten

Ich habe es leider nicht geschafft, die drei Lüfter im Gehäuse (kommen mit) via Motherboard geregelt zu bekommen. Ich habe dann auf die manuelle Regelung des Gehäuse (Schiebeschalter) zurückgegriffen. Es muss auf der mittleren Stufe laufen, da die beiden 7200er Platten sonst zu heiss werden. Die 5400er sind auch mit weniger Lüftung glücklich und dann hört man quasi die Lüfter nicht mehr, sondern nur noch die 7200er Platten.

Der Ruhestrom von 3,5W ist mir zu hoch, aber ich habe keinen Weg gefunden, ihn niedriger zu bekommen. Das Board scheint zu sehr zu lauschen, glaube eher nicht, dass es das Netzteil ist, was den Strom frisst. Das Board kann leider nicht weiter runterkonfiguriert werden aka Wake-up-on-Lan und C-States.

Am FreeNAS stört mich, dass die Bedienung etwas störrisch ist. Habe alles hingekommen, aber die Nutzerführung über den Navigationsbaum ist doof. Auch hätte ich gern mehr Statistiken zu den Platten und einen Dateibrowser. Aber, es ist trotzdem noch um Längen besser, als mein altes Thecus-OS und für die nächsten Versionen sind Veränderungen an der Bedienoberfläche versprochen.

Fazit

Natürlich ist Selbstbau und Open Source nicht jedermanns Sache, aber ich bin sehr zufrieden, von der falschen Wahl zweier Platten mal abgesehen. Es ist schnell, leise (auch wenn es noch leiser ginge), ich kann bei Bedarf Dinge tauschen und notfalls sogar das OS total ändern, ohne die Platten neu bespielen zu müssen.

YetAnotherBlog - Ich baue mir ein NAS - der 18TB Würfel Einleitung Ich hatte schon lange versprochen, Euch über den Ausgang des Aufbaus und die Teile meines neuen NAS zu informieren. Zuerst kurz zur Motivation. Bisher habe ich ein Thecus N3200PRO mit 3x 1TB WD-Green als RAID-5 im Einsatz. Da aber ...

Thomas Schewe

Das ist von der Grundausrichtung genau das, was ich auch (irgendwann mal) bauen möchte: Ein NAS mit genug Bumms um FreeBSD mit ZFS drauf richtig fahren zu können.

Wenn man sich Deine Stromverbrauchswerte ansieht, dann hast Du irgendwo bei den Komponenten oder beim Konfigurieren Pech gehabt. In der c't gab es "letztlich" mal (vor 'nem knappen Jahr?) Bauvorschläge für stromsparende Heimserver. Hast Du Dich an einen der Vorschläge gehalten?

Bei Deiner Schelte für die NAS-Hersteller bzgl. der Updatelage kann ich nicht einstimmen. Für mein QNAP liefert mir der Hersteller schon das fünfte Jahr sehr zuverlässig Updates, die nicht nur Bugfixes, sondern auch laufend neue Features enthalten. Da hat sich der höhere Eintrittspreis gelohnt.

Leider verwendet (auch) QNAP kein modernes Dateisystem und meine alte Möhre würde Btrfs oder gar ZFS rein von der CPU und dem RAM her gar nicht stemmen.
2014-09-15 - 11:15:57 - Thomas Schewe

Rene

Ist halt ein Serverboard, es ist für Rechenzentren gemacht mit viel Konfigurationskram. Mal sehen, ob ein Bios-Update in paar Wochen mal hilft. Die Platten sind wohl ca. 6x5 Watt oder so allein.
2014-09-15 - 11:21:42 - Rene

Rene

Thecus waren damals die Besten in der Geschwindigkeit, deswegen bin ich da gelandet. Habe mir nix anderes angeschaut, war wohl ausreichend bedient bzw. habe mit meinen 6 Jahren Linux jetzt genug Wissen, dass ich mir sowas nicht mehr antun will bzw. gern mehr Sicherheit verspüre, weil ich es verstehe.
2014-09-15 - 11:31:09 - Rene

hli

Was den Stromverbrauch angeht: die Hitachi HGST Deskstar NAS ist mit 6.9W im Ruhezustand angegeben. Wenn die anderen ähnlich viel Strom verbrauchen, sind das bei 6 Platten schon mal 42W. Kann es sein dass sie nicht in richtigen Standby gehen wenn nix los ist?
2014-09-16 - 22:18:35 - hli

Rene

Ich habe sie derzeit nicht konfiguriert, dass sie ausgehen. Mein NAS läuft eh nur 3-4h am Stück, da ist Abschalten der Platte eher lebensverkürzend. Akustik- und Powermanagement der Platten ist aber auf max aka kurz vorm Abschalten.
2014-09-16 - 22:36:50 - Rene

Thomas Schewe

Beim ersten Lesen hatte ich nicht wahrgenommen, dass Dein Thecus kein rsync und nur NFS kann. =:-O

Wäre mir nie ins Haus gekommen. (Mein QNAP: NFS (nie benutzt), SMB, AFP, rsync, sftp)

Baust Du bei der Ausfallsicherheit nur auf die heilende Wirkung der Prüfsummenmagie oder setzt Du auch auf Redundanz?
2014-09-18 - 17:02:42 - Thomas Schewe

Peter

Sehr informativer Artikel. Wusste garnicht, das man keine gleichen Festplatten kaufen sollte. Aber auch irgendwie logisch.
2014-09-18 - 19:45:35 - Peter

Rene

@Thomas:Ja, smb kann es auch, aber das fand ich für Linux nur doof. Aber es war zum Schluss zuverlässiger als NFS. Leider habe ich zum Schluss beim Rüberkopieren mehrere Anläufe auch via SMB gebraucht. Sogar mit sha256deep mehrmals über die Bäume gerödelt.

Das Ding ist RAID6. Das Checksumming vom FS hat ja einen anderen Zweck als die Redundanz der Platten. Eine externe Kopie mache ich auch noch, aber erstmal finden wohin.
2014-09-19 - 06:09:14 - Rene

Mit der Einführung der Europäischen Datenschutzgrundverordnung schliesse ich die Kommentarfunktion dieses Blogs, weil ich einfach keinen Bock auf die Arbeit habe, die dabei entsteht. Wer sich bei mir melden möchte, meine Mailadresse steht im Impressum. Hier der unnötige Hinweis, dass ich natürlich durch die Zusendung einer E-Mail in den Besitz von personenbezogenen Daten gelange. Der restliche Kram steht dann bei mir im Datenschutz.