Der LINUX/OpenSource-Thread

[Manul]

@livebox:
Bist Du denn inzwischen weitergekommen? Ich finde das immer etwas schade, wenn man gar kein feedback mehr bekommt.

 

[livebox]

Hi Manul,

Feedback kommt noch, keine Sorge Und an der Stelle schon mal vielen Dank an alle Hilfsbereiten!!
Nein, bin noch nicht dazu gekommen, ich musste an diesem Script und an anderen noch wichtigere Dinge einbauen und später dann fixen.

Es ging und geht bei dieser Fragestellung um ein konkretes Script, welches Backups macht und regelmäßig läuft. Außerdem räumt es alte Backups auf. Nehmen wir mal ein tägliches Ausführen des Scripts an sowie dass es momentan alles älter 30 Tage löscht. Dann tut das erst mal.
Sollte das Script aber mal aus irgendwelchen Gründen nicht laufen (kann in der Anwendung dieses Scripts durchaus mal geplant vorkommen) - und das vielleicht sogar einen Monat lang - würde es beim nächsten Backup alle alt vorhandenen Backups löschen. Sollte sich jetzt - und Murphy spielt bekanntlich gerne böse mit - in der Zeit seit dem letzten Backup ein Fehler in den zu sichernden Daten eingeschlichen haben, ist das neue Backup auch korrupt und die alten Backups sind weg.

Im Moment können wir mit der "n Tag Lösung" leben, ich werde es aber bald auf "n Backups verbleibend" umbauen. Muss mich diese Woche primär um ein anderes Projekt kümmern, hoffe aber dass ich im Lauf der Woche noch dazu komme.

MfG, livebox

 

[Manul]

Danke für die Rückmeldung! Ich wollte auch keinesfalls drängeln, habe hier aber leider schon mehrfach die Erfahrung gemacht, zu Lösungsvorschlägen nie wieder was zu hören, daher habe ich mir erlaubt, mal nachzuhaken.

On topic: Wie wär's denn mit folgendem Ansatz - das Skript legt ein Backup an, wenn das erfolgreich ist, zählt es die vorhandenen Backups, und wenn deren Zahl größer <n> ist, löscht es das älteste? Das hätte noch den Nebeneffekt, daß bei einem Fehler zusätzliche Backups bestehen bleiben - in dem Fall müsste man halt mal händisch drüberschauen, aber das würde man bei einem Fehler im Backup vermutlich ohnehin machen. Und Du hättest nur einen einzelnen rm-Befehl im Skript, das minimiert die Chance, daß dabei was schiefgeht.

 

[livebox]

So, jetzt aber! Bin letzte Woche (zwischen einem Haufen Prio 1 Probleme mit Cluster-Stillständen am laufenden Band ) doch tatsächlich noch dazu gekommen, das betreffende Script zu ändern.

Da die Dateien in diesem Anwendungsfall, wie auch bei Ben, unter anderem mit $(date +%[...]) im Namen erstellt werden und mir seine Lösung auf den ersten Blick verständlich war, hab ich gleich diese genommen. Funktioniert wie es soll


Übrigens hab ich mir am Wochenende Bauteile für ein NAS bestellt. Habe einige Zeit überlegt, ob ich eines von der Stange nehme oder selbst baue. Letztendlich waren es ein paar aktuelle Punkte bei denen ich nicht sicher bin ob sie auf einem 08/15 Heim-NAS-Gerät tun und mögliche Optionen für die Zukunft. Der Selbstbau ist außerdem deutlich günstiger. (Zumindest meine Teilebstellung. Hoffe es funktioniert dann auch alles wie geplant!)

Mainboard im ITX-Format, irgend ein kleiner Intel mit 1,8 GHz drauf, passiver Lüfter, passendes Gehäuse und zwei WD RED 3 TB. Die ITX Netzteile waren mir alle irgendwie suspekt... und da ich ein für ITX großzügiges Gehäuse gewählt habe, passt auch ein für ATX ausgelegtes Netzteil rein. Also wurde es ein beQiet! 300 W Dingens. Hoffnungslos oversized, aber wenn es schon die Leistung mit links packt, erwarte ich auch dass der Lüfter - wenn er überhaupt anspringt - nur sehr langsam dreht.

Bei der Distriution die drauf soll bin ich mir noch nicht ganz schlüssig. Aus den Platten werden dann LVMs gemacht, um da in Zukunft flexibel zu sein. Snapshots werden mit rsync angelegt, --link-dest nutzt das zuletzt erstellte Backup, um Hardlinks zu machen. Also viele Snapshots bei minimalem Platzverbrauch. Das Backup LV (auch auf einer anderen Volume Group, weil getrennte physikalische Platte für die Backups) wird als read only eingebunden und nur für die Zeit des Backup-Vorgangs als rw re-mounted, danach wieder auf ro. LAN-intern werden Daten via NFS (und für den einen Win-Client via SMB) bereitgestellt. Wie ich das für extern (übers Internet, wenn unterwegs) mache, muss ich noch überlegen. Vielleicht nur via scp
Außerdem kommt xbmc drauf und die Kiste wird via HDMI an die Glotz gehängt.

...soweit der Plan, mal schaun wie's läuft.

MfG, livebox

€: Eben gesehen, es gibt einen NFS Client von MS für Win 7... um so besser!

 

[BenChnobli]

Snapshots werden mit rsync angelegt, --link-dest nutzt das zuletzt erstellte Backup, um Hardlinks zu machen.

Klingt wie rsnapshot, das in vielen distris schon zu finden ist, falls du das rad nicht neu erfinden willst. Ich hab auch schon daran gedacht, meine back-ups darauf umzustellen.

Gruss, Ben

 

[mk1967]

Klingt wie rsnapshot

Dazu steht auch hier http://wiki.ubuntuusers.de/rsnapshot was - das Wiki ist auch dann äußerst nützlich in allen Lebenslagen, wenn Du eine andere Distribution als Ubuntu hast.

Michael

 

[livebox]

Jupp, rsnapshot lief mir neulich erst übern Weg, selbst benutzt hab ich's aber noch nie. Und genau das ist auch der Grund dafür, warum ich ganz erst mal mit rsync baue - mit dem bin ich inzwischen schon so ziemlich per du. Da weiß ich genau, was es tut.

rsnapshot werde ich mir bei Gelegenheit sicher noch genauer anschauen, aber vor dem produktiven Einsatz will ich erst mal genau wissen, was es wann und wie tut. Da ist noch ne Menge Testing angesagt. Die Option zum Trockenlauf, welche dann die Befehle ausgibt die ausgeführt werden würden, ist da sicher hilfreich.

Das UU Wiki kenn ich schon lange, ja. Ich schau gerne mal vorbei, aber im Endeffekt schau ich mir doch lieber erst mal die man pages an. Das tu ich ganz gerne im Web, weil einfacher zu handlen als in noch einer weiteren Konsole, die irgendwo über einen der virtuellen Desktops verstreut liegt. Neulich bei google nach "man head" gesucht und mich gewundert, warum da als Suchergebnis ein Link zur Bildersuche und Männerköpfen kommt...

Nebenbei, eine nette Kleinigkeit die im UU Wiki unter "sudo" nicht dokumentiert ist: Einfach mal in der sudoers unter dem Punkt "Defaults" das Argument "insults" reinschreiben. Und dann beim nächsten mal sudo das falsche Passwort eingeben.
Wer kennt das nicht - so viele unterschiedliche Systeme und der login prompt sieht immer gleich aus... und etwas Abwechslung schadet nicht



€:

Einfach mal in der sudoers unter dem Punkt "Defaults" das Argument "insults" reinschreiben. Und dann beim nächsten mal sudo das falsche Passwort eingeben.

Hab das heute einem meiner Kunden erzählt. Er hat das schnell auf seinem Notebook ausprobiert, meinte dann: "Der Chef arbeitet viel mit sudo..." Ich schau ihn nur fragend an. --> "ICH MUSS DAS UNBEDINGT SOFORT AUF DEM CLUSTER AKTIVIEREN!!" (Ein kleiner Hochleistungsrechner mit knapp 800 x86_64 Knoten.) Sagte er und tat es. Bin ja mal gespannt, wann sein Chef das merkt... und HOFFE, dass ich anwesend bin wenn er ins Büro kommt und fragt was da los ist

 

[.s]

Moinsen,
ich habe gerade ein komisches Problem, wo ich nicht mal wusste, dass sowas ein Problem wird.

Ich soll für jemanden eine CD, die er fälschlich als WMA digitalisiert hatte, in MP3 für das Autoradio umwandeln.
Jetzt habe ich schon mit ffmpeg (mit den libav-tools paket) probiert, der erkennt WMA aber nicht an.
Dann hatte ich den FFMultiConverter probiert, der liest die WMA aber auch nicht aus.
Rynthmbox hinegen liest die WMA-files ohne Probleme.

Habt ihr eine Idee woran das liegen kann?


edit: komisch, der Soundconverter macht es ohne zu zucken....dann hat sich das wohl erledigt.

 

[strogon14]

Das liegt wohl daran, dass du für gstreamer das entspreche Codec-Plugin installiert hast, während die Unterstützung dafür in ffmpeg fehlt. Oder vielleicht wurden die Dateien mit einer neueren WMA Pro Codecversion erzeugt, als ffmpeg versteht.

 

[.s]

Hm, gleich mal die nächste Frage.
Ich mach hier jetz seit 2 Stunden daran rum, meinen PI als NAS zu konfigurieren. Als Speicherort soll eine externe HDD dienen. Die wird allerdings nicht gemounted oder überhaupt erkannt.
Weder #fdisk -l noch #blkid zeigen mir die an.

Habe jetzt schon diverse Fileformate durch (FAT16/32,NTFS,EXT2, EXT3,EXT4). USB Sticks funktionieren mit allen Formaten.
An allen anderen Systemen (Ubuntu 12 Lappie, Mac mit 10.8) wird die ohne zu zucken erkannt oder gemounted.

Bin gerade etwas ratlos.

 

[Dextra]

Läuft die Platte an bzw. hat sie genug Saft?
Könnte mir vorstellen, dass der Pi nicht genug Strom für eine HDD über seine USB-Buchsen liefern kann, wenn du kein extra Netzteil für die Platte verwendest...

 

[.s]

Hm, das ist eine gute Frage. Zumindest leuchtet die LED wie gewohnt. Ich teste gleich mal.

- - - Aktualisiert - - -

Es war tatsächlich der Strom.
Ich habe einfach ein altes USB1 Kabel mit 2 USB Steckern benutzt (wo noch eins extra für die extra Portion Strom war) genutzt und sie läuft an und wird angezeigt

 

[livebox]

PI als NAS zu konfigurieren

Erzähl mal wie's läuft, wenn's läuft. Hab schon öfter gehört, dass das gemacht wird, aber keine Details. Ich hab kurz drüber nachgedacht, aber den Gedanken gleich wieder verworfen, weil ein PI für meine Zwecke aus mehreren Gründen nicht taugt.

Die Hardware ist unterwegs... aber das Paket kommt erst bei mir an, wenn ich 2-3 Wochen lang keine Zeit hab, mich drum zu kümmern. Murphy

 

[mk1967]

komisch, der Soundconverter macht es ohne zu zucken

Der Soundconverter hat sich bei mir schon in seeeeehr vielen Lebenslagen bewährt .

Michael

 

[livebox]

Man kann auch mit MediaInfo (crossplatform) mal reinschauen, was das so an Metadatan ausliest.
http://mediaarea.net/de/MediaInfo

 

[livebox]

Die Hardware ist unterwegs... aber das Paket kommt erst bei mir an, wenn ich 2-3 Wochen lang keine Zeit hab, mich drum zu kümmern. Murphy

So, kam doch noch heute Mittag, habe kurzfristig ein paar Termine geschoben damit ich das Ding mal grundsätzlich ans laufen bekomme. Ausgefeilte Config kann dann ja auch übers Netz erfolgen. Schnell die Hardware zusammengewürfelt, dann schnell ein OS drauf und ab dafür. So war der Plan.
Und dann kam die Erkenntnis, dass das Mainboard UEFI drauf hat.

Hätt ich dran gedacht, hätte ich mich drauf vorbereitet... so ging heute leider unnötig etwas Zeit flöten. Ich hatte mich für Ubuntu Server 12.04 als Distribution entschieden - für 12.04 wegen LTS, für Ubuntu der breiten Medienunterstützung wegen. Die Alternative wäre Arch gewesen, wo es vieles auch gibt, aber doch nicht immer alles und teils nur mit gefrickel. Außerdem hat Arch mir, während ich es produktiv benutzt habe, zwei oder drei mal beim Update das System lahmgelegt und ich musste erst mal fixen gehen.

Die Lösung war im Endeffekt ganz einfach: Es muss die 64-bit Version sein, die bringt die nötigen Tools mit, um auf einem UEFI zu installieren. Als Bootloader ist erst mal doch wieder grub drauf, weil es schnell gehen musste und ich den gut genug kenne (auch - oder gerade weil - man sich da bei der Ubuntu-Installation erst mal gar nicht drum kümmern muss).

Nach der Installation also die LVMs konfiguriert und gemounted und NFS im wesentlichen eingerichtet. Der Hardware-Aufbau hat etwa 2:15 gedauert plus etwa eine Stunde für Installation und Einrichtung - die UEFI-google-Zeit nicht mit eingerechnet. Also keine 3,5 Stunden bis zum funktionierenden NAS.
Ist ja gar nicht so viel Aufwand...

In der Pflege wäre es sicher komplizierter im Vergleich zu einem von-der-Stange-NAS, sollten mehrere Leute drauf zugreifen mit unterschiedlichen Pfaden, Berechtigungen etc... und Änderungen hier und da... aber da das Ding nur für mich ist, wird das absolut stresslos sein.

Jetzt muss ich nur die ein bisschen System-Härtung betreiben und die Backup-Logik implementieren. Dann bastle ich mir noch eine Monitoring-Lösung dafür. Wird wohl das meiste selbstgestrickt sein. Dann hab ich die komplette Kontrolle über die genaue Art, Häufigkeit, Auswertung und Darstellung der Daten sowie auch die Performance-Beeinflussung des Monitorings.

 

[.s]

Klingt eigentlich doch ganz gut. 3,5h für den NAS ist voll im Rahmen ich sitze seit vorgestern (mit Pausen).
Und meinen PI via WAN von außen ansteuern bei dem blöden Kabelmodem steht seit Wochen auf dem Plan aber ich komm einfach nicht raus.

Als Backup auf dem Ubuntu nutze ich Deja Dup. Allerdins habe ich bisher nur gesichert. Keine Ahnung wie es aussieht, wenn es hart auf hart kommt.

Welche Hardwarekonfiguration hast du drin?

 

[livebox]

Naja, die 3,5 h waren wie gesagt für ein grobes Setup, so dass die Volumes mal eingerichtet sind und mein Desktoprechner auf die gesetzten Freigaben zugreifen kann. Ziel der Hau-Ruck-Aktion war, während einer Reisezeit und dann noch über Nacht einen Haufen Daten von einer externen Platte und dann vom Desktop übers Netzwerk aufs NAS zu schieben. Also funktionieren tut's grundsätzlich mal, aber damit ist die Sache noch lange nicht abgeschlossen.

Woran genau hängt's denn bei dir? (Mal vom Modem abgesehen.)

Zur Hardware: Muss ich erst mal erläutern, was die Anforderungen für die Maschine waren. Das wär mal grundsätzlich: Kleiner Formfaktor, habe mich für ITX Board und Gehäuse entschieden. Mehrere 3,5" Platten möglich, USB 3 Schnittstelle (für ein weiteres Backup wichtiger Daten), zwei Netzwerkkarten (für später eventuell bonding - merke, bonding != bondage!). Außerdem soll die Maschine nicht nur NAS sein, sondern bald u.a. auch Media Center (xbmc). Das heißt, HDMI Anschluss und mindestens 5.1 Soundausgänge, auch wenn ich im Moment nur eine Stereo-Abhöre habe. Die Grafikkarte wollte ich intern - wegen der Anschaffungskosten, Stromverbrauch und auch Wärmeentwicklung --> Lüftung --> Lautstärke. Deshalb eine interne GraKa, die Full HD Videos flüssig abspielen kann. Ich denke auch über Blu-ray nach, aber warte da erst mal ab wie sich das mit den +"§!"§/&'# AbzockmechanismusKopierschutz entwickelt und speziell unter Linux.

Da ich nicht will, dass der Prozessor zusätzlich ein Flaschenhals bei der Latenz ist und der außerdem auch noch bissl was anderes zu tun hat, hab ich mich für einen Einkern 1,8 GHz von Intel entschieden. Der hat nen passiven Kühlkörper drauf - sollte bei heutiger Technik reichen, 1,8 GHz macht nicht groß warm. Außerdem ist das Gehäuse nicht "so klein wie mit ITX geht" - schon alleine der Festplatten wegen - und hatte Platz für ein gewöhnliches ATX Netzteil. Da es bei mindfactory mit ITX Netzteilen nicht weit her war, genauer gesagt 2 Stück und eines leistungsmäßig zu tief, und ich auch kein externes wollte, hab ich ein beQuiet! 300W Netzteil genommen, das dann gemütlich vor sich hin summt. Dessen sehr großer Lüfter zum Gehäuseinneren hin sitzt direkt über dem CPU-Kühler.
Dann kam noch ein 4GB RAM Riegel rein und zwei WD RED 3TB Platten.

Im sind zwei Lüfter verbaut - ein großer vorn und ein kleinerer seitlich, die ich auf die schnelle mal direkt ans Netzteil angeschlossen habe - die also im Moment mit voller Drehzahl laufen. Mir egal, bin ja nicht daheim Aber da muss ich definitiv noch was machen. Muss mal genauer schauen, was das Mainboard an Anschlüssen bietet. Ich meine, einen Lüfteranschluss für einen CPU-Lüfter gesehen zu haben. Aber vielleicht verpasse ich gleich beiden ne manuelle Lüftersteuerung, bzw. lass den kleinen erst mal ganz weg und setze bei Bedarf noch mal einen großen ins Gehäuse (ein Platz dafür ist darin vorgesehen). Dazu will ich mal die Temperatur genauer monitoren.

Ich hatte sorgen, ob der Kühler (recht breit) aufs Mainboard passt und das Netzteil über den Kühler drüber... aber hat alles wunderbar gepasst. Falls jemand Interesse hat, kann ich gerne die genauen Teile benennen. Kosten lagen bei +/- 500 €. Also das, was man für ein brauchbares 4-Platten-NAS-Gehäuse von der Stange mindestens hinlegt - ALLERDINGS ohne die Platten, welche alleine schon fast die Hälfter der Kosten ausgemacht haben.
Einen Kompromiss hab ich beim Mainboard gemacht: Das hat 2x SATA3 und 2x SATA2, da hätte ich gerne 4x SATA3 gehabt. Hätte es auch gegeben, aber die Board sind deutlich teurer und haben dann teils andere Dinge nicht - den zweiten Netzwerkanschluss, Audio wie gewünscht etc...

MfG, livebox

 

[.s]

@NAS-Platte:
Ich habe die Platte mit EXT4 angeschlossen.
(hab ich dann mit meinem Ubuntulappie und gparted formatiert, fdisk am Pi hat mir erstmal die Platte zerschossen)

Dann habe ich folgendes getan

sudo mount -t ext4 /dev/sda1 /mnt/usbcloud/ 
ins fstab eingetragen wegen automount beim Start -> /dev/sda1 /media/usb ext4 rw 0 3
sudo chown -R pi /mnt/usbcloud/

Jetzt ist das Problem, ich sehe den Ordner im Netzwerk (Finder). Kann aber nicht darauf schreiben, obwohl ich als PI via AFP und/oder SMB angemeldet bin.
Trotzdem liegen die Rechte laut 'ls -al' bei 'drwxr-xr-x 3 root root ... usbcloud'.

Wenn ich die Platte ins Mac-System über den Finder "verbinden mit Server" einbinden möchte (afp oder smb://192.168.0.116/mnt/usbcloud) kommt ein Error.
Mit 'mount volume smb://192.168.0.116/mnt/usbcloud/' das Gleiche.
Bei 'chmod +rwx' hat er trotz Bestätigung meiner Aktion nichts geändert. (chmod: changing permissions of `/mnt/usbcloud/': Read-only file system)

Ich bin mir sicher, irgendwo ist ein Denkfehler, nur wo?


edit: interessant, ich kann via ssh auf dem PI nicht einmal via touch oder mkdir irgendwas erstellen

 

[strogon14]

Den chown-Befehl hast du gemacht, als die Platte schon gemountet war, ja? Da fehlt aber auch noch ein Punkt oder Doppelpunkt hinter dem Benutzernamen, damit die Dateien auch die Defaultgruppe des Benutzers "pi" bekommen. Was zeigt denn mount (ohne Parameter) auf dem Raspberry Pi an?

Die Permissions über SMB/Cifs hängen nicht nur von den Dateirechten, sondern auch von der smb.conf ab. Was hast du denn darin stehen?