= Festplatte Aufräumen =

Grundsätzlich heisst es ja, das man Ein Linux-Dateisystem nicht aufzuräumen braucht, weil es keine Fragmentierung erzeugen würde. Einerseits ist diese Aussage nicht so ganz wahr außerdem gibt es ja immer was aufzuräumen... Deshalb möchte ich hier einen Platz schaffen, um Dinge zu diesem Thema zusammenzuführen.


== Sparse Files ==

Siehe auch SparseFiles. Ein Programm, das ein vorhandenes Dateisystem nach Dateien absucht, in die man Sparse Bereiche einfügen kann und dieses automatisch macht, ist __zum__ aus dem [perforate|http://packages.debian.org/search?suite=default&section=all&arch=any&searchon=names&keywords=perforate] Paket.



== Dubletten finden ==

Es kann oft vorkommen, das in einem Dateisystem mehrere identische Dateien existieren. Diese kann man u.U durch Hardlinks zusammenführen und so eine Menge Platz sparen. INsbesondere auf meinem BackupServer, der mit [rsnapshot|http://www.rsnapshot.org] arbeitet, sammeln sich sehr viele identische Dateien aus den unterschiedlichen gesicherten Systemen an.

Ich habe zum Thema drei Debian-Pakete gefunden: [fdupes|http://packages.debian.org/search?keywords=fdupes], [perforate|http://packages.debian.org/search?suite=default&section=all&arch=any&searchon=names&keywords=perforate] und [hardlink|http://packages.debian.org/search?keywords=hardlink]. Eine schöne Übersicht über noch eine ganze Schar anderer Programme findet sich auf der [Wikipedia-Seite zu fdupes|http://en.wikipedia.org/wiki/Fdupes].

Die Programme, die ich getestet habe, arbeiten vom Prinzip her in zwei Schritten: Zuerst werden Dubletten gesucht und dann werden diese durch Links ersetzt. Der erste Schritt dauerte z.B. bei einem 150 GB-Verzeichnis mit 5 verwandten Backups ca. 2 Stunden.

fdupes macht eigentlich nur den ersten Schritt. Allerdings gibt es im Internet einige Skripte, die den zweiten sogleich erledigen. Nach dem Lesen der Dokumentation ist fdupes das einzige Programm, das vorhandene Hardlinks nicht als identisch betrachtet. Das ist insbesondere bei rsnapshot interessant, aber vor allem auch, wenn man das Programm von Zeit zu Zeit öfters anwenden will. Es findet ansonsten immer wieder die gleichen Dateien, die schon längst ge-hardlinkt wurden. Das ist ja dann auch nicht Sinn der Sache...

'''Zu beachten''' ist natürlich immer, das ein Hardlink nicht einfach nur Speicher spart, sondern das Schicksal der gelinkten Dateien immer auch zusammenknüpft. Das heisst, alle Hardlinks haben das gleiche Datum, den gleichen Inhaber, die gleichen Berechtigungen und wenn eine davon geändert wird, werden alle geändert. Daher ist es also durchaus sinnvoll, wirklich in zwei Schritten zu arbeiten und die Dateiliste nochmals zu prüfen und zu bearbeiten, bevor man in seinem Filesystem alles zusammenlinkt, was nicht schnell genug auf den Bäumen ist...
<<

=== Links ===

* http://www.perlmonks.org/?node_id=703460 - eine kurze Lösung in Perl mit interessanter Diskussion über die Probleme
* http://liw.fi/dupfiles/ - dupfiles ist ebenfalls ein Programm, das Duplikate erkennt
* http://elonen.iki.fi/code/misc-notes/remove-duplicate-files/ - Lösung des Problems als reines Shell-Skript
* http://www.junauza.com/2010/01/how-to-find-and-clean-up-duplicate.html - fslint hat sogar eine GUI
* http://liw.fi/dupfiles/ - ein kleiner (nicht-repräsentativer) Benchmark
* http://pmatch.rubyforge.org/index.html - PMatch scheint gut durchdacht, erkennt aber scheinbar auch keine vorhandenen Hardlinks. Links zu vielen ähnlichen Projekten