Nous sommes le Mar 17 Juin, 2025 22:19
Supprimer les cookies

sauvegardes incrémentales

Au quotidien encore quelques soucis ?

Mar 06 Sep, 2005 14:43

Bonjour,
ce post est un proposition de faire à plusieurs qui comme moi ne le connaissent pas, une étude de rsync pour réussir sa mise en place et sa configuration.

Je reprend sur la demande d'infos que j'avais faite en Avril dernier. Oui, ça date un rien, mais ce ne sera pas la dernière fois.

Par contre, je n'avais pas pris connaissance du dernier message, et voilà qu'un nouvel inscrit est venu poster une url très très bien, et malheureusement n'a pas eu de réponse à sa propre question. Curieux et dommage.

Alors ce rsync: les docs m'apprennent que c'est une sauvegarde incrémentale, cad qui enregistre les datas nouvelles uniquement. C'est une copie des hards links en fait, bref, les détails il faut pas se perdre dedans.

Surtout, ça m'intéresse pour ne plus avoir à me soucier de la mise à jour des sauvegardes, hormis peut-être un CD de données de temps en temps, manière de, mais surtout avoir toujours une version à jour du système avec sa configuration. Le tuto dit comment le faire, comment l'utiliser avec ssh, comment le faire faire par cron, pour automatiser le lancement de rsync.

Infos et docs diverses autres lues vite fait: certains préconisent de faire des sauvegardes en lecture seule: mais ça, c'est des paranos de la sécurité vue côté entreprise. Je ne sais pas comment ils restituent les sauvegardes en lecture écriture après.

Apparemment rsync peut être utilisé de manières diverses.
J'aurai voulu une image à dupliquer pour avoir la même install sur deux machines différentes, et aussi la sauvegarde incrémentale de rsync pour maintenir les deux machines, reliées par cable croisé, à l'identique.

Pour ceux que le sujet intéresse, je pose une première question au vu des docs ci-après:
pensez-vous que cela soit possible de faire du rsync alternativement sur la machine 1 et sur la machine 2, en sauvegardes croisées ? (le but, c'est de ne pas se soucier de savoir sur quelle machine on a avancé un peu plus dans une doc ou apporté telle et telle datas en plus)

Les docs:

Lue en entier mais fait les exercices que jusque vers le milieu, jusqu'a la fin du 4, avant le "5- Synchronisation à distance".
La doc de Lalitte

Celle-là regardé vite fait, c'est tout.
la doc de Mikerubel, qui parle de lecture seule (pas d'accord mais la doc peut contenir des infos en plus...)

Cette page est très bien faite, et en français, comme le lien de Lalitte.

Le site de Rsync et sa doc, là il faut à nouveau se creuse les méninges en anglais.

Le cas de figure que je veux résoudre:
un PC de bureau en première machine, un portable en deuxième, un cable croisé entre les deux. La connexion locale entre les deux fonctionne. (Merci à Téthis et à Méléis)

Les autres cas de figure que rsync peut résoudre et qui peut intéresser du monde, c'est un HDD externe, un deuxième HDD interne, si j'ai bien compris.
En espérant que ça intéressera beaucoup de framasoftiens :)
Merci, Athanor1.
LinuxVillage - http://linuxvillage.org
Site d'entraide d'utilisateurs GNU/Linux
Mélodie

Messages : 4555
Géo : France

Mar 06 Sep, 2005 15:12

Juste pour info : un politique de sauvegarde de données ne se fait pas que sur des sauvergardes incrémentales. Si tu a un problème, il te faut restaurer l'état de toutes tes sauvegardes.
Le "mieux" est de faire une sauvegarde totale, puis de faire une petite poignée de sauvegardes incrémentales les jours suivants. Mais il n'y a pas de solution miracle prêt à l'emploi.

Tu pourrais utiliser rsync pour synchroniser ton cache apt entre tes deux machines, ça te permettrait de vivre un peu mieux sur ton 56K.
Attentyon, ponaytte maychante !
Téthis

Avatar de l’utilisateur
Messages : 3895
Géo : De passage chez les cathares

Mar 06 Sep, 2005 15:35

Oui, c'est une des choses auxquelles je pense en particulier.
Restauration de toutes les données: rsync ne peut-il faire que des images ?
LinuxVillage - http://linuxvillage.org
Site d'entraide d'utilisateurs GNU/Linux
Mélodie

Messages : 4555
Géo : France

Mar 06 Sep, 2005 15:35

Ah ben ça ça tombe bien.

<ma vie>
J'ai depuis qq temps un dédié chez ovh avec 2 disques de 40Go.
Pour le backup, je préfère avoir des backups à J, J-1, J-2, J-3, Lundi, 1erDuMois et 15DuMois

Bref, 7 jeux de sauvegardes (je sais, c'est beaucoup, mais je tiens à un certain historique de mes données).

Aujourd'hui, je fais un backup bourrin de mes données via un tar czf (backup de chaque domaine web, du /home, de /etc, des logs, de /var/lib/mysql)
Bref, ça prends un peu de place, mais le disque de backup est là pour ça.

Je fait donc un tar de chaque dossier, que je place dans J et je fais un "rotate" maison pour dispatcher dans les bons dossiers de backup.
</ma vie>

Aujourd'hui, j'ai de plus en plus de fichiers dans mes domaines web (dont 1 qui fait 25 000 fichiers).
La méthode tar me convient bien, mais elle est quand même tres gourmande en CPU, et en accès disque.

J'ai bien entendu tenté d'affiner avec l'option --update et avec la commande "nice", mais bon, je sens que c'est toujours pas top pour mon CPU et pour mon disque.

Je suis donc un peu hors sujet par rapport à la demande d'Athanor1, mais ma question est la suivante :
en terme de "charge" et de "longevité" de machine, vaut-il mieux un :
Code: Tout sélectionner
tar -uzf /destination/archive.tar.gz /source/fichiers

ou un
Code: Tout sélectionner
rsync -rv --delete /source/ /destination/

?
*Nouveau venu ? Lisez les règles d'utilisation de ce forum
*Une question à poser ? Assurez vous qu'on vous répondra
*Soutenir Framasoft ? Participez à l'annuaire !
*"T'es où ?" Inscrivez vous sur la FramaMap
pyg

Avatar de l’utilisateur
Messages : 7858
Géo : Lyonnais

Mar 06 Sep, 2005 15:54

Tu n'es pas off topic.
C'est juste que je voudrai avancer par petits bouts depuis le début, et voir la première question que je pose trouver une réponse aussi.

Selon le texte du site linuxfocus.org (lien dans premier post):

Rsync est une puissante implémentation d'un beau petit algorithme. Cette puissance vient d'abord de sa capacité à faire un "miroir" efficace d'un système de fichiers. En utilisant rsync, il est facile de paramétrer un système qui conservera une copie à jour d'un système de fichiers en utilisant un ensemble souple de protocoles réseau comme nfs, smb ou ssh. La seconde fonctionnalité de rsync exploitée par ce système de sauvegarde est sa capacité à archiver d'anciennes copies de fichiers modifiés ou effacés. Il existe bien trop de fonctions pour que cet article sur rsync soit exhaustif, je vous conseille donc de poursuivre votre lecture sur http://rsync.samba.org.


Les avis de ceux qui ont l'expérience des deux, avec exemples concrets seraient les bienvenus.
Athanor1.
LinuxVillage - http://linuxvillage.org
Site d'entraide d'utilisateurs GNU/Linux
Mélodie

Messages : 4555
Géo : France

Jeu 08 Sep, 2005 01:20

Téthis a écrit:Juste pour info : un politique de sauvegarde de données ne se fait pas que sur des sauvergardes incrémentales.

Le plus souvent ça démarre du plus urgent et ça alterne avec le plus facile.
Rsync me semble super, pour quand je saurai tout lire dans la page de doc. (les fichiers script)

Le "mieux" est de faire une sauvegarde totale, puis de faire une petite poignée de sauvegardes incrémentales les jours suivants. Mais il n'y a pas de solution miracle prêt à l'emploi.

Là, j'ai fini de faire des copies par le cable croisé avec scp de tous les répertoires du /home/user qui m'intéressent, fichiers de conf inclus.
Comme le /home du gros était à 100% :/
L'était temps. J'ai toujours des Go libres autour, mais je vais essayer de faire tout bien avant de modifier.

Tu pourrais utiliser rsync pour synchroniser ton cache apt entre tes deux machines, ça te permettrait de vivre un peu mieux sur ton 56K.

J'ai trouvé Backuppc dans Synaptic. J'ai fait une sauvegarde complète sans m'en appercevoir, puis une en regardant bien, un rien éberluée, et je laisse la doc de coté un coup. Faut que je trouve moyen de tester la restauration.
Inouï si tout marche bien.
http://backuppc.sourceforge.net/

Il y a un (d'autres) programme(s) de sauvegarde, mais je ne l'ai pas installé : dar.
Origine Universe:
Description: Disk ARchive: Backup directory tree and files
Full featured archiver with support for differential backups, slices,
compression, ATTR/ACL support. DAR also supports Pipes for remote
operations, including with ssh.

Qui c'est qui a des sauvegardes à faire et qui veut essayer par le net aussi ?
(config facile, tout indiqué en console à la fin du dl, j'ai tout de même fait ma propre copie de la console pour être sûre de savoir où est rangée l'info)
....
Le cache apt, je n'ai pas encore appris à modifier sa config.
Pas tout en même temps ...
:)
LinuxVillage - http://linuxvillage.org
Site d'entraide d'utilisateurs GNU/Linux
Mélodie

Messages : 4555
Géo : France

Ven 09 Sep, 2005 10:59

Pour rester dans les sujets connexes ou très similaires, j'ai trouvé un tutoriel pdf et en ligne, en français. Et un autre en anglais: Replicating a Linux System
Comme je ne suis pas courageuse, je n'ai lu que la version pdf de la méthode présentée en français, et qui m'est plus abordable. Intéressant de découvrir un peu tout ce qui approche les méthodes de sauvegarde, j'ai aussi trouvé
http://bacula.org/ ainsi que http://lrs.linbox.org/
# sauvegarde système pour la restauration d'urgence d'un système, le déploiement sur un parc, le clonage de disque dur. Ce module a été entièrement développé par Linbox FAS.
# sauvegarde données basé sur le fameux BackupPC auquel nous avons notamment ajouté une interface web de configuration,
....


et j'ai à nouveau reculé sur la lecture en anglais de la doc de g4u sur http://www.feyrer.de/g4u/

Alors en gros, rsync est considéré comme une méthode économique, l'un des auteurs des docs parle de Raid du pauvre, je lis que rsync fonctionne par rotation et crée des images:
[quote=Question]Donc, ça ne produit pas de copie d'un HDD vers un autre qui soit immédiatement employable ?[/quote]

Le Backuppc quand à lui m'intéresse pour la sauvegarde complète d'une arbo avec le maintient des liens, permissions, etc... (etc.. sert à dire: je ne sais quoi d'autre, mais s'il y en a on les rajoute)
<tiens, je fais comme pyg: ma vie>
dans le cas où je vais dans quelques temps récupérer de la place autour de mon système, et le mettre un rien en danger avec l'un ou l'autre des outils de manipulation de partition dont on lit beaucoup de bien partout, et qui pour l'heure, après essai, ne marchent pas chez moi : comme cfdisk, comme qparted sous Knoppix 3.6 Ne marchent pas: cad soit pas de fonction de redimensionnement disponible, soit le menu est désactivé (2° cas).
</... il était une fois>


Bon alors, s'il y en a qui s'intéressent, apportez vos oeuvres pour l'exposition, merci d'avance.
Athanor1 8)
LinuxVillage - http://linuxvillage.org
Site d'entraide d'utilisateurs GNU/Linux
Mélodie

Messages : 4555
Géo : France

Jeu 15 Sep, 2005 07:09

Personne ne vient, mais je continue "l'oeuvre". Backuppc marche très bien, bien que je ne sache pas comment il marche. J'ai restauré un fichier, en le sélectionnant dans l'interface web.
La première sauvegarde faite est complète, les 6 suivantes sont de type incrémental, et la 8° est complète.
Dans mon système, le dossier d'archive dans /var/lib/backup pèse au total 280Mo. Ce sont des liens durs si j'ai bien compris.
En tout cas, ça n'est pas encombrant, et il n'y a rien à configurer, même pas apache. Trop simple pour être vrai, je vais quand même parcourir un peu cette documentation:
http://backuppc.sourceforge.net/faq/BackupPC.html

Et il y a Unison aussi qui m'intéresse bien, à voir.
Salut, Athanor1.
LinuxVillage - http://linuxvillage.org
Site d'entraide d'utilisateurs GNU/Linux
Mélodie

Messages : 4555
Géo : France

Qui est en ligne ?

Utilisateur(s) parcourant actuellement ce forum : Aucun utilisateur inscrit