Synchroniser un VPS Linux avec un stockage d'objets (RCLONE)

Garder vos VP Linux synchronisés avec le stockage d'objets est un moyen intelligent de gérer les sauvegardes, de stocker des actifs statiques ou de décharger des données pour les performances et la flexibilité de stockage.

Ce guide traverse le processus à l'aide de RClone, un outil léger et puissant qui fonctionne avec la plupart des services de stockage d'objets.

Conditions préalables

Voici ce que vous voudrez avoir en place avant de commencer:

• Un VPS Linux: Vous aurez besoin d'accès à la coquille à vos VP.C'est là que se trouvent les fichiers ou répertoires que vous souhaitez synchroniser.
  
  
• Un fournisseur de stockage d'objets: Il y en a plusieurs fournisseurs de services de stockage d'objets pour choisir.Choisissez celui qui peut évoluer avec vos ressources, s'intègre à votre infrastructure existante et, bien sûr, correspond à votre budget.
  
  
• Informations d'accès: Vous aurez besoin d'une clé d'accès et d'une clé secrète pour vous authentifier avec l'API de votre fournisseur de stockage.Ceux-ci sont utilisés en toute sécurité par l'outil de synchronisation pour interagir avec votre seau.

Étape 1: Installer Rclone

Rclone est un utilitaire de ligne de commande libre et open-source pour gérer des fichiers sur le stockage cloud.Il prend en charge de nombreux fournisseurs différents et fonctionne bien pour la synchronisation, la copie, le chiffrement et l'automatisation des transferts.

1. Connectez-vous à votre VPS via SSH.

ssh user@your-vps-ip

2. Installer Rclone:

curl https://rclone.org/install.sh | sudo bash

Cela va récupérer et installer la dernière version.

Si vous préférez utiliser le gestionnaire de packages de votre système:

Debian / Ubuntu:

sudo apt install rclone

Centos / Rhel:

sudo yum install epel-release
sudo yum install rclone

Feutre:

sudo dnf install rclone

Étape 2: configurer une télécommande

Maintenant, vous configurerez rclone pour qu'il puisse parler à votre seau de stockage

Démarrer l'outil de configuration interactif:

rclone config

Suivez ces étapes du menu:

1. Choisir n pour créer une nouvelle télécommande.
   
2. Donnez-lui un nom comme myremote.Ce nom est utilisé dans les commandes pour se référer à la connexion
   
3. Choisissez votre fournisseur de stockage dans la liste.
   
4. Entrez votre clé d'accès et votre clé secrète.
   
5. Entrez tous les points de terminaison ou la configuration spécifiques à la région au besoin.
   
6. Acceptez les options par défaut, sauf si vous savez que vous avez besoin de quelque chose de spécifique.
   

Testons maintenant votre configuration:

rclone ls myremote:

Si tout est configuré correctement, vous verrez soit une liste de vos compartiments de stockage, soit il ne retournera rien sans afficher une erreur.

Cette configuration crée un profil de connexion continu et réutilisable et vous permet de l'utiliser sur plusieurs répertoires ou scripts.

Étape 3: synchroniser vos fichiers

Maintenant que Rclone est configuré, vous pouvez synchroniser un répertoire local (comme votre site Web ou vos fichiers de projet) avec votre stockage d'objets.

Par exemple, disons que vous souhaitez sauvegarder votre site Web à partir de / var / www / html à votre stockage d'objet:

rclone sync /var/www/html myremote:backups/html --progress

Voici ce que fait cette commande:

• Compare votre dossier local (/ var / www / html) à la cible dans le stockage d'objets (MyRemote: Backups / HTML
• Transfère tout fichier nouveau ou mis à jour
• Supprime les fichiers de la destination qui n'existe plus dans la source locale (vous pouvez éviter cela - voir ci-dessous)

Si vous souhaitez télécharger des fichiers nouveaux ou modifiés sans rien retirer de la destination, vous pouvez utiliser copie plutôt:

rclone copy /var/www/html myremote:backups/html --progress

Étape 4: automatiser le processus avec cron

Pour garder vos fichiers à jour automatiquement, vous pouvez configurer un travail CRON:

1. ouvrir votre crontab:

crontab -e

2. Ajoutez cette ligne aux fichiers synchronisés tous les jours à minuit:

0 0 * * * /usr/bin/rclone sync /var/www/html myremote:backups/html --quiet

Vous pouvez changer le temps et le chemin au besoin.Assurez-vous que le chemin vers Rclone correspond à l'emplacement où il a été installé (ce que Rclone vous dira).

Étape 5 (facultative): crypter vos fichiers

Si vous gérez des données sensibles - fichiers utilisateur, des documents internes ou tout ce que vous ne voudriez pas exposé - Rclone vous permet d'ajouter un chiffrement côté client avant le téléchargement.

Voici comment nous avons installé cela:

1.Run Rclone Config à nouveau:

rclone config

2. Ajouter une nouvelle télécommande et choisir crypte comme type de stockage.

3. Pointez-le vers le dossier de votre télécommande d'origine (par exemple, MyRemote: Backups / HTML).

4. Choisissez un mot de passe et confirmez.

Après cela, vous pouvez utiliser votre télécommande cryptée pour télécharger des fichiers comme ceci:

rclone sync /var/www/html mycryptremote:html --progress

Paramètres facultatifs pour un meilleur contrôle

Voici quelques drapeaux utiles que vous pouvez utiliser:

- la liste rapide accélère le processus de numérisation des fichiers volumineux en utilisant plus de mémoire lors de la liste des fichiers:

rclone sync /var/www/html myremote:backups/html --fast-list

--bwlimit Caps Bande passante pour éviter de ralentir d'autres processus:

rclone sync /var/www/html myremote:backups/html --bwlimit 1M

--Log-file Garde un enregistrement détaillé de chaque synchronisation avec un fichier journal:

rclone sync /var/www/html myremote:backups/html --log-file=/var/log/rclone.log

Alternatives à Rclone

Bien que Rclone soit l'un des outils les plus flexibles et les plus recommandés pour se synchroniser avec le stockage d'objets, il existe d'autres services publics qui méritent d'être connus, surtout si vous recherchez différents flux de travail, une intégration plus profonde ou une compatibilité spécifique.

Voici quelques alternatives, comment ils fonctionnent et quand ils pourraient être mieux adaptés en fonction de vos besoins.

Comparaison des outils en un coup d'œil

S3CMD - Simple et adapté aux scripts

S3CMD est un outil de ligne de commande spécialement conçue pour interagir avec les services de stockage d'objets compatibles Amazon S3 et S3.Il est bien adapté à la script des tâches de téléchargement, de téléchargement et de synchronisation simples, en particulier dans les travaux CRON ou les pipelines de déploiement automatisés.

Si vous gérez des seaux S3 dans des environnements ou si vous souhaitez un outil qui colle étroitement à l'API S3, S3CMD offre des commandes simples et familières et une documentation solide.

Quand l'utiliser:

• Vous travaillez déjà avec S3 ou un fournisseur compatible (wasabi, backblaze B2 avec API S3 activé, etc.).
  
• Vous voulez un outil léger et simple qui joue bien avec les scripts de coquille.
  
• Vous préférez un outil conçu spécifiquement pour le protocole S3.
  

Installation:

sudo apt install s3cmd   # On Debian/Ubuntu

Configuration:

s3cmd --configure

Vous serez invité à:

• Clef d'accès
  
• Clef secrète
  
• Point de terminaison (s'il n'utilise pas AWS)
  
• Paramètres de chiffrement ou HTTPS facultatif

Exemple de synchronisation de base:

s3cmd sync /var/www/html/ s3://your-bucket/html/

S3FS - Montez le stockage d'objets comme un système de fichiers

S3FS vous permet de monter un seau S3 comme s'il s'agissait d'un répertoire local.Cela signifie que vous pouvez utiliser des commandes Linux standard (CP, MV, RSYNC, etc.) pour travailler avec votre stockage cloud comme vous le feriez pour un disque normal.

Ceci est particulièrement utile si vous avez des outils qui ne sont pas conscients du cloud mais que vous pouvez écrire sur un chemin de fichier.S3FS le rend transparent pour rediriger cette sortie vers le stockage d'objets.Cependant, les performances ne sont pas toujours aussi rapides que les systèmes de fichiers natifs, et il n'est pas idéal pour l'activité de lecture / écriture à haute fréquence.

Quand l'utiliser:

• Vous avez besoin d'applications pour lire / écrire des fichiers comme s'ils étaient sur un disque local.
  
• Vous travaillez avec un logiciel qui ne prend pas en charge les téléchargements de cloud directs.
  
• Vous préférez la flexibilité de l'accès direct au système de fichiers au stockage d'objets.

Installation:

sudo apt install s3fs

Configuration des informations d'identification:

echo ACCESS_KEY:SECRET_KEY > ~/.passwd-s3fs
chmod 600 ~/.passwd-s3fs

Montez le seau:

mkdir ~/mybucket
s3fs your-bucket-name ~/mybucket -o passwd_file=~/.passwd-s3fs

AWS CLI - Idéal pour les intégrations Amazon S3

L'AWS CLI est l'outil de ligne de commande officielle d'Amazon pour gérer presque toutes les parties d'AWS, y compris S3.

Si vous faites plus que des sauvegardes, comme la définition des autorisations de seau, la gestion du versioning ou le déclenchement des fonctions lambda - le CLI AWS offre plus de contrôle et d'options que d'autres outils.

Quand l'utiliser:

• Vous utilisez déjà des services AWS et souhaitez intégrer les tâches de stockage dans votre flux de travail.
  
• Vous avez besoin d'accès complet aux fonctionnalités S3 telles que les règles de cycle de vie, les autorisations et le marquage d'objets.
  
• Vous voulez une compatibilité avec l'automatisation ou les pipelines CI / CD.

Installation (Linux):

curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"
unzip awscliv2.zip
sudo ./aws/install

Configurez-le:

aws configure

Lorsque vous y êtes invité, entrez:

• Clef d'accès
  
• Clef secrète
  
• Région par défaut
  
• Format de sortie (JSON, texte, etc.)

Exemple de synchronisation:

aws s3 sync /var/www/html s3://your-bucket-name/html

Emballer

Garder votre VPS en synchronisation avec le stockage d'objets est un moyen fiable de sauvegarder les données et de rendre le contenu accessible.Que vous exécutiez des téléchargements réguliers ou que vous synchronisez des dossiers en direct, Rclone vous donne les outils pour le faire efficacement.

Avec des options de cryptage, de journalisation et d'automatisation, vous pouvez configurer un système qui fonctionne tranquillement en arrière-plan, juste la façon dont vous le souhaitez.