Tag

fichiers

Browsing

Télécharger vos fichiers torrents automatiquement avec Flexget photo

Aujourd’hui, nouvelle étape dans l’automatisation de nos téléchargements : au lieu d’uploader un fichier .torrent ou magnet sous Transmission, nous allons installer FlexgGet qui va nous permettre de surveiller un flux RSS pour télécharger automatiquement les fichiers bittorent.

Une fois le fichier graine téléchargé, Transmission se chargera de télécharger les fichiers immédiatement. Tout sera donc automatisé !

En pré-requis, je vous conseille d’avoir Transmission installé et configuré sur votre serveur ou machine, cela vous fera gagner pas mal de temps.

Etape 1 : configuration de Transmission

Vous avez déjà Transmission qui tourne ? Parfait, on commence par arrêter le service :

service transmission-daemon stop

On crée un nouveau répertoire qui sera surveillé par Transmission – dès qu’un fichier .torrent sera ajouté dans ce répertoire, Transmission lancera le téléchargement :

mkdir /home/transmission/torrentwatch

On lui donne les bons droits et le bon utilisateur:

chown debian-transmission:debian-transmission /home/transmission/torrentwatch
chmod 777 /home/transmission/torrentwatch

et on édite le fichier de configuration:

nano /etc/transmission-daemon/settings.json

Je me suis aperçu qu’il me manquait deux directives importantes dans ce fichier pour surveiller un répertoire donc on les ajoute à la suite des autres directives :

   "watch-dir": "/home/transmission/torrentwatch",
    "watch-dir-enabled": true,

On sauvegarde le fichier et on redémarre Transmission:

service transmission-daemon start

Etape 2 : installation de Flexget

Flexget est un script Python donc il nous faut… python !

python -V

nous retourne:

Python 2.7.13

On installe pip:

apt install python-pip

On met à jour les setuptools:

pip install --upgrade setuptools

On installe flexget:

pip install flexget

On crée le répertoire de configuration:

mkdir -p  ~/.config/flexget
cd ~/.config/flexget

Nous avons vu il y a quelques jours comment répliquer nos bases de données à la volée d’un serveur à l’autre. Voyons aujourd’hui comment répliquer les fichiers en temps réel avec lsyncd.

Créer un serveur High Availability : la réplication des fichiers photo

Pour les besoins de ce tutoriel, vous avez besoin:

Mon serveur principal s’appelle MASTER. Le serveur de sauvegarde s’appelle BACKUP.

Copier tous les fichiers d’un serveur à l’autre avec rsync

rsync est le moyen le plus simple de copier tous les fichiers d’un répertoire sur votre serveur de sauvegarde.

Nous copions donc tous les fichiers qui se trouvent dans /var/www/html de notre serveur MASTER vers BACKUP :

rsync --progress -av --delete --stats --checksum --human-readable /var/www/html/* root@10.134.4.220:/var/www/html/

Cela permet d’avoir deux copies identiques très rapidement, surtout si vos deux VPS sont dans le même datacenter : vous pouvez alors utiliser l’IP interne du serveur – vitesse décuplée assurée (et cela ne compte pas dans la bande passante allouée).

La réplication des fichiers du site avec lsyncd

Je choisis d’utiliser lsyncd pour assurer la réplication des fichiers du site. C’est un petit service qui surveille le contenu d’un répertoire et qui fait un rsync toutes les 20 secondes vers votre autre VPS.

1. Sur le serveur MASTER, on installe lsyncd:

apt-get install lsyncd

2. Et on crée ses répertoires et son fichier de configuration :

mkdir /etc/lsyncd
mkdir /var/log/lsyncd
nano /etc/lsyncd/lsyncd.conf.lua

Sommaire de la série Créer un serveur High Availability (HA)

  1. Créer un serveur High Availability : la réplication des bases de données
  2. Créer un serveur High Availability : la réplication des fichiers
  3. Serveur High Availability : créer un load balancer avec une IP flottante

utorrent-logoLors de notre petite réunion familiale annuelle, j’ai aidé ma soeur à mettre quelques unes de ses applications à jour. Il se trouve que l’on a utilisé uTorrent sur sa machine Windows et j’ai été surpris de constater qu’il y avait maintenant une foule de publicités dans l’interface.

Cela fait bien longtemps que je n’avais pas utilisé ce logiciel, étant donné que j’utilise Transmission sur mes machines (linux).

Voici donc comment retirer les publicités d’uTorrent, en quelques clics et directement depuis les options du logiciel.

Etape 1 : ouvrez les préférences du logiciel

Ouvrez uTorrent puis allez dans le menu Options > Preferences > Advanced.

Etape 2 : modifiez les options relatives à l’affichage des publicités

Recherchez les options suivantes et modifiez leur valeur à “Non” (ou “false” si vous utilisez la version anglaise) :

  • gui.show_plus_upsell
  • gui.show_notorrents_node
  • offers.content_offer_autoexec
  • offers.featured_content_notifications_enabled
  • offers.featured_content_rss_enabled
  • offers.featured_content_rss_randomize
  • offers.left_rail_offer_enabled
  • offers.sponsored_torrent_offer_enabled

Cliquez sur OK pour valider les changements puis relancez uTorrent. Toutes les publicités ont maintenant disparu.

Il peut être très utile d’avoir sous la main un petit utilitaire qui permet de renommer des fichiers en masse facilement. Sous Linux, j’utilise l’outil Thunar Bulk Renamer (Thunar Renommer en masse en français) qui ressemble à ceci :

thunar-bulk-renamer

Thunar Renommer en masse

Thunar est un gestionnaire de fichiers puissant pour XFCE, dont les fonctions peuvent être étendues à l’aide de plugins.

Renommer en masse est un plugin qui permet de renommer toute une liste de fichiers très facilement, avec une interface simple et intuitive. Il permet de :

  • insérer et remplacer des noms de fichiers
  • insérer diverses manières de numéroter
  • rechercher, remplacer, supprimer des caractères
  • changer la casse

Installation de Thunar

Pour installer Thunar, il suffit de lancer :

sudo apt-get install thunar

Le raccourci vers l’application Thunar Bulk Renamer se trouve dans Applications > Outils Système > Renommer en masse.

Si le raccourci n’est pas créé, il suffit d’ajouter un nouveau raccourci sur le tableau de bord comme ceci :

  1. clic droit sur le tableau de bord > ajouter au tableau de bord > lanceur d’application personnalisé
  2. entrez la commande suivante :
    thunar --bulk-rename

    thunar-bulk-renamer-lanceur

  3. choisissez une icône (engrampa.svg m’a semblée adéquate!) et validez.

Thunar Renommer en masse supporte aussi les expressions régulières (regex), c’est un vrai plaisir à utiliser (voir copie d’écran). Un vrai gain de temps également.

Et vous, qu’est-ce que vous utilisez pour renommer vos fichiers ?

Je viens de faire l’acquisition d’un graveur Blu-Ray, histoire de ne pas passer mon temps à découper le contenu de mes répertoires en dossiers de 4.38 Go. J’ai opté pour un graveur externe USB, de chez Samsung.

samsung-se506bb

Premiers essais

Déballage, branchement, insertion d’un blu-ray vierge : 30 secondes. Lancement d’une gravure de 45 Go : plantage de la gravure. Second essai en créant une image disque avant : plantage de la gravure. Troisième essai, je baisse la vitesse de gravure à 2x – plantage.

Installation de cdrtools

Brasero et K3B ne peuvent pas graver de blu-rays par défaut. Il faut leur ajouter cdrtools :

sudo add-apt-repository ppa:brandonsnider/cdrtools 

On met à jour les dépôts :

sudo apt-get update && sudo apt-get upgrade

et on installe les paquets cdrecord et mkisofs :

sudo apt-get install cdrecord mkisofs

L’installation de cdrecord et mkisofs va supprimer deux paquets existants (genisoimage et wodim) et nous permettre de graver des BD sans erreurs.

La semaine dernière, mon amie a branché son disque dur chez moi. Surprise : le disque n’était pas reconnu (et c’est bien la première fois que je vois cela sous Ubuntu) et nous avons eu droit à une fenêtre de dialogue avec l’erreur suivante :

Unable to mount XX GB Filesystem
Error mounting: mount: unknown filesystem type 'exfat'

Solution: installer les paquets pour Exfat

Si cela vous arrive, il suffit d’installer le support ExFat sous Ubuntu.

ExFAT appelé aussi (FAT 64), est un nouveau système de fichier développé par Microsoft, qui a pour vocation d’être utilisé sur des périphériques externes comme les clé USB, les cartes SD et les disques durs externes.

Sa particularité est de permettre de stocker des fichiers de plus de 4 Go. En revanche, c’est un format propriétaire et donc non-libre.

Exfat pour Ubuntu 13.10+

Exfat fait désormais partie des paquets de base d’Ubuntu depuis la version 13.10 donc on peut l’installer avec un simple:

apt install exfat-fuse exfat-utils

Exfat pour Ubuntu 13.04 et versions inférieures

Il suffit d’ajouter un nouveau dépôt et d’installer les paquets fuse-exfat et exfat-utils :

sudo apt-add-repository ppa:relan/exfat
sudo apt update
sudo apt install fuse-exfat exfat-utils

Et voilà, disque reconnu !

Dropbox ou la synchronisation des fichiers sur de multiples supports

Dropbox fait partie de ces outils que j’utilise quotidiennement et qui me facilite la vie. Ce logiciel de stockage de données en ligne vous permet de synchroniser des fichiers et dossiers entre votre ordinateur et un serveur de Dropbox. Vous pourrez ensuite consulter ces fichiers et dossiers depuis n’importe quel ordinateur, tablette ou smartphone.

dropbox

Pour moi, par exemple, cela m’évite d’avoir à me promener avec ma clé USB. Mes fichiers sont sur mon ordinateur, synchronisés et je peux y avoir accès dans n’importe quelle salle de classe pourvu que j’ai accès à internet. Pareil sur mon téléphone (en 3G) ou ma tablette (en wifi). Extrêmement pratique.

Installer Dropbox

Commencer par créer un compte sur le site de Dropbox.

Vous pouvez ouvrir un compte gratuit qui vous donne droit à 2 Go de stockage sur le site, extensibles à 18 Go grâce au parrainage (2 Go + 16 Go). Si vous avez besoin de plus d’espace, cela sera payant.

Après inscription sur le site et installation du logiciel, un nouveau dossier “Dropbox” est créé dans votre répertoire utilisateur. C’est dans ce répertoire que vous devez mettre tous les fichiers et dossiers que vous voulez synchroniser. Dès que vous placez un fichier dans ce répertoire, il est automatiquement uploadé sur votre compte sur le site de Dropbox.

Grandement recommandé. Inscrivez-vous ici et gagnez 500 Mo supplémentaire en devenant mon filleul.

Si vous avez besoin de joindre (ou concaténer) plusieurs fichiers qui ont été nommés en ordre alphabétique, comme par exemple file0001.dat, file0002.dat, file0003.dat…. file1000.dat, une commande s’impose sous Linux : cat.

Dans un terminal, vous pouvez juste lancer cat comme ceci pour rassembler tous vos fichiers en un seul :

cat file*.dat >all_files.dat

C’est une commande système, il n’y a rien à installer et c’est plutôt pratique.

Nous avons tous des cartes SD ou microSD dans nos appareils photos, caméras, téléphones mobiles, laptops…

C’est petit, cela s’emporte avec soi partout et les capacités de stockage commencent à augmenter petit à petit.

Problème : après suppression des fichiers, plus d’espace disque disponible

Il vous est peut-être déjà arrivé de procéder à la suppression de fichiers sur ces cartes et de constater que, bien que vous ayez supprimé les fichiers, l’espace disque disponible n’augmente pas, comme si les fichiers étaient toujours présents sur la carte. Et vider la corbeille ne change rien.

Solution : afficher les fichiers cachés

En fait, les fichiers n’ont pas été supprimés mais simplement déplacés dans le répertoire .Trash-1000 à la racine de la carte. Ce répertoire est caché. Pour l’afficher, il faut afficher les fichiers cachés avec Ctrl + h.

Supprimez le répertoire, cela supprimera les fichiers définitivement et vous pourrez regagner de l’espace libre sur votre carte.

N’ayez crainte, le répertoire .Trash sera recréé automatiquement à la prochaine suppression de fichiers.

Je vous ai déjà parlé de rsync pour transférer des fichiers d’un serveur à un autre.

Supposons maintenant que vous vouliez récupérer les fichiers qui sont sur votre serveur chez vous, à la maison.

Cela ne prend que quelques minutes à mettre en place et cela sert très souvent.

Etape 1 : ouvrir le port 22 dans la box ou le routeur

Rendez-vous dans l’interface d’administration de votre box ou routeur :

  1. si ce n’est déjà fait, attribuez une IP fixe à votre PC en identifiant l’adresse MAC de sa carte réseau.
  2. ouvrez le port 22 (SSH) en TCP et redirigez-le vers l’adresse fixe de l’étape précédente.

Voilà, le port est ouvert et redirigé au niveau du routeur.

Etape 2 : ouvrir le port 22 dans le firewall de la machine

Je suis sous Linux (Debian, Ubuntu, Mint…), j’utilise donc iptables en root :

iptables -t filter -A INPUT -p tcp --dport 22 -j ACCEPT
iptables -t filter -A OUTPUT -p tcp --dport 22 -j ACCEPT

Le port 22 est maintenant ouvert aux connections entrantes et sortantes sur la machine.

Sommaire de la série Monter un serveur dédié de A à Z

  1. Serveur dédié : installation d’Apache, PHP, MySQL et Webmin
  2. Serveur dédié : créer la base de données MySQL et importer WordPress
  3. Serveur dédié : créer et activer un Virtual Host sous Apache
  4. Serveur dédié : changer les DNS du nom de domaine et le faire pointer vers le serveur
  5. Serveur dédié : sécurisation des services avec iptables et fail2ban
  6. Serveur dédié : sécurisation de la couche TCP/IP
  7. Serveur dédié : création d’un serveur mail Postfix (sécurisé avec Saslauthd et certificat SSL) et Courier (accès POP et IMAP) utilisant une base MySQL d’utilisateurs/domaines virtuels
  8. Serveur dédié : sécuriser Apache 2 avec ModSecurity
  9. Serveur dédié : CHMOD récursif sur des fichiers ou répertoires en ligne de commande
  10. Serveur dédié : installer APC comme système de cache et configurer Varnish comme reverse-proxy pour Apache pour améliorer les performances
  11. Serveur dédié : afficher la véritable IP derrière un reverse-proxy comme Varnish
  12. Serveur dédié : intégrer SSH à WordPress pour mettre à jour le core, les plugins et les thèmes
  13. Serveur dédié : installer la dernière version d’APC par SVN
  14. Serveur dédié : analyse des performances du serveur
  15. Serveur dédié : mettre à jour le noyau Debian de la Kimsufi
  16. Serveur dédié : sauvegarde automatique des fichiers avec Backup Manager sur le serveur de sauvegarde OVH
  17. Serveur dédié : configurer la limite mémoire pour PHP et Suhosin
  18. Bash : supprimer tous les fichiers et sous-répertoires d’un répertoire
  19. Serveur dédié : impossible de se connecter à un port distant
  20. Rsync: rapatrier les fichiers du serveur à la maison
  21. Bash : réparer les tables MySQL en cas de crash
  22. Serveur dédié : création d’une seedbox avec Transmission
  23. Serveur dédié : des paquets LAMP à jour sous Debian
  24. Serveur dédié : mise à jour vers Debian 7 Wheezy
  25. Serveur dédié : activer X11 forwarding pour SSH
  26. Serveur dédié : optimiser toutes les images JPG et PNG avec OptiPNG et JpegOptim
  27. Postfix : résoudre l’erreur “fatal: www-data(33): message file too big”
  28. Serveur dédié : mise en place de l’IPv6
  29. WordPress : accorder les bonnes permissions aux fichiers et dossiers avec chown et chmod
  30. WordPress : héberger les images sur un sous-domaine
  31. Serveur dédié : ajouter l’authentification SPF, Sender-ID et DKIM à Postfix et Bind9 avec opendkim
  32. Apache : lorsque le domaine seul (sans WWW) renvoie une erreur 403
  33. Serveur dédié : sécuriser Apache avec HTTPS (HTTP avec la couche TLS/SSL) en Perfect Forward Secrecy
  34. Serveur dédié : passer WordPress en HTTPS (TLS/SSL)
  35. Serveur dédié : configurer Webmin en TLS avec un certificat SSL
  36. Serveur dédié : configurer Transmission pour accéder au WebUI via TLS-SSL
  37. Serveur dédié : installer et configurer Varnish 4
  38. Serveur dédié : passage au mod FastCGI et PHP-FPM avec Apache MPM Worker
  39. Récupérer un serveur Kimsufi après un plantage de kernel avec le mode rescue OVH
  40. Serveur dédié : configurer Postfix et Courier pour utiliser TLS-SSL en Perfect Forward Secrecy
  41. Serveur dédié : retirer Varnish, devenu inutile avec HTTPS
  42. Serveur dédié : installer la dernière version d’OpenSSL sous Debian
  43. Serveur dédié : activer l’IP canonique du serveur sous Apache
  44. Serveur dédié : mise à jour vers PHP 5.6
  45. MySQL : convertir les tables MyISAM au format InnoDB
  46. Serveur dédié : optimiser toutes les images GIF avec GIFsicle
  47. Serveur dédié : migration de MySQL vers MariaDB
  48. BASH : lister, bloquer et débloquer des adresses IP avec iptables
  49. Serveur dédié : produire une meilleure réserve d’entropie avec haveged
  50. Serveur dédié : mettre en place DNSSEC pour sécuriser les DNS du domaine
  51. Serveur dédié : mise en place du protocole DANE
  52. 8 règles d’or pour bien déployer DNSSEC et DANE
  53. Serveur dédié : installer PHP7 FPM avec FastCGI sous Debian
  54. Serveur dédié : réduire les connexions TIME_WAIT des sockets et optimiser TCP
  55. Fail2Ban: protéger Postfix contre les attaques DoS de types AUTH, UNKNOWN et EHLO
  56. Serveur dédié : mettre à jour Apache et configurer le mod_http2 pour HTTP/2
  57. Serveur dédié : ajouter le domaine à la liste HSTS preload
  58. Serveur dédié : ajouter l’authentification DMARC à Postfix et BIND
  59. Serveur dédié : à la recherche de l’inode perdue ou comment résoudre le problème “no space left on device”
  60. Serveur dédié : installer NginX avec support HTTP2 et certificat SSL, PHP, MariaDB sous Debian
backup-safe

Aujourd’hui, j’aimerai aborder la réplication des fichiers.

Au sens général, il est prudent de toujours avoir une copie de sauvegarde : qui n’a jamais perdu un document précieux ou sur lequel il a passé des heures ?

Cela arrive à tout le monde un jour ou l’autre, dans des situations diverses et variées : un disque dur qui lâche, une clé USB qui s’égare, un service web qui ferme ses portes… nul n’est à l’abri d’une perte de données !

Le cas Rapidshare

C’est un secret de polichinelle aujourd’hui mais je vais quand même en parler : il paraît que l’on trouve des fichiers pas tout à fait légaux sur des hébergeurs de fichiers comme Rapidshare.

Selon mes sources (qui travaillent pour RS), le célèbre hébergeur sent la législation tourner en Europe et souhaiterait faire héberger ses serveurs dans un pays à la législation plus laxiste.

Le petit problème, c’est que des millions de fichiers sont hébergés chez eux et qu’ils ne peuvent pas les supprimer sans crier gare, sous peine de se voir boycotter par leurs usagers.