Catégorie: Informatique › scripts shell bash

Windows batch Automatiser le transfert par FTP

Par Gnieark, le jeudi 29 décembre 2011 dans scripts shell bash Tags: logo tag batch ftp windows

Ce mémo a pour objectif d'expliquer comment automatiser le transfert d'un fichier par FTP. Pratique lors de la création de passerelles.

Prérequis: un serveur FTP. Le compte FTP utilisé est chrooté dans le dossier dans lequel doivent être déposés les fichiers. Pour créer le serveur FTP, ce billet donne la solution.

Pour le moment, on va faire un truc simplissime:

Je crée 3 fichiers

script.bat est le script qui lancera le transfert. Il sera mis en tâches planifiées (pour ça, je vous laisse trouver comment on fait)
plannings_Extranet.ftp est la liste de commandes à éxécuter en FTP pour basculer les fichiers vers le repertoire FTP. Vous l'avez compris, la petite passerelle que je suis en train de faire a pour but de basculer les planings sur notre extranet.
Plop.txt est le fichier qui sera transféré; C'est juste pour le test hein!

script.bat

Il contient juste une ligne pour le moment.

ftp -s:planings_Extranet.ftp

Il lance le client dos ftp, qui prendra la liste d'instructions contenues dans le fichier planings_Extranet.ftp

planings_Extranet.ftp

open 192.168.10.253
user
password
prompt
lcd D:\testFtp
put plop.txt
quit

Explication ligne par ligne:

1 Ouvrir la connexion vers le serveur 192.168.10.253
2 Lui indiquer l'user FTP
3 Lui indiquer le mot de passe ftp
4 Attendre le prompt
5 Se placer localement dans le repertoire comprenant le(s) fichiers à transférer
6 envoyer le fichier
7 fermer la connexion

plop.txt

Bah, c'est le fichier à transférer; OSEF?

Lancez script.bat, vérifiez sur le serveur de destination si le fichier a bien été poussé.

Un peu plus compliqué; On va pousser tous les fichiers d'un répertoire et créer un fichier de logs.

Prérequis, télécharger curl

Pour se simplifier un peu la vie, cette fois, on va utiliser curl. Téléchargez l'éxécutable qui correspond à votre version de windows: http://curl.haxx.se/download.html Je me créé l'architecture suivante sur le windows;

testFtp
- script.bat
- bin
  - curl.exe
  - license_curl.txt
- toSend
  - fichier1.pdf
  - fichier2.pdf
  - fichier3.pdf

l'objectif est d'envoyer les fichiers (quelque soient leur noms) du dossier toSend sur notre ftp. Par contre si le fichier existe déja sur le serveur; je l'écrase.

Transfert automatique en écrasant les éventuels fichiers sur le serveur

Voici le contenu du scrip.bat

::Envoie le contenu d un repertoire sur un dossier FTP. Ecrase les fichiers déja existants si des noms sont concordants 
::Ce script utilise Curl (pour le ftp). La licence se situe dans le dossier bin
cls
::On met un titre au shell
@title Envoie le contenu d un repertoire sur un dossier FTP. Ecrase les fichiers déja existants si des noms sont concordants 
::Supprimer les retours écran
@echo off
 
::#### VARIABLES####
::PARTIE FTP
set user_ftp=userFtP
set pwd_ftp=pwdFtp
set ip_ftp=192.168.10.253
set path_ftp=/
::DOSSIER LOCAL A TRANSFERER
set local_path=%cd%\toSend
 
::Définition des Chemins
::répertoire racine
set rep_root=%cd%
::chemin des binaires
set rep_bin=%cd%\bin
::chemin des fichiers de journaux
set rep_log=%cd%\log
 
::Si le ping est négatif, quitter et logguer
ping -n 1 %ip_ftp%
if %errorlevel%==1 goto NO_LINK_SERV
 
::On envoie
cd %local_path%
::Eventuellement, remplacez *.* par le filtre de votre choix genre planing-*.pdf dans la partie qui suit
if exist ./*.* (
FOR %%f IN (*.*) DO (
::Envoi de chaque fichier sur le ftp
%rep_bin%\curl.exe -u %user_ftp%:%pwd_ftp% -Q "+CWD %path_ftp%" -T "%%f" ftp://%ip_ftp%/
::On logue les infos dans un fichier 
echo "%date%|%time:~0,2%h%time:~3,2% : fichier %%f -- envoyé " >>%rep_log%/envois.log
)
::On supprime les fichiers après l envoi car on en a plus besoin
del/Q *.*)
GOTO FIN
 
:NO_LINK_SERV
::le serveur ne répond pas au ping 
echo "%date%|%time:~0,2%h%time:~3,2% : Le serveur FTP n'est pas joignable - Aucun transfert effectué" >>%rep_log%/connexions.log
 
:FIN
::On quitte

Plus qu'à mettre le script dans les tâches planifiées.

un commentaire aucun rétrolien

Algorithme à la con, manipulation de chaines de caracteres

Par Gnieark, le dimanche 05 décembre 2010 dans scripts shell bash Tags: logo tag PHP

EDIT dans les commentaires, Ben propose une solution en une ligne de code avec une regex:D

J'ai une base de donnée mal foutue (spamoi qui l'ai conçue) dans laquelle les noms et prénoms sont dans le même champs. Une typographie est respectée, toutes les lettres du nom sont en majuscules tandis que seule la première lettre de chaque prénom l'est. Plus dur, il n'y a pas de tiret, les noms ou prénoms composés sont séparés par des espaces.

Dans la base de données contenant plus d'un millier d’identités, il n'est jamais arrivé qu'un nom de famille ait trois composantes. Maximum deux. C'est pour ça que par flegme je me suis arrêté à cette possibilité dans l'algo ci dessous.

C'est la quatrième fois en 3 ans que je suis amené à travailler sur une passerelle où cette mauvaise conception me gonfle fortement.

la première fois, en java, compilé, j'ai paumé la source du truc.
Refait en Vb6 pareil, pareil, un code de moins de 50 lignes, on se fiche un peu de devoir le refaire.
Refait en vb6 cette fois, j'ai retrouvé la source
Là c'est en php que ça m'intéresse de le faire.

Ça n'a pas trop d’intérêt mais comme ce n'est peut être pas la dernière fois que j'ai à me pencher sur ce problème, je garde les algos sur ce blog:

En PHP

function separenomprenom($stringname)
{
    /*
	*NomPac
    * Il est sous cette forme: 'NOM Prenom' voire
    *                          'NOM COMPOSE Prenom' ou encore
    *                          'NOM Prenom composé'
    *On va spliter les espaces. Si on obtient deux champs on est dans le cas 1
    *pour distinguer les autres cas on va tester la deuxième lettre
    *pour savoir si elle est en majuscules.
	*/
	$nomexplode=explode(" ",$stringname);
	if (count($nomexplode)==2)
	{ //NOM Prénom
		return array('nom'=>$nomexplode[0],'prenom'=>$nomexplode[1]);
	}
	else
	{
		//test sur la deuxieme lettre du second mot
		if(preg_match_all('/[A-Z]/', substr($nomexplode[1],1,1),$res)==1)
		{ //NOM NOM2 Prénom
			$prenom="";
			for($i=2; $i<count($nomexplode)+1;$i++)
			{
				$prenom = $prenom.$nomexplode[$i]." ";
			}
			return array('nom'=>$nomexplode[0]." ".$nomexplode[1],'prenom'=>$prenom);
		}
		else
		{ //NOM Prénom Prénom2
			$prenom="";
			for($i=1; $i<count($nomexplode)+1;$i++)
			{
				$prenom = $prenom.$nomexplode[$i]." ";
				return array('nom'=>$nomexplode[0],'prenom'=>$prenom);
			}
		}
	}
}

En basic

J'ai testé le script php sur plusieurs centaines de noms, mais pas le basic que je viens de modifier pour qu'il soit lisible retiré du script global (il peut y avoir une erreur qui traine).

'NomPac
    ' Il est sous cette forme: 'NOM Prenom' voire
    '                          'NOM COMPOSE Prenom' ou encore
                                'NOM Prenom composé'
    'On va spliter les espaces. Si on obtient deux champs on est dans le cas 1
    'pour distinguer les autres cas on va tester la deuxième lettre
    'pour savoir si elle est en majuscules.
 
 
nomsplit() = Split(NomPac, " ")
If UBound(nomsplit(), 1) = 1 Then
	'nom Prénom
	nom = nomsplit(0)
	prenom= nomsplit(1)
Else
	'test sur la deuxieme lettre du second mot
	If Asc(Mid(nomsplit(1), 2, 1)) < 91 Then 'c'est une majuscule donc la suite du nom de famille
		nom = nomsplit(0) & " " & nomsplit(1)
		prenom = ""                
		For i = 2 To UBound(nomsplit(), 1)
			prenom = prenom & nomsplit(i) & " "
		Next i
	Else
		nom = nomsplit(0)
		prenom ="" 
		For i = 2 To UBound(nomsplit(), 1)
			prenom = prenom & nomsplit(i) & " "
		Next i
	End If
End If

2 commentaires aucun rétrolien

Entetes HPRIM

Par Gnieark, le lundi 22 novembre 2010 dans scripts shell bash Tags: logo tag Réseau

Il y a déjà un an ou deux, j'avais fait une passerelle avec notre logiciel de dossier de soins. J'avais utilisé comme point d'entrée l'interface de laboratoire (format HPRIM). Oui avec un logiciel propriétaire et fermé, plus que bancal, il faut bien trouver des moyens de faire des interfaces (sans solliciter leur service développement).

Les messages avant cryptage sont organisés selon un document norminatif HPRIM 1, que j'avais récupéré. Ne l'ayant plus, j'ai eu du mal à le retrouver (il est réservé aux adhérents). je me permet une citation de ce document, car c'est la partie que j'ai eu du mal à retrouver, et je pense que ça me resservira.

la "zone d’identification du patient" qui comprend 12 lignes :

code patient facultatif
Nom du patient
Prénom du patient
Premiere ligne de l adresse du patient
deuxième ligne de l adresse du patient
code postal sur 5 caracteres, un espace puis la ville
date de naissance du patient JJ/MM/AAA
code de sécurité sociale sur 13 caracteres espace puis extension du numéro
Numéro de dossier
Date du dossier au format JJ/MM/AAAA
Code correspondant sur 10 caracteres, espace puis nom du correspondant
Code prescripteur sur 10 caracteres espace puis nom du prescripteur

[source]

aucun commentaire aucun rétrolien

Purger un dossier avec un script .bat

Par Gnieark, le mardi 20 juillet 2010 dans scripts shell bash Tags: logo tag batch

Nous allons voir comment purger un dossier avec un script .bat (pour windaube quoi)

Bon okie, j'ai honte d'écrire ce billet. Mais faut me comprendre, cette semaine, j'ai installé des PC, modifié le script d'interface laboratoire, tellement spécifique qu'il n'y a aucun intérêt à en faire un billet. j'ai ajouté une fonction de petites annonces à notre intranet. Ce code est sans grand intéret aussi, juste un appel mysql en PHP. Ça m'embêtait de ne poster que des conneries, et encore plus ne rien poster. Alors, même si c'est tout simple, le code batch pour purger un repertoire, c'est:

@echo off
ECHO O | DEL D:\INTRANETG\INTRANET\scanner\*.*

"Echo O" retourne "O" lorsque le DOS demande confirmation, dans une version anglaise il aurait fallu "echo Y".

Vous l'aurez compris, le dossier scanner, qui reçoit les éléments scannés, mais qui par soucis de configuration est accessible à tout le monde contient plein de trucs confidentiels. Gênant. Ce script est en tâche planifiée tous les soirs pour compenser.

aucun commentaire aucun rétrolien

Apiuncrypt décrypter les résultats de laboratoire Apicrypt depuis un serveur de mail unix

Par Gnieark, le jeudi 11 février 2010 dans scripts shell bash Tags: logo tag debian Réseau serveur Tutoriel-mémo

Fonctionnement

Le laboratoire avec qui on traite crypte les résultats de laboratoires avec des clés personnelles, les envoie à Apirypt (notre tiers de confiance) qui les décrypte, les recrypte avec nos clés avant de nous les envoyer (sur une BAL dédiée à ça).

Apicrypt propose facilement deux solutions:

on utilise ou paramètre un client mail (dans ce cas c'est manuel)
on ajoute leur "proxy" mail dans le lan. là c'est surtout adapté quand on a plusieurs services et plusieurs boites aux lettres pour les résultats de laboratoire.

La première solution est chiante car manuelle. Le seconde fait ajouter un élément dans le réseau pour pas grand chose.

Mais comme ils distribuent l'appli codée en C ^[1] qui peut décrypter depuis un système UNIX, profitons en.

Mon serveur de mails marche au format maildir, ça me permet de séparer simplement les mails.

Vous verrez, à une étape, le message transite en clair sur le serveur où se trouve l'application de dossier de soins. Je précise que le serveur de mails est sur la passerelle et que cette étape se fait via la carte réseau dans le lan, dans une DMZ. De plus physiquement les deux machines sont branchées sur le même switch, ce qui rendra difficile un sniffage tant que le cache d'adresses mac du répartiteur n'est pas en faute.

Monter le dossier dans lequel seront déposés les résultats de laboratoire.

Editer le fichier /etc/fstab et y ajouter la ligne suivante:

//IP-du-serveur/applic$  /media/applic cifs user,rw,username=USERNAME,password=PASSWORD,gid=1000,uid=1000,iocharset=utf8 0 0

J'utilise un compte qui a des droits minimums

Créer le point de montage

mkdir /media/applic

Et monter le dossier

mount /media/applic

A ce stade là, le serveur mail sait communiquer avec son voisin, pour accéder au partage réseau applic$, on en aura besoin pour déposer les résultats de laboratoire. (il savait déja le faire mais pour le partage intranet).

Installer l'appli apiuncrypt

créer les dossier nécessaires.

mkdir /home/virtual/apicrypt

Le dossier home/virtual contient les "maildir" (traduction: les mails sous formes des fichiers des utilisateurs) Si c'est le dossier de "virtual" c'est parceque les utilisateurs ne sont pas (plus) des comptes unix, mais des enregistrements dans une base de données, et donc des utilisateurs virtuels. Je m'égare.... ça m'arrange de tout mettre là, car le script je vais le faire marcher par le compte système unix vmail. C'est lui qui a les droits sur les mails (hormis root) et ça m'arrange de tout lui regrouper dans son home.

je me place dans le dossier, je télécharge l'appli qui décrypte les mails, et je crée le dossier pour les clés de décriptage.

cd /home/virtual/apicrypt
wget http://www.apicrypt.org/page5/files/linux/apiuncrypt.tgz
tar -xvf apiuncrypt.tgz
mkdir Clefs

Déposer les clefs de décryptage (le master et la clé personnelle) de l'année en cours UNIQUEMENT dans le dossier Clefs (attention il est sensible à la casse le C est en majuscule).

rendre les droits à vmail

chown -R vmail:vmail /home/virtual/

MAJ 21/06/2011 Pour un serveur à architecture 64 bits (testé sur une débian 6)

L'association apycript n'ayant pas mis à jour la librairie depuis 2006, forcément ça ne passe plus. Il va falloir installer la libstdc++-libc6.2-2.so.3 ... qui n'est trouvable qu'en i386.

wget http://ubuntu.mirror.cambrium.nl/ubuntu//pool/universe/g/gcc-2.95/libstdc++2.10-glibc2.2_2.95.4-24_i386.deb
dpkg -i --force-architecture libstdc++2.10-glibc2.2_2.95.4-24_i386.deb
ln -s /usr/lib/libstdc++-libc6.2-2.so.3 /usr/lib/libstdc++libc6.1-1.so.2

Fin de la partie spécifique serveur 64 bits...

Le script qui lancera le décryptage des mails. et pousse les fichiers textes décryptés dans le répertoire où le logiciel de dossier de soins va les chercher.

Pour le moment c'est un script shell enregistré en tache cron, exécuté par le compte vmail. Je le remplacerai par des regles "mailfilter" ou procmailrc dès que je saurai le faire (plus propre).

je l'ai mis là: /home/virtual/apicrypt/Uncryptbal.sh et voici ma composition:

##!/bin/sh
#by Gnieark http://blog-du-grouik.tinad.fr 
#version 0 fevrier 2010
# Le contenu de ce code est distribué en licence Cecill V2, 
#qui dit grossomodo que c'est libre de droits, sauf la marque de paternité du code (pour ma gloire), 
#mais aussi que je ne suis pas responsable si ce code fait une connerie . Vous disposez de la source, donc pouvez le vérifier et le modifier,
#je vous le met à disposition gratuitement. Il est de votre responsabilité de tester préalablement tous les cas de figures, avant sa mise en production.
#la license est disponible là: http://www.cecill.info/licences/Licence_CeCILL_V2-fr.txt
#
#Liste les fichiers "mails d'un repertoire", décrypte le corps via la moulinette apycript et les envoie dans le dossier pour l'application de dossier de soins.
#
#variables chemins
repertoireorigine="/home/virtual/DOSSIER DE L'ADRESSE MAIL DEDIEE AU LABO/new"
repertoiredestination="/media/applic/soins/resultatslabo/Data/Reception/A classer/"
cheminapiuncrypt="/home/virtual/apicrypt/apiuncrypt"
chemincles="/home/virtual/apicrypt/"
fichierlog="/home/virtual/apicrypt/log.txt"
fichiertemp="/home/virtual/apicrypt/temp.txt"
#variable d'erreur (déclenchera une alerte à la fin du script)
erreur=0
 
    #log:
    echo "$(date) Début du script décriptage de la bal pour les résultats laboratoire ">>$fichierlog
 
 
    #supprmmer le fichier temporaire s'il existe
    if [ -e "$fichiertemp" ];
    then
       rm $fichiertemp
       echo "$(date) Le fichier temp.txt existait, suppression">> $fichierlog
    else
       echo "$(date) Le fichier temp.txt n'existait pas (normal)">> $fichierlog
    fi
    #lister les fichiers dans le repertoire
    find $repertoireorigine -type f > $fichiertemp
 
    while read line; do
 
          $cheminapiuncrypt -s $line -k $chemincles
 
       #vérifier si le fichier.txt a ete créé
       if [ -e "$line.txt" ];
       then
          echo "$(date) Le fichier $line.txt décrypté a été créé">> $fichierlog
          #on envoit le fichier dans son repertoire de destination
 
          mv "$line.txt" "$repertoiredestination"
          fichier = basename $line.txt
 
          #vérifier si le tranfert s'effectue
          if [ -e "$repertoiredestination$fichier" ];
          then
             #c'est ok
             rm $line
             echo "$(date) -OK-le fichier $line transfert ok">> $fichierlog       
          else
 
 
             #probleme
             echo "$(date) -WARNING- le fichier $line.txt transfert échoué">> $fichierlog
             erreur=2
          fi
 
       else
          echo "($date) -WARNING- le fichier $line n'a pas été décrypté"
          erreur=1   
       fi
    done < $fichiertemp
 
    if [ $erreur = 1 ];
    then
       echo "Erreur de type 1 sur l'interface laboratoire. Un des fichiers n'a pas pu être décrypté (Il est probable qu'il sagisse d'un spam ou d'un mail \"parasite\" Le message d'origine n'a pas été supprimé" > $fichiertemp
       mail -s "Erreur sur l'interface de laboratoire" "MAILS DES DESTINATAIRES DES ALERTES" < $fichiertemp
    fi
 
    if [ $erreur = 2 ];
    then
       echo "Erreur de type 2 sur l'interface laboratoire. Le transfert d'un des fichiers décryptés n'a pas été effectué, vérifiez que $repertoiredestination est une ressource disponible" > $fichiertemp
       mail -s "Erreur sur l'interface de laboratoire" "MAILS DES DESTINATAIRES DES ALERTES" < $fichiertemp
    fi
 
    echo "$(date) Fin du script décriptage de la bal pour les résultats laboratoire ">>$fichierlog

Il est un chouilla long, parcequ'il vérifie à plusieurs endroits si les étapes se sont bien déroulées et envoie un mail d'alerte en cas d'erreur. De plus les actions du script sont logguées.

Créer la crontab pour que le script soit exécuté automatiquement

crontab -e

Aouter la ligne suivante:

*/5 * * * * su -c '/home/virtual/apicrypt/Uncryptbal.sh' vmail

Mise à jour des clés.

Il suffira de les déposer das le dossier prévu. et supprimer les anciennes (sinon ça marche pas)

Notes

[1] le serveur est sous debian lenny, mais pour les quelques essais sous ubuntu, j'ai eu des problèmes de dépendances ne se trouvant plus dans les paquets de la distribution

12 commentaires aucun rétrolien

« billets précédents - page 1 de 2

Réducteur d'URL tinad:

Rechercher sur le blog du grouik: