V7R30

5733OPS : Produits Open Source : Orion & Git

IBM propose via un nouveau produit, l'intégration de projets Open source : 5733OPS
- A l'origine Node.JS
- en TR2, Python
- en TR3, le compilateur GCC.
- en TR4 ou version 7.3
  - Tools (zip/unzip, ...)
  - Git
  - Orion
  - Nginx
  - Yum

Tools

implémenté par 5733OPS option 7 et trois PTF (à ce jour) :

SI61064 -> unzip
SI61065 -> zip
SI61062 -> bash

Pour les utilitaires zip/unzip, ils se trouvent dans /QOpenSys/QIBM/ProdData/OPS/tools/bin/

ils fonctionnent comme cela :

le fichier résultat est lisible par Windows, 7zip ET IBM i (cde CPYFRMARCF)

Pour bash, cela permet d'utiliser ce Shell plutôt que celui fourni en standard par QP2TERM qui est plutôt un Korn Shell
(les spécialistes Unix/Linux apprécierons)

il est situé dans le même répertoire

Pour le lancer
- Sous QP2TERM
- En automatique
```
echo 'exec /QOpenSys/QIBM/ProdData/OPS/tools/bin/bash' >> .profile
```
SI62331 Gzip
SI62570 PERL
SI63051 wget

curl (disponible sur IBMi avec 5770OPS et SI63905)

abréviation de client URL request library :

cette commande :
- Supporte les protocoles http, smb(voisinage réseau), ftp, sftp, smtp, telnet, etc....
- Permet de créer ou modifier une ressource (contrairement à wget), elle peut ainsi être utilisé en tant que client REST.
Pour obtenir l'entête d'une page :

Pour tester un web service par GET

(ici 404 , Not found)

Pour tester un web service par POST
```
curl -i -H "Content-Type: application/json" -X POST 
  -d '{"NOM":"Volubis", "VILLE":"Carquefou", "TEL":"02 40 30 00 70" , "FAX":"02 40 30 39 22", "APPEL_CODE":13}' 
   http://as400:10025/web/services/Producteur
```
(remarquez le retour avec Location: )

Voyez un manuel d'utilisation ici

Node.JS V4

Node.JS version 4 est installé par la PTF SI59404 et l'option 5 de 5733OPS
les deux versions 0.12 et 4 cohabitent
Vous pouvez choisir la version "active" par /QOpenSys/QIBM/ProdData/OPS/Node4/bin/nodever.sh
- un-numéro : vous indiquez la version de Node.js à utiliser
- list, la liste des versions disponibles vous est affichée pour faire un choix
Node.JS V4 est plus rapide et utilise ECMAScript 2015 (ES6), voir https://nodejs.org/en/docs/es6/

Voir la liste des PTF pour Node.js

Node.JS V6

Node.JS version 6 est installé par la PTF SI61901 et l'option 10 de 5733OPS
les versions 4 et 6 cohabitent
Vous pouvez toujours choisir la version "active" par /QOpenSys/QIBM/ProdData/OPS/Node4/bin/nodever.sh

Python2

IBM recommande Python 3 plutôt que Python 2, mais parce que certaines librairies ne supportent pas Python 3

l'option 4 de 5733-OPS installe cette ancienne version du langage

Comme avec la version 3, il faut installer :

Le connecteur DB2 :
pip2 install /QOpenSys/QIBM/ProdData/OPS/Python-pkgs/ibm_db/ibm_db-*-cp27m-*.whl

Le IBM i Toolkit:

pip2 install /QOpenSys/QIBM/ProdData/OPS/Python-pkgs/itoolkit/itoolkit-*-cp27m-*.whl

rsync

rsync arrive avec la SI63268

Ce protocole de mise à jour à distance , permet de ne transférer que la différence entre deux jeux de fichiers à travers le réseau, en utilisant un algorithme de recherche de somme de contrôle.

Ce protocole établit ses connexions sur le port TCP 873.

La synchronisation fonctionne selon deux modalités :
1. en mode local : où le programme client se charge de comparer les deux versions des répertoires et effectuer la synchronisation ;
2. en mode distant : le programme client contacte le programme serveur, habituellement grâce au protocole SSH, ce qui permet une communication sécurisée
Copie locale du contenu d'un répertoire

L'option a (archive) préserve
- les liens symboliques
- les droits
- les timestamp (création/mdofication,...)
- les propriétaires
Mode verbeux

Avec un serveur en utilisant SSH

Avec compression et récursivité (arborescence complète)

SQlite3

Arrivé en même temps que Rsync avec la PTF SI63270, SQlite3 est la seule base de données Serverless (sans démon)
- la base étant créé, passez vos ordres SQL ensuite
  
  la documentaiotn est là : https://www.sqlite.org/docs.html

Cloud-Init

5733OPS option 9 et SI59978 & SI61037 installent Cloud-Init (pour cloner une machine virtuelle, voir la doc Power VC)
- Placez vous dans /QOpenSys/QIBM/ProdData/OPS/cloudinit/install/
- sous QP2TERM lancez cloud-init-setup.sh -download_and_install.
  
  Comme pour le compilateur GCC, cela va chercher le RPM sur le net
- Sur chaque machine virtuelle devant être capturée :
  - CALL PGM(QSYS/QAENGCHG) PARM(*ENABLECI)
- Voyez ensuite la procédure de capture sur knowledgecenter

Git

Amené par 5733OPS option 6 et la PTF

SI61060

Il s'agit d'un produit de gestion de version décentralisé ou Version Control System (VCS en angl. ), voir la définition Wikipedia

Il est accessible en mode Web, par exemple GitHub ou bitBucket.org (Voyez sur ce site notre projet gratuit SU)

Une fois le produit installé vous devez trouver cette arborescence

Vous pouvez, désormais, utiliser le produit en mode commande -> voir la documentation en Français (PDF)

Pour paramétrer git config

Après avoir créé un fichier README.MD, ajoutons le au repository et commitons

Encore une fois, la doc détaillée est ici : https://progit2.s3.amazonaws.com/fr/2016-03-05-4c838/progit-fr.1062.pdf

Avec SI63134, qui apporte CURL , nous pouvons cloner un dépot depuis le web

par exemple : git -c http.sslverify= false http://github.com/OSSILE/OSSILE

résultat

Sous RDI

Mais si nous préférerons l'utilisation de git directement depuis RDI, allez chercher le PlugIn RDI "EGit"

Pour l'installer Aide/Eclipse MarketPlace

résultat :

Attention, vous devez travailler avec des fichiers locaux (du WorkSpace)

La meilleure solution est alors de créer un projet IBM i

Commençons par créer ou cloner un repository (dépôt) git

•Un clonage depuis un dépôt créé sur IBM i en mode commande (voir ci-dessus)

Le seul protocole accepté aujourd'hui est SSH, qu'il faut avoir démarré sur IBM i par STRTCPSVR *SSHD

Le dépôt est alors trouvé

Importons le localement

et voilà

•Un clonage depuis bitbucket.org que nous associerons à un projet IBMi

N'oubliez pas d'enregistrer votre user/password, ou bien il vous sera demandé en permanence

Dans ce cas le projet est vide (nous venons de le créer sur bitbucket)

Notez bien l'emplacement que nous avons choisi (dans le workspacede RDI, ce n'est pas par défaut))

basculez sous la perspective

Créez un projet

Notez son nom, son emplacement

ce projet doit faire référence à

une connexion
une bibliothèque sur le serveur
puis indiquer une méthode de compilation

Importez des sources (si vous ne partez pas de rien)

Après avoir indiqué la bibliothèque et choisi quelques membres d'un fichier source (DIVERS)

->

Puis, important, activez cette option dans fenêtre/Préférences

Après l'importation, enlevez les n° de ligne (qui feraient "désordre" sur le site)

Re basculons sur la perspective Git

en bas à droite, les nouveaux sources sont reconnus, mais non intégrés au repository

Ajoutons les (git add)

Nous pouvons alors valider (git commit) et les transmettre (git push) sur le serveur.

Résultat sur le site de bitbucket.org

Orion

Amené par 5733OPS option 8 et la PTF

SI60170

Il s'agit d'un projet Eclipse contenant un éditeur de source (en mode Web) doublé d'un client Git.

Pour démarrer le serveur QSH CMD('/QOpenSys/QIBM/ProdData/OPS/Orion/orion')
Pour l'arrêter QSH CMD('/QOpenSys/QIBM/ProdData/OPS/Orion/StopOrion')

Ce dernier est lancé dans QHTTPSVR et utilise le port 2025 :

les deux fichiers de config, sont

/QOpenSys/QIBM/UserData/OPS/Orion/orion.ini

/QOpenSys/QIBM/UserData/OPS/Orion/orion.conf

A la première utilisation vous verrez

Try it now permet de s'enregistrer
Sign In (en haut à droite), permet de s'authentifier ensuite
Vous pouvez aussi, dans orion.conf
- Créer l'utilisateur admin et lui attribuer un mot de passe, par orion.auth.admin.default.password=unmotdepasse
  
  Arrêtez, redémarrer Orion
  Signez vous admin, changez le mot de passe
  Enlevez la ligne orion.auth.admin.default.password dans orion.conf, elle ne sert plus.
- Indiquez que seul admin peut créer des utilisateurs, par orion.auth.user.creation=admin
- Voyez cet exemple complet de config https://github.com/fabric8io/fabric8-eclipse-orion/blob/master/orion.conf
Vous pouvez ensuite
- Créer un projet
  - Basic (Local => dans le workspace)
    (dans notre exemple , mesSources)
    
    Ensuite créez des fichiers dans ce projet (par exemple RPG, qui est un langage reconnu, comme html, js et CSS)
    
    Pour compiler
    
    Attention, ORION insère des tabulations, mal gérées par le compilateur
    
    Demandez à les remplacer par des espaces
  - Local, mais extérieur au Workspace en créant un lien
    
    Attention
    - par défaut, seul /QOpenSys/etc/orion/links est autorisé dans orion.conf (orion.file.allowedPaths)
    - N'essayez pas de faire un lien vers une bibliothèque (/QSYS.LIB/xxx.LIB) le produit est sous pase et ne convertit pas l'EBCDIC
    - Après avoir modifié Orion.conf
      
      Orion reconnait aussi (dans une moindre mesure) les langages : Java, Ruby, Node.JS et Phython
  - Git (faisant référence à un serveur Git sur le web)
    
    Par exemple, pour nous : https://bitbucket.org/cmasseVolubis/volubis
    
    Voyez la localisation de nos deux projets
  - Sur ce dernier Point, Orion est un très bon client Git
    
    Créons un nouveau fichier README.MD (affiché sur la page de garde du serveur git)

Pour infos, le standard pour les fichiers README.MD est :

### niveau d'entête (H1 à H6)

** en gras **

* italique *

remarquez la mise en forme, réalisée temps réel ci-dessus.

la modification est reconnue, il faut la valider (commit) et associer un texte explicatif à la validation.

Puis indiquer les paramètres de validation (Auteur de la modif.)

la validation apparaît dans l'arborescence à gauche
Pour la pousser (Push), authentifiez vous sur le serveur git
ET c'est transmis sur le serveur
De fait , sur le site bitBucket.org

Exemple, en participant au projet OSSILE

Nous n'avons pas le droit de faire des modifications sur le site (nous ne sommes pas administrateur), il faut faire une branche (fork)

Après nous être signé (il faut un compte)
Résultat

Regardons le lien pour le cloner (copie locale)

Sous ORION

Si vous voulez que les modifications effectuées par d'autre sur la branche d'origine, soit répercutées localement, ajoutez :

Saisissons quelques nouveautés

Quand nous basculons sur le client git

Commitons (COMMIT)

Puis transmettons les modifications (PUSH)

Avec authentification

Et voilà

Vérifions sur le site github (dans notre branche)

POur faire une demande de fusion (avec la branche principale) PULL REQUEST

Create PULL Request

Cette dermande porte le n° 61 (en attente de validation par l'administrateur)

Quelques jours après

Et voilà

NGINX

Serveur HTTP, souvent utilisé pour faire du reverse proxy

Installez l'option 11 de 5733OPS puis la PTF SI64951 ou installez par YUM

Un exemple est fourni dans /QOpenSys/QIBM/ProdData/OPS/tools/conf/nginx.conf , copiez le et créé le votre.

Pour démarrer :

    /QOpenSys/QIBM/ProdData/OPS/tools/bin/nginx -c <path_to_nginx.conf>

Pour arrêter :

    /QOpenSys/QIBM/ProdData/OPS/tools/bin/nginx -c <path_to_nginx.conf> -s stop

Exemple
avec

Démarrage

Résultat

Sinon, voyez ce tutoriel https://bitbucket.org/ibmi/opensource/src/master/docs/nginx.md?fileviewer=file-view-default

Dernier point, le groupe PTF SI99223 (7.2) ou SF99225 (7.3) représente désormais toutes les PTF liées au produit 5733OPS

Mais

Vous pouvez aussi, obtenir de nouveaux produits Open Source sous forme de RPM

Lancez (par le gestionnaire de scripts SQL) bootstrap.sql si votre serveur IBMi à accès à Internet
ftp://public.dhe.ibm.com/software/ibmi/products/pase/rpms/bootstrap.sql
Sinon
- téléchargez
  - ftp://public.dhe.ibm.com/software/ibmi/products/pase/rpms/bootstrap.sh
  - ftp://public.dhe.ibm.com/software/ibmi/products/pase/rpms/bootstrap.tar.Z
- Transférer ces fichiers dans la répertoire /tmp (en binaire)
- passez la commande :
```
QSH CMD('touch -C 819 /tmp/bootstrap.log; /QOpenSys/usr/bin/ksh /tmp/bootstrap.sh > /tmp/bootstrap.log 2>&1')
```
Sous QOpenSys/pkgs/bin
- yum list installed, liste les package installés
- yum list available, liste les package disponibles
- yum list all, liste tous les packages
- puis
- yum install <package>
- yum remove <package>
- yum search <package>
  
  Pour utiliser un proxy , éditez /QOpenSys/etc/yum/yum.conf, comme ceci :
  [main]
  proxy=http://monproxy.masociete.com:8080
  proxy_username=user
  proxy_password=passw0rd
  Pour créer un repository local, voyez : https://bitbucket.org/ibmi/opensource/src/master/docs/yum/
L'utilisation de cet utilitaire et la recherche de dépots est désomais intégré à ACS version 1.1.8

L'installation de YUM aussi

D'ailleurs YUM permet d'installer les nouvelles versions de node.SJ et de python

et de nouveaux utilitaires, comme :
- lftp (voir http://momh.fr/tutos/Linux/lftp)
  
  Transfert de fichier en mode commande utilisant ftp, sftp, http, et d'autres
  
  Pour utiliser un protocole particulier, indiquez le dans l'URL
- updatedb et locate
  
  permettant de retouver rapidement un fichier
  - updatedb créé une base de données contenant l'ensemble des fichiers du système (basé sur find)
    
    plus de 1 heure sur notre système (à lancer en batch)
    
    (les erreurs concernent des fichiers "lockés" ou des nom de répertoire en Unicode)
  - locate un-nom permet ensuite de retrouver rapidement un fichier
    
    Pour les objets de QSYS, tapez bien le nom en MAJSUCULES
- sed (voir https://fr.wikipedia.org/wiki/Stream_Editor)
- vim (basé sur VI, assez peu convivial)
- ou nano (basé sur Pico, voyez https://fr.wikipedia.org/wiki/GNU_nano )
  
  Téléchargez le (si besoin) depuis ACS
  
  puis lancez le, depuis Putty (pas sur un terminal 5250, qui n'est pas reconnu)
- Pour éditer un fichier
- Enfin Midnight Commander, gestionnaire de fichier en mode commande