• ce produit permet :
  • l'indexation de zone de texte importantes
  • la recherche rapide sur un ou plusieurs mots
    
• des fonctions intégrées (UDF) , comme
• CONTAINS
• RANK

 

Vous devez installer 5722DE1 *BASE et option 1, 5733XT1(option 7) ou 5761XT2

Ainsi que les options 13 , 33 et 39 de 57xxSS1 et 51 de 57xxWDS

 

Ensuite :

1/ Attribuer un profil de groupe supplémentaire

•QDESADM à toute personne devant faire de l'administration
•QDESUSR à toute autre personne devant utiliser le produit

2/ Mettre en place les variables d'environnement suivantes (vous pouvez lancer QDB2TX/TXPROFILE)

• IMOCONFIGSRV : /QIBM/UserData/DB2Extenders/Text/instance
• IMOCONFIGCL : /QIBM/UserData/DB2Extenders/Text/instance
• NLSPATH : '/QIBM/ProdData/IMO/MRI2924/%N'

3/ Créer l'instance (une seule fois) du serveur par CALL QDB2TX/TXICRT (TXIDROP pour la supprimer)

4/ lancer le serveur par CALL QDB2TX/TXSTART (TXSTOP pour arrêter)

 

Les autres commandes se lancent depuis ma ligne de commande DB2TX, pour cela deux possibilités :

• CALL QDB2TX/DB2TX PARM(' la commande avec ces paramètres')
• Utiliser le shell (QSH) :

ADDLNK OBJ('/QSYS.LIB/QDB2TX.LIB/DB2TX.PGM) NEWLNK('/usr/bin/db2tx')

CHGOWN OBJ('/usr/bin/db2tx') NEWOWN(QDESUSR) SYMLNK(*YES)

lancez QSH (strsqh) puis tapez db2txt

5/ Initialisez le produit (une seule fois), par :
     ENABLE SERVER FOR DB2TEXT

en V5R40, voyez l'APAR SE37329

6/ Vérifiez tout cela par CALL QDB2TX/TXVERIFY

Vous êtes prêts, vous pouvez alors installer une base de test par CALL QDB2TX/TXSAMPLE

ce CL va vous créer une table SAMPLE dans DB2TX et indexer la zone commentaire suivant plusieurs critères :

• indexation précise (mot à mot)
• indexation linguistique (tenant compte des pluriels, par exemple)
• indexation NGRAM (indexation des suite de caractères plutôt que des mots, pour DBCS)

Commandes DB2TX :

Paramétrage

• CHANGE TEXT CONFIGURATION USING :
  • INDEXTYPE
    • PRECISE : indexation mot à mot
    • LINGUISTIC : indexation linguistique, reconnait les mots au pluriel ou conjugués (angl. uniquement)
    • NGRAM : indexation sur suites de caractères
  • UPDATFREQ
    • NONE
    • MIN (nbr de documents minimum) D( * | N° de jour) H( * | heure) | M(minute)
  • DIRECTORY
    • répertoire des index, dft=/QIBM/UserData/DB2Extenders/Text/INSTANCE/QDESUSR/DB2TX/INDEXE
  • UPDATEINDEX
    • UPDATE : l'index est mis à jour dès la commande d'indexation
    • NOUPDATE : indexation différée (voir UPDATEFREQ)
  • COMMITCOUNT
    • nombre de poste d'index à valider en même temps lors des indexations (500-1 000 000)
  • CCSID
    • Code page par défaut
  • LANGUAGE
    • langage, comme FRENCH, US_ENGLISH, UK_ENGLISH, etc...
  • FORMAT
    • HTML
    • XML
    • TDS (Ascii simple)
    • AMI (Amipro)
    • MSWORD (Microsoft Word)
    • FFT (IBM final Form Text)
    • RFT (Revisable Form Text)
    • RTF (Microsoft Rich Form Text)
    • WP5 (WordPerfect)
  
  
• GET TEXT CONFIGURATION
  

  Coded character set ID (CCSID) = 297 Language (LANGUAGE) = FRENCH Format (FORMAT) = TDS Index type (INDEXTYPE) = PRECISE Update frequency (UPDATEFREQ) = NONE Index directory (DIRECTORY) = /QIBM/UserData/DB2Extenders/Text/INSTANCE/QDESUSR/DB2TX/INDEXES Update index option (UPDATEINDEX) = UPDATE Commit count (COMMITCOUNT) = 0 Table space (TABLESPACE) =

  
  Affiche les valeurs de configuration choisies plus haut
  

• GET STATUS
  

  Database Connection Information Database product = AS 06010 SQL authorization ID = QSECOFR Local database alias = AS400 The database is enabled for DB2 Text Extender Table DB2TX.SAMPLE is enabled as a multi-index table TextColumnName HandleColumnName comment H_L comment H_N comment H_NCE comment H_PN comment H_P

  
  Affiche l'état du serveur et les index connus
  
  

Indexation

• ENABLE TEXT COLUMN :
  • "TABLE-NAME"
    • nom de la table contenant des colonnes à indexer
        -> la table doit être journalisée
       -> QDESADM doit avoir les droits suffisants sur cette table
  • "COLUMN NAME"
    • NOM de la colonne à indexer
  • FUNCTION (facultatif)
    • nom de la fonction permettant d'accéder à la colonne, dans le cas d'un User Defined Type uniquement
  • HANDLE
    • nom du "handle" pour cet index, il s'agit en fait d'une colonne interne ajoutée à la table pour traitement, ce nom doit être unique !
  • CCSID (facultatif)
    • Code page par défaut
  • LANGUAGE
    • langage, comme FRENCH, US_ENGLISH, UK_ENGLISH, etc...
  • FORMAT
    • HTML
    • XML
    • ... (voir CHANGE TEXT CONFIGURATION)
  • INDEXTYPE
    • LINGUISTIC
    • PRECISE
      • INDEXOPTION NORMALIZED, les mots sont indexés en minuscules, sauf les abréviations.
    • NGRAM : (obligatoire pour DBCS)
      • INDEXOPTION CASE_ENABLED pour respecter la casse
  • UPDATEFREQ / DIRECTORY (voir CHANGE TEXT CONFIGURATION)
    
  • UPDATE INDEX
    • UPDATE, indexation réalisée immédiatement
    • NOUPDATE indexation différée (suivant UPDATFREQ)

Exemple : enable text column bdvin.producteurs pr_avis HANDLE pr_avis_hl INDEXTYPE LINGUISTIC

• ENABLE TEXT TABLE
  Pour créer un index global à toutes les colonnes (à lancer avant ENABLE TEXT COLUMN, facultatif) :
  • "TABLE-NAME"
    
  • INDEXTYPE
    
  • UPDATEFREQ / DIRECTORY
    
    
• ENABLE TEXT FILES
  Pour indexer des données de l'IFS, le HANDLE est quand même stocké dans une table
  le répertoire est indiqué lors de l'UPDATE INDEX
  • "TABLE-NAME"
    • nom de la table contenant des colonnes à indexer
  • HANDLE
    • nom du "handle" pour cet index, il s'agit en fait d'une colonne interne ajoutée à la table pour traitement ultérieur
      CE HANDLE doit ensuite être mis à jour par
      
      UPDATE "TABLE-NAME" SET "nom du handle" = db2tx.file("nom-du-handle", '/répertoire/nom-du-fichier associé à cette ligne) WHERE clé = xxx
      
  • CCSID
  • LANGUAGE
  • FORMAT
  • INDEXTYPE
  • UPDATEFREQ / DIRECTORY

Administration

• CHANGE INDEX SETTINGS "table-name" HANDLE 'handle-name"
  • permet de modifier les caractèristiques d'un index, la fréquence de mise à jour, par exemple.
    
• GET INDEX SETTINGS "table_name" HANDLE "handle-name"
  • pour voir les paramètres d'un index
    
• GET INDEX STATUS "table_name" HANDLE "handle-name"
  • pour voir l'état d'un index
    
• GET TEXT INFO "table_name" HANDLE "handle-name"
  • pour voir les paramètres des données à indexer
    
    
• REORGANIZE INDEX "table_name" HANDLE "handle-name"
  • réorganisation de l'index, si cela est conseillé par GET INDEX STATUS
• UPDATE INDEX "table_name" HANDLE "handle-name"
  • mets à jour "manuellement" un index
    un trigger est affecté à chaque colonne indexée et quand la donnée est modifiée, un événement est écrit dans une table interne du produit
    les mises à jour correspondantes, sont ensuite effectuées périodiquement suivant le paramètre UPDATEFREQ et manuellement avec cette commande.
• DELETE INDEX EVENTS "table_name" HANDLE "handle-name"
  • Détruit les événements en attente pour un index
    
    
• DISABLE TEXT FILES , DISABLE TEXT COLUMN, DISABLE TEXT TABLE
  • Détruit un index
    
• DISABLE SERVER FOR DB2TEXT
  • annule le paramètrage du produit, détruit tous les index.

Fonctions intégrées au produit
(localisée dans DB2TX, vous pouvez utiliser SET CURRENT FUNCTION PATH = DB2TX, pour ne pas qualifier)

• CCSID
  • retourne le CCSID d'un handle
• FILE
  • retourne ou assigne le chemin d'un document associé à un handle (de type TEXT FILES)
• FORMAT
  • retourne ou assigne le format des données associé à un handle
• LANGUAGE
  • retourne ou assigne le langage des données associé à un handle
    
    

RECHERCHE :

• CONTAINS(handle , 'expression de recherche')
  • retourne 0 ou 1 , suivant que l'expression recherchée soit présente ou pas dans l'index

• NO_OF_MATCHES(handle , 'expression de recherche')
  • retourne le nombre de fois ou l'expression recherchée est présente dans l'index
    
• RANK(handle , 'expression de recherche')
  • retourne une valeur comprise entre 0 et 1 , indiquant la pertinance de la présence de l'expression pour chaque poste d'index
    
• SEARCH_RESULT(handle , 'expression de recherche)
  • fonction table, retournant une table intermédiaire à utiliser par :
      SELECT xxx FROM TABLE(DB2TX.SEARCH_RESULT('handle' , 'marecherche')) AS TEMP.
    

Syntaxe des expressions de recherche :

• "chaine"
  • recherche la chaine dans l'index
      Si vous avez utilisé un index PRECISE la chaine est recherchée exactement
      Si vous avez utilise un index LINGUISTIC, chaîne, chaînes, etc.. sont aussi recherchés
    
• ("chaine1", "chaine2" , "chaine3")
  • recherche l'une des 3 chaines (OU logique)
    
• "chaine1" & "chaine2" ! "chaine3"
  • & recprésente un ET logique (AND)
  • ! représente un OU logique (OR)
  • toute expression peut être niée par NOT
    
• "cha%ne"
  • vous pouvez utiliser les même caractères "joker" ( % et _ ) que le LIKE SQL
  • si vous voulez rechercher le caractère % ou _, vous devez le précéder d'un caractère d'éachappement et indiquer ESCAPE
       par exemple "10\% de remise" ESCAPE "\"
    
• "chaine" IN SAME SENTENCE AS "autre-chaine" (AND "troisieme-chaine")
  • recherche un mot dans le même phrase qu'un ou plusieurs autres
    
• "chaine" IN SAME PARAGRAPH AS "autre-chaine" (AND "troisieme-chaine")
  • recherche un mot dans le même paragraphe qu'un ou plusieurs autres
    
    
• SYNONYM FORM OF "chaine"
  • recherche linguistique sur tous les mots synonymes de chaine
      La langue peut-être précisée par SYNONYM FORM OF US_ENGLISH "chaine"
    
    
• STEMMED FORM OF FRENCH "chaine"
  • recherche sur les formes conjugées d'une chaine en précisant le dictionnaire à utiliser (Index LINGUISTIC uniquement)
    
    
• SOUNDS LIKE "chaine"
  • recherche sur une représentation phonétique

===========Exemples=====================================================

CALL QDB2TX/TXSAMPLE : créé la base d'exemple, avec ces comamndes :

RUNSQLSTM SRCFILE(QDB2TX/SAMPLES) SRCMBR(DESCSAMP) NAMING(*SQL)
/* pour infos, l'ordre SQL

create table db2tx.sample
(
 docid VARCHAR(30),
 author VARCHAR(50),
 subject VARCHAR(100),
 date TIMESTAMP,
 "comment" VARCHAR(20000)
);

*/

CPYFRMIMPF ... (pour remplir la table SAMPLE)

/* création des index */
CALL PGM(QDB2TX/DB2TX) PARM('enable text column db2tx.sample +
  "comment" handle h_l CCSID 500 LANGUAGE US_ENGLISH +
   indextype linguistic updateindex update')
CALL PGM(QDB2TX/DB2TX) PARM('enable text column db2tx.sample +
  "comment" handle h_n CCSID 500 LANGUAGE US_ENGLISH +
   indextype ngram updateindex update')
CALL PGM(QDB2TX/DB2TX) PARM('enable text column db2tx.sample +
  "comment" handle h_nce CCSID 500 LANGUAGE US_ENGLISH +
   indextype ngram indexoption case_enabled updateindex update')
CALL PGM(QDB2TX/DB2TX) PARM('enable text column db2tx.sample +
  "comment" handle h_pn CCSID 500 LANGUAGE US_ENGLISH +
   indextype precise indexoption normalized updateindex update')
CALL PGM(QDB2TX/DB2TX) PARM('enable text column db2tx.sample +
  "comment" handle h_p CCSID 500 LANGUAGE US_ENGLISH +
   indextype precise updateindex update')

  A suivre, quelques exemples de requêtes SQL sur cette base (convention d'appellation *SQL)

N'oubliez pas, avant de passer ces requêtes, de vous associer un profil de groupe (QDESADM ou QDESUSR)
et de passer la commande CALL QDB2TX/TXPROFILE pour les variables d'environnement

-- -------------------------------------------------------------------
-- CONTAINS 
-- -------------------------------------------------------------------
-- Indextype : PRECISE
-- -------------------------------------------------------------------
select docid,subject from db2tx.sample where
  db2tx.contains(h_p, 'resultlimit 1 "VisualAge"') = 1

select docid,subject from db2tx.sample where
    db2tx.contains(h_p, '"VisualAge"') = 1

select docid,author from db2tx.sample where
    db2tx.contains(h_p, '"Sun Solaris"') = 1

-- -------------------------------------------------------------------
-- Indextype : LINGUISTIC
-- -------------------------------------------------------------------
select docid from db2tx.sample where
    db2tx.contains(h_l, '"VisualAge" | ("columns" & "cics") &  "cforum"') =1

select docid from db2tx.sample where
    db2tx.contains(h_l, '"visualage" IN SAME SENTENCE AS  "question"') = 1

select docid from db2tx.sample where
    db2tx.contains(h_l, '"VisualAge" IN SAME PARAGRAPH AS "SQLDA"') = 1
 

select docid from db2tx.sample where
    db2tx.contains(h_l, 'SYNONYM FORM OF "response"') = 1

select docid from db2tx.sample where
    db2tx.contains(h_l, '"number$_of$_tablespac%" ESCAPE "$"'   )   = 1
 

select docid from db2tx.sample where
    db2tx.contains(h_l, '"%cu_enta%n"' ) = 1

select docid from db2tx.sample where
  db2tx.contains(h_l, 'SOUNDS LIKE "snappshot" | SOUNDS LIKE "drawbeck"') = 1
 

select docid from db2tx.sample where
    db2tx.contains(h_l, 'IS ABOUT "anything about I/O parallelism"')   = 1
 

select docid from db2tx.sample where
  db2tx.contains(h_l, 'IS ABOUT SYNONYM FORM OF "I am looking for documents about books"' ) = 1
 

select docid from db2tx.sample where
    db2tx.contains(h_l, 'THESAURUS "desthes" COUNT "1" EXPAND "NT"   TERM   OF "business" ' ) = 1
   
-- -------------------------------------------------------------------
-- Indextype : NGRAM
-- -------------------------------------------------------------------
select docid from db2tx.sample where
    db2tx.contains(h_n, 'STEMMED FORM OF "find"' ) = 1

select docid from db2tx.sample where
    db2tx.contains(h_n, 'FUZZY FORM OF 1 "netbs"' ) = 1
-- -------------------------------------------------------------------
-- Indextype : NGRAM , INDEXOPTION: CASE_ENABLED
-- -------------------------------------------------------------------
select docid from db2tx.sample where
    db2tx.contains(h_nce, 'PRECISE FORM OF "Support"' ) = 1
-- -------------------------------------------------------------------
-- RANK 
-- -------------------------------------------------------------------
select docid from db2tx.sample where
    db2tx.rank(h_l, 'SOUNDS LIKE "snappshot" | SOUNDS LIKE "drawbeck"') > 0
-- -------------------------------------------------------------------
-- NO_OF_MATCHES 
-- -------------------------------------------------------------------
with temptable(docid, subject, matches)
    as ( select docid, subject, no_of_matches(h_l,'"AIX" | "DB/2"')
    from db2tx.sample)
select *
   from temptable
   where matches > 0
-- -------------------------------------------------------------------