Wiki

Outils pour utilisateurs

Outils du site

  • Plan
  • Créer une page
  • Aide
  • Contactez-nous!
    • tma:pv:rex_ai:rapports:rapport_hebdo_cestas

    Différences

    Ci-dessous, les différences entre deux révisions de la page.

    Lien vers cette vue comparative

    Les deux révisions précédentesRévision précédente
    Prochaine révision    		Révision précédente
    tma:pv:rex_ai:rapports:rapport_hebdo_cestas [20/06/2023 15:11] – [8 - Vérification restauration bases SQL] tom.chambriattma:pv:rex_ai:rapports:rapport_hebdo_cestas [16/09/2024 16:06] (Version actuelle) – [13 - Arrêt et redémarrage des VM clusters] tom.chambriat
    Ligne 14: Ligne 14:
      
      
    -====1 - Mise à jour des tâches FlySpray====+====1 - Mise à jour des tâches Simply====
      
    -Mettez à jour sur le rapport les tâches FlySpray ouvertes, leur pourcentage, de quel côté est la balle (Investigation AI ou Attente SE par ex.). Pour cela, connectez vous sur FlySpray PV, allez sur le projet CESTAS et triez les tâches par progression.+Mettez à jour sur le rapport les tâches Simply ouvertes, leur pourcentage, de quel côté est la balle (Investigation AI ou Attente SE par ex.). Pour cela, connectez vous sur Simply, allez sur le projet CESTAS et triez les tâches par progression.
      
     ====2 - Connexion aux serveurs CESTAS==== ====2 - Connexion aux serveurs CESTAS====
      
    -Dans ce qui suit, il faut se connecter au VPN sur Forticlient.<del>Cela va vous isoler du réseau AI, pensez à mettre en local votre compte-rendu ainsi que la base keepass</del>.\\ Se connecter en bureau à distance sur chacun des 5 serveurs (1 Master et 4 Cluster). \\Pour se connecter au VPN CESTAS puis aux serveurs, suivre ce lien (cf [[tma:pv:acces_sites:cestas|la page wiki qui va bien]])\\+Dans ce qui suit, il faut se connecter au VPN sur Forticlient.\\ Se connecter en bureau à distance sur chacun des 5 serveurs (1 Master et 4 Cluster). \\Pour se connecter au VPN CESTAS puis aux serveurs, suivre ce lien (cf [[tma:pv:acces_sites:cestas|la page wiki qui va bien]])\\
     Pour savoir à quoi correspondent ces serveurs, il y a un Wiki sur l'architecture de CESTAS : cf[[[[tma:pv:schemas_elec:cestas|Architecture monitoring CESTAS]]]] Pour savoir à quoi correspondent ces serveurs, il y a un Wiki sur l'architecture de CESTAS : cf[[[[tma:pv:schemas_elec:cestas|Architecture monitoring CESTAS]]]]
      
    Ligne 31: Ligne 31:
      
     ====4 - Vérification alarmes en cours MASTER==== ====4 - Vérification alarmes en cours MASTER====
    -A l'aide de KeePass, lancer l'application ViewX du MASTER et se connecter à toutes les machines. Vérifiez s'il y a de nouvelles alarmes sur la vue Welcome du Master.\\+A l'aide de bitwarden, lancer l'application ViewX du MASTER et se connecter à toutes les machines. Vérifiez s'il y a de nouvelles alarmes sur la vue Welcome du Master.\\
     **Si de nouvelles alarmes sont présentes, les notifier dans le compte rendu.** **Si de nouvelles alarmes sont présentes, les notifier dans le compte rendu.**
      
    Ligne 152: Ligne 152:
     ====8 - Vérification sauvegardes bases SQL  ==== ====8 - Vérification sauvegardes bases SQL  ====
      
    -<del> 
    -Chaque semaine, le Dimanche, toutes les bases SQL PVDB+CCDATA des 5 serveurs d’exploitation MASTER/CLUSTER sont restaurées sur le PCBACKUP.\\ 
    -Il faut vérifier que ces restaurations se passent correctement via les logs:\\ 
    -  * Se connecter sur le PCBACKUP (accès : voir KeePass TMA) 
    -  * Aller dans C:\Programmes_Transferts et ouvrir le fichier de log Verification_BD.txt 
    -        * Vérifier la colonne DATE_Fin : cette date doit être comprise entre J-1 et J-8. Si la date est plus ancienne, c'est que la base ne s'est pas restaurée : voir </del> 
    -**[[tma:pv:procedures:gestion_bd_sql_cestas|Wiki sur GESTION BD SQL CESTAS]]** 
    -\\ 
    -**[[tma:cestas_-_restauration_backups|Cestas - restauration backups]]**\\ 
    - 
    - <del>  Pour le CCDATA_MASTER qui est différent des autres cluster, la vérification est différente, le nombre de la colonne NB_JOURS doit varier entre chaque vérification\\ 
    -      Si les colonnes DATE_Fin et SI_ZERO_OK sont OK, inscrire dans le rapport hebdomadaire la date de la dernière restauration saine DATE_Fin du log de vérification.</del> 
    - 
    -{{:tma:pv:rex_ai:rapports:log_verification_2_modif.png?1000|}} 
    - 
    - <del> * ATTENTION aussi à la taille des bases. Les backup des 4 clusters font sensiblement la même taille alors que celle du master est plus petite. En outre, dans **N\\BACKUP_SQL\SV_NON_TESTEES** du PCBACKUP, les tailles des autres backup ont sensiblement une taille cohérente. Si par exemple le backup cluster3 fait 200Mo le dernier jour alors qu'il en fait 25Go d'habitude alors c'est qu'il y a un problème. 
    -  * Toujours sur le PCBACKUP, aller dans **N\\BACKUP_SQL\SV_NON_TESTEES** et couper/Coller les 5 bases saines (cf log et taille) MASTER/CLUSTER depuis le dossier SV_NON_TESTEES du NAS vers le dossier SV_ARCHIVES du NAS, en créant un dossier spécifique du type "SV_SQL_ddmmyyyy". De cette manière on sait quelles sauvegardes ont correctement été restaurées. 
    -  * Dernière étape, il faut purger le répertoire SV_NON_TESTEES du NAS. Si par exemple on a des BD saines au 18/07 et celles d'avant au 10/07, on peut supprimer les SV du 11/07 au 17/07 qui ne sont plus utiles. 
    - 
    -**Une fois toutes les vérifications faites sur le PC Backup, bien penser à le redémarrer à l'aide de la commande Shutdown -R via l'invite de commandes**</del> 
      
     **Pour la vérification de la sauvegarde des bases SQL : \\ **Pour la vérification de la sauvegarde des bases SQL : \\
     Sur le MASTER et TOUS LES CLUSTERS :**\\ Sur le MASTER et TOUS LES CLUSTERS :**\\
    -Se connecter sur SQL :\\+Se connecter sur SQL, avec l'authentification windows :\\
     Aller  dans l'onglet SQL Server Agent puis dans Jobs et enfin faire clic droit sur Sauvegarde_Pvdb&CCData.Subplan_1 pour afficher l'historique : Aller  dans l'onglet SQL Server Agent puis dans Jobs et enfin faire clic droit sur Sauvegarde_Pvdb&CCData.Subplan_1 pour afficher l'historique :
     {{:tma:pv:rex_ai:rapports:Cestas_procedure_backup.png}}\\ {{:tma:pv:rex_ai:rapports:Cestas_procedure_backup.png}}\\
    Ligne 183: Ligne 163:
      
     Il est possible que l'erreur soit due à un manque de place sur le disque F: pour effectuer la sauvegarde.\\ Il est possible que l'erreur soit due à un manque de place sur le disque F: pour effectuer la sauvegarde.\\
    -Dans ce cas, aller dans le dossier F:/Backup et supprimer les anciennes backups pour libérer de l'espace.+Dans ce cas, aller dans le dossier F:/Backup_BDD et supprimer les anciennes backups pour libérer de l'espace.
      
     ==== 9 - Vérifier l'espace disque des serveurs ==== ==== 9 - Vérifier l'espace disque des serveurs ====
    Ligne 195: Ligne 175:
     Se connecter à l'interface web du NAS (depuis le MASTER ou n'importe quel CLUSTER via IE ou Mozilla) et contrôler l'état de santé du NAS :\\ Se connecter à l'interface web du NAS (depuis le MASTER ou n'importe quel CLUSTER via IE ou Mozilla) et contrôler l'état de santé du NAS :\\
       * Vérifier qu'il reste de l'espace disque   * Vérifier qu'il reste de l'espace disque
     +     S’il n’y a presque plus d’espace disponible sur le Nas il faut le vider pour le vider aller sur le master.
     +Dans l'exploreur des fichiers aller dans network puis dans NAS_CESTAS – Documents – BACKUPS_SQL – SV_NON_TESTEES dans ce dernier fichier sont présent des backups non testés ou l’on peut en effacer un certain nombre il faut en garder 2 de chaque cluster (les plus récent) et effacer le reste. 
     +
       * Vérifier que les 2 disques sont en état de marche   * Vérifier que les 2 disques sont en état de marche
       * Vérifier la mise à jour de l'anti virus au moins une fois par mois si possible   * Vérifier la mise à jour de l'anti virus au moins une fois par mois si possible
     +
     +
      
     <WRAP center round tip 60%> <WRAP center round tip 60%>
    Ligne 202: Ligne 187:
     </WRAP> </WRAP>
      
     +Vérification des backups :
     +Il faut vérifier que les fichiers de backup des clusters 1, 2, 3, 4 ainsi que du master sont bien rapatriés dans le NAS. Les backups sont stockés dans le répertoire suivant :
     +Nas cestas Documents-BACKUPS_SQL-SV_NON_TESTEES.
     +C'est ici que nous supprimons les backups pour libérer de l'espace. Avant de les supprimer, il faut d'abord vérifier les derniers backups et les passer en SV testées. Pour ce faire, vérifiez que la taille des backups est cohérente. Les backups des 4 clusters doivent avoir sensiblement la même taille, tandis que celui du master est généralement plus petit. Par exemple, si le backup du cluster 3 fait 200 Mo un jour, alors qu'il fait habituellement 25 Go, c’est qu’il y a problème.
     +Une fois que vous êtes certain que le backup est correct, allez dans BACKUP_SQL-SV_TESTEES et déplacez les cinq bases saines du MASTER/CLUSTER depuis le dossier SV_NON_TESTEES du NAS vers le dossier SV_ARCHIVES du NAS. Créez un dossier nommé "SV_SQL_ddmmyy" (en remplaçant ddmmyy par la date actuelle). À l’intérieur, créez un fichier texte indiquant la date de début du backup (date la plus ancienne des données) et la date de fin (date à laquelle le backup a été réalisé).
     +Enfin, une fois les backups sauvegardés, vous pouvez supprimer toutes les backups présentes dans le répertoire SV_NON_TESTEES.
      
     ==== 11 - Vérifier le Clear Scada Serveur du MASTER et de tous les CLUSTERS ==== ==== 11 - Vérifier le Clear Scada Serveur du MASTER et de tous les CLUSTERS ====
    Ligne 209: Ligne 200:
     Pour cela, Pour cela,
      
    -  * Faire clique droit sur la petite boule bleu dans la barre de menu de windows en bas à droite+  * Faire clique droit sur la petite flèche bleu dans la barre de menu de windows en bas à droite
       * Aller dans le **Server Status**   * Aller dans le **Server Status**
       * Déployer l'arborescence en cliquant sur le petit plus du serveur jusqu'à **Localhost\General**, Il faut vous logger en **Super utilisateur CC** de préférence (voir Keypass).   * Déployer l'arborescence en cliquant sur le petit plus du serveur jusqu'à **Localhost\General**, Il faut vous logger en **Super utilisateur CC** de préférence (voir Keypass).
    Ligne 219: Ligne 210:
     Dans le cas contraire, il sera nécessaire d'arrêter le Clear Scada serveur et de le relancer. Il sera également nécessaire d'être logger en tant que **Super Utilisateur CC** (voir keypass). Dans le cas contraire, il sera nécessaire d'arrêter le Clear Scada serveur et de le relancer. Il sera également nécessaire d'être logger en tant que **Super Utilisateur CC** (voir keypass).
      
    -  * Faire clique droit sur la petite boule bleu dans la barre de menu de windows en bas à droite (en étant connecté au cluster concerné)+  * Faire clique droit sur la petite flèche bleu dans la barre de menu de windows en bas à droite (en étant connecté au cluster concerné)
       * Cliquer sur **Shutdown**   * Cliquer sur **Shutdown**
    -  * Attendre que la boule devienne **grise** quelques instants+  * Attendre que la flèche devienne **grise** quelques instants
       * Redémarrer le clear scada serveur   * Redémarrer le clear scada serveur
    -  * Attendre que la boule redevienne **bleue** +  * Attendre que la flècheredevienne **bleue** 
       * Vérifier à nouveau si toutes les tâches sont maintenant avec **un Failure Count à zéro**   * Vérifier à nouveau si toutes les tâches sont maintenant avec **un Failure Count à zéro**
      
    -====12 - Envoi du rapport ====+====12 - acquittement des alarmes ==== 
     + 
     +Cette partie va nous permettre d'acquitter l'ensemble des alarmes qui ne sont plus présentes dans chaque SPV. 
     +\\ 
     +\\ 
     +Pour cela il faut : 
     +\\ 
     +- Se connecter au master afin d'avoir accès à tout les SPV.  
     +\\ 
     +- Cliquer sur un SPV (celui de votre choix car il faudra faire de même pour tout les SPV). 
     +\\ 
     +- Aller sur la vue d'alarme 
     +\\ 
     +{{:tma:pv:rex_ai:rapports:vua_alarme_cestas.png?400|}} 
     +\\ 
     +- Cliquer en haut à droite sur Ack. Clear 
     +\\ 
     +- Cela va ouvrir une pop-up. Cliquer sur Oui. 
     +\\ 
     +{{:tma:pv:rex_ai:rapports:acquit_vue_alarme_cestas.png?400|}} 
     + 
     +====13 - Arrêt et redémarrage des VM clusters ==== 
     + 
     +Il faut arrêter et redémarrer chaque VM des clusters, les uns après les autres. 
     + 
     +**Se connecter à l'ESXi du cluster que l'on veut arrêter** (attention la connexion est plutôt longue) 
     + 
     +Faire un arrêt de la VM du cluster (pas un redémarrage) 
     + 
     +{{:tma:pv:rex_ai:rapports:arret_vm_cestas.png?600|}} 
     + 
     +Une fois la VM arrêtée, redémarrer la VM avec l'ESXi. 
     + 
     +Passer sur tous les clusters, **les uns à la suite des autres** 
     + 
     +====14 - Vérification du compteur Night Var==== 
     + 
     +Sur le Master, vue Globale CESTAS, "Vers Utility" => onglet "Control Loop" 
     + 
     +Relever la valeur du Compteur d'activation (en haut à droite) 
     + 
     +====15 - Envoi du rapport ====
      
    -Une fois le rapport complété, l'envoyer à David.\\+Une fois le rapport complété, l'envoyer à David et Clérye.\\
     \\ \\
     Enfin le stocker sur le serveur dans:\\ Enfin le stocker sur le serveur dans:\\
    tma/pv/rex_ai/rapports/rapport_hebdo_cestas.1687266715.txt.gz · Dernière modification : 20/06/2023 15:11 de tom.chambriat

    Outils de la page

    Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki