Blog de dada

DevOps, bidouilleur et routard plein de logiciels libres

J'ai fait une semaine d'astreinte

Rédigé par dada / / 15 commentaires


Je ne me souviens pas avoir déjà lu des billets de retours d'expérience autour de ce qu'on appelle l'astreinte en informatique, alors voici ce que je peux raconter après avoir passé ma toute première semaine à rester pendu à un téléphone en attendant un éventuel incident.

L'astreinte dans l'IT

Il n'y a rien d'étonnant quand on nous parle de garde. Le fait que le personnel médical, pour ne parler que de lui, soit régulièrement appelé à bosser de nuit ou les week-ends n'étonne personne. Par contre, nous autres, les geeks de l'ombre, les administrateurs système, c'est moins évident. Pourtant, les sites web, sur lesquels vous traînez à longueur de journée, doivent bien fonctionner jours et nuits, week-ends et jours fériés.
C'était mon travail de la semaine, pendant que vous profitiez certainement de Noël et d'une semaine de vacances bien méritée. J'avais un œil sur l'applicatif et le matériel des centaines de clients de mon entreprise.

La nuit

Animal de nuit au visage pâle, c'est une définition populaire du bon gros geek. Il se couche tard, vit bien mieux dans le noir et évite les rayons du soleil tout juste bons à faire des reflets sur les écrans. Loin d'être totalement fausse, c'est une définition du geek détendu, qui fait sa tambouille dans son coin et qui s'organise pour que personne ne le dérange. En astreinte, on est loin du compte. L'admin que je suis était tout sauf détendu. Heureux de vivre de nuit, je l'étais certainement : pas de bruit, un vrai calme olympien dehors, pas de reflet sur l'écran, soit. Mais pas détendu pour un euro. À partir de 20h, on regarde ce téléphone qui va s'allumer et sonner toutes les 45min, ou presque.

La gestion du temps

Comme je n'aime pas vraiment faire les choses à moitié, j'ai commencé cette période d'astreinte par un jour férié : le jour de Noël, ce lundi 25 décembre 2017. Vous savez, ce jour où toute la famille est là, heureuse (ou presque) de se rassembler dans un déballage de bouffe, de bon vin et de cadeaux. J'ai commencé ma journée à 8h, pour la finir à 8h le lendemain. Oui, les jours fériés, c'est cadeau : 24h. Le rythme classique de mon type d'astreinte m'oblige à être disponible de 20h à 8h. Sauf les jours fériés. Et ma première fois fut un jour férié. Joie.
Qu'est-ce que je foutais dans la maison familiale alors que j'étais d'astreinte et que rien ne vaut le calme de mon appartement ? Les fêtes de famille, tout simplement.
Ça m'a sauté à la gueule, d'ailleurs. Sans que personne n'ait pu me l'expliquer, la fréquentation du site d'un client a EX-PLO-SÉE. Un jour de Noël. Et je parle de gens qui vendent du matériel de sport, pas des cochonneries qu'on pourrait s'offrir après avoir reçu le chèque des Grand-Parents. Enfin bref. Là, j'ai été victime de mon inexpérience : j'aurais dû tout de suite contacter le responsable de ce client pour lui dire de gonfler les machines plutôt que d'essayer de les faire tenir en, par exemple, bloquant le crawling des bots. Ça m'aurait épargné des heures de prise de tête et une fatigue qui m'a empêché de tenir toute la nuit. Grosse inexpérience.

L'appel en cas d'incident ou d'impossibilité d'agir

Des centaines de clients au bout de mon clavier, disais-je plus haut, c'est tout autant de cas particuliers que je ne peux pas maîtriser. L'entreprise pour laquelle je travaille n'étant pas un repère d'enfoirés, en cas de souci, j'ai la possibilité, voire l'obligation d'appeler la personne la plus à même de réagir pour rétablir un service qui me laisse sans voix.
Appeler quelqu'un entre 20h et 23h, ça me va. Appeler quelqu'un entre minuit et 6h du matin, c'est au delà de ce que mon éducation considère comme respectable. C'est non, niet, nada, on ne fait pas ça ! Pourtant, ce lundi, j'ai du le faire, à 4h du matin, pour être précis. L'horreur. Et ça ne s'est pas passé qu'une fois cette nuit là.
Heureusement, j'ai réussi à réveiller un bon gars qui m'a tout de suite pris sous son aile pour m'accompagner et me rassurer. Dans les détails, je n'en pouvais plus de tenir à bout de bras un groupe de 6 machines et j'ai décidé d'appeler pour valider une augmentation des ressources. Chose qu'on est censé faire après validation avec le client. Sauf qu'à 4h du matin, c'est délicat. L'histoire révéla qu'une fois mon collègue réveillé, les soucis ont disparu. #Tristitude.
Alors qu'il était encore avec moi, un autre client a vu son infrastructure se casser la figure. Un bordel sans nom, cette infra. À deux, nous n'avons rien pu faire. On a fini par réveiller un troisième larron vers 5h. Il était loin de chez lui, sans ordinateur. Il nous a dépanné pour comprendre le souci : c'était pas nous, l'hébergeur, mais une erreur dans le code du client. La solution ? Devinez ! Nous avons réveillé le CTO d'un grand groupe de mode français, à 5h30 du matin. La situation que je voulais absolument éviter et survenue. J'étais mal.
Vers 6h, après 22h de lutte, mon corps m'a lâché. Je devais tenir jusqu'à 8h, mais pas ce jour là. Le stress m'a tué.

J'ai tenu 22h d'astreinte sur les 24 demandées, mon premier jour, ma première nuit. Mardi, le réveil m'a malheureusement sorti de mon sommeil vers 13h. J'étais HS, à bout, mais les soucis de la nuit étaient résolus. Mes collègues du jour m'avaient sorti du pétrin et je n'avais rien raté entre 6h et 8h. Merci les copains. J'ajoute que le CTO a bougé le cul d'un de ses développeurs pour corriger la situation. Astreinte, responsable du client, responsable du projet côté hébergeur, CTO du client, développeur du client, retour à la normale. Et ben.

La gestion du sommeil

On ne sait jamais ce qui peut arriver. Jamais. Les histoires que je relate dans le paragraphe précédent, jamais je n'aurais imaginé ça possible. On m'avait dit que le jour de Noël, on s’ennuyait. La belle affaire.

12h, c'est long, très long et l'astreinte a deux possibilités :
  • Vivre sa vie normale en journée et se laisser réveiller par les alertes/incidents.
  • Se décaler complètement en dormant toute la journée et vivant la nuit.
Vous l'avez lu un peu plus haut : pour les fêtes de fin d'année et la famille, il était hors de question que je me décale complètement. J'ai donc choisi de tenter l'expérience skipper : essayer de dormir au maximum entre chaque forte vague.
Confiant, j'étais, comme dirait le petit gars vert de chez Disney. Sauf que mon cerveau m'a empêché de faire ce que je voulais. Allongé dans mon lit, il m'était impossible de dormir. La peur d'être dérangé par un incident qui me forcerait à dégainer le téléphone m'a complètement bloqué. On ne grappille pas quelques heures de sommeil comme ça, sur un claquement de doigts et sous une couverture chaude. Non. Il faut avoir confiance en soi pour se laisser emporter par le sommeil alors que tout est organisé pour l'empêcher.

Bref, la première période d'astreinte fut un cauchemar. J'ai mieux supporté la suite, mais quand même. Vendredi, 8h, je terminais ma dernière nuit : j'étais sauvé, enfin sorti de ce jeu infernal qui te réveille quand tu veux dormir.
Je n'ai pas envie de faire la liste des choses qui me sont arrivées au cours de cette semaine. La grande majorité de mes interventions se sont révélées sans grand intérêt mais bien assez régulières pour empêcher plus de 60min de sommeil d'affilé.

Il ne me reste plus qu'à attendre mon week-end d'astreinte. Une terreur reconnue de tous. Courage, moi.

15 commentaires

#1  - Cascador a dit :

Yo,

Merci pour le retour d'XP. Je n'ai jamais fait d'astreinte et je me suis toujours démerdé pour ne pas avoir à en faire en choisissant le job, pas de regret à te lire lol.

Tcho !

Répondre
#2  - Roka a dit :

Un article très intéressant sur quelque chose que j'ignorais totalement. C'est vrai que vu de l'extérieur on se dit que nos sites web fonctionnent... parce qu'ils fonctionnent. Merci pour cette découerte

Répondre
#3  - Didier (iceman) a dit :

C'est vrai qu'on n'y pense pas à tout ça et à côté, une garde de caserne un 25 décembre, c'est cool. Courage, toi.

Répondre
#4  - Bladou a dit :

Hello,

Je fais des astreintes depuis plus de 2 ans maintenant et, malheureusement, c'est souvent comme cela que ça se passe (dans mon cas personnel en tout cas :)). Merci pour ton retour d'expérience très intéressant. Courage, toi.

Répondre
#5  - Heres a dit :

Salut,
L'astreinte a un bel effet sur celui qui la pratique :
savoir poser les bonnes questions pour être tranquille la nuit

Cà fait également monter son XP en zenitude et apprend vite comment on prend du recul sur un problème.

Mais malheureusement, le cycle de sommeil prend cher

Répondre
#6  - dada a dit :

Hey,

C'est certain que c'est formateur, mais que c'est chiant ! Le cerveau apprend vite à réagir quand il veut retourner se coucher alors qu'une contrainte l'en empêche :o)

Répondre
#7  - Benjamin a dit :

Salut Dadall,
Merci pour ce retour d'expérience. Ceux qui ont la chance de ne pas avoir à faire d'astreinte (c'est mon cas) apprécient cela encore davantage en lisant ces lignes !
Tu as le choix de faire (ou pas) des astreintes ?

Répondre
#8  - dada a dit :

Hey,

De rien pour le retour d'expérience. C'est un sujet qui n'est pas souvent raconté et j'avais envie de décompresser en décrivant ma première aventure.

Sinon, pas vraiment de choix, c'est contractuel. Le rythme est tout de même assez lent : une fois par tranche de 6 mois, environ. À condition que les effectifs de l'entreprise le permettent. En gros, c'est chacun à notre tour.

Répondre
#9  - PPmarcel a dit :

Intéressant comme retour ! Tu es tombé sur l'un des pires cas : le problème de code auquel tu ne peux rien.

Pour mon cas la pire astreinte ça été un site qui tombait régulièrement par engorgement de connexions MySQL à répétition et sans raison apparente. J'ai passé le week-end à relancer le service et j'ai fini par monter un petit script le dimanche histoire de dormir un peu.

Le fin mot de l'histoire c'était un bot qui spammait le site de commentaires ... difficile à voir quand tu es ops et débutant.

Mais ne t'inquiètes pas, l'expérience vient vite et on devient rapidement serein. Si ta boite homogénéise les technos de ses clients (vous vendez de l'infogérance ?), il y a des chances que les incidents se ressemblent et nécessitent grosso modo les mêmes actions de résolution. :)

Répondre
#10  - nico a dit :

J'ai fait de l'astreinte IT pendant 9 ans: Dans la sécurité et dans l'iptv.
Les + c'est qu'en règle générale ça permet de rapporter beaucoup d'argent (entre 250 et 500€ /mois en fonction des inter) et des XP ce dont tu as besoin quand tu débutes. le - c'est que c'est très contraignant et au début très stressant comme tu l'as vécu.

Ça coûte cher à l'entreprise si plus d'une ou 2 inter/nuit, ça n'est clairement plus rentable (vu que tu déclares tes heures d'activité de nuit) et c'est qu'il y a un problème sur la chaîne de prod à régler impérativement au risque de fatiguer et démotiver les équipes.

Avec du recul, c'est formateur, tu finis par relativiser, tu gagnes en confiance mais j'imagine mal une vie à faire des astreintes à moins qu'elles soient suffisamment espacée (5 semaines mini) et qu'elles soient là pour traiter l'urgence et non pas faire tenir des pf déjà défectueuse.


Pour le reste, tu finis par avoir ta routine d'astreinte:
appel client -> connexion -> enregistrement du ticket -> primo analyse -> prise de décision -> stabilisation de la prod -> màj du ticket -> dodo -> go to "appel client"

Le forensicn'est pas de l'ordre de l'astreinte. L'objectif de l'astreinte est de stabiliser le service jusqu'à reprise de l'activité le lendemain.

Répondre
#11  - chdorb a dit :

Il y a astreinte et astreinte, et j'ai fait les deux.
L'astreinte «normale», celle où tout est mis en œuvre pour que ça fonctionne correctement, avec quelqu'un qui soit disponible au cas où, rarement, il faille intervenir en urgence; tu es disponible et, de temps en temps, il y a un incident (inattendu) à régler.
Ce qu'il t'arrive, c'est l'astreinte «foutage de gueule», on sait très bien que ça va appeler, et on espère rentrer dans ses frais avec l'astreinte pour éviter de payer des postes de nuit. Et effectivement c'est très difficile. Là tu es pris entre ton travail normal, la journée, plus ton travail de nuit déguisé, ce sont les pires conditions que l'on peut rencontrer dans notre métier. Ça bousille les gens.
Un conseil: l'asteinte ça peut dépanner ton employeur et arrondir les fins de mois. Si c'est pour connaître des périodes aussi merdiques, ça ne vaut certainement pas la peine, arrête tout de suite.

Répondre
#12  - dada a dit :

J'ai oublié de précisé que je ne travaille pas de jour quand je suis d'astreinte. Heureusement. Ce n'est pas vraiment d'arrondir les fins de mois de mon employeur, qui n'en a pas du tout besoin.

Répondre
#13  - judu a dit :

On en parlait dans ma boite après avoir lu ton article. (On est dans l'hébergement aussi, mais nos nuits sont beaucoup beaucoup plus calmes. On a tout automatisé, donc on ne se réveille que quand un serveur physique se vautre sérieusement.)

Bref, on se disait : quid d'avoir plusieurs personnes d'astreinte en même temps mais qui se partagent l'infra ? Ça ferait moins d'incidents à traiter, non ? Quitte à être d'astreinte tous les deux mois.

Répondre
#14  - dada a dit :

On fait de l’infogérance pour un gros paquet de clients, qui a explosé ces derniers mois. C'est une des raisons qui fait que l'astreinte est difficile. L'organisation actuelle n'est plus vraiment efficace et la modifier prendra un peu de temps. C'est en cours, d'ailleurs.
C'est difficile de mettre plusieurs personnes d'astreinte : comment gérer les différentes alertes, à qui les attribuer, comment être certain que les deux personnes ne vont pas se marcher dessus en agissant sur le même problème, et tout casser ?

J'ai plus tendance à penser que les commerciaux ramènent des clients relous, un peu branquignoles, et que c'est de là que vient le vrai problème.

Toujours la faute du client :p

Répondre
#15  - utu a dit :

Ha ha, voici une différence fondamentale entre un sysadmin et beaucoup d'autres jobs IT: tu te tape l'astreinte.

J'ai fait ça 3 ans mais dans une structure plus petite avec une infra mieux organisée cependant on se faisait souvent réveiller par des warning (genre micro coupure de WAN) mais globalement c'était rare d'avoir de vraies pannes, et encore moins de grosses catastrophes (même si c'est arrivé). Par contre l'astreinte reste une charge car tu es prisonnier, tu dois avoir ton kit à proximité (tel+pc) et naturellement tu peux pas faire certaines activités (cinéma) ou difficilement (sport, tu dois te trimbaler le tel et rester à proximité de chez toi).

Si ce genre de nuit de merde se prolonge n'hésite pas à le dire à ton responsable, parfois on croit que certaines choses sont une évidence mais il ne se rend peut-être pas compte. Bon après je sais que c'est compliqué dans l'infogérence, le client n'a pas forcément envie de payer pour stabiliser son infra car l'astreinte ça le concerne pas.

En tous cas j'espère que tu es correctement compensé financièrement par ta boite. A voir selon ta convention (syntec ?) mais normalement tu es compensé pour la période d'astreinte ET compensé pour tes interventions (ce sont des heures ouvrées).

A plus et bonne chance.

Répondre

Fil RSS des commentaires de cet article

Écrire un commentaire

Quelle est la quatrième lettre du mot ejieo ?