Blog de dada

DevOps, bidouilleur et routard plein de logiciels libres

Archives 2019

Ajuster le Nextcloud de son Turris Mox

Rédigé par dada / 12 août 2019 / 3 commentaires



Un Turris Mox ?

Pour celles et ceux qui ne sauraient pas ce que c'est, je vous redirige par ici. Je vous balance directement le lien vers la description de sa version cloud parce que c'est celle que j'ai prise. L'objectif ? Arrêter d'héberger mes données sur des serveurs tiers et revenir à un vrai auto-hébergement pour toute ma partie données perso. Ce blog et les autres outils resterons dans les nuages.

Nextcloud

L'intégration de Nextcloud dans le TurrisOS, la variante d'OpenWRT présente dans le Mox, ne vient pas avec toutes les petites configurations qui vont bien. Voici une rapide liste des choses à modifier ou corriger pour que tout se passe au mieux.

Remarque

Notez que le Mox est un petit appareil aux performances modestes. Il comblera sans trop de problème mes besoins perso, en tant qu'utilisateur unique de mon instance, mais n'espérez réussir à gérer convenablement plusieurs utilisateurs actifs en même temps.

Les modifications

  • Variables d'environnement 
vim /etc/php7-fpm.d/www.conf
Vous y trouverez ces variables commentées, enlevez le point-virgule qui traîne devant : 
env[HOSTNAME] = $HOSTNAME
env[PATH] = /usr/local/bin:/usr/bin:/bin
env[TMP] = /tmp
env[TMPDIR] = /tmp
env[TEMP] = /tmp
  • PHP Memory limit
La configuration de PHP-FPM vient avec un memory_limit de 384M quand Nextcloud en réclame 512 pour bien fonctionner. Pour corriger le tire, allez modifier la valeur dans /etc/php.ini pour remplacer 384 par 512 :
memory_limit = 512M
Et redémarrer le PHP-FPM :
/etc/init.d/php7-fpm restart
  • Opcache
Ajoutez la conf Opcache qui va bien dans /etc/php.ini :
opcache.enable=1
opcache.interned_strings_buffer=8
opcache.max_accelerated_files=10000
opcache.memory_consumption=128
opcache.save_comments=1
opcache.revalidate_freq=1
  • Lighttpd
Le serveur web choisi par TurrisOS est Lighttpd. Sachez qu'il est possible d'installer Nginx pour le remplacer mais comme c'est la configuration par défaut, j'ai décidé de le laisser là.

Pour corriger les erreurs de well-known, ajouter les lignes qui manquent dans /etc/lighttpd/conf.d/nextcloud.conf :
alias.url += ( "/nextcloud" => "/srv/www/nextcloud" )

$HTTP["url"] =~ "^/nextcloud/(build|tests|config|lib|3rdparty|templates|data)" {
     url.access-deny = ("")
}

# Redirect Cal/CardDAV requests to Nextcloud endpoint:
url.redirect = (
    "^/.well-known/caldav"  => "/nextcloud/remote.php/dav",
    "^/.well-known/carddav" => "/nextcloud/remote.php/dav",
    "^/.well-known/webfinger" => "/nextcloud/public.php?service=webfinger"

)
Et redémarrez le service :
/etc/init.d/lighttpd restart
  • Memcache
Pour le moment, je n'ai pas trouvé comment faire pour mettre en place un système de cache honorable pour améliorer les performances générales de Nextcloud. Il n'y a pas, dans les dépôts officiels de TurrisOS, de paquet php-redis ou encore php-memcached. Du coup, pas de cache.


Dons : Diffu et Mobilizon

Rédigé par dada / 05 juillet 2019 / Aucun commentaire


Il est clair que les temps sont durs pour un paquet d'entre nous. C'est un fait. Ça me gêne donc un peu de parler des dons modestes que je viens de faire. Malgré ça, l'envie de soutenir ces deux projets me pousse à griffonner quelques lignes dans ce blog. Qui sait ? Vous connaissez peut-être des gens avec quelques euros à offrir à la communauté.

Mobilizon


Quand ce billet sera publié, il restera 4 jours pour continuer à soutenir ce nouveau projet de Framasoft. Après Peertube, les libristes français se secouent pour nous pondre une solution fédérée à tous les outils de gestion d'événement que l'on croise trop souvent. Ils espéraient atteindre les 50 000€. Finalement, c'est plus proche des 60 000€ qu'ils clôtureront la campagne. Bien joué, les amis !

Diffu


Ce projet vient de lancer une campagne de financement pour espérer atteindre les 7 000€. Il a pour but de réaliser une plate-forme de blog/rédaction fédérée que je trouve à la fois belle et bien pensée. Il sera évidemment compatible avec les Plume, Write.freely et autre. C'est l'entreprise libre Befox qui est en charge de sa réalisation. Bref, j'aime l'idée, le projet et l'esprit portés par l'équipe : j'ai donné.
Enfin voilà. Je tenais à parler de tout ça. C'est fait. Le fédiverse s'étoffe : plus on sera de fous, plus nous seront fous ! Aidez ce beau monde et, surtout, rejoignez-nous !

Des bisous

HS : Comment sauver l’homéopathie ?

Rédigé par dada / 26 juin 2019 / Aucun commentaire


En attendant de vous pondre un article autour de Rancher, l’orchestrateur de Rancher Labs, je vous propose un gros hors-sujet : Comment sauver l’homéopathie ?

C'est une excellente vidéo de Mr Sam, un vidéaste sceptique qui publie à la fois sur Youtube et sur Peertube via l'incroyable instance Skeptikon.

Bon visionnage !

Loki : jouer avec ses logs dans Grafana

Rédigé par dada / 18 juin 2019 / 7 commentaires



Le 3 juin dernier est sortie la première version beta de Loki : la v0.1.0. J'attendais cette première version depuis un bon moment ! Depuis le FOSDEM, pour être précis. Grand fan de la stack Prometheus / Grafana, je bavais d'impatience de pouvoir mettre les mains dans un système d'agrégation de logs directement dans Grafana. On y est alors regardons comment ça se passe !

Loki

Loki se comporte comme Prometheus : c'est un logiciel que vous allez installer sur votre machine qui sert pour le monitoring de votre infrastructure et le laisser vivre sa vie. Comme son mentor, ou presque, il va falloir lui associer des exporters pour le gaver de données : Promtail.

Installation

Pour le moment, je me sers de Loki dans un conteneur docker, parce que c'est marrant et parce que voilà. Pour le faire tourner comme j'en ai envie, j'ai besoin de deux fichiers :

- le Dockerfile 
FROM grafana/loki

COPY local-config.yaml /etc/loki/local-config.yaml

CMD ["/bin/loki", "-config.file=/etc/loki/local-config.yaml"]
- Les conf dans local-config.yaml :
auth_enabled: false

server:
  http_listen_port: 3100

ingester:
  lifecycler:
    address: 127.0.0.1
    ring:
      kvstore:
        store: inmemory
      replication_factor: 1
  chunk_idle_period: 15m

schema_config:
  configs:
  - from: 2018-04-15
    store: boltdb
    object_store: filesystem
    schema: v9
    index:
      prefix: index_
      period: 168h

storage_config:
  boltdb:
    directory: /tmp/loki/index

  filesystem:
    directory: /tmp/loki/chunks

limits_config:
  enforce_metric_name: false
  reject_old_samples: true
  reject_old_samples_max_age: 168h

chunk_store_config:
  max_look_back_period: 0

table_manager:
  chunk_tables_provisioning:
    inactive_read_throughput: 0
    inactive_write_throughput: 0
    provisioned_read_throughput: 0
    provisioned_write_throughput: 0
  index_tables_provisioning:
    inactive_read_throughput: 0
    inactive_write_throughput: 0
    provisioned_read_throughput: 0
    provisioned_write_throughput: 0
  retention_deletes_enabled: false
  retention_period: 0

Il n'y a pas grand-chose à raconter sur ces deux fichiers. J'ai volontairement réduit le Dockerfile au strict minimum puisque je ne m'en sers que pour copier la configuration de Loki directement dans le conteneur, histoire de réduire la liste des paramètres à son lancement.

Exécution

Pour lancer Loki, on va taper ça dans son terminal :
docker run -d -p 3100:3100 loki
Si tout s'est bien passé, vous devriez avoir un conteneur qui vous répond des politesses :
root@monito:~# curl 127.0.0.1:3100
404 page not found
C'est normal. Par contre, si vous avez autre chose, c'est pas normal.

Maintenant que Loki tourne comme un grand, il faut bien comprendre qu'il ne sert à rien sans son comparse Promtail.

Promtail

Installation

Pour installer Promtail, on va faire exactement comme avec Loki : un conteneur simple avec un peu plus de paramètres au lancement.

- Le Dockerfile :
FROM grafana/promtail

COPY docker-config.yaml /etc/promtail/docker-config.yaml

ENTRYPOINT ["/usr/bin/promtail", "-config.file=/etc/promtail/docker-config.yaml"]
- La conf dans docker-config.yaml :
server:
  http_listen_port: 9080
  grpc_listen_port: 0

positions:
  filename: /tmp/positions.yaml

clients:
  - url: http://IP_SRV_LOKI:3100/api/prom/push

scrape_configs:
- job_name: system
  static_configs:
  - targets:
      - localhost
    labels:
      job: varlogs
      __path__: /var/log/*log
Si vous avez le coup d’œil, vous devriez avoir remarqué que cette configuration ressemble furieusement à celle de Prometheus : surtout la partie scrape_configs. On y retrouve la conf des jobs, les targets, labels, etc.
Remarquez qu'ici, vous devez remplacer IP_SRV_LOKI par l'IP du serveur sur lequel vous avez effectivement lancé Loki.
Ici, Promtail va aller gratter tous les fichiers locaux se terminant par log dans le répertoire /var/log/ le tout en les classant dans le job system avec le label varlogs.
Locaux, vous dites ? Mais nous sommes dans un conteneur : par quelle magie est-ce possible ? En jonglant avec les volumes !

Exécution

On build le conteneur : 
docker build -t promtail .
Dans ce cas simple, on peut lancer Promtail comme ceci :
docker run -d -p 9095:9095  -v /var/log:/var/log promtail
Voyez qu'on monte les logs locaux de la machine dans le conteneur, les rendant accessibles à Promtail. N'hésitez pas à jouer de exec -it pour vérifier qu'ils sont bien là.

On se retrouve avec un Loki capable d'être gavé et d'un Promtail qui, pour le coup, gave Loki. Chouette.

Grafana

Maintenant que les bases sont en place, allons dire à Grafana de nous afficher tout ça. Si, comme moi, Grafana tourne sur la même machine que Loki, ça va être facile. Il faut ajouter un nouveau Data Source local : http://localhost:3100.

Une fois que c'est fait, foncez jouer dans la rubrique Explore et faites votre sélection ! Bon, pour le moment, vous n'avez que les logs system d'une seule machine, mais c'est déjà ça. Si je vous montre le graphique des logs Nginx de ma machine principale, vous avez ce genre de chose :


Si vous affichez cette capture d'écran en grand, vous devriez bien remarquer le manque de sérieux dans quelques-unes de mes configurations (rien de grave, rassurez-vous). On y voit du gris, du vert et du rouge.

Non, vous n'aurez pas les logs à proprement parler mais faites moi confiance, ils s'entassent en dessous.

L'affichage des logs est manipulable avec le Log Stream Selector. Ce machin permet de filtrer l'affichage simplement. Dans mon exemple, remarquez que je sélectionne le job nginxlogs et le hostname de ma machine.
Vous pouvez aussi filtrer le contenu même des logs, le texte en gros, mais je vais vous laisser chercher par vous-même.

Si vous avez vraiment le coup d’œil, dans la configuration de Promtail que je vous propose juste au dessus, il n'y a pas de hostname, ni de log Nginx d'ailleurs.

Pour que ça marche chez vous, vous devez déjà monter le répertoire de log de Nginx dans le conteneur et utiliser cette configuration :
- job_name: nginx
  static_configs:
  - targets:
      - localhost
    labels:
      job: nginxlogs
      __path__: /var/log/nginx/*log
      hostname: b2d
Vous pouvez l'ajouter à la suite de ce que je propose déjà, ça vous fera déjà plus de logs à parcourir !

Bref. Afficher des logs dans Grafana, c'est chouette, mais Loki ne permet heureusement pas que ça sinon il n'y aurait aucun intérêt à parler d'un truc pas encore terminé.

Loki et Prometheus

Avoir un Loki en parallèle d'un Prometheus, ça permet de coupler la puissance des exporters Prometheus avec les logs pompés par Loki. Et ça, c'est beau ! Comment ? En cliquant sur "split" pour partager l'écran de Grafana en choisissant Loki d'un côté et Prometheus de l'autre.

En image ça donne quelque chose comme ça :


Ce qu'on y voit ? La corrélation entre les logs Nginx et le load de la machine. Bon, certes, ce n'est pas foufou mais je n'avais pas d'exemple super pertinent à vous montrer. Quoi qu'il en soit, cette combinaison Loki/Prometheus vous permet de mettre en image ce que vous voulez et ainsi réagir comme il faut, le tout avec un peu de PromQL et des filtres.

Deux yeux, un affichage unifié, c'est franchement cool. Et je ne vous parle pas encore de l'extase si vous avez bien fait l'effort de faire correspondre les labels entre les deux outils...!

Perso, je trouve ça absolument génial et j'ai hâte de continuer à approfondir ma maîtrise de ces beautés !

Le Fédiverse pour les Nuls

Rédigé par dada / 10 mai 2019 / 8 commentaires



Le Fédiverse ?

Fédiverse est un mot-valise issu de l'association de deux idées : fédération et univers. On imagine donc que Le Fédiverse est une fédération regroupant un certain nombre de services. Vous trouvez cette histoire de fédération un peu vague ? Pourtant, vous en connaissez, des grandes fédérations : les États-Unis, la Suisse ou encore l'Inde. Ces pays sont composés de plus petites structures, que ce soit des États pour les USA et l'Inde ou des Cantons pour la Suisse. À l'intérieur de l'État fédéral, ces petites structures se mettent d'accord pour vivre ensemble malgré leurs différences et particularismes.

Comment ?

Si nous filons cette histoire de Fédération, il faut trouver qui est l'État fédéral et quelles en sont les petites structures qui le composent, non ? Allons-y !

L'État fédéral

Pas d'État fédéral chez nous, juste une histoire de langue commune : l'ActivityPub. Ce nom étrange désigne le moyen de communication commun utilisé par les petites structures du Fédiverse. Les amerloques parlent anglais, les membres du Fédiverse parlent ActivityPub. Les membres de la fédération se parlent en utilisant ce truc que les techniciens n'appellent pas langue mais API.

Les petites structures

Le Fédiverse est composé d'une multitude de serveurs. Ces serveurs sont des ordinateurs dédiés à une simple tâche : faire tourner un logiciel parlant l'ActivityPub. Ces logiciels peuvent être Mastodon, Pixelfed, Peertube ou encore Prismo. Ce faisant, ils deviennent ce qu'on appelle des instances. L'appellation instance recouvre ces histoires de serveur et de logiciel.

Une instance ?

Ces instances sont les petits bouts de l'État fédéral. Elles sont indépendantes tout en étant d'accord pour fonctionner sur les principes communs qu'établit ActivityPub.

Une instance est principalement composée de 3 choses :
  • un nom
  • un logiciel du Fédiverse
  • une équipe de modération
Dans le cas de mon instance Mastodon, elle s'appelle diaspodon.fr, elle fait tourner Mastodon et nous sommes deux à la gérer :
Cela suffit à en faire un bout du Fédiverse. En vous créant un compte à travers diaspodon.fr, vous entrez dans le monde merveilleux du Fédiverse.

Le fonctionnement

Pour comprendre le fonctionnement du Fédiverse, il faut pouvoir le comparer à quelque chose. On va s'amuser à comparer la vie d'un message sur les vieux réseaux (Facebook, Twitter, Instagram, etc) et dans le Fédiverse.

Un message

Chez les anciens, voici en gros, ce qui se passe quand vous publiez un message :
  1. Vous publiez un message
  2. Il est analysé
  3. Sa pertinence est évaluée
  4. Il sera affiché en fonction de sa pertinence
Dans cet ancien monde, un message n'est jamais affiché sous le nez de la totalité des utilisateurs. Il passera systématiquement par les fourches caudines d'un algorithme avant de débarquer quelque part. Certains le verront dans leur timeline, d'autres non.

Un message envoyé dans le Fédiverse n'est pas soumis à l'étape pertinence. Un message publié est un message publié pour l'intégralité des utilisateurs connus de votre instance. À condition d'avoir décidé de le partager publiquement. Si c'est privé, c'est privé.

La découverte

Les utilisateurs connus, vous dites ? Oui. Le Fédiverse étant un réseau décentralisé et en constante croissance, il vous est techniquement difficile de toucher tout le monde. Vous allez arroser large, rassurez-vous. Point de pertinence, certes, mais pas d'interaction systématique entre tous les utilisateurs. Je m'explique :
  • Une instance connaît naturellement tous ses utilisateurs
  • Un utilisateur connaît tous les utilisateurs de son instance
Pour interagir avec les membres d'une autre instance, il faut fatalement les connaître.

Une façon simple de comprendre cette notion est d'imaginer le Fédiverse comme un monde à explorer dans lequel chaque utilisateur peut découvrir un bout du globe et ainsi le partager à ses amis. Plus les gens échangent entre eux, plus la carte est précise. Du bouche à oreille, en gros.
Pour les joueurs de RTS en multi, on peut expliquer ça comme une sorte de brouillard de guerre qui disparaît au fur et à mesure que les copains avancent leurs unités.

Local, global.

Par exemple, dans Mastodon, cette histoire est illustrée par 2 notions :
  • le fil public local qui regroupe les messages des utilisateurs de votre instance.
  • la fil public global qui regroupe les messages des comptes découverts par les utilisateurs de votre instance.
Ça peut paraître compliqué à cerner mais ces notions n'ont d'intérêt que si vous décidez de créer votre propre instance. En en rejoignant une existante, vous n'aurez pas grand chose à faire. Au pire, vous vous laissez porter par son activité, au mieux, vous enfilez le chapeau d'Indiana Jones et tentez de découvrir les rares comptes qui vous échappent.

Mes comptes dans le Fédiverse

Une erreur à ne pas commettre serait de croire que tous les services du Fédiverse sont accessibles depuis un seul et unique compte.
Si vous voulez vous servir de Mastodon, il vous faudra un compte Mastodon, si vous voulez publier des photos dans Pixelfed, il vous faudra un compte Pixelfed, etc.
Par contre, les interactions ne demandent pas d'avoir un compte dans chacun des services. Voyez par vous-même en allant lire les commentaires de cette vidéo postée dans une instance Peertube : les commentaires proviennent de plusieurs endroits différents (Mastodon, Peertube, etc).

C'est là qu'on découvre le plaisir d'être dans ce monde merveilleux : imaginez une seconde pouvoir commenter une vidéo Youtube depuis votre compte Facebook ou Twitter ? Chez eux, c'est mort, chez nous, c'est naturel.

Les poids lourds ?

Maintenant que vous voyez un peu à quoi correspond le Fédiverse, parlons rapidement des poids lourds. Je vais vous faire ma liste des services qui m'intéressent. Il y en a plein d'autre mais comme je ne m'en sers pas, je ne vais pas en parler.

Mastodon

Masto, c'est le patron du Fédiverse. Vous en avez sans doute entendu parler puisqu'il revient régulièrement dans la bouche des journalistes qui commentent l'actualité calamiteuse autour de Facebook ou de Twitter. C'est une alternative à Twitter fiable, efficace et qui fait du bien à votre vie privée.

Pixelfed

Lui, c'est encore un petit jeune. Même s'il a fêté sa première bougie récemment, c'est une belle alternative à FacebookInstagram. Tout n'est pas encore parfait, mais comme j'en suis fan, je vous en parle.

Peertube

Le patron francophone du Fédiverse. C'est une superbe alternative à Youtube, de temps en temps utilisé par des youtubeurs quand une vidéo est éjectée de Youtube, mais pas seulement. Mention spéciale pour les instances de Datagueule, de Thinkerview ou encore Skeptikon.

Les limites

Le Fédiverse est un monde merveilleux dans lequel beaucoup de choses sont permises, mais pas toutes. Mastodon est actuellement le cœur de ce monde. De fait, beaucoup de services s'articulent autour de lui. Ils restent indépendants, il ne faut pas en douter, mais seul Mastodon permet actuellement d'interagir avec tout ce beau monde.

Ci-dessous, un même message Pixelfed vu chez Mastodon et chez Pixelfed.
    

Dans ce cas, l'image provenant de Pixelfed arrive bien dans Mastodon. L'inverse n'est pas vrai : une image postée dans Mastodon n'arrivera pas dans Pixelfed. De même que vous ne pourrez pas commenter un message provenant de Mastodon avec votre compte Prismo.

Comment y entrer ?

Bref. Ces petites exceptions sont assez nombreuses. Votre participation au Fédiverse sera conditionnée par l'activité que vous allez y avoir. Partagez des photos ? Mastodon ou Pixelfed ! Publiez des vidéos ? Peertube ! Prenez bien le temps de réfléchir à ce que vous voulez y faire.

Prenez aussi le temps de réfléchir à la situation de l'instance que vous allez choisir : la bonne idée est de choisir des instances gérées par des associations connues ou par des personnes qui sont actives dans le milieu.
Rien ne serait plus frustrant que d'arriver quelque par pour voir le serveur et son compte disparaître sans raison quelque semaine plus tard.

Je m'arrête là. Il y aurait encore beaucoup de choses à dire sur la nature fédérée du Fédiverse mais ce billet deviendrait trop long. Je ne peux que vous encourager à venir partager des infos, des photos ou encore des idées dans le Fédiverse. On n'a plus le temps de tout lire, mais on en veut encore.

Des bisous

Fil RSS des articles