You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.

1259 lines
34 KiB

  1. #+SETUPFILE: /home/vaab/dev/el/org-html-themes/setup/theme-readtheorg.setup
  2. #+PROPERTY: Effort_ALL 0 0:30 1:00 2:00 0.5d 1d 1.5d 2d 3d 4d 5d
  3. #+PROPERTY: Max_effort_ALL 0 0:30 1:00 2:00 0.5d 1d 1.5d 2d 3d 4d 5d
  4. #+PROPERTY: header-args:python :var filename=(buffer-file-name)
  5. #+PROPERTY: header-args:sh :var filename=(buffer-file-name)
  6. #+TODO: TODO WIP BLOCKED POSTPONED | DONE CANCELED
  7. #+LATEX_HEADER: \usepackage[margin=0.5in]{geometry}
  8. #+LaTeX_CLASS: article
  9. #+OPTIONS: H:8 ^:nil prop:("Effort" "Max_effort") tags:not-in-toc
  10. #+COLUMNS: %50ITEM %Effort(Min Effort) %Max_effort(Max Effort)
  11. #+begin_LaTeX
  12. \hypersetup{
  13. linkcolor=blue,
  14. pdfborder={0 0 0 0}
  15. }
  16. #+end_LaTeX
  17. #+TITLE: Architecture 0k.io
  18. #+LATEX: \pagebreak
  19. * Process de déploiement
  20. Description du process de déploiement pour une nouvelle installation
  21. ** Base myc
  22. *** Qu'est ce c'est ?
  23. A partir d'une debian 9 ou debian 10, on peut installer la machine
  24. pour être prête à utiliser un déploiement myc.
  25. Une fois executé, la machine aura toute les deps pour lancer une
  26. commande compose qui fera peut-être appel à des registry de
  27. mycéliandre. Un compose de base est aussi proposé.
  28. *** Déploiement
  29. **** Hôte linux base debian 9 et debian 10
  30. ***** Accès ssh standardisé
  31. Via la commande =0km=, depuis votre poste, permet de standardiser
  32. l'accès avec vos clés SSH, et positionner le nom de domaine si
  33. nécessaire.
  34. #+BEGIN_SRC sh
  35. 0km vps-setup HOST
  36. #+END_SRC
  37. Note: ceci fonctionnera que si vous avez un fichier de configuration
  38. dans =/etc/0km/config.yml= (si vous allez l'utiliser en root) ou dans
  39. =~/.config/0km/config.yml= autrement. Ce fichier doit au moins contenir
  40. une clé ssh (ou plusieurs) ainsi:
  41. #+begin_src yaml
  42. ssh-access:
  43. public-keys:
  44. - ssh-rsa AAAAB3NzaC1yc2EAAAAD...qGy20KlAOGPf nom_clef
  45. #+end_src
  46. ***** Déploiement de la solution pour compose
  47. Depuis le VPS, en root:
  48. #+BEGIN_SRC sh
  49. export WITHOUT_DOCKER_CLEAN=1 ## only if you want to remove docker clean from cron
  50. wget https://justodooit.myceliandre.fr/r/deploy -qO - | bash
  51. #+END_SRC
  52. Si vous souhaitez positionner le nom de domaine:
  53. #+BEGIN_SRC sh
  54. export WITHOUT_DOCKER_CLEAN=1 ## only if you want to remove docker clean from cron
  55. export DOMAIN=myhost.com
  56. wget https://justodooit.myceliandre.fr/r/deploy -qO - | bash
  57. #+END_SRC
  58. ***** Déploiement de la solution pour mailcow
  59. ****** Sur un vps sans mailcow de pre-installé
  60. #+BEGIN_SRC sh
  61. export WITHOUT_DOCKER_CLEAN=1 ## only if you want to remove docker clean from cron
  62. wget https://justodooit.myceliandre.fr/r/deploy -qO - | bash
  63. #+END_SRC
  64. ****** Sur un vps avec mailcow de pre-installé
  65. #+BEGIN_SRC sh
  66. export WITHOUT_DOCKER_CLEAN=1 ## only if you want to remove docker clean from cron
  67. export NO_DOCKER_RESTART=1 ## Can use that only if mailcow is pre-existing
  68. wget https://justodooit.myceliandre.fr/r/deploy -qO - | bash
  69. #+END_SRC
  70. **** Hôte macosx
  71. - install bash, docker
  72. - Uncheck "Securely store docker logins in macOS keychain"
  73. *** Ce que cela fait
  74. **** Mettre la machine en état charm-ready
  75. - installation du strict minimu pour lancer les =charms=
  76. - téléchargement de la dernière version des =0k-charms= (collection
  77. de recettes d'installation et de gestion de docker)
  78. **** Mettre la machine en état compose ready (notre docker qui va bien)
  79. via le lancement du charm =docker-host= qui installe:
  80. - docker, docker-compose, compose avec des versions qui vont bien
  81. - paquets maisons (kal-scripts, 0k-manage, 0k-pgm, lxc-scripts, 0k-docker)
  82. - accès pour le repository deb de kalysto.org
  83. - clé SSH pour repos git.kal.fr
  84. - login sur le docker registry docker.0k.io
  85. **** Commandes spécifique à myc
  86. - login sur le registry myc
  87. - téléchargement du compose de base dans =/opt/apps/myc-deploy=
  88. ** Modification du compose
  89. *** Qu'est-ce que c'est ?
  90. Il y a des update client à faire souvent sur le compose. Cette étape
  91. doit être externalisée au plus possible, sont consigné ici ce qu'il
  92. faut encore faire à la main.
  93. *** Commande
  94. **** Création de clé OVH pour letsencrypt/lexicon
  95. Ceci n'est nécessaire qu'en cas d'utilisation de la méthode DNS
  96. pour valider la possession du domaine auprès de letsencrypt.
  97. #+BEGIN_SRC shell
  98. APPLICATION_KEY=XXXXXXXXXXXXXXXXX
  99. REDIR_WEBSITE=https://0k.io
  100. req=$(cat <<EOF
  101. {
  102. "accessRules": [
  103. {
  104. "method": "GET",
  105. "path": "/*"
  106. },
  107. {
  108. "method": "POST",
  109. "path": "/*"
  110. },
  111. {
  112. "method": "PUT",
  113. "path": "/*"
  114. },
  115. {
  116. "method": "DELETE",
  117. "path": "/*"
  118. }
  119. ],
  120. "redirection":"$REDIR_WEBSITE"
  121. }
  122. EOF
  123. )
  124. res=$(curl -X POST \
  125. -H "X-Ovh-Application: ${APPLICATION_KEY}" \
  126. -H "Content-type: application/json" \
  127. https://eu.api.ovh.com/1.0/auth/credential \
  128. -d "$req")
  129. consumer_key=$(echo "$res" | jq -r .consumerKey)
  130. validation_url=$(echo "$res" | jq -r .validationUrl)
  131. echo "Visit: $validation_url"
  132. echo "ConsumerKey: $consumer_key"
  133. #+END_SRC
  134. Il s'agit alors de remplir le compose.yml
  135. #+BEGIN_SRC yaml
  136. ovh:
  137. ## see: https://api.ovh.com/g934.first_step_with_api
  138. entrypoint: ovh-eu
  139. application:
  140. key: XXXXXXXXXXXXXXXX
  141. secret: YYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYY
  142. consumer_key: ZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZ
  143. #+END_SRC
  144. Puis de valider que tout est ok:
  145. #+BEGIN_SRC shell
  146. check-compose-ovh-credentials compose.yml
  147. #+END_SRC
  148. ** Lancement/Deploy de service odoo
  149. *** Qu'est ce que c'est ?
  150. A partir d'une base myc, cette commande permet d'envoyer la
  151. construction et l'assemblage de tous les services décrit dans le
  152. =compose.yml= fourni par défaut.
  153. *** commandes
  154. #+BEGIN_SRC sh
  155. cd /opt/apps/myc-deploy
  156. compose --debug up odoo frontend
  157. #+END_SRC
  158. De manière générale:
  159. #+BEGIN_SRC sh
  160. compose [--debug] up [SERVICES...]
  161. #+END_SRC
  162. *** Ce que ça fait
  163. Les charms vont s'occuper de séparer la config des
  164. donnée, de tout stocker dans =/srv/datastore=, il vont
  165. s'occuper de la petite maintenance:
  166. - le charm postgres (qui est une dépendance du service odoo) va créer
  167. un mot de passe et le filer à odoo
  168. - le charm apache (qui implémente le service frontend)
  169. va créer les fichiers de conf apache pour déclarer un virtualhost
  170. et mettre les clés SSL s'il y a lieu.
  171. * Gestion
  172. Description des process de gestion d'une installation existante.
  173. ** Connection aux serveurs
  174. *** installation commande =st=
  175. Le mieux est d'utiliser la commande =st= que l'on peut installer ainsi
  176. sur un poste linux ayant =apt=:
  177. Se mettre en =root=:
  178. #+begin_src sh
  179. cat <<'EOF' > /usr/local/bin/st
  180. #!/bin/bash
  181. echo "Trying mosh to $1"
  182. TERM=xterm-256color mosh "$1" -- bash -c "tmux attach || { tmux; }"
  183. if [ "$?" == "5" ]; then
  184. echo "Fallback to ssh $1"
  185. ssh "$1" -tM "TERM=xterm-256color tmux attach || TERM=xterm-256color tmux"
  186. fi
  187. EOF
  188. chmod +x /usr/local/bin/st
  189. apt install mosh
  190. #+end_src
  191. *** utilisation de la commande =st=
  192. =st= utilise =ssh= ou =mosh= et se met dans un =tmux= sur la destination.
  193. #+begin_src sh
  194. st root@monvps.fr
  195. #+end_src
  196. On note qu'il faut penser à mettre les clé SSH sur la destination.
  197. ** Mise à jour de l'ensemble
  198. Pour mettre à jour un VPS:
  199. #+BEGIN_SRC sh
  200. myc-update
  201. #+END_SRC
  202. Cette commande va ré-appliquer l'installation du charm =docker-host=
  203. qui installe ou met à jour chaque composant.
  204. *** Mise à jour de docker
  205. Par défaut =myc-update= ne met pas à jour le service docker pour éviter
  206. de couper les services. Si cela est souhaité, il est possible de faire:
  207. #+begin_src sh
  208. ALLOW_DOCKER_CHANGE=1 myc-update
  209. #+end_src
  210. Aussi, par défaut, =myc-update= pré-selectionne une version cible commune de
  211. docker pour une distribution donnée.
  212. ** Gestion des dockers
  213. *** Relancement
  214. si on veut relancer parce que le compose a changé :
  215. on fait pareil qu'au lancement : lors du "up", docker-compose se
  216. rend compte que la définition des services a changé et relance les
  217. docker voulu.
  218. *** Arrêt
  219. #+BEGIN_SRC sh
  220. compose --debug down
  221. #+END_SRC
  222. *** Voir les logs
  223. #+BEGIN_SRC sh
  224. cd /opt/apps/myc-deploy
  225. compose --debug logs odoo
  226. #+END_SRC
  227. *** Obtenir les IPs des dockers
  228. #+BEGIN_SRC sh
  229. docker-ip
  230. #+END_SRC
  231. *** Obtenir des statistiques d'utilisation des resources
  232. **** Consommation
  233. La commande ~docker stats~ permet d'afficher en temps réel la consommation des
  234. différentes ressources (mémoire, processeur, réseau...).
  235. À noter, la commande ~vps stats~ fait la même chose, et rempli la base
  236. de donnée pour l'historique des utilisations. Cette commande est
  237. normalement lancée par cron régulièrement.
  238. Les bases de données d'utilisation sont stockée dans ~/var/lib/vps/rrd~
  239. **** Historique de la consommation des ressources
  240. Depuis ~0km~ il est possible de grapher les informations d'un VPS:
  241. #+begin_src sh
  242. 0km vps-stats [--timespan START[..END]] VPS [VPS...]
  243. #+end_src
  244. Exemples:
  245. #+begin_src sh
  246. 0km vps-stats vps-{01,02}.0k.io ## dernier jour de donnée
  247. 0km vps-stats vps-{01,02}.0k.io -t e-1w ## end moins 1 semaine de donnée
  248. 0km vps-stats vps-{01,02}.0k.io -t e-5d ## end moins 5 jours de donnée
  249. 0km vps-stats vps-01.0k.io -t n-3h..n-2h ## now(maintenant) moins 3h à now moins 2h
  250. 0km vps-stats vps-01.0k.io -t 17:40..17:50 ## de 17:40 à 17:50 (heure locale !)
  251. 0km vps-stats vps-01.0k.io -t "20230811..17:50" ## du début de la journée de 2023-08-11 à 17:50 ajd
  252. ## graphe dynamique qui se met à jour sur les 2 dernière heures
  253. 0km vps-stats vps-01.0k.io -t "n-2h" -f
  254. #+end_src
  255. Pour plus de détail sur le format de début et de fin, se rapporter à
  256. la fin de la page man de [[https://linux.die.net/man/1/rrdfetch][rrdfetch]].
  257. *** Limiter la mémoire utilisée par un container
  258. Certains container vont demander beaucoup de memoire par défaut et
  259. doivent être contenu dans des environment limités.
  260. Aussi, on peut limiter la mémoire d'un docker dans le fichier
  261. =compose.yml=:
  262. #+begin_src yaml
  263. mon-service:
  264. # ...
  265. docker-compose:
  266. mem_limit: 2g
  267. memswap_limit: 2g ## Au cas où l'on a du swap
  268. # ...
  269. #+end_src
  270. *** Vérification de santé générale
  271. La commande =vps check-fix= contrôler les containers en cours de
  272. fonctionnement pour vérifier s'ils ne sont pas touché par quelques
  273. problème identifiés et connus. Et elle va réparer ce qu'elle peut.
  274. #+begin_src sh
  275. vps check-fix
  276. #+end_src
  277. Il est possible de lancer ces vérifications sur une liste de service
  278. spécifique ou de sélectionner le test voulu. Voir =vps check-fix
  279. --help= pour plus d'info.
  280. Il peut être opportun d'ajouter dans sur l'hôte, par exemple, une
  281. vérification périodique et automatique:
  282. #+begin_src sh
  283. cat <<EOF > /etc/cron.d/vps-check
  284. SHELL=/bin/bash
  285. PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin
  286. */15 * * * * root vps check-fix -s -c container-aliveness 2>&1 | logger -t check-fix
  287. */5 * * * * root vps check-fix -s rocketchat 2>&1 | logger -t check-fix
  288. EOF
  289. #+end_src
  290. ** Par services
  291. *** odoo
  292. **** Backups
  293. ***** Backuping odoo account (filestore and database)
  294. ****** Via =vps= command
  295. A few examples:
  296. #+begin_src sh
  297. ## dump default database of default service to file db.zip
  298. vps odoo dump db.zip
  299. ## dump default database of 'odoo2' service
  300. vps odoo dump /tmp/db.zip -s odoo2
  301. ## dump 'odoodev' database of default 'odoo' service
  302. vps odoo dump /tmp/db.zip -d odoodev
  303. #+end_src
  304. ****** Via charm only actions
  305. Be sure that your odoo instance should be already up.
  306. #+BEGIN_SRC sh
  307. MYODOOSERVICENAME=odoo
  308. DBNAME="$MYODOOSERVICENAME"
  309. OUTPUTFILE=backup-odoo.zip
  310. compose save "$MYODOOSERVICENAME" "$DBNAME" > "$OUTPUTFILE"
  311. #+END_SRC
  312. ***** Restoring odoo account (filestore and database)
  313. *IMPORTANT* you might want to consider the usage of =docker-cutoff= if
  314. you are restoring a production odoo onto a dev or staging odoo that you
  315. don't want to allow to go mess around with sending mails or fetching mails.
  316. #+BEGIN_SRC yaml
  317. docker-cutoff 25 993 465
  318. #+END_SRC
  319. ****** Via =vps= command
  320. #+begin_src sh
  321. ## restore default database of default service from file db.zip
  322. vps odoo restore db.zip
  323. ## restore default database of 'odoo2' service
  324. vps odoo restore /tmp/db.zip -s odoo2
  325. ## restore 'odoodev' database of default 'odoo' service
  326. vps odoo restore /tmp/db.zip -d odoodev
  327. #+end_src
  328. ****** Via standard charm action
  329. Be sure that your odoo instance is already up.
  330. These are the normal loading instructions:
  331. #+BEGIN_SRC sh
  332. MYODOOSERVICENAME=odoo
  333. DBNAME="$MYODOOSERVICENAME"
  334. SOURCEFILE=backup-odoo.zip
  335. compose load "$MYODOOSERVICENAME" "$DBNAME" < "$SOURCEFILE"
  336. #+END_SRC
  337. **** Update de modules
  338. #+BEGIN_SRC sh
  339. compose update odoo MABASE [MODULE [MODULE ...]]
  340. #+END_SRC
  341. **** lancement d'une commande odoo
  342. Si l'ensemble n'est pas up:
  343. #+BEGIN_SRC sh
  344. compose --debug run odoo --help
  345. #+END_SRC
  346. **** Mod dev d'odoo
  347. Il est souhaitable de lancer odoo en mode dev avec un terminal prêt à
  348. accueillir un pdb par exemple, et pouvoir changer facilement la ligne de commande.
  349. On peut tout a fait lancer odoo directement, par exempe:
  350. #+BEGIN_SRC sh
  351. compose run --rm --use-aliases odoo --dev=wdb --config=/opt/odoo/auto/odoo.conf
  352. #+END_SRC
  353. On récupère ainsi tous les volumes et autres options (sauf ce qui est
  354. dans =command:=) défini dans =compose.yml=.
  355. Un problème cependant: si on utilise apache comme frontend, celui-ci
  356. ne pourra pas résoudre le nom =odoo= à cause de problèmes autour de
  357. =docker-compose= et/ou =docker network=. En effet, si on fait un =up=
  358. comme d'habitude, et qu'on souhaite simplement arrêter le service
  359. classique pour ensuite le remplacer par la commande au dessus, cela ne
  360. fonctionnera pas. En effet, l'alias réseau =odoo= n'est plus adjoignable
  361. (même avec les commandes =docker network {dis,}connect=), et même si
  362. le container original de odoo est détruit ou éjecté du réseau, ou que l'on
  363. essaye de connecter soi-même le nouveau container.
  364. Un moyen (bancal) de passer outre cependant:
  365. - =down= pour fermer le réseau
  366. - =create= sur le service apache, puis =restart=.
  367. - enfin, le =run= tel que décrit au dessus
  368. Soit:
  369. #+BEGIN_SRC sh
  370. compose down &&
  371. compose create apache &&
  372. compose restart apache &&
  373. compose run --rm --use-aliases odoo --dev=wdb --config=/opt/odoo/auto/odoo.conf
  374. #+END_SRC
  375. Le container odoo crée par la dernière ligne se retirera proprement des tables DNS
  376. interne, et donc peut tout a fait être relancée autant de fois que l'on souhaitera.
  377. **** Single Sign On en carafe
  378. L'installation du module =website= et =galicia= pour l'authentication
  379. Single Sign On peut aboutir à une situation où le sign on est
  380. automatique et arrive sur un mauvais utilisateur.
  381. Il s'agit de l'utilisateur attaché à l'objet =website= surlequel le sign on
  382. du service tiers a été configuré pour pointer.
  383. En effet, l'objet ~website~ possède un ~user_id~ qui va être utilisé en guise
  384. d'utilisateur par défaut. Si celui-ci ne correspond pas à l'utilisateur odoo ~public_user~,
  385. alors =galicia= considère que cet utilisateurs est déjà loggé et offre son accès.
  386. La solution est de forcer le ~user_id~ des objets ~website~ à l'id de l'utilisateur ~public_user~.
  387. C'est ce que fait la commande:
  388. #+begin_src sh
  389. vps odoo fix-sso
  390. #+end_src
  391. *** letsencrypt
  392. Le service letsencrypt fourni des certificat SSL à la demande et les
  393. renouvelle automatiquement.
  394. **** configuration dans compose
  395. ***** Authentification HTTP
  396. Il n'y a besoin d'aucune option dans le service =letsencrypt=.
  397. Le charm =apache= doit trouver un service utilisant le charm =letsencrypt=, cette
  398. connection se fera automatiquement si un servce de type =letsencrypt= est lancé soit
  399. parce que directement mentionné dans la racine ou dans une relation explicite.
  400. La relation construite automatiquement (ou manuellement) d'un service
  401. =apache= vers un service =letsencrypt= s'appelle =cert-provider=.
  402. Une fois que ce service est relié à apache, on peut s'en servir comme clé dans
  403. la configuration =ssl= des relations =*-->web-proxy-->apache=.
  404. Par défaut, =apache= utilisera du ssl pour tout se virtual-host s'il trouve un
  405. =cert-provider= à disposition.
  406. Aussi la configuration suivante est suffisante pour avoir un site publié en SSL:
  407. #+BEGIN_SRC yaml
  408. www.mydomain.org:
  409. charm: odoo
  410. apache:
  411. letsencrypt:
  412. #+END_SRC
  413. Cela équivaut à :
  414. #+BEGIN_SRC yaml
  415. www.mydomain.org:
  416. charm: odoo
  417. relations:
  418. web-proxy:
  419. myapache:
  420. domain: www.mydomain.org
  421. ssl:
  422. myletsencrypt:
  423. challenge-type: http
  424. myapache:
  425. charm: apache
  426. myletsencrypt:
  427. charm: letsencrypt
  428. #+END_SRC
  429. ***** Authentification DNS
  430. ****** créer un nouveau jeu de clé OVH pour l'authentification DNS
  431. When =letsencrypt= is setup and running::
  432. #+BEGIN_SRC sh
  433. compose --debug add letsencrypt DOMAIN [DOMAIN...]
  434. #+END_SRC
  435. Exemple de setup (dans =compose.yml=):
  436. #+BEGIN_SRC yaml
  437. letsencrypt:
  438. options:
  439. email: admin@0k.io
  440. ovh:
  441. entrypoint: ovh-eu
  442. application:
  443. key: ZZZ
  444. secret: XXX
  445. consumer_key: YYYYY
  446. #+END_SRC
  447. Le résultat est dans =/srv/datastore/data/letsencrypt/etc/letsencrypt/live/DOMAIN1=
  448. Il apparaît entre 30sec et 1 minute après la demande.
  449. ****** Vérifier que le jeu de clé ovh est bon
  450. Cette commande prend le compose yml et va vérifier que les accès sont valides:
  451. #+BEGIN_SRC shell
  452. check-compose-ovh-credentials compose.yml
  453. #+END_SRC
  454. **** Utilisation manuelle
  455. On peut utiliser le service =letsencrypt= manuellement
  456. ***** creation d'un certificat http
  457. #+BEGIN_SRC shell
  458. compose crt letsencrypt create DOMAIN [DOMAIN...]
  459. #+END_SRC
  460. Cette action crée un certificat (et force le renouvellement si existant).
  461. On peut y injecter une configuration via =--add-compose-content= si nécessaire::
  462. #+BEGIN_SRC shell
  463. compose --add-compose-content='
  464. letsencrypt:
  465. ovh:
  466. ## see: https://api.ovh.com/g934.first_step_with_api
  467. entrypoint: ovh-eu
  468. application:
  469. key: XXX
  470. secret: YYY
  471. consumer_key: ZZZ
  472. challenge-type: dns
  473. #renew-before-expiry: 30' crt letsencrypt create DOMAIN [DOMAIN...]
  474. #+END_SRC
  475. ***** Renew de tous les certificats
  476. Cela renew uniquement les certificats dont la date de validité est inférieure à 30j
  477. #+BEGIN_SRC shell
  478. compose crt letsencrypt renew
  479. #+END_SRC
  480. ***** Liste des certificats gérés et infos connexes
  481. #+BEGIN_SRC shell
  482. compose run letsencrypt crt list
  483. #+END_SRC
  484. ***** suppression d'un certificat
  485. #+BEGIN_SRC shell
  486. compose run letsencrypt certbot delete --cert-name DOMAIN
  487. #+END_SRC
  488. *** apache
  489. **** Utiliser letsencrypt
  490. Pour ajouter la fonctionalité de génération automatique de certificat
  491. via le service =letsencrypt=, il faut:
  492. - déclarer un service =letsencrypt= si cela n'est pas déjà fait
  493. - le lier au charm apache via une relation =cert-provider=:
  494. #+BEGIN_SRC yaml
  495. frontend:
  496. charm: apache
  497. relations:
  498. cert-provider: letsencrypt
  499. letsencrypt:
  500. ...
  501. #+END_SRC
  502. Et l'on peut alors utiliser la valeur =letsencrypt= (le nom du service qui implémente
  503. qui est en relation =cert-provider= avec apache) dans le champ =ssl=::
  504. #+BEGIN_SRC yaml
  505. web-proxy:
  506. apache:
  507. ...
  508. ssl: letsencrypt
  509. #+END_SRC
  510. **** Changer les clés SSL
  511. Voici un exemple de ce qu'on peut mettre dans les options de la relation apache
  512. pour déclarer le certificat que l'on souhaite:
  513. #+BEGIN_SRC yaml
  514. ssl:
  515. ca-cert:
  516. -----BEGIN CERTIFICATE-----
  517. MIIF6TCCA9GgAwIBAgIQBeTcO5Q4qzuFl8umoZhQ4zANBgkqhkiG9w0BAQwFADCB
  518. iDELMAkGA1UEBhMCVVMxEzARBgNVBAgTCk5ldyBKZXJzZXkxFDASBgNVBAcTC0pl
  519. ...
  520. m9T8bJUox04FB6b9HbwZ4ui3uRGKLXASUoWNjDNKD/yZkuBjcNqllEdjB+dYxzFf
  521. BT02Vf6Dsuimrdfp5gJ0iHRc2jTbkNJtUQoj1iM=
  522. -----END CERTIFICATE-----
  523. -----BEGIN CERTIFICATE-----
  524. MIIFdzCCBF+gAwIBAgIQE+oocFv07O0MNmMJgGFDNjANBgkqhkiG9w0BAQwFADBv
  525. MQswCQYDVQQGEwJTRTEUMBIGA1UEChMLQWRkVHJ1c3QgQUIxJjAkBgNVBAsTHUFk
  526. ...
  527. Le9Gclc1Bb+7RrtubTeZtv8jkpHGbkD4jylW6l/VXxRTrPBPYer3IsynVgviuDQf
  528. Jtl7GQVoP7o81DgGotPmjw7jtHFtQELFhLRAlSv0ZaBIefYdgWOWnU914Ph85I6p
  529. 0fKtirOMxyHNwu8=
  530. -----END CERTIFICATE-----
  531. cert: |
  532. -----BEGIN CERTIFICATE-----
  533. MIIF/TCCBOWgAwIBAgIRALUydpTpCApfYMuJchDJv5AwDQYJKoZIhvcNAQELBQAw
  534. XzELMAkGA1UEBhMCRlIxDjAMBgNVBAgTBVBhcmlzMQ4wDAYDVQQHEwVQYXJpczEO
  535. ...
  536. lIxY9HJanHrWvjiz7+eToxXpZJtAPXTx5hxzcJrtWROlq7IJCMIhzr/EVA37jTCk
  537. Xs5S6mr0T6Dqx6MQkPATSsEEJlLH5wq3DxXQcrMqnM/WHMRYUCkoTl37sXplflHe
  538. jw==
  539. -----END CERTIFICATE-----
  540. key: |
  541. -----BEGIN PRIVATE KEY-----
  542. MIIJRQIBADANBgkqhkiG9w0BAQEFAASCCS8wggkrAgEAAoICAQDONqqTCS4CiSi/
  543. XeNpp2nUsq1299spGc7mlRs+PDrXNHscB5lUB5/yo2yEetYXrJacQ8n4NV9hkID5
  544. ...
  545. 44eHDYsofcnRbidGR+QT8PQgiiDNCkbpi2u4QnLTs0w4oW+53ZTyHYEYF2rcLbIb
  546. vRt4kR4KG6ULXrmsRA4WQjBDJ9vZw2aK+w==
  547. -----END PRIVATE KEY-----
  548. #+END_SRC
  549. **** Ajouter des rêgles particulière de apache
  550. #+BEGIN_SRC yaml
  551. relations:
  552. web-proxy:
  553. apache:
  554. ...
  555. apache-custom-rules: |
  556. RewriteEngine On
  557. RewriteCond %{HTTPS} off
  558. RewriteRule ^ https://%{HTTP_HOST}%{REQUEST_URI} [R=302,L,QSA]
  559. #+END_SRC
  560. **** Vérification des derniers logs de renouvellement automatique
  561. #+BEGIN_SRC shell
  562. tail -f /srv/datastore/data/cron/var/log/cron/letsencrypt-renew_script.log -n 200
  563. #+END_SRC
  564. *** postgres
  565. **** utilisation de pgm
  566. récupérer l'IP du docker postgres via =docker-ip=
  567. #+BEGIN_SRC sh
  568. PGHOST=172.19.0.2 PGUSER=postgres pgm ls
  569. #+END_SRC
  570. **** base corrompue, réparation
  571. Il s'agit de lancer un =pg_resetwal=, il faut veiller à plusieurs élément:
  572. - bien arréter tout process utilisant le répertoire de =data= du
  573. postgres en question, généralement un =compose stop postgres=
  574. suffit.
  575. - utiliser l'image du postgres via son nom (habituellement =myc_postgres=).
  576. - monter le répertoire data =directement=
  577. Le tout peut se faire ainsi dans une installation qui fait tourner un postgres
  578. actuellement:
  579. #+begin_src sh
  580. compose stop postgres &&
  581. docker run --rm --entrypoint pg_resetwal \
  582. -u postgres -v /srv/datastore/data/postgres/var/lib/postgresql/data:/var/lib/postgresql/data \
  583. myc_postgres \
  584. /var/lib/postgresql/data &&
  585. docker start myc_postgres_1
  586. #+end_src
  587. *** mysql
  588. **** sur installation mailcow
  589. Le script =vps= fourni via =myc-manage=, permet la commande =vps
  590. install backup MYBACKUPDEST=, qui s'occupe de mettre en place le dump
  591. de =mysql=, et le système pour envoyer les backup régulièrement via
  592. rsync.
  593. **** docker sans compose
  594. #+begin_src sh
  595. export MYSQL_ROOT_PASSWORD=xxx
  596. export MYSQL_CONTAINER=mailcowdockerized_mysql-mailcow_1
  597. /srv/charm-store/mysql/hooks/install.d/60-backup.sh
  598. #+end_src
  599. *** rsync-backup
  600. **** Installation du backup de compose / mailcow
  601. Les commandes suivantes permettent l'installation du backup sur les
  602. deux type de serveur suivant :
  603. - un serveur =compose= est un serveur ayant des services géré par
  604. =compose= à backupper.
  605. - un serveur =mailcow= est un serveur faisant tourner l'installation =mailcow=.
  606. ***** Via la commande 0km sur un hôte admin
  607. L'instruction suivante doit être executée sur un hôte ayant la
  608. commande =0km= d'installée et les accès SSH vers le VPS et un compte
  609. d'administration du service =rsync-backup-target= sur le serveur
  610. d'archivage.
  611. Dans l'exemple suivant on utilise le compte administration du service
  612. =rsync-backup-target= nommé =myadmin=... pour avoir la liste des
  613. compte admin, se reporter au contenu du fichier =compose.yml= sur le
  614. serveur d'archivage et plus spécifiquement la configuration du service
  615. =rsync-backup-target=. Les noms des comptes admin y sont défini ainsi
  616. que les clés publiques y ayant accès.
  617. #+begin_src sh
  618. 0km vps-install backup myadmin@core-06.0k.io:10023 myvps.fr
  619. #+end_src
  620. Note: on peut spécifier autant de vps que l'on souhaite en fin de
  621. ligne de commande. L'installation des vps se fera en parallèle et
  622. vers le serveur d'archive spécifié en premier argument.
  623. Note: cette commande peut-être executé plusieurs fois sur le même
  624. hôte : si tout est déjà installé, cette commande n'aura pour seul
  625. effet que de relancer une synchronisation vers le backup.
  626. ***** Via la commande vps sur le vps lui-même
  627. A faire depuis le serveur compose ou mailcow:
  628. #+begin_src sh
  629. vps install backup core-06.0k.io:10023
  630. #+end_src
  631. Ici =core-06.0k.io:10023= est le serveur cible d'archivage (à modifier
  632. si nécessaire).
  633. A la fin de l'opération, une commande est proposée pour ajouter
  634. facilement la nouvelle clé à l'hôte s'occupant de l'archivage.
  635. Cette commande doit être executée sur un hôte ayant les accès vers un
  636. compte administration du serveur d'archivage.
  637. Dans le cas d'un VPS sur installation compose, il s'agira également de
  638. relancer sur le VPS lui-même, un =compose up= pour intégrer et lancer
  639. le nouveau container de backup.
  640. Une fois la clé enregistrée du coté du serveur d'archivage, un premier
  641. archivage peut être déclenché via:
  642. #+begin_src sh
  643. vps backup
  644. #+end_src
  645. Ceci permet de lancer le premier backup et de valider que tout fonctionne
  646. **** Installation du backup sur un host debian
  647. Cela fonctionnera sur tout host ayant une base debian.
  648. #+begin_src sh
  649. DOMAIN=mail.xxxx.fr
  650. BACKUP_SERVER=core-06.0k.io:10023
  651. cd /srv/charm-store/rsync-backup/
  652. ./hooks/install.d/60-install.sh
  653. #+end_src
  654. Note, il est possible de spécifier des exclusions pour chaque
  655. répértoire mirroré de telle façon:
  656. #+begin_src sh
  657. cat <<EOF >> /etc/mirror-dir/config.yml
  658. /home:
  659. exclude:
  660. - /*/.cache/
  661. - /*/.gvfs/
  662. - /*/.local/share/Trash/files/
  663. - /*/.Trash/
  664. - /*/.mozilla/firefox/*/Cache/
  665. - /*/.mozilla/firefox/*/storage/default/*/cache/
  666. /media/data:
  667. exclude:
  668. - /binary/games/_steam
  669. - /incoming
  670. - /.Trash*
  671. - /lost+found
  672. - /backup/device
  673. EOF
  674. #+end_src
  675. *** nextcloud
  676. **** Mise à jour en dernière version
  677. Cette commande permet d'appliquer successivement les version de
  678. nextcloud, elle modifie le =compose.yml=. Et installe la dernière
  679. version disponible donnée par =docker-tags-fetch docker.0k.io/nextcloud=.
  680. Étant donné que la commande est un peu nouvelle et la tâche assez
  681. fastidieuse et risquée, ne pas hésiter à la lancer dans un =tmux= pour
  682. être prêt à demander de l'aide. Également, lancer un =myc-update= avant.
  683. Aussi, il est toujours bon de vérifier que le backup fonctionne et que
  684. la version sur le serveur de backup est à jour (lancer =vps backup= est
  685. un bon moyen de voir cela).
  686. #+begin_src sh
  687. vps nextcloud upgrade
  688. #+end_src
  689. *** mongo
  690. **** Mise à jour en dernière version
  691. Cette commande permet d'appliquer successivement les version de
  692. mongo, elle modifie le =compose.yml=. Et installe la dernière
  693. version disponible donnée par =docker-tags-fetch docker.0k.io/mongo=.
  694. Étant donné que la commande est un peu nouvelle et la tâche assez
  695. fastidieuse et risquée, ne pas hésiter à la lancer dans un =tmux= pour
  696. être prêt à demander de l'aide. Également, lancer un =myc-update= avant.
  697. Aussi, il est toujours bon de vérifier que le backup fonctionne et que
  698. la version sur le serveur de backup est à jour (lancer =vps backup= est
  699. un bon moyen de voir cela).
  700. #+begin_src sh
  701. vps mongo upgrade
  702. #+end_src
  703. *** onlyoffice
  704. **** Troubleshooting
  705. Il y eu de nombreux cas où onlyoffice pète ses propres
  706. fichiers de config. Une bonne façon de le régler:
  707. #+begin_src sh
  708. docker stop myc_onlyoffice_1
  709. rm -rf /srv/datastore/config/onlyoffice
  710. compose --debug up
  711. #+end_src
  712. Ceci permet d'effacer la config mise en place par compose et de la
  713. reconstruire, et tout ce qui est dans
  714. `/srv/datastore/config/onlyoffice` se reconstruit tout seul via les
  715. charms au moment du `compose up`.
  716. * Interventions avancées
  717. Description des process avancés d'intervention sur une installation existante.
  718. ** Modification du compose
  719. Y a un exemple en commentaire dans le =/opt/apps/myc-deploy/compose.yml=
  720. Petit exemple:
  721. #+BEGIN_SRC yaml
  722. odoo:
  723. ...
  724. docker-compose:
  725. ## Important to keep as a list: otherwise it'll overwrite charm's arguments.
  726. command:
  727. - "--log-level=debug"
  728. environment:
  729. TOTO: TUTU
  730. image: masuperimage
  731. #+END_SRC
  732. ** Récupération de donnée
  733. *** Depuis le VPS backuppé
  734. Les VPS backuppés peuvent avoir besoin de récupérer les données
  735. archivées. Pour le moment, comme il n'y pas d'accès aux versions
  736. précédentes des backups, l'intérêt de cette fonctionnalité reste
  737. limité.
  738. **** Par répertoire
  739. Via la commande =vps=, l'action =recover-target= permet de recouvrir
  740. les données du service d'archivage (si celui-ci à été correctement
  741. installé avec les commandes spécifiée dans la [[*rsync-backup][section =rsync-backup=]]).
  742. Récupération d'un répertoire:
  743. #+begin_src sh
  744. vps recover-target "cron/" /tmp/cron
  745. #+end_src
  746. Cette commande va récupérer le contenu archivé dans "cron/" pour le mettre
  747. sur l'hôte courant dans "/tmp/cron".
  748. Il est possible de spécifier l'option =--dry-run= (ou =-n=) pour ne
  749. rien modifier et voir quels sont les actions qui seront menées.
  750. Attention à l'usage de cette commande, en effet le répertoire de
  751. destination peut-être entièrement modifié : cette commande effacera et
  752. modifiera le contenu du répertoire de destination.
  753. *** Depuis un hôte d'administration
  754. **** Récupération d'un VPS complet
  755. ***** Mailcow
  756. Depuis un hôte d'adminstration, et via la command =0km=, nous
  757. pouvons re-déployer un backup existant sur un nouveau VPS.
  758. #+begin_src sh
  759. 0km vps-backup recover myadmin@core-06.0k.io:10023#mail.mybackupedvps.com mynewvps.com
  760. #+end_src
  761. Attention, cela supprimera toute installation =mailcow= précédente
  762. (donnée comprise) sur le VPS de destination.
  763. ***** Compose
  764. La commande complète n'est pas implémentée, mais il s'agit surtout de faire un
  765. recover partiel:
  766. #+begin_src sh
  767. 0km vps-backup recover myadmin@core-06.0k.io:10023#mail.mybackupedvps.com:/ mynewvps.com:/srv/datastore/data
  768. #+end_src
  769. Puis de copier le fichier =/srv/datastore/data/compose.yml= sur =/opt/apps/myc-deploy/compose.yml=:
  770. #+begin_src sh
  771. cp /srv/datastore/data/compose.yml /opt/apps/myc-deploy/compose.yml
  772. #+end_src
  773. Puis s'occuper des bases de données:
  774. ****** récupération des bases postgres
  775. Dans le répertoire =/srv/datastore/data/postgres/var/backups/pg=
  776. Récupération des derniers dumps:
  777. #+begin_src sh
  778. compose --debug up postgres
  779. for dump in /srv/datastore/data/postgres/var/backups/pg; do
  780. pgm cp "$dump" postgres@"${dump%%.*}"
  781. done
  782. #+end_src
  783. ****** récupération des bases mongo
  784. Dans le répertoire =/srv/datastore/data/mongo/var/backups/mongo=
  785. #+begin_src sh
  786. compose --debug up mongo
  787. docker run -ti --rm \
  788. -v /srv/datastore/data/mongo/var/backups/mongo:/tmp/backups \
  789. -w /tmp/backups \
  790. --entrypoint mongorestore \
  791. --network myc_default \
  792. myc_mongo --host rs01/mongo /tmp/backups/
  793. #+end_src
  794. ****** Finalisation
  795. Tout devrait être bon.
  796. Un ~compose --debug up~ devrait faire l'affaire.
  797. **** Récupération partielle
  798. ***** Récupération d'un répertoire ou fichier précis
  799. Depuis un hôte d'administration, et via la command =0km=, nous pouvons
  800. récupérer un répertoire ou un fichier précis d'un backup existant sur
  801. un nouveau VPS.
  802. C'est la même commande que pour la récupération complète, on rajoute à
  803. la source un chemin et possible aussi à la destination.
  804. #+begin_src sh
  805. 0km vps-backup recover myadmin@core-06.0k.io:10023#mail.mybackupedvps.com:/mon/chemin mynewvps.com
  806. 0km vps-backup recover myadmin@core-06.0k.io:10023#mail.mybackupedvps.com:/mon/chemin mynewvps.com:/ma/dest
  807. #+end_src
  808. ***** Récupération d'un composant
  809. Suivant si le type de backup est reconnu et le supporte, il est
  810. possible de nommer un composant précis en lieu et place d'un
  811. répertoire ou d'un fichier.
  812. Par exemple, les backup de type 'mailcow' supportent les composants
  813. suivants: =mailcow=, =postfix=, =rspamd=, =redis=, =crypt=, =vmail=,
  814. =vmail-attachments=, =mysql=.
  815. #+begin_src sh
  816. 0km vps-backup recover myadmin@core-06.0k.io:10023#mail.mybackupedvps.com:mailcow,mysql mynewvps.com
  817. 0km vps-backup recover myadmin@core-06.0k.io:10023#mail.mybackupedvps.com:postfix mynewvps.com
  818. #+end_src
  819. ** Troubleshooting
  820. S'il semble qu'il y a un soucis, il est possible de visualiser le
  821. =docker-compose.yml= qui est généré à la fin via l'ajout de =--debug=
  822. AVANT la commande:
  823. #+begin_src sh
  824. compose --debug up odoo frontend
  825. #+end_src
  826. *** en cas de soucis important ou inédit
  827. **** Lancer un ~compose --debug up~
  828. La simple action de relancer un ~compose --debug up~ permet à compose
  829. de repasser sur tous les scripts et notamment cela permet de recréer
  830. toutes les configurations, aussi certains des containers peuvent être
  831. également recréés et relancés. Notamment si de nouvelles images de
  832. services ont été ~pull~ récemment.
  833. #+begin_src sh
  834. compose --debug up
  835. #+end_src
  836. Si cette commande ne fonctionne pas, prendre le temps de bien lire le
  837. message d'erreur.
  838. **** Vider les cache de ~/var/cache/compose~
  839. En cas de problème non expliqués et inédits, il est bon de vérifier si
  840. l'effacement des caches de compose ne permet pas de corriger le
  841. problème :
  842. #+begin_src sh
  843. rm /var/cache/compose/*
  844. #+end_src
  845. Puis relancer la commande qui ne fonctionne pas (par exemple ~compose
  846. --debug up~).
  847. **** Redémarrage du service =docker=
  848. Il y a de nombreux bugs répertoriés sur ~docker~ qui n'ont pas été
  849. réglés depuis de nombreuses années qui sont corrigés par un ~restart~ de
  850. tous les containers et du service docker lui-même.
  851. #+begin_src sh
  852. systemctl restart docker.service
  853. #+end_src
  854. va redémarrer le service docker sur la machine et donc tous les
  855. services gérés par docker (tous les services en somme).
  856. La coupure de service de cette commande est relativement courte
  857. (inférieure à la minute).
  858. **** Redéploiement des services
  859. Ce dernier cas est long, et n'est pas souvent efficace, mais il peut
  860. l'être dans certains cas. Cela va stopper et effacer tous les
  861. containers des services, puis reconstruire toute leur configuration et
  862. les relancer.
  863. Attention cela engendre une coupure de service qui peut être longue (le temps
  864. d'un ~compose up~ complet).
  865. #+begin_src sh
  866. compose --debug down &&
  867. compose --debug up
  868. #+end_src
  869. * Comment ça marche
  870. La surcouche =compose= a pour responsabilité de:
  871. - créer graduellement un =docker-compose.yml= et lancer =docker-compose=.
  872. - à partir des *charms* qui factorisent les parties réutilisables
  873. - et à partir du =compose.yml= qui offre une interface plus haut niveau
  874. et permet d'exprimer plus succintement les intentions de déploiement sans
  875. entrer dans la logique technique de l'implémentation des services.
  876. - lancer des executable et des instructions au fur et à mesure si nécessaire.
  877. Il part du =compose.yml= et accède aux définitions en yaml des charms
  878. à déployer et qui sont dans /srv/charms ... (qui en fait sont dans
  879. =/opt/apps/0k-charms=).
  880. Chaque charm possède une définition générale (le =metadata.yml=) qui
  881. permet également l'injection d'élément dans le =docker-compose.yml=
  882. final.
  883. Et puis il y a des =hooks= : des scripts bash lancés avec des
  884. information contextuelle dans des variables d'environment, et qui vont
  885. généralement mettre en place des services à l'initialisation ou pour
  886. s'assurer de la bonne liaison entre les services.