You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.

1228 lines
33 KiB

  1. #+SETUPFILE: /home/vaab/dev/el/org-html-themes/setup/theme-readtheorg.setup
  2. #+PROPERTY: Effort_ALL 0 0:30 1:00 2:00 0.5d 1d 1.5d 2d 3d 4d 5d
  3. #+PROPERTY: Max_effort_ALL 0 0:30 1:00 2:00 0.5d 1d 1.5d 2d 3d 4d 5d
  4. #+PROPERTY: header-args:python :var filename=(buffer-file-name)
  5. #+PROPERTY: header-args:sh :var filename=(buffer-file-name)
  6. #+TODO: TODO WIP BLOCKED POSTPONED | DONE CANCELED
  7. #+LATEX_HEADER: \usepackage[margin=0.5in]{geometry}
  8. #+LaTeX_CLASS: article
  9. #+OPTIONS: H:8 ^:nil prop:("Effort" "Max_effort") tags:not-in-toc
  10. #+COLUMNS: %50ITEM %Effort(Min Effort) %Max_effort(Max Effort)
  11. #+begin_LaTeX
  12. \hypersetup{
  13. linkcolor=blue,
  14. pdfborder={0 0 0 0}
  15. }
  16. #+end_LaTeX
  17. #+TITLE: Architecture 0k.io
  18. #+LATEX: \pagebreak
  19. * Process de déploiement
  20. Description du process de déploiement pour une nouvelle installation
  21. ** Base myc
  22. *** Qu'est ce c'est ?
  23. A partir d'une debian 9 ou debian 10, on peut installer la machine
  24. pour être prête à utiliser un déploiement myc.
  25. Une fois executé, la machine aura toute les deps pour lancer une
  26. commande compose qui fera peut-être appel à des registry de
  27. mycéliandre. Un compose de base est aussi proposé.
  28. *** Déploiement
  29. **** Hôte linux base debian 9 et debian 10
  30. ***** Accès ssh standardisé
  31. Via la commande =0km=, depuis votre poste, permet de standardiser
  32. l'accès avec vos clés SSH, et positionner le nom de domaine si
  33. nécessaire.
  34. #+BEGIN_SRC sh
  35. 0km vps-setup HOST
  36. #+END_SRC
  37. Note: ceci fonctionnera que si vous avez un fichier de configuration
  38. dans =/etc/0km/config.yml= (si vous allez l'utiliser en root) ou dans
  39. =~/.config/0km/config.yml= autrement. Ce fichier doit au moins contenir
  40. une clé ssh (ou plusieurs) ainsi:
  41. #+begin_src yaml
  42. ssh-access:
  43. public-keys:
  44. - ssh-rsa AAAAB3NzaC1yc2EAAAAD...qGy20KlAOGPf nom_clef
  45. #+end_src
  46. ***** Déploiement de la solution pour compose
  47. Depuis le VPS, en root:
  48. #+BEGIN_SRC sh
  49. export WITHOUT_DOCKER_CLEAN=1 ## only if you want to remove docker clean from cron
  50. wget https://justodooit.myceliandre.fr/r/deploy -qO - | bash
  51. #+END_SRC
  52. Si vous souhaitez positionner le nom de domaine:
  53. #+BEGIN_SRC sh
  54. export WITHOUT_DOCKER_CLEAN=1 ## only if you want to remove docker clean from cron
  55. export DOMAIN=myhost.com
  56. wget https://justodooit.myceliandre.fr/r/deploy -qO - | bash
  57. #+END_SRC
  58. ***** Déploiement de la solution pour mailcow
  59. ****** Sur un vps sans mailcow de pre-installé
  60. #+BEGIN_SRC sh
  61. export WITHOUT_DOCKER_CLEAN=1 ## only if you want to remove docker clean from cron
  62. wget https://justodooit.myceliandre.fr/r/deploy -qO - | bash
  63. #+END_SRC
  64. ****** Sur un vps avec mailcow de pre-installé
  65. #+BEGIN_SRC sh
  66. export WITHOUT_DOCKER_CLEAN=1 ## only if you want to remove docker clean from cron
  67. export NO_DOCKER_RESTART=1 ## Can use that only if mailcow is pre-existing
  68. wget https://justodooit.myceliandre.fr/r/deploy -qO - | bash
  69. #+END_SRC
  70. **** Hôte macosx
  71. - install bash, docker
  72. - Uncheck "Securely store docker logins in macOS keychain"
  73. *** Ce que cela fait
  74. **** Mettre la machine en état charm-ready
  75. - installation du strict minimu pour lancer les =charms=
  76. - téléchargement de la dernière version des =0k-charms= (collection
  77. de recettes d'installation et de gestion de docker)
  78. **** Mettre la machine en état compose ready (notre docker qui va bien)
  79. via le lancement du charm =docker-host= qui installe:
  80. - docker, docker-compose, compose avec des versions qui vont bien
  81. - paquets maisons (kal-scripts, 0k-manage, 0k-pgm, lxc-scripts, 0k-docker)
  82. - accès pour le repository deb de kalysto.org
  83. - clé SSH pour repos git.kal.fr
  84. - login sur le docker registry docker.0k.io
  85. **** Commandes spécifique à myc
  86. - login sur le registry myc
  87. - téléchargement du compose de base dans =/opt/apps/myc-deploy=
  88. ** Modification du compose
  89. *** Qu'est-ce que c'est ?
  90. Il y a des update client à faire souvent sur le compose. Cette étape
  91. doit être externalisée au plus possible, sont consigné ici ce qu'il
  92. faut encore faire à la main.
  93. *** Commande
  94. **** Création de clé OVH pour letsencrypt/lexicon
  95. Ceci n'est nécessaire qu'en cas d'utilisation de la méthode DNS
  96. pour valider la possession du domaine auprès de letsencrypt.
  97. #+BEGIN_SRC shell
  98. APPLICATION_KEY=XXXXXXXXXXXXXXXXX
  99. REDIR_WEBSITE=https://0k.io
  100. req=$(cat <<EOF
  101. {
  102. "accessRules": [
  103. {
  104. "method": "GET",
  105. "path": "/*"
  106. },
  107. {
  108. "method": "POST",
  109. "path": "/*"
  110. },
  111. {
  112. "method": "PUT",
  113. "path": "/*"
  114. },
  115. {
  116. "method": "DELETE",
  117. "path": "/*"
  118. }
  119. ],
  120. "redirection":"$REDIR_WEBSITE"
  121. }
  122. EOF
  123. )
  124. res=$(curl -X POST \
  125. -H "X-Ovh-Application: ${APPLICATION_KEY}" \
  126. -H "Content-type: application/json" \
  127. https://eu.api.ovh.com/1.0/auth/credential \
  128. -d "$req")
  129. consumer_key=$(echo "$res" | jq -r .consumerKey)
  130. validation_url=$(echo "$res" | jq -r .validationUrl)
  131. echo "Visit: $validation_url"
  132. echo "ConsumerKey: $consumer_key"
  133. #+END_SRC
  134. Il s'agit alors de remplir le compose.yml
  135. #+BEGIN_SRC yaml
  136. ovh:
  137. ## see: https://api.ovh.com/g934.first_step_with_api
  138. entrypoint: ovh-eu
  139. application:
  140. key: XXXXXXXXXXXXXXXX
  141. secret: YYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYY
  142. consumer_key: ZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZ
  143. #+END_SRC
  144. Puis de valider que tout est ok:
  145. #+BEGIN_SRC shell
  146. check-compose-ovh-credentials compose.yml
  147. #+END_SRC
  148. ** Lancement/Deploy de service odoo
  149. *** Qu'est ce que c'est ?
  150. A partir d'une base myc, cette commande permet d'envoyer la
  151. construction et l'assemblage de tous les services décrit dans le
  152. =compose.yml= fourni par défaut.
  153. *** commandes
  154. #+BEGIN_SRC sh
  155. cd /opt/apps/myc-deploy
  156. compose --debug up odoo frontend
  157. #+END_SRC
  158. De manière générale:
  159. #+BEGIN_SRC sh
  160. compose [--debug] up [SERVICES...]
  161. #+END_SRC
  162. *** Ce que ça fait
  163. Les charms vont s'occuper de séparer la config des
  164. donnée, de tout stocker dans =/srv/datastore=, il vont
  165. s'occuper de la petite maintenance:
  166. - le charm postgres (qui est une dépendance du service odoo) va créer
  167. un mot de passe et le filer à odoo
  168. - le charm apache (qui implémente le service frontend)
  169. va créer les fichiers de conf apache pour déclarer un virtualhost
  170. et mettre les clés SSL s'il y a lieu.
  171. * Gestion
  172. Description des process de gestion d'une installation existante.
  173. ** Connection aux serveurs
  174. *** installation commande =st=
  175. Le mieux est d'utiliser la commande =st= que l'on peut installer ainsi
  176. sur un poste linux ayant =apt=:
  177. Se mettre en =root=:
  178. #+begin_src sh
  179. cat <<'EOF' > /usr/local/bin/st
  180. #!/bin/bash
  181. echo "Trying mosh to $1"
  182. TERM=xterm-256color mosh "$1" -- bash -c "tmux attach || { tmux; }"
  183. if [ "$?" == "5" ]; then
  184. echo "Fallback to ssh $1"
  185. ssh "$1" -tM "TERM=xterm-256color tmux attach || TERM=xterm-256color tmux"
  186. fi
  187. EOF
  188. chmod +x /usr/local/bin/st
  189. apt install mosh
  190. #+end_src
  191. *** utilisation de la commande =st=
  192. =st= utilise =ssh= ou =mosh= et se met dans un =tmux= sur la destination.
  193. #+begin_src sh
  194. st root@monvps.fr
  195. #+end_src
  196. On note qu'il faut penser à mettre les clé SSH sur la destination.
  197. ** Mise à jour de l'ensemble
  198. Pour mettre à jour un VPS:
  199. #+BEGIN_SRC sh
  200. myc-update
  201. #+END_SRC
  202. Cette commande va ré-appliquer l'installation du charm =docker-host=
  203. qui installe ou met à jour chaque composant.
  204. ** Gestion des dockers
  205. *** Relancement
  206. si on veut relancer parce que le compose a changé :
  207. on fait pareil qu'au lancement : lors du "up", docker-compose se
  208. rend compte que la définition des services a changé et relance les
  209. docker voulu.
  210. *** Arrêt
  211. #+BEGIN_SRC sh
  212. compose --debug down
  213. #+END_SRC
  214. *** Voir les logs
  215. #+BEGIN_SRC sh
  216. cd /opt/apps/myc-deploy
  217. compose --debug logs odoo
  218. #+END_SRC
  219. *** Obtenir les IPs des dockers
  220. #+BEGIN_SRC sh
  221. docker-ip
  222. #+END_SRC
  223. *** Obtenir des statistiques d'utilisation des resources
  224. **** Consommation
  225. La commande ~docker stats~ permet d'afficher en temps réel la consommation des
  226. différentes ressources (mémoire, processeur, réseau...).
  227. À noter, la commande ~vps stats~ fait la même chose, et rempli la base
  228. de donnée pour l'historique des utilisations. Cette commande est
  229. normalement lancée par cron régulièrement.
  230. Les bases de données d'utilisation sont stockée dans ~/var/lib/vps/rrd~
  231. **** Historique de la consommation des ressources
  232. Depuis ~0km~ il est possible de grapher les informations d'un VPS:
  233. #+begin_src sh
  234. 0km vps-stats [--timespan START[..END]] VPS [VPS...]
  235. #+end_src
  236. Exemples:
  237. #+begin_src sh
  238. 0km vps-stats vps-{01,02}.0k.io ## dernier jour de donnée
  239. 0km vps-stats vps-{01,02}.0k.io -t e-1w ## end moins 1 semaine de donnée
  240. 0km vps-stats vps-{01,02}.0k.io -t e-5d ## end moins 5 jours de donnée
  241. 0km vps-stats vps-01.0k.io -t n-3h..n-2h ## now(maintenant) moins 3h à now moins 2h
  242. 0km vps-stats vps-01.0k.io -t 17:40..17:50 ## de 17:40 à 17:50 (heure locale !)
  243. 0km vps-stats vps-01.0k.io -t "20230811..17:50" ## du début de la journée de 2023-08-11 à 17:50 ajd
  244. ## graphe dynamique qui se met à jour sur les 2 dernière heures
  245. 0km vps-stats vps-01.0k.io -t "n-2h" -f
  246. #+end_src
  247. Pour plus de détail sur le format de début et de fin, se rapporter à
  248. la fin de la page man de [[https://linux.die.net/man/1/rrdfetch][rrdfetch]].
  249. *** Limiter la mémoire utilisée par un container
  250. Certains container vont demander beaucoup de memoire par défaut et
  251. doivent être contenu dans des environment limités.
  252. Aussi, on peut limiter la mémoire d'un docker dans le fichier
  253. =compose.yml=:
  254. #+begin_src yaml
  255. mon-service:
  256. # ...
  257. docker-compose:
  258. mem_limit: 2g
  259. memswap_limit: 2g ## Au cas où l'on a du swap
  260. # ...
  261. #+end_src
  262. *** Vérification de santé générale
  263. La commande =vps check-fix= contrôler les containers en cours de
  264. fonctionnement pour vérifier s'ils ne sont pas touché par quelques
  265. problème identifiés et connus. Et elle va réparer ce qu'elle peut.
  266. #+begin_src sh
  267. vps check-fix
  268. #+end_src
  269. Il est possible de lancer ces vérifications sur une liste de service
  270. spécifique ou de sélectionner le test voulu. Voir =vps check-fix
  271. --help= pour plus d'info.
  272. Il peut être opportun d'ajouter dans sur l'hôte, par exemple, une
  273. vérification périodique et automatique:
  274. #+begin_src sh
  275. cat <<EOF > /etc/cron.d/vps-check
  276. SHELL=/bin/bash
  277. PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin
  278. */15 * * * * root vps check-fix -s -c container-aliveness 2>&1 | logger -t check-fix
  279. */5 * * * * root vps check-fix -s rocketchat 2>&1 | logger -t check-fix
  280. EOF
  281. #+end_src
  282. ** Par services
  283. *** odoo
  284. **** Backups
  285. ***** Backuping odoo account (filestore and database)
  286. ****** Via =vps= command
  287. A few examples:
  288. #+begin_src sh
  289. ## dump default database of default service to file db.zip
  290. vps odoo dump db.zip
  291. ## dump default database of 'odoo2' service
  292. vps odoo dump /tmp/db.zip -s odoo2
  293. ## dump 'odoodev' database of default 'odoo' service
  294. vps odoo dump /tmp/db.zip -d odoodev
  295. #+end_src
  296. ****** Via charm only actions
  297. Be sure that your odoo instance should be already up.
  298. #+BEGIN_SRC sh
  299. MYODOOSERVICENAME=odoo
  300. DBNAME="$MYODOOSERVICENAME"
  301. OUTPUTFILE=backup-odoo.zip
  302. compose save "$MYODOOSERVICENAME" "$DBNAME" > "$OUTPUTFILE"
  303. #+END_SRC
  304. ***** Restoring odoo account (filestore and database)
  305. *IMPORTANT* you might want to consider the usage of =docker-cutoff= if
  306. you are restoring a production odoo onto a dev or staging odoo that you
  307. don't want to allow to go mess around with sending mails or fetching mails.
  308. #+BEGIN_SRC yaml
  309. docker-cutoff 25 993 465
  310. #+END_SRC
  311. ****** Via =vps= command
  312. #+begin_src sh
  313. ## restore default database of default service from file db.zip
  314. vps odoo restore db.zip
  315. ## restore default database of 'odoo2' service
  316. vps odoo restore /tmp/db.zip -s odoo2
  317. ## restore 'odoodev' database of default 'odoo' service
  318. vps odoo restore /tmp/db.zip -d odoodev
  319. #+end_src
  320. ****** Via standard charm action
  321. Be sure that your odoo instance is already up.
  322. These are the normal loading instructions:
  323. #+BEGIN_SRC sh
  324. MYODOOSERVICENAME=odoo
  325. DBNAME="$MYODOOSERVICENAME"
  326. SOURCEFILE=backup-odoo.zip
  327. compose load "$MYODOOSERVICENAME" "$DBNAME" < "$SOURCEFILE"
  328. #+END_SRC
  329. **** Update de modules
  330. #+BEGIN_SRC sh
  331. compose update odoo MABASE [MODULE [MODULE ...]]
  332. #+END_SRC
  333. **** lancement d'une commande odoo
  334. Si l'ensemble n'est pas up:
  335. #+BEGIN_SRC sh
  336. compose --debug run odoo --help
  337. #+END_SRC
  338. **** Mod dev d'odoo
  339. Il est souhaitable de lancer odoo en mode dev avec un terminal prêt à
  340. accueillir un pdb par exemple, et pouvoir changer facilement la ligne de commande.
  341. On peut tout a fait lancer odoo directement, par exempe:
  342. #+BEGIN_SRC sh
  343. compose run --rm --use-aliases odoo --dev=wdb --config=/opt/odoo/auto/odoo.conf
  344. #+END_SRC
  345. On récupère ainsi tous les volumes et autres options (sauf ce qui est
  346. dans =command:=) défini dans =compose.yml=.
  347. Un problème cependant: si on utilise apache comme frontend, celui-ci
  348. ne pourra pas résoudre le nom =odoo= à cause de problèmes autour de
  349. =docker-compose= et/ou =docker network=. En effet, si on fait un =up=
  350. comme d'habitude, et qu'on souhaite simplement arrêter le service
  351. classique pour ensuite le remplacer par la commande au dessus, cela ne
  352. fonctionnera pas. En effet, l'alias réseau =odoo= n'est plus adjoignable
  353. (même avec les commandes =docker network {dis,}connect=), et même si
  354. le container original de odoo est détruit ou éjecté du réseau, ou que l'on
  355. essaye de connecter soi-même le nouveau container.
  356. Un moyen (bancal) de passer outre cependant:
  357. - =down= pour fermer le réseau
  358. - =create= sur le service apache, puis =restart=.
  359. - enfin, le =run= tel que décrit au dessus
  360. Soit:
  361. #+BEGIN_SRC sh
  362. compose down &&
  363. compose create apache &&
  364. compose restart apache &&
  365. compose run --rm --use-aliases odoo --dev=wdb --config=/opt/odoo/auto/odoo.conf
  366. #+END_SRC
  367. Le container odoo crée par la dernière ligne se retirera proprement des tables DNS
  368. interne, et donc peut tout a fait être relancée autant de fois que l'on souhaitera.
  369. **** Single Sign On en carafe
  370. L'installation du module =website= et =galicia= pour l'authentication
  371. Single Sign On peut aboutir à une situation où le sign on est
  372. automatique et arrive sur un mauvais utilisateur.
  373. Il s'agit de l'utilisateur attaché à l'objet =website= surlequel le sign on
  374. du service tiers a été configuré pour pointer.
  375. En effet, l'objet ~website~ possède un ~user_id~ qui va être utilisé en guise
  376. d'utilisateur par défaut. Si celui-ci ne correspond pas à l'utilisateur odoo ~public_user~,
  377. alors =galicia= considère que cet utilisateurs est déjà loggé et offre son accès.
  378. La solution est de forcer le ~user_id~ des objets ~website~ à l'id de l'utilisateur ~public_user~.
  379. C'est ce que fait la commande:
  380. #+begin_src sh
  381. vps odoo fix-sso
  382. #+end_src
  383. *** letsencrypt
  384. Le service letsencrypt fourni des certificat SSL à la demande et les
  385. renouvelle automatiquement.
  386. **** configuration dans compose
  387. ***** Authentification HTTP
  388. Il n'y a besoin d'aucune option dans le service =letsencrypt=.
  389. Le charm =apache= doit trouver un service utilisant le charm =letsencrypt=, cette
  390. connection se fera automatiquement si un servce de type =letsencrypt= est lancé soit
  391. parce que directement mentionné dans la racine ou dans une relation explicite.
  392. La relation construite automatiquement (ou manuellement) d'un service
  393. =apache= vers un service =letsencrypt= s'appelle =cert-provider=.
  394. Une fois que ce service est relié à apache, on peut s'en servir comme clé dans
  395. la configuration =ssl= des relations =*-->web-proxy-->apache=.
  396. Par défaut, =apache= utilisera du ssl pour tout se virtual-host s'il trouve un
  397. =cert-provider= à disposition.
  398. Aussi la configuration suivante est suffisante pour avoir un site publié en SSL:
  399. #+BEGIN_SRC yaml
  400. www.mydomain.org:
  401. charm: odoo
  402. apache:
  403. letsencrypt:
  404. #+END_SRC
  405. Cela équivaut à :
  406. #+BEGIN_SRC yaml
  407. www.mydomain.org:
  408. charm: odoo
  409. relations:
  410. web-proxy:
  411. myapache:
  412. domain: www.mydomain.org
  413. ssl:
  414. myletsencrypt:
  415. challenge-type: http
  416. myapache:
  417. charm: apache
  418. myletsencrypt:
  419. charm: letsencrypt
  420. #+END_SRC
  421. ***** Authentification DNS
  422. ****** créer un nouveau jeu de clé OVH pour l'authentification DNS
  423. When =letsencrypt= is setup and running::
  424. #+BEGIN_SRC sh
  425. compose --debug add letsencrypt DOMAIN [DOMAIN...]
  426. #+END_SRC
  427. Exemple de setup (dans =compose.yml=):
  428. #+BEGIN_SRC yaml
  429. letsencrypt:
  430. options:
  431. email: admin@0k.io
  432. ovh:
  433. entrypoint: ovh-eu
  434. application:
  435. key: ZZZ
  436. secret: XXX
  437. consumer_key: YYYYY
  438. #+END_SRC
  439. Le résultat est dans =/srv/datastore/data/letsencrypt/etc/letsencrypt/live/DOMAIN1=
  440. Il apparaît entre 30sec et 1 minute après la demande.
  441. ****** Vérifier que le jeu de clé ovh est bon
  442. Cette commande prend le compose yml et va vérifier que les accès sont valides:
  443. #+BEGIN_SRC shell
  444. check-compose-ovh-credentials compose.yml
  445. #+END_SRC
  446. **** Utilisation manuelle
  447. On peut utiliser le service =letsencrypt= manuellement
  448. ***** creation d'un certificat http
  449. #+BEGIN_SRC shell
  450. compose crt letsencrypt create DOMAIN [DOMAIN...]
  451. #+END_SRC
  452. Cette action crée un certificat (et force le renouvellement si existant).
  453. On peut y injecter une configuration via =--add-compose-content= si nécessaire::
  454. #+BEGIN_SRC shell
  455. compose --add-compose-content='
  456. letsencrypt:
  457. ovh:
  458. ## see: https://api.ovh.com/g934.first_step_with_api
  459. entrypoint: ovh-eu
  460. application:
  461. key: XXX
  462. secret: YYY
  463. consumer_key: ZZZ
  464. challenge-type: dns
  465. #renew-before-expiry: 30' crt letsencrypt create DOMAIN [DOMAIN...]
  466. #+END_SRC
  467. ***** Renew de tous les certificats
  468. Cela renew uniquement les certificats dont la date de validité est inférieure à 30j
  469. #+BEGIN_SRC shell
  470. compose crt letsencrypt renew
  471. #+END_SRC
  472. ***** Liste des certificats gérés et infos connexes
  473. #+BEGIN_SRC shell
  474. compose run letsencrypt crt list
  475. #+END_SRC
  476. ***** suppression d'un certificat
  477. #+BEGIN_SRC shell
  478. compose run letsencrypt certbot delete --cert-name DOMAIN
  479. #+END_SRC
  480. *** apache
  481. **** Utiliser letsencrypt
  482. Pour ajouter la fonctionalité de génération automatique de certificat
  483. via le service =letsencrypt=, il faut:
  484. - déclarer un service =letsencrypt= si cela n'est pas déjà fait
  485. - le lier au charm apache via une relation =cert-provider=:
  486. #+BEGIN_SRC yaml
  487. frontend:
  488. charm: apache
  489. relations:
  490. cert-provider: letsencrypt
  491. letsencrypt:
  492. ...
  493. #+END_SRC
  494. Et l'on peut alors utiliser la valeur =letsencrypt= (le nom du service qui implémente
  495. qui est en relation =cert-provider= avec apache) dans le champ =ssl=::
  496. #+BEGIN_SRC yaml
  497. web-proxy:
  498. apache:
  499. ...
  500. ssl: letsencrypt
  501. #+END_SRC
  502. **** Changer les clés SSL
  503. Voici un exemple de ce qu'on peut mettre dans les options de la relation apache
  504. pour déclarer le certificat que l'on souhaite:
  505. #+BEGIN_SRC yaml
  506. ssl:
  507. ca-cert:
  508. -----BEGIN CERTIFICATE-----
  509. MIIF6TCCA9GgAwIBAgIQBeTcO5Q4qzuFl8umoZhQ4zANBgkqhkiG9w0BAQwFADCB
  510. iDELMAkGA1UEBhMCVVMxEzARBgNVBAgTCk5ldyBKZXJzZXkxFDASBgNVBAcTC0pl
  511. ...
  512. m9T8bJUox04FB6b9HbwZ4ui3uRGKLXASUoWNjDNKD/yZkuBjcNqllEdjB+dYxzFf
  513. BT02Vf6Dsuimrdfp5gJ0iHRc2jTbkNJtUQoj1iM=
  514. -----END CERTIFICATE-----
  515. -----BEGIN CERTIFICATE-----
  516. MIIFdzCCBF+gAwIBAgIQE+oocFv07O0MNmMJgGFDNjANBgkqhkiG9w0BAQwFADBv
  517. MQswCQYDVQQGEwJTRTEUMBIGA1UEChMLQWRkVHJ1c3QgQUIxJjAkBgNVBAsTHUFk
  518. ...
  519. Le9Gclc1Bb+7RrtubTeZtv8jkpHGbkD4jylW6l/VXxRTrPBPYer3IsynVgviuDQf
  520. Jtl7GQVoP7o81DgGotPmjw7jtHFtQELFhLRAlSv0ZaBIefYdgWOWnU914Ph85I6p
  521. 0fKtirOMxyHNwu8=
  522. -----END CERTIFICATE-----
  523. cert: |
  524. -----BEGIN CERTIFICATE-----
  525. MIIF/TCCBOWgAwIBAgIRALUydpTpCApfYMuJchDJv5AwDQYJKoZIhvcNAQELBQAw
  526. XzELMAkGA1UEBhMCRlIxDjAMBgNVBAgTBVBhcmlzMQ4wDAYDVQQHEwVQYXJpczEO
  527. ...
  528. lIxY9HJanHrWvjiz7+eToxXpZJtAPXTx5hxzcJrtWROlq7IJCMIhzr/EVA37jTCk
  529. Xs5S6mr0T6Dqx6MQkPATSsEEJlLH5wq3DxXQcrMqnM/WHMRYUCkoTl37sXplflHe
  530. jw==
  531. -----END CERTIFICATE-----
  532. key: |
  533. -----BEGIN PRIVATE KEY-----
  534. MIIJRQIBADANBgkqhkiG9w0BAQEFAASCCS8wggkrAgEAAoICAQDONqqTCS4CiSi/
  535. XeNpp2nUsq1299spGc7mlRs+PDrXNHscB5lUB5/yo2yEetYXrJacQ8n4NV9hkID5
  536. ...
  537. 44eHDYsofcnRbidGR+QT8PQgiiDNCkbpi2u4QnLTs0w4oW+53ZTyHYEYF2rcLbIb
  538. vRt4kR4KG6ULXrmsRA4WQjBDJ9vZw2aK+w==
  539. -----END PRIVATE KEY-----
  540. #+END_SRC
  541. **** Ajouter des rêgles particulière de apache
  542. #+BEGIN_SRC yaml
  543. relations:
  544. web-proxy:
  545. apache:
  546. ...
  547. apache-custom-rules: |
  548. RewriteEngine On
  549. RewriteCond %{HTTPS} off
  550. RewriteRule ^ https://%{HTTP_HOST}%{REQUEST_URI} [R=302,L,QSA]
  551. #+END_SRC
  552. **** Vérification des derniers logs de renouvellement automatique
  553. #+BEGIN_SRC shell
  554. tail -f /srv/datastore/data/cron/var/log/cron/letsencrypt-renew_script.log -n 200
  555. #+END_SRC
  556. *** postgres
  557. **** utilisation de pgm
  558. récupérer l'IP du docker postgres via =docker-ip=
  559. #+BEGIN_SRC sh
  560. PGHOST=172.19.0.2 PGUSER=postgres pgm ls
  561. #+END_SRC
  562. **** base corrompue, réparation
  563. Il s'agit de lancer un =pg_resetwal=, il faut veiller à plusieurs élément:
  564. - bien arréter tout process utilisant le répertoire de =data= du
  565. postgres en question, généralement un =compose stop postgres=
  566. suffit.
  567. - utiliser l'image du postgres via son nom (habituellement =myc_postgres=).
  568. - monter le répertoire data =directement=
  569. Le tout peut se faire ainsi dans une installation qui fait tourner un postgres
  570. actuellement:
  571. #+begin_src sh
  572. compose stop postgres &&
  573. docker run --rm --entrypoint pg_resetwal \
  574. -u postgres -v /srv/datastore/data/postgres/var/lib/postgresql/data:/var/lib/postgresql/data \
  575. myc_postgres \
  576. /var/lib/postgresql/data &&
  577. docker start myc_postgres_1
  578. #+end_src
  579. *** mysql
  580. **** sur installation mailcow
  581. Le script =vps= fourni via =myc-manage=, permet la commande =vps
  582. install backup MYBACKUPDEST=, qui s'occupe de mettre en place le dump
  583. de =mysql=, et le système pour envoyer les backup régulièrement via
  584. rsync.
  585. **** docker sans compose
  586. #+begin_src sh
  587. export MYSQL_ROOT_PASSWORD=xxx
  588. export MYSQL_CONTAINER=mailcowdockerized_mysql-mailcow_1
  589. /srv/charm-store/mysql/hooks/install.d/60-backup.sh
  590. #+end_src
  591. *** rsync-backup
  592. **** Installation du backup de compose / mailcow
  593. Les commandes suivantes permettent l'installation du backup sur les
  594. deux type de serveur suivant :
  595. - un serveur =compose= est un serveur ayant des services géré par
  596. =compose= à backupper.
  597. - un serveur =mailcow= est un serveur faisant tourner l'installation =mailcow=.
  598. ***** Via la commande 0km sur un hôte admin
  599. L'instruction suivante doit être executée sur un hôte ayant la
  600. commande =0km= d'installée et les accès SSH vers le VPS et un compte
  601. d'administration du service =rsync-backup-target= sur le serveur
  602. d'archivage.
  603. Dans l'exemple suivant on utilise le compte administration du service
  604. =rsync-backup-target= nommé =myadmin=... pour avoir la liste des
  605. compte admin, se reporter au contenu du fichier =compose.yml= sur le
  606. serveur d'archivage et plus spécifiquement la configuration du service
  607. =rsync-backup-target=. Les noms des comptes admin y sont défini ainsi
  608. que les clés publiques y ayant accès.
  609. #+begin_src sh
  610. 0km vps-install backup myadmin@core-06.0k.io:10023 myvps.fr
  611. #+end_src
  612. Note: on peut spécifier autant de vps que l'on souhaite en fin de
  613. ligne de commande. L'installation des vps se fera en parallèle et
  614. vers le serveur d'archive spécifié en premier argument.
  615. Note: cette commande peut-être executé plusieurs fois sur le même
  616. hôte : si tout est déjà installé, cette commande n'aura pour seul
  617. effet que de relancer une synchronisation vers le backup.
  618. ***** Via la commande vps sur le vps lui-même
  619. A faire depuis le serveur compose ou mailcow:
  620. #+begin_src sh
  621. vps install backup core-06.0k.io:10023
  622. #+end_src
  623. Ici =core-06.0k.io:10023= est le serveur cible d'archivage (à modifier
  624. si nécessaire).
  625. A la fin de l'opération, une commande est proposée pour ajouter
  626. facilement la nouvelle clé à l'hôte s'occupant de l'archivage.
  627. Cette commande doit être executée sur un hôte ayant les accès vers un
  628. compte administration du serveur d'archivage.
  629. Dans le cas d'un VPS sur installation compose, il s'agira également de
  630. relancer sur le VPS lui-même, un =compose up= pour intégrer et lancer
  631. le nouveau container de backup.
  632. Une fois la clé enregistrée du coté du serveur d'archivage, un premier
  633. archivage peut être déclenché via:
  634. #+begin_src sh
  635. vps backup
  636. #+end_src
  637. Ceci permet de lancer le premier backup et de valider que tout fonctionne
  638. **** Installation du backup sur un host debian
  639. Cela fonctionnera sur tout host ayant une base debian.
  640. #+begin_src sh
  641. DOMAIN=mail.xxxx.fr
  642. BACKUP_SERVER=core-06.0k.io:10023
  643. cd /srv/charm-store/rsync-backup/
  644. ./hooks/install.d/60-install.sh
  645. #+end_src
  646. Note, il est possible de spécifier des exclusions pour chaque
  647. répértoire mirroré de telle façon:
  648. #+begin_src sh
  649. cat <<EOF >> /etc/mirror-dir/config.yml
  650. /home:
  651. exclude:
  652. - /*/.cache/
  653. - /*/.gvfs/
  654. - /*/.local/share/Trash/files/
  655. - /*/.Trash/
  656. - /*/.mozilla/firefox/*/Cache/
  657. - /*/.mozilla/firefox/*/storage/default/*/cache/
  658. /media/data:
  659. exclude:
  660. - /binary/games/_steam
  661. - /incoming
  662. - /.Trash*
  663. - /lost+found
  664. - /backup/device
  665. EOF
  666. #+end_src
  667. *** nextcloud
  668. **** Mise à jour en dernière version
  669. Cette commande permet d'appliquer successivement les version de
  670. nextcloud, elle modifie le =compose.yml=. Et installe la dernière
  671. version disponible donnée par =docker-tags-fetch docker.0k.io/nextcloud=.
  672. Étant donné que la commande est un peu nouvelle et la tâche assez
  673. fastidieuse et risquée, ne pas hésiter à la lancer dans un =tmux= pour
  674. être prêt à demander de l'aide. Également, lancer un =myc-update= avant.
  675. Aussi, il est toujours bon de vérifier que le backup fonctionne et que
  676. la version sur le serveur de backup est à jour (lancer =vps backup= est
  677. un bon moyen de voir cela).
  678. #+begin_src sh
  679. vps nextcloud upgrade
  680. #+end_src
  681. *** onlyoffice
  682. **** Troubleshooting
  683. Il y eu de nombreux cas où onlyoffice pète ses propres
  684. fichiers de config. Une bonne façon de le régler:
  685. #+begin_src sh
  686. docker stop myc_onlyoffice_1
  687. rm -rf /srv/datastore/config/onlyoffice
  688. compose --debug up
  689. #+end_src
  690. Ceci permet d'effacer la config mise en place par compose et de la
  691. reconstruire, et tout ce qui est dans
  692. `/srv/datastore/config/onlyoffice` se reconstruit tout seul via les
  693. charms au moment du `compose up`.
  694. * Interventions avancées
  695. Description des process avancés d'intervention sur une installation existante.
  696. ** Modification du compose
  697. Y a un exemple en commentaire dans le =/opt/apps/myc-deploy/compose.yml=
  698. Petit exemple:
  699. #+BEGIN_SRC yaml
  700. odoo:
  701. ...
  702. docker-compose:
  703. ## Important to keep as a list: otherwise it'll overwrite charm's arguments.
  704. command:
  705. - "--log-level=debug"
  706. environment:
  707. TOTO: TUTU
  708. image: masuperimage
  709. #+END_SRC
  710. ** Récupération de donnée
  711. *** Depuis le VPS backuppé
  712. Les VPS backuppés peuvent avoir besoin de récupérer les données
  713. archivées. Pour le moment, comme il n'y pas d'accès aux versions
  714. précédentes des backups, l'intérêt de cette fonctionnalité reste
  715. limité.
  716. **** Par répertoire
  717. Via la commande =vps=, l'action =recover-target= permet de recouvrir
  718. les données du service d'archivage (si celui-ci à été correctement
  719. installé avec les commandes spécifiée dans la [[*rsync-backup][section =rsync-backup=]]).
  720. Récupération d'un répertoire:
  721. #+begin_src sh
  722. vps recover-target "cron/" /tmp/cron
  723. #+end_src
  724. Cette commande va récupérer le contenu archivé dans "cron/" pour le mettre
  725. sur l'hôte courant dans "/tmp/cron".
  726. Il est possible de spécifier l'option =--dry-run= (ou =-n=) pour ne
  727. rien modifier et voir quels sont les actions qui seront menées.
  728. Attention à l'usage de cette commande, en effet le répertoire de
  729. destination peut-être entièrement modifié : cette commande effacera et
  730. modifiera le contenu du répertoire de destination.
  731. *** Depuis un hôte d'administration
  732. **** Récupération d'un VPS complet
  733. ***** Mailcow
  734. Depuis un hôte d'adminstration, et via la command =0km=, nous
  735. pouvons re-déployer un backup existant sur un nouveau VPS.
  736. #+begin_src sh
  737. 0km vps-backup recover myadmin@core-06.0k.io:10023#mail.mybackupedvps.com mynewvps.com
  738. #+end_src
  739. Attention, cela supprimera toute installation =mailcow= précédente
  740. (donnée comprise) sur le VPS de destination.
  741. ***** Compose
  742. La commande complète n'est pas implémentée, mais il s'agit surtout de faire un
  743. recover partiel:
  744. #+begin_src sh
  745. 0km vps-backup recover myadmin@core-06.0k.io:10023#mail.mybackupedvps.com:/ mynewvps.com:/srv/datastore/data
  746. #+end_src
  747. Puis de copier le fichier =/srv/datastore/data/compose.yml= sur =/opt/apps/myc-deploy/compose.yml=:
  748. #+begin_src sh
  749. cp /srv/datastore/data/compose.yml /opt/apps/myc-deploy/compose.yml
  750. #+end_src
  751. Puis s'occuper des bases de données:
  752. ****** récupération des bases postgres
  753. Dans le répertoire =/srv/datastore/data/postgres/var/backups/pg=
  754. Récupération des derniers dumps:
  755. #+begin_src sh
  756. compose --debug up postgres
  757. for dump in /srv/datastore/data/postgres/var/backups/pg; do
  758. pgm cp "$dump" postgres@"${dump%%.*}"
  759. done
  760. #+end_src
  761. ****** récupération des bases mongo
  762. Dans le répertoire =/srv/datastore/data/mongo/var/backups/mongo=
  763. #+begin_src sh
  764. compose --debug up mongo
  765. docker run -ti --rm \
  766. -v /srv/datastore/data/mongo/var/backups/mongo:/tmp/backups \
  767. -w /tmp/backups \
  768. --entrypoint mongorestore \
  769. --network myc_default \
  770. myc_mongo --host rs01/mongo /tmp/backups/
  771. #+end_src
  772. ****** Finalisation
  773. Tout devrait être bon.
  774. Un ~compose --debug up~ devrait faire l'affaire.
  775. **** Récupération partielle
  776. ***** Récupération d'un répertoire ou fichier précis
  777. Depuis un hôte d'administration, et via la command =0km=, nous pouvons
  778. récupérer un répertoire ou un fichier précis d'un backup existant sur
  779. un nouveau VPS.
  780. C'est la même commande que pour la récupération complète, on rajoute à
  781. la source un chemin et possible aussi à la destination.
  782. #+begin_src sh
  783. 0km vps-backup recover myadmin@core-06.0k.io:10023#mail.mybackupedvps.com:/mon/chemin mynewvps.com
  784. 0km vps-backup recover myadmin@core-06.0k.io:10023#mail.mybackupedvps.com:/mon/chemin mynewvps.com:/ma/dest
  785. #+end_src
  786. ***** Récupération d'un composant
  787. Suivant si le type de backup est reconnu et le supporte, il est
  788. possible de nommer un composant précis en lieu et place d'un
  789. répertoire ou d'un fichier.
  790. Par exemple, les backup de type 'mailcow' supportent les composants
  791. suivants: =mailcow=, =postfix=, =rspamd=, =redis=, =crypt=, =vmail=,
  792. =vmail-attachments=, =mysql=.
  793. #+begin_src sh
  794. 0km vps-backup recover myadmin@core-06.0k.io:10023#mail.mybackupedvps.com:mailcow,mysql mynewvps.com
  795. 0km vps-backup recover myadmin@core-06.0k.io:10023#mail.mybackupedvps.com:postfix mynewvps.com
  796. #+end_src
  797. ** Troubleshooting
  798. S'il semble qu'il y a un soucis, il est possible de visualiser le
  799. =docker-compose.yml= qui est généré à la fin via l'ajout de =--debug=
  800. AVANT la commande:
  801. #+begin_src sh
  802. compose --debug up odoo frontend
  803. #+end_src
  804. *** en cas de soucis important ou inédit
  805. **** Lancer un ~compose --debug up~
  806. La simple action de relancer un ~compose --debug up~ permet à compose
  807. de repasser sur tous les scripts et notamment cela permet de recréer
  808. toutes les configurations, aussi certains des containers peuvent être
  809. également recréés et relancés. Notamment si de nouvelles images de
  810. services ont été ~pull~ récemment.
  811. #+begin_src sh
  812. compose --debug up
  813. #+end_src
  814. Si cette commande ne fonctionne pas, prendre le temps de bien lire le
  815. message d'erreur.
  816. **** Vider les cache de ~/var/cache/compose~
  817. En cas de problème non expliqués et inédits, il est bon de vérifier si
  818. l'effacement des caches de compose ne permet pas de corriger le
  819. problème :
  820. #+begin_src sh
  821. rm /var/cache/compose/*
  822. #+end_src
  823. Puis relancer la commande qui ne fonctionne pas (par exemple ~compose
  824. --debug up~).
  825. **** Redémarrage du service =docker=
  826. Il y a de nombreux bugs répertoriés sur ~docker~ qui n'ont pas été
  827. réglés depuis de nombreuses années qui sont corrigés par un ~restart~ de
  828. tous les containers et du service docker lui-même.
  829. #+begin_src sh
  830. systemctl restart docker.service
  831. #+end_src
  832. va redémarrer le service docker sur la machine et donc tous les
  833. services gérés par docker (tous les services en somme).
  834. La coupure de service de cette commande est relativement courte
  835. (inférieure à la minute).
  836. **** Redéploiement des services
  837. Ce dernier cas est long, et n'est pas souvent efficace, mais il peut
  838. l'être dans certains cas. Cela va stopper et effacer tous les
  839. containers des services, puis reconstruire toute leur configuration et
  840. les relancer.
  841. Attention cela engendre une coupure de service qui peut être longue (le temps
  842. d'un ~compose up~ complet).
  843. #+begin_src sh
  844. compose --debug down &&
  845. compose --debug up
  846. #+end_src
  847. * Comment ça marche
  848. La surcouche =compose= a pour responsabilité de:
  849. - créer graduellement un =docker-compose.yml= et lancer =docker-compose=.
  850. - à partir des *charms* qui factorisent les parties réutilisables
  851. - et à partir du =compose.yml= qui offre une interface plus haut niveau
  852. et permet d'exprimer plus succintement les intentions de déploiement sans
  853. entrer dans la logique technique de l'implémentation des services.
  854. - lancer des executable et des instructions au fur et à mesure si nécessaire.
  855. Il part du =compose.yml= et accède aux définitions en yaml des charms
  856. à déployer et qui sont dans /srv/charms ... (qui en fait sont dans
  857. =/opt/apps/0k-charms=).
  858. Chaque charm possède une définition générale (le =metadata.yml=) qui
  859. permet également l'injection d'élément dans le =docker-compose.yml=
  860. final.
  861. Et puis il y a des =hooks= : des scripts bash lancés avec des
  862. information contextuelle dans des variables d'environment, et qui vont
  863. généralement mettre en place des services à l'initialisation ou pour
  864. s'assurer de la bonne liaison entre les services.