You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.

1099 lines
30 KiB

  1. #+SETUPFILE: /home/vaab/dev/el/org-html-themes/setup/theme-readtheorg.setup
  2. #+PROPERTY: Effort_ALL 0 0:30 1:00 2:00 0.5d 1d 1.5d 2d 3d 4d 5d
  3. #+PROPERTY: Max_effort_ALL 0 0:30 1:00 2:00 0.5d 1d 1.5d 2d 3d 4d 5d
  4. #+PROPERTY: header-args:python :var filename=(buffer-file-name)
  5. #+PROPERTY: header-args:sh :var filename=(buffer-file-name)
  6. #+TODO: TODO WIP BLOCKED POSTPONED | DONE CANCELED
  7. #+LATEX_HEADER: \usepackage[margin=0.5in]{geometry}
  8. #+LaTeX_CLASS: article
  9. #+OPTIONS: H:8 ^:nil prop:("Effort" "Max_effort") tags:not-in-toc
  10. #+COLUMNS: %50ITEM %Effort(Min Effort) %Max_effort(Max Effort)
  11. #+begin_LaTeX
  12. \hypersetup{
  13. linkcolor=blue,
  14. pdfborder={0 0 0 0}
  15. }
  16. #+end_LaTeX
  17. #+TITLE: Architecture 0k.io
  18. #+LATEX: \pagebreak
  19. * Process de déploiement
  20. Description du process de déploiement pour une nouvelle installation
  21. ** Base myc
  22. *** Qu'est ce c'est ?
  23. A partir d'une debian 9 ou debian 10, on peut installer la machine
  24. pour être prête à utiliser un déploiement myc.
  25. Une fois executé, la machine aura toute les deps pour lancer une
  26. commande compose qui fera peut-être appel à des registry de
  27. mycéliandre. Un compose de base est aussi proposé.
  28. *** Déploiement
  29. **** Hôte linux base debian 9 et debian 10
  30. ***** Accès ssh standardisé
  31. Via la commande =0km=, depuis votre poste, permet de standardiser
  32. l'accès avec vos clés SSH, et positionner le nom de domaine si
  33. nécessaire.
  34. #+BEGIN_SRC sh
  35. 0km vps-setup HOST
  36. #+END_SRC
  37. Note: ceci fonctionnera que si vous avez un fichier de configuration
  38. dans =/etc/0km/config.yml= (si vous allez l'utiliser en root) ou dans
  39. =~/.config/0km/config.yml= autrement. Ce fichier doit au moins contenir
  40. une clé ssh (ou plusieurs) ainsi:
  41. #+begin_src yaml
  42. ssh-access:
  43. public-keys:
  44. - ssh-rsa AAAAB3NzaC1yc2EAAAAD...qGy20KlAOGPf nom_clef
  45. #+end_src
  46. ***** Déploiement de la solution pour compose
  47. Depuis le VPS, en root:
  48. #+BEGIN_SRC sh
  49. export WITHOUT_DOCKER_CLEAN=1 ## only if you want to remove docker clean from cron
  50. wget https://justodooit.myceliandre.fr/r/deploy -qO - | bash
  51. #+END_SRC
  52. Si vous souhaitez positionner le nom de domaine:
  53. #+BEGIN_SRC sh
  54. export WITHOUT_DOCKER_CLEAN=1 ## only if you want to remove docker clean from cron
  55. export DOMAIN=myhost.com
  56. wget https://justodooit.myceliandre.fr/r/deploy -qO - | bash
  57. #+END_SRC
  58. ***** Déploiement de la solution pour mailcow
  59. ****** Sur un vps sans mailcow de pre-installé
  60. #+BEGIN_SRC sh
  61. export WITHOUT_DOCKER_CLEAN=1 ## only if you want to remove docker clean from cron
  62. wget https://justodooit.myceliandre.fr/r/deploy -qO - | bash
  63. #+END_SRC
  64. ****** Sur un vps avec mailcow de pre-installé
  65. #+BEGIN_SRC sh
  66. export WITHOUT_DOCKER_CLEAN=1 ## only if you want to remove docker clean from cron
  67. export NO_DOCKER_RESTART=1 ## Can use that only if mailcow is pre-existing
  68. wget https://justodooit.myceliandre.fr/r/deploy -qO - | bash
  69. #+END_SRC
  70. **** Hôte macosx
  71. - install bash, docker
  72. - Uncheck "Securely store docker logins in macOS keychain"
  73. *** Ce que cela fait
  74. **** Mettre la machine en état charm-ready
  75. - installation du strict minimu pour lancer les =charms=
  76. - téléchargement de la dernière version des =0k-charms= (collection
  77. de recettes d'installation et de gestion de docker)
  78. **** Mettre la machine en état compose ready (notre docker qui va bien)
  79. via le lancement du charm =docker-host= qui installe:
  80. - docker, docker-compose, compose avec des versions qui vont bien
  81. - paquets maisons (kal-scripts, 0k-manage, 0k-pgm, lxc-scripts, 0k-docker)
  82. - accès pour le repository deb de kalysto.org
  83. - clé SSH pour repos git.kal.fr
  84. - login sur le docker registry docker.0k.io
  85. **** Commandes spécifique à myc
  86. - login sur le registry myc
  87. - téléchargement du compose de base dans =/opt/apps/myc-deploy=
  88. ** Modification du compose
  89. *** Qu'est-ce que c'est ?
  90. Il y a des update client à faire souvent sur le compose. Cette étape
  91. doit être externalisée au plus possible, sont consigné ici ce qu'il
  92. faut encore faire à la main.
  93. *** Commande
  94. **** Création de clé OVH pour letsencrypt/lexicon
  95. Ceci n'est nécessaire qu'en cas d'utilisation de la méthode DNS
  96. pour valider la possession du domaine auprès de letsencrypt.
  97. #+BEGIN_SRC shell
  98. APPLICATION_KEY=XXXXXXXXXXXXXXXXX
  99. REDIR_WEBSITE=https://0k.io
  100. req=$(cat <<EOF
  101. {
  102. "accessRules": [
  103. {
  104. "method": "GET",
  105. "path": "/*"
  106. },
  107. {
  108. "method": "POST",
  109. "path": "/*"
  110. },
  111. {
  112. "method": "PUT",
  113. "path": "/*"
  114. },
  115. {
  116. "method": "DELETE",
  117. "path": "/*"
  118. }
  119. ],
  120. "redirection":"$REDIR_WEBSITE"
  121. }
  122. EOF
  123. )
  124. res=$(curl -X POST \
  125. -H "X-Ovh-Application: ${APPLICATION_KEY}" \
  126. -H "Content-type: application/json" \
  127. https://eu.api.ovh.com/1.0/auth/credential \
  128. -d "$req")
  129. consumer_key=$(echo "$res" | jq -r .consumerKey)
  130. validation_url=$(echo "$res" | jq -r .validationUrl)
  131. echo "Visit: $validation_url"
  132. echo "ConsumerKey: $consumer_key"
  133. #+END_SRC
  134. Il s'agit alors de remplir le compose.yml
  135. #+BEGIN_SRC yaml
  136. ovh:
  137. ## see: https://api.ovh.com/g934.first_step_with_api
  138. entrypoint: ovh-eu
  139. application:
  140. key: XXXXXXXXXXXXXXXX
  141. secret: YYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYY
  142. consumer_key: ZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZ
  143. #+END_SRC
  144. Puis de valider que tout est ok:
  145. #+BEGIN_SRC shell
  146. check-compose-ovh-credentials compose.yml
  147. #+END_SRC
  148. ** Lancement/Deploy de service odoo
  149. *** Qu'est ce que c'est ?
  150. A partir d'une base myc, cette commande permet d'envoyer la
  151. construction et l'assemblage de tous les services décrit dans le
  152. =compose.yml= fourni par défaut.
  153. *** commandes
  154. #+BEGIN_SRC sh
  155. cd /opt/apps/myc-deploy
  156. compose --debug up odoo frontend
  157. #+END_SRC
  158. De manière générale:
  159. #+BEGIN_SRC sh
  160. compose [--debug] up [SERVICES...]
  161. #+END_SRC
  162. *** Ce que ça fait
  163. Les charms vont s'occuper de séparer la config des
  164. donnée, de tout stocker dans =/srv/datastore=, il vont
  165. s'occuper de la petite maintenance:
  166. - le charm postgres (qui est une dépendance du service odoo) va créer
  167. un mot de passe et le filer à odoo
  168. - le charm apache (qui implémente le service frontend)
  169. va créer les fichiers de conf apache pour déclarer un virtualhost
  170. et mettre les clés SSL s'il y a lieu.
  171. * Gestion
  172. Description des process de gestion d'une installation existante.
  173. ** Connection aux serveurs
  174. *** installation commande =st=
  175. Le mieux est d'utiliser la commande =st= que l'on peut installer ainsi
  176. sur un poste linux ayant =apt=:
  177. Se mettre en =root=:
  178. #+begin_src sh
  179. cat <<'EOF' > /usr/local/bin/st
  180. #!/bin/bash
  181. echo "Trying mosh to $1"
  182. TERM=xterm-256color mosh "$1" -- bash -c "tmux attach || { tmux; }"
  183. if [ "$?" == "5" ]; then
  184. echo "Fallback to ssh $1"
  185. ssh "$1" -tM "TERM=xterm-256color tmux attach || TERM=xterm-256color tmux"
  186. fi
  187. EOF
  188. chmod +x /usr/local/bin/st
  189. apt install mosh
  190. #+end_src
  191. *** utilisation de la commande =st=
  192. =st= utilise =ssh= ou =mosh= et se met dans un =tmux= sur la destination.
  193. #+begin_src sh
  194. st root@monvps.fr
  195. #+end_src
  196. On note qu'il faut penser à mettre les clé SSH sur la destination.
  197. ** Mise à jour de l'ensemble
  198. Pour mettre à jour un VPS:
  199. #+BEGIN_SRC sh
  200. myc-update
  201. #+END_SRC
  202. Cette commande va ré-appliquer l'installation du charm =docker-host=
  203. qui installe ou met à jour chaque composant.
  204. ** Gestion des dockers
  205. *** Relancement
  206. si on veut relancer parce que le compose a changé :
  207. on fait pareil qu'au lancement : lors du "up", docker-compose se
  208. rend compte que la définition des services a changé et relance les
  209. docker voulu.
  210. *** Arrêt
  211. #+BEGIN_SRC sh
  212. compose --debug down
  213. #+END_SRC
  214. *** Voir les logs
  215. #+BEGIN_SRC sh
  216. cd /opt/apps/myc-deploy
  217. compose --debug logs odoo
  218. #+END_SRC
  219. *** Obtenir les IPs des dockers
  220. #+BEGIN_SRC sh
  221. docker-ip
  222. #+END_SRC
  223. *** Limiter la mémoire utilisée par un container
  224. Certains container vont demander beaucoup de memoire par défaut et
  225. doivent être contenu dans des environment limités.
  226. Aussi, on peut limiter la mémoire d'un docker dans le fichier
  227. =compose.yml=:
  228. #+begin_src yaml
  229. mon-service:
  230. # ...
  231. docker-compose:
  232. mem_limit: 2g
  233. memswap_limit: 2g ## Au cas où l'on a du swap
  234. # ...
  235. #+end_src
  236. *** Vérification de santé générale
  237. La commande =vps check-fix= contrôler les containers en cours de
  238. fonctionnement pour vérifier s'ils ne sont pas touché par quelques
  239. problème identifiés et connus. Et elle va réparer ce qu'elle peut.
  240. #+begin_src sh
  241. vps check-fix
  242. #+end_src
  243. Il est possible de lancer ces vérifications sur une liste de service
  244. spécifique ou de sélectionner le test voulu. Voir =vps check-fix
  245. --help= pour plus d'info.
  246. Il peut être opportun d'ajouter dans sur l'hôte, par exemple, une
  247. vérification périodique et automatique:
  248. #+begin_src sh
  249. cat <<EOF > /etc/cron.d/vps-check
  250. SHELL=/bin/bash
  251. PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin
  252. */15 * * * * root vps check-fix -s -c container-aliveness 2>&1 | logger -t check-fix
  253. */5 * * * * root vps check-fix -s rocketchat 2>&1 | logger -t check-fix
  254. EOF
  255. #+end_src
  256. ** Par services
  257. *** odoo
  258. **** Backups
  259. ***** Backuping odoo account (filestore and database)
  260. ****** Via =vps= command
  261. A few examples:
  262. #+begin_src sh
  263. ## dump default database of default service to file db.zip
  264. vps odoo dump db.zip
  265. ## dump default database of 'odoo2' service
  266. vps odoo dump /tmp/db.zip -s odoo2
  267. ## dump 'odoodev' database of default 'odoo' service
  268. vps odoo dump /tmp/db.zip -d odoodev
  269. #+end_src
  270. ****** Via charm only actions
  271. Be sure that your odoo instance should be already up.
  272. #+BEGIN_SRC sh
  273. MYODOOSERVICENAME=odoo
  274. DBNAME="$MYODOOSERVICENAME"
  275. OUTPUTFILE=backup-odoo.zip
  276. compose save "$MYODOOSERVICENAME" "$DBNAME" > "$OUTPUTFILE"
  277. #+END_SRC
  278. ***** Restoring odoo account (filestore and database)
  279. *IMPORTANT* you might want to consider the usage of =docker-cutoff= if
  280. you are restoring a production odoo onto a dev or staging odoo that you
  281. don't want to allow to go mess around with sending mails or fetching mails.
  282. #+BEGIN_SRC yaml
  283. docker-cutoff 25 993 465
  284. #+END_SRC
  285. ****** Via =vps= command
  286. #+begin_src sh
  287. ## restore default database of default service from file db.zip
  288. vps odoo restore db.zip
  289. ## restore default database of 'odoo2' service
  290. vps odoo restore /tmp/db.zip -s odoo2
  291. ## restore 'odoodev' database of default 'odoo' service
  292. vps odoo restore /tmp/db.zip -d odoodev
  293. #+end_src
  294. ****** Via standard charm action
  295. Be sure that your odoo instance is already up.
  296. These are the normal loading instructions:
  297. #+BEGIN_SRC sh
  298. MYODOOSERVICENAME=odoo
  299. DBNAME="$MYODOOSERVICENAME"
  300. SOURCEFILE=backup-odoo.zip
  301. compose load "$MYODOOSERVICENAME" "$DBNAME" < "$SOURCEFILE"
  302. #+END_SRC
  303. **** Update de modules
  304. #+BEGIN_SRC sh
  305. compose update odoo MABASE [MODULE [MODULE ...]]
  306. #+END_SRC
  307. **** lancement d'une commande odoo
  308. Si l'ensemble n'est pas up:
  309. #+BEGIN_SRC sh
  310. compose --debug run odoo --help
  311. #+END_SRC
  312. **** Mod dev d'odoo
  313. Il est souhaitable de lancer odoo en mode dev avec un terminal prêt à
  314. accueillir un pdb par exemple, et pouvoir changer facilement la ligne de commande.
  315. On peut tout a fait lancer odoo directement, par exempe:
  316. #+BEGIN_SRC sh
  317. compose run --rm --use-aliases odoo --dev=wdb --config=/opt/odoo/auto/odoo.conf
  318. #+END_SRC
  319. On récupère ainsi tous les volumes et autres options (sauf ce qui est
  320. dans =command:=) défini dans =compose.yml=.
  321. Un problème cependant: si on utilise apache comme frontend, celui-ci
  322. ne pourra pas résoudre le nom =odoo= à cause de problèmes autour de
  323. =docker-compose= et/ou =docker network=. En effet, si on fait un =up=
  324. comme d'habitude, et qu'on souhaite simplement arrêter le service
  325. classique pour ensuite le remplacer par la commande au dessus, cela ne
  326. fonctionnera pas. En effet, l'alias réseau =odoo= n'est plus adjoignable
  327. (même avec les commandes =docker network {dis,}connect=), et même si
  328. le container original de odoo est détruit ou éjecté du réseau, ou que l'on
  329. essaye de connecter soi-même le nouveau container.
  330. Un moyen (bancal) de passer outre cependant:
  331. - =down= pour fermer le réseau
  332. - =create= sur le service apache, puis =restart=.
  333. - enfin, le =run= tel que décrit au dessus
  334. Soit:
  335. #+BEGIN_SRC sh
  336. compose down &&
  337. compose create apache &&
  338. compose restart apache &&
  339. compose run --rm --use-aliases odoo --dev=wdb --config=/opt/odoo/auto/odoo.conf
  340. #+END_SRC
  341. Le container odoo crée par la dernière ligne se retirera proprement des tables DNS
  342. interne, et donc peut tout a fait être relancée autant de fois que l'on souhaitera.
  343. **** Single Sign On en carafe
  344. L'installation du module =website= et =galicia= pour l'authentication
  345. Single Sign On peut aboutir à une situation où le sign on est
  346. automatique et arrive sur un mauvais utilisateur.
  347. Il s'agit de l'utilisateur attaché à l'objet =website= surlequel le sign on
  348. du service tiers a été configuré pour pointer.
  349. En effet, l'objet ~website~ possède un ~user_id~ qui va être utilisé en guise
  350. d'utilisateur par défaut. Si celui-ci ne correspond pas à l'utilisateur odoo ~public_user~,
  351. alors =galicia= considère que cet utilisateurs est déjà loggé et offre son accès.
  352. La solution est de forcer le ~user_id~ des objets ~website~ à l'id de l'utilisateur ~public_user~.
  353. C'est ce que fait la commande:
  354. #+begin_src sh
  355. vps odoo fix-sso
  356. #+end_src
  357. *** letsencrypt
  358. Le service letsencrypt fourni des certificat SSL à la demande et les
  359. renouvelle automatiquement.
  360. **** configuration dans compose
  361. ***** Authentification HTTP
  362. Il n'y a besoin d'aucune option dans le service =letsencrypt=.
  363. Le charm =apache= doit trouver un service utilisant le charm =letsencrypt=, cette
  364. connection se fera automatiquement si un servce de type =letsencrypt= est lancé soit
  365. parce que directement mentionné dans la racine ou dans une relation explicite.
  366. La relation construite automatiquement (ou manuellement) d'un service
  367. =apache= vers un service =letsencrypt= s'appelle =cert-provider=.
  368. Une fois que ce service est relié à apache, on peut s'en servir comme clé dans
  369. la configuration =ssl= des relations =*-->web-proxy-->apache=.
  370. Par défaut, =apache= utilisera du ssl pour tout se virtual-host s'il trouve un
  371. =cert-provider= à disposition.
  372. Aussi la configuration suivante est suffisante pour avoir un site publié en SSL:
  373. #+BEGIN_SRC yaml
  374. www.mydomain.org:
  375. charm: odoo
  376. apache:
  377. letsencrypt:
  378. #+END_SRC
  379. Cela équivaut à :
  380. #+BEGIN_SRC yaml
  381. www.mydomain.org:
  382. charm: odoo
  383. relations:
  384. web-proxy:
  385. myapache:
  386. domain: www.mydomain.org
  387. ssl:
  388. myletsencrypt:
  389. challenge-type: http
  390. myapache:
  391. charm: apache
  392. myletsencrypt:
  393. charm: letsencrypt
  394. #+END_SRC
  395. ***** Authentification DNS
  396. ****** créer un nouveau jeu de clé OVH pour l'authentification DNS
  397. When =letsencrypt= is setup and running::
  398. #+BEGIN_SRC sh
  399. compose --debug add letsencrypt DOMAIN [DOMAIN...]
  400. #+END_SRC
  401. Exemple de setup (dans =compose.yml=):
  402. #+BEGIN_SRC yaml
  403. letsencrypt:
  404. options:
  405. email: admin@0k.io
  406. ovh:
  407. entrypoint: ovh-eu
  408. application:
  409. key: ZZZ
  410. secret: XXX
  411. consumer_key: YYYYY
  412. #+END_SRC
  413. Le résultat est dans =/srv/datastore/data/letsencrypt/etc/letsencrypt/live/DOMAIN1=
  414. Il apparaît entre 30sec et 1 minute après la demande.
  415. ****** Vérifier que le jeu de clé ovh est bon
  416. Cette commande prend le compose yml et va vérifier que les accès sont valides:
  417. #+BEGIN_SRC shell
  418. check-compose-ovh-credentials compose.yml
  419. #+END_SRC
  420. **** Utilisation manuelle
  421. On peut utiliser le service =letsencrypt= manuellement
  422. ***** creation d'un certificat http
  423. #+BEGIN_SRC shell
  424. compose crt letsencrypt create DOMAIN [DOMAIN...]
  425. #+END_SRC
  426. Cette action crée un certificat (et force le renouvellement si existant).
  427. On peut y injecter une configuration via =--add-compose-content= si nécessaire::
  428. #+BEGIN_SRC shell
  429. compose --add-compose-content='
  430. letsencrypt:
  431. ovh:
  432. ## see: https://api.ovh.com/g934.first_step_with_api
  433. entrypoint: ovh-eu
  434. application:
  435. key: XXX
  436. secret: YYY
  437. consumer_key: ZZZ
  438. challenge-type: dns
  439. #renew-before-expiry: 30' crt letsencrypt create DOMAIN [DOMAIN...]
  440. #+END_SRC
  441. ***** Renew de tous les certificats
  442. Cela renew uniquement les certificats dont la date de validité est inférieure à 30j
  443. #+BEGIN_SRC shell
  444. compose crt letsencrypt renew
  445. #+END_SRC
  446. ***** Liste des certificats gérés et infos connexes
  447. #+BEGIN_SRC shell
  448. compose run letsencrypt crt list
  449. #+END_SRC
  450. ***** suppression d'un certificat
  451. #+BEGIN_SRC shell
  452. compose run letsencrypt certbot delete --cert-name DOMAIN
  453. #+END_SRC
  454. *** apache
  455. **** Utiliser letsencrypt
  456. Pour ajouter la fonctionalité de génération automatique de certificat
  457. via le service =letsencrypt=, il faut:
  458. - déclarer un service =letsencrypt= si cela n'est pas déjà fait
  459. - le lier au charm apache via une relation =cert-provider=:
  460. #+BEGIN_SRC yaml
  461. frontend:
  462. charm: apache
  463. relations:
  464. cert-provider: letsencrypt
  465. letsencrypt:
  466. ...
  467. #+END_SRC
  468. Et l'on peut alors utiliser la valeur =letsencrypt= (le nom du service qui implémente
  469. qui est en relation =cert-provider= avec apache) dans le champ =ssl=::
  470. #+BEGIN_SRC yaml
  471. web-proxy:
  472. apache:
  473. ...
  474. ssl: letsencrypt
  475. #+END_SRC
  476. **** Changer les clés SSL
  477. Voici un exemple de ce qu'on peut mettre dans les options de la relation apache
  478. pour déclarer le certificat que l'on souhaite:
  479. #+BEGIN_SRC yaml
  480. ssl:
  481. ca-cert:
  482. -----BEGIN CERTIFICATE-----
  483. MIIF6TCCA9GgAwIBAgIQBeTcO5Q4qzuFl8umoZhQ4zANBgkqhkiG9w0BAQwFADCB
  484. iDELMAkGA1UEBhMCVVMxEzARBgNVBAgTCk5ldyBKZXJzZXkxFDASBgNVBAcTC0pl
  485. ...
  486. m9T8bJUox04FB6b9HbwZ4ui3uRGKLXASUoWNjDNKD/yZkuBjcNqllEdjB+dYxzFf
  487. BT02Vf6Dsuimrdfp5gJ0iHRc2jTbkNJtUQoj1iM=
  488. -----END CERTIFICATE-----
  489. -----BEGIN CERTIFICATE-----
  490. MIIFdzCCBF+gAwIBAgIQE+oocFv07O0MNmMJgGFDNjANBgkqhkiG9w0BAQwFADBv
  491. MQswCQYDVQQGEwJTRTEUMBIGA1UEChMLQWRkVHJ1c3QgQUIxJjAkBgNVBAsTHUFk
  492. ...
  493. Le9Gclc1Bb+7RrtubTeZtv8jkpHGbkD4jylW6l/VXxRTrPBPYer3IsynVgviuDQf
  494. Jtl7GQVoP7o81DgGotPmjw7jtHFtQELFhLRAlSv0ZaBIefYdgWOWnU914Ph85I6p
  495. 0fKtirOMxyHNwu8=
  496. -----END CERTIFICATE-----
  497. cert: |
  498. -----BEGIN CERTIFICATE-----
  499. MIIF/TCCBOWgAwIBAgIRALUydpTpCApfYMuJchDJv5AwDQYJKoZIhvcNAQELBQAw
  500. XzELMAkGA1UEBhMCRlIxDjAMBgNVBAgTBVBhcmlzMQ4wDAYDVQQHEwVQYXJpczEO
  501. ...
  502. lIxY9HJanHrWvjiz7+eToxXpZJtAPXTx5hxzcJrtWROlq7IJCMIhzr/EVA37jTCk
  503. Xs5S6mr0T6Dqx6MQkPATSsEEJlLH5wq3DxXQcrMqnM/WHMRYUCkoTl37sXplflHe
  504. jw==
  505. -----END CERTIFICATE-----
  506. key: |
  507. -----BEGIN PRIVATE KEY-----
  508. MIIJRQIBADANBgkqhkiG9w0BAQEFAASCCS8wggkrAgEAAoICAQDONqqTCS4CiSi/
  509. XeNpp2nUsq1299spGc7mlRs+PDrXNHscB5lUB5/yo2yEetYXrJacQ8n4NV9hkID5
  510. ...
  511. 44eHDYsofcnRbidGR+QT8PQgiiDNCkbpi2u4QnLTs0w4oW+53ZTyHYEYF2rcLbIb
  512. vRt4kR4KG6ULXrmsRA4WQjBDJ9vZw2aK+w==
  513. -----END PRIVATE KEY-----
  514. #+END_SRC
  515. **** Ajouter des rêgles particulière de apache
  516. #+BEGIN_SRC yaml
  517. relations:
  518. web-proxy:
  519. apache:
  520. ...
  521. apache-custom-rules: |
  522. RewriteEngine On
  523. RewriteCond %{HTTPS} off
  524. RewriteRule ^ https://%{HTTP_HOST}%{REQUEST_URI} [R=302,L,QSA]
  525. #+END_SRC
  526. **** Vérification des derniers logs de renouvellement automatique
  527. #+BEGIN_SRC shell
  528. tail -f /srv/datastore/data/cron/var/log/cron/letsencrypt-renew_script.log -n 200
  529. #+END_SRC
  530. *** postgres
  531. **** utilisation de pgm
  532. récupérer l'IP du docker postgres via =docker-ip=
  533. #+BEGIN_SRC sh
  534. PGHOST=172.19.0.2 PGUSER=postgres pgm ls
  535. #+END_SRC
  536. **** base corrompue, réparation
  537. Il s'agit de lancer un =pg_resetwal=, il faut veiller à plusieurs élément:
  538. - bien arréter tout process utilisant le répertoire de =data= du
  539. postgres en question, généralement un =compose stop postgres=
  540. suffit.
  541. - utiliser l'image du postgres via son nom (habituellement =myc_postgres=).
  542. - monter le répertoire data =directement=
  543. Le tout peut se faire ainsi dans une installation qui fait tourner un postgres
  544. actuellement:
  545. #+begin_src sh
  546. compose stop postgres &&
  547. docker run --rm --entrypoint pg_resetwal \
  548. -u postgres -v /srv/datastore/data/postgres/var/lib/postgresql/data:/var/lib/postgresql/data \
  549. myc_postgres \
  550. /var/lib/postgresql/data &&
  551. docker start myc_postgres_1
  552. #+end_src
  553. *** mysql
  554. **** sur installation mailcow
  555. Le script =vps= fourni via =myc-manage=, permet la commande =vps
  556. install backup MYBACKUPDEST=, qui s'occupe de mettre en place le dump
  557. de =mysql=, et le système pour envoyer les backup régulièrement via
  558. rsync.
  559. **** docker sans compose
  560. #+begin_src sh
  561. export MYSQL_ROOT_PASSWORD=xxx
  562. export MYSQL_CONTAINER=mailcowdockerized_mysql-mailcow_1
  563. /srv/charm-store/mysql/hooks/install.d/60-backup.sh
  564. #+end_src
  565. *** rsync-backup
  566. **** Installation du backup de compose / mailcow
  567. Les commandes suivantes permettent l'installation du backup sur les
  568. deux type de serveur suivant :
  569. - un serveur =compose= est un serveur ayant des services géré par
  570. =compose= à backupper.
  571. - un serveur =mailcow= est un serveur faisant tourner l'installation =mailcow=.
  572. ***** Via la commande 0km sur un hôte admin
  573. L'instruction suivante doit être executée sur un hôte ayant la
  574. commande =0km= d'installée et les accès SSH vers le VPS et un compte
  575. d'administration du service =rsync-backup-target= sur le serveur
  576. d'archivage.
  577. Dans l'exemple suivant on utilise le compte administration du service
  578. =rsync-backup-target= nommé =myadmin=... pour avoir la liste des
  579. compte admin, se reporter au contenu du fichier =compose.yml= sur le
  580. serveur d'archivage et plus spécifiquement la configuration du service
  581. =rsync-backup-target=. Les noms des comptes admin y sont défini ainsi
  582. que les clés publiques y ayant accès.
  583. #+begin_src sh
  584. 0km vps-install backup myadmin@core-06.0k.io:10023 myvps.fr
  585. #+end_src
  586. Note: on peut spécifier autant de vps que l'on souhaite en fin de
  587. ligne de commande. L'installation des vps se fera en parallèle et
  588. vers le serveur d'archive spécifié en premier argument.
  589. Note: cette commande peut-être executé plusieurs fois sur le même
  590. hôte : si tout est déjà installé, cette commande n'aura pour seul
  591. effet que de relancer une synchronisation vers le backup.
  592. ***** Via la commande vps sur le vps lui-même
  593. A faire depuis le serveur compose ou mailcow:
  594. #+begin_src sh
  595. vps install backup core-06.0k.io:10023
  596. #+end_src
  597. Ici =core-06.0k.io:10023= est le serveur cible d'archivage (à modifier
  598. si nécessaire).
  599. A la fin de l'opération, une commande est proposée pour ajouter
  600. facilement la nouvelle clé à l'hôte s'occupant de l'archivage.
  601. Cette commande doit être executée sur un hôte ayant les accès vers un
  602. compte administration du serveur d'archivage.
  603. Dans le cas d'un VPS sur installation compose, il s'agira également de
  604. relancer sur le VPS lui-même, un =compose up= pour intégrer et lancer
  605. le nouveau container de backup.
  606. Une fois la clé enregistrée du coté du serveur d'archivage, un premier
  607. archivage peut être déclenché via:
  608. #+begin_src sh
  609. vps backup
  610. #+end_src
  611. Ceci permet de lancer le premier backup et de valider que tout fonctionne
  612. **** Installation du backup sur un host debian
  613. Cela fonctionnera sur tout host ayant une base debian.
  614. #+begin_src sh
  615. DOMAIN=mail.xxxx.fr
  616. BACKUP_SERVER=core-06.0k.io:10023
  617. cd /srv/charm-store/rsync-backup/
  618. ./hooks/install.d/60-install.sh
  619. #+end_src
  620. Note, il est possible de spécifier des exclusions pour chaque
  621. répértoire mirroré de telle façon:
  622. #+begin_src sh
  623. cat <<EOF >> /etc/mirror-dir/config.yml
  624. /home:
  625. exclude:
  626. - /*/.cache/
  627. - /*/.gvfs/
  628. - /*/.local/share/Trash/files/
  629. - /*/.Trash/
  630. - /*/.mozilla/firefox/*/Cache/
  631. - /*/.mozilla/firefox/*/storage/default/*/cache/
  632. /media/data:
  633. exclude:
  634. - /binary/games/_steam
  635. - /incoming
  636. - /.Trash*
  637. - /lost+found
  638. - /backup/device
  639. EOF
  640. #+end_src
  641. *** nextcloud
  642. **** Mise à jour en dernière version
  643. Cette commande permet d'appliquer successivement les version de
  644. nextcloud, elle modifie le =compose.yml=. Et installe la dernière
  645. version disponible donnée par =docker-tags-fetch docker.0k.io/nextcloud=.
  646. Étant donné que la commande est un peu nouvelle et la tâche assez
  647. fastidieuse et risquée, ne pas hésiter à la lancer dans un =tmux= pour
  648. être prêt à demander de l'aide. Également, lancer un =myc-update= avant.
  649. Aussi, il est toujours bon de vérifier que le backup fonctionne et que
  650. la version sur le serveur de backup est à jour (lancer =vps backup= est
  651. un bon moyen de voir cela).
  652. #+begin_src sh
  653. vps nextcloud upgrade
  654. #+end_src
  655. *** onlyoffice
  656. **** Troubleshooting
  657. Il y eu de nombreux cas où onlyoffice pète ses propres
  658. fichiers de config. Une bonne façon de le régler:
  659. #+begin_src sh
  660. docker stop myc_onlyoffice_1
  661. rm -rf /srv/datastore/config/onlyoffice
  662. compose --debug up
  663. #+end_src
  664. Ceci permet d'effacer la config mise en place par compose et de la
  665. reconstruire, et tout ce qui est dans
  666. `/srv/datastore/config/onlyoffice` se reconstruit tout seul via les
  667. charms au moment du `compose up`.
  668. * Interventions avancées
  669. Description des process avancés d'intervention sur une installation existante.
  670. ** Modification du compose
  671. Y a un exemple en commentaire dans le =/opt/apps/myc-deploy/compose.yml=
  672. Petit exemple:
  673. #+BEGIN_SRC yaml
  674. odoo:
  675. ...
  676. docker-compose:
  677. ## Important to keep as a list: otherwise it'll overwrite charm's arguments.
  678. command:
  679. - "--log-level=debug"
  680. environment:
  681. TOTO: TUTU
  682. image: masuperimage
  683. #+END_SRC
  684. ** Récupération de donnée
  685. *** Depuis le VPS backuppé
  686. Les VPS backuppés peuvent avoir besoin de récupérer les données
  687. archivées. Pour le moment, comme il n'y pas d'accès aux versions
  688. précédentes des backups, l'intérêt de cette fonctionnalité reste
  689. limité.
  690. **** Par répertoire
  691. Via la commande =vps=, l'action =recover-target= permet de recouvrir
  692. les données du service d'archivage (si celui-ci à été correctement
  693. installé avec les commandes spécifiée dans la [[*rsync-backup][section =rsync-backup=]]).
  694. Récupération d'un répertoire:
  695. #+begin_src sh
  696. vps recover-target "cron/" /tmp/cron
  697. #+end_src
  698. Cette commande va récupérer le contenu archivé dans "cron/" pour le mettre
  699. sur l'hôte courant dans "/tmp/cron".
  700. Il est possible de spécifier l'option =--dry-run= (ou =-n=) pour ne
  701. rien modifier et voir quels sont les actions qui seront menées.
  702. Attention à l'usage de cette commande, en effet le répertoire de
  703. destination peut-être entièrement modifié : cette commande effacera et
  704. modifiera le contenu du répertoire de destination.
  705. *** Depuis un hôte d'administration
  706. **** Récupération d'un VPS complet
  707. Depuis un hôte d'adminstration, et via la command =0km=, nous
  708. pouvons re-déployer un backup existant sur un nouveau VPS.
  709. #+begin_src sh
  710. 0km vps-backup recover myadmin@core-06.0k.io:10023#mail.mybackupedvps.com mynewvps.com
  711. #+end_src
  712. Attention, cela supprimera toute installation =mailcow= précédente
  713. (donnée comprise) sur le VPS de destination.
  714. **** Récupération partielle
  715. ***** Récupération d'un répertoire ou fichier précis
  716. Depuis un hôte d'adminstration, et via la command =0km=, nous pouvons
  717. récupérer un répertoire ou un fichier précis d'un backup existant sur
  718. un nouveau VPS.
  719. C'est la même commande que pour la récupération complète, on rajoute à
  720. la source un chemin et possible aussi à la destination.
  721. #+begin_src sh
  722. 0km vps-backup recover myadmin@core-06.0k.io:10023#mail.mybackupedvps.com:/mon/chemin mynewvps.com
  723. 0km vps-backup recover myadmin@core-06.0k.io:10023#mail.mybackupedvps.com:/mon/chemin mynewvps.com:/ma/dest
  724. #+end_src
  725. ***** Récupération d'un composant
  726. Suivant si le type de backup est reconnu et le supporte, il est
  727. possible de nommer un composant précis en lieu et place d'un
  728. répertoire ou d'un fichier.
  729. Par exemple, les backup de type 'mailcow' supportent les composants
  730. suivants: =mailcow=, =postfix=, =rspamd=, =redis=, =crypt=, =vmail=,
  731. =vmail-attachments=, =mysql=.
  732. #+begin_src sh
  733. 0km vps-backup recover myadmin@core-06.0k.io:10023#mail.mybackupedvps.com:mailcow,mysql mynewvps.com
  734. 0km vps-backup recover myadmin@core-06.0k.io:10023#mail.mybackupedvps.com:postfix mynewvps.com
  735. #+end_src
  736. ** Troubleshooting
  737. S'il semble qu'il y ait un soucis, tu peux visualiser le =docker-compose.yml= qui est
  738. généré à la fin via l'ajout de =--debug= AVANT la commande:
  739. #+begin_src sh
  740. compose --debug up odoo frontend
  741. #+end_src
  742. *** en cas de soucis important ou inédit
  743. **** Redémarrage du service =docker=
  744. Il y a de nombreux bugs répertoriés sur docker qui n'ont pas été
  745. réglés depuis de nombreuses années qui sont corrigés par un restart de
  746. tous les containers et du service docker lui-même.
  747. #+begin_src sh
  748. systemctl restart docker.service
  749. #+end_src
  750. va redémarrer le service docker sur la machine et donc tous les services gérés par docker (tous les services en sommes).
  751. **** Redéploiement des services
  752. Ce dernier cas est long, et n'est pas souvent efficace, mais il peut
  753. l'être dans certains cas. Cela va stopper et effacer tous les
  754. containers des services, puis reconstruire toute leur configuration et
  755. les relancer.
  756. #+begin_src sh
  757. compose --debug down &&
  758. compose --debug up
  759. #+end_src
  760. * Comment ça marche
  761. La surcouche =compose= a pour responsabilité de:
  762. - créer graduellement un =docker-compose.yml= et lancer =docker-compose=.
  763. - à partir des *charms* qui factorisent les parties réutilisables
  764. - et à partir du =compose.yml= qui offre une interface plus haut niveau
  765. et permet d'exprimer plus succintement les intentions de déploiement sans
  766. entrer dans la logique technique de l'implémentation des services.
  767. - lancer des executable et des instructions au fur et à mesure si nécessaire.
  768. Il part du =compose.yml= et accède aux définitions en yaml des charms
  769. à déployer et qui sont dans /srv/charms ... (qui en fait sont dans
  770. =/opt/apps/0k-charms=).
  771. Chaque charm possède une définition générale (le =metadata.yml=) qui
  772. permet également l'injection d'élément dans le =docker-compose.yml=
  773. final.
  774. Et puis il y a des =hooks= : des scripts bash lancés avec des
  775. information contextuelle dans des variables d'environment, et qui vont
  776. généralement mettre en place des services à l'initialisation ou pour
  777. s'assurer de la bonne liaison entre les services.