You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.

972 lines
26 KiB

  1. #+SETUPFILE: /home/vaab/dev/el/org-html-themes/setup/theme-readtheorg.setup
  2. #+PROPERTY: Effort_ALL 0 0:30 1:00 2:00 0.5d 1d 1.5d 2d 3d 4d 5d
  3. #+PROPERTY: Max_effort_ALL 0 0:30 1:00 2:00 0.5d 1d 1.5d 2d 3d 4d 5d
  4. #+PROPERTY: header-args:python :var filename=(buffer-file-name)
  5. #+PROPERTY: header-args:sh :var filename=(buffer-file-name)
  6. #+TODO: TODO WIP BLOCKED POSTPONED | DONE CANCELED
  7. #+LATEX_HEADER: \usepackage[margin=0.5in]{geometry}
  8. #+LaTeX_CLASS: article
  9. #+OPTIONS: H:8 ^:nil prop:("Effort" "Max_effort") tags:not-in-toc
  10. #+COLUMNS: %50ITEM %Effort(Min Effort) %Max_effort(Max Effort)
  11. #+begin_LaTeX
  12. \hypersetup{
  13. linkcolor=blue,
  14. pdfborder={0 0 0 0}
  15. }
  16. #+end_LaTeX
  17. #+TITLE: Architecture 0k.io
  18. #+LATEX: \pagebreak
  19. * Process de déploiement
  20. Description du process de déploiement pour une nouvelle installation
  21. ** Base myc
  22. *** Qu'est ce c'est ?
  23. A partir d'une debian 9, on peut installer la machine pour être prête
  24. à utiliser un déploiement myc.
  25. Une fois executé, la machine aura toute les deps pour lancer une
  26. commande compose qui fera peut-être appel à des registry de
  27. mycéliandre. Un compose de base est aussi proposé.
  28. *** Déploiement
  29. **** Hôte linux base debian 9 et debian 10
  30. ***** Accès ssh standardisé
  31. Via la commande =0km=, depuis votre poste, permet de standardiser
  32. l'accès avec vos clés SSH, et positionner le nom de domaine si
  33. nécessaire.
  34. #+BEGIN_SRC sh
  35. 0km vps-setup HOST
  36. #+END_SRC
  37. Note: ceci fonctionnera que si vous avez un fichier de configuration
  38. dans =/etc/0km/config.yml= (si vous allez l'utiliser en root) ou dans
  39. =~/.config/0km/config.yml= autrement. Ce fichier doit au moins contenir
  40. une clé ssh (ou plusieurs) ainsi:
  41. #+begin_src yaml
  42. ssh-access:
  43. public-keys:
  44. - ssh-rsa AAAAB3NzaC1yc2EAAAAD...qGy20KlAOGPf nom_clef
  45. #+end_src
  46. ***** Déploiement de la solution pour compose
  47. Depuis le VPS, en root:
  48. #+BEGIN_SRC sh
  49. export WITHOUT_DOCKER_CLEAN=1 ## only if you want to remove docker clean from cron
  50. wget https://justodooit.myceliandre.fr/r/deploy -qO - | bash
  51. #+END_SRC
  52. Si vous souhaitez positionner le nom de domaine:
  53. #+BEGIN_SRC sh
  54. export WITHOUT_DOCKER_CLEAN=1 ## only if you want to remove docker clean from cron
  55. export DOMAIN=myhost.com
  56. wget https://justodooit.myceliandre.fr/r/deploy -qO - | bash
  57. #+END_SRC
  58. ***** Déploiement de la solution pour mailcow
  59. ****** Sur un vps sans mailcow de pre-installé
  60. #+BEGIN_SRC sh
  61. export WITHOUT_DOCKER_CLEAN=1 ## only if you want to remove docker clean from cron
  62. wget https://justodooit.myceliandre.fr/r/deploy -qO - | bash
  63. #+END_SRC
  64. ****** Sur un vps avec mailcow de pre-installé
  65. #+BEGIN_SRC sh
  66. export WITHOUT_DOCKER_CLEAN=1 ## only if you want to remove docker clean from cron
  67. export NO_DOCKER_RESTART=1 ## Can use that only if mailcow is pre-existing
  68. wget https://justodooit.myceliandre.fr/r/deploy -qO - | bash
  69. #+END_SRC
  70. **** Hôte macosx
  71. - install bash, docker
  72. - Uncheck "Securely store docker logins in macOS keychain"
  73. *** Ce que cela fait
  74. **** Mettre la machine en état charm-ready
  75. - installation du strict minimu pour lancer les =charms=
  76. - téléchargement de la dernière version des =0k-charms= (collection
  77. de recettes d'installation et de gestion de docker)
  78. **** Mettre la machine en état compose ready (notre docker qui va bien)
  79. via le lancement du charm =docker-host= qui installe:
  80. - docker, docker-compose, compose avec des versions qui vont bien
  81. - paquets maisons (kal-scripts, 0k-manage, 0k-pgm, lxc-scripts, 0k-docker)
  82. - accès pour le repository deb de kalysto.org
  83. - clé SSH pour repos git.kal.fr
  84. - login sur le docker registry docker.0k.io
  85. **** Commandes spécifique à myc
  86. - login sur le registry myc
  87. - téléchargement du compose de base dans =/opt/apps/myc-deploy=
  88. ** Modification du compose
  89. *** Qu'est-ce que c'est ?
  90. Il y a des update client à faire souvent sur le compose. Cette étape
  91. doit être externalisée au plus possible, sont consigné ici ce qu'il
  92. faut encore faire à la main.
  93. *** Commande
  94. **** Création de clé OVH pour letsencrypt/lexicon
  95. Ceci n'est nécessaire qu'en cas d'utilisation de la méthode DNS
  96. pour valider la possession du domaine auprès de letsencrypt.
  97. #+BEGIN_SRC shell
  98. APPLICATION_KEY=XXXXXXXXXXXXXXXXX
  99. REDIR_WEBSITE=https://0k.io
  100. req=$(cat <<EOF
  101. {
  102. "accessRules": [
  103. {
  104. "method": "GET",
  105. "path": "/*"
  106. },
  107. {
  108. "method": "POST",
  109. "path": "/*"
  110. },
  111. {
  112. "method": "PUT",
  113. "path": "/*"
  114. },
  115. {
  116. "method": "DELETE",
  117. "path": "/*"
  118. }
  119. ],
  120. "redirection":"$REDIR_WEBSITE"
  121. }
  122. EOF
  123. )
  124. res=$(curl -X POST \
  125. -H "X-Ovh-Application: ${APPLICATION_KEY}" \
  126. -H "Content-type: application/json" \
  127. https://eu.api.ovh.com/1.0/auth/credential \
  128. -d "$req")
  129. consumer_key=$(echo "$res" | jq -r .consumerKey)
  130. validation_url=$(echo "$res" | jq -r .validationUrl)
  131. echo "Visit: $validation_url"
  132. echo "ConsumerKey: $consumer_key"
  133. #+END_SRC
  134. Il s'agit alors de remplir le compose.yml
  135. #+BEGIN_SRC yaml
  136. ovh:
  137. ## see: https://api.ovh.com/g934.first_step_with_api
  138. entrypoint: ovh-eu
  139. application:
  140. key: XXXXXXXXXXXXXXXX
  141. secret: YYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYY
  142. consumer_key: ZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZ
  143. #+END_SRC
  144. Puis de valider que tout est ok:
  145. #+BEGIN_SRC shell
  146. check-compose-ovh-credentials compose.yml
  147. #+END_SRC
  148. ** Lancement/Deploy de service odoo
  149. *** Qu'est ce que c'est ?
  150. A partir d'une base myc, cette commande permet d'envoyer la
  151. construction et l'assemblage de tous les services décrit dans le
  152. =compose.yml= fourni par défaut.
  153. *** commandes
  154. #+BEGIN_SRC sh
  155. cd /opt/apps/myc-deploy
  156. compose --debug up odoo frontend
  157. #+END_SRC
  158. De manière générale:
  159. #+BEGIN_SRC sh
  160. compose [--debug] up [SERVICES...]
  161. #+END_SRC
  162. *** Ce que ça fait
  163. Les charms vont s'occuper de séparer la config des
  164. donnée, de tout stocker dans =/srv/datastore=, il vont
  165. s'occuper de la petite maintenance:
  166. - le charm postgres (qui est une dépendance du service odoo) va créer
  167. un mot de passe et le filer à odoo
  168. - le charm apache (qui implémente le service frontend)
  169. va créer les fichiers de conf apache pour déclarer un virtualhost
  170. et mettre les clés SSL s'il y a lieu.
  171. * Gestion
  172. Description des process de gestion d'une installation existante.
  173. ** Connection aux serveurs
  174. *** installation commande =st=
  175. Le mieux est d'utiliser la commande =st= que l'on peut installer ainsi
  176. sur un poste linux ayant =apt=:
  177. Se mettre en =root=:
  178. #+begin_src sh
  179. cat <<'EOF' > /usr/local/bin/st
  180. #!/bin/bash
  181. echo "Trying mosh to $1"
  182. TERM=xterm-256color mosh "$1" -- bash -c "tmux attach || { tmux; }"
  183. if [ "$?" == "5" ]; then
  184. echo "Fallback to ssh $1"
  185. ssh "$1" -tM "TERM=xterm-256color tmux attach || TERM=xterm-256color tmux"
  186. fi
  187. EOF
  188. chmod +x /usr/local/bin/st
  189. apt install mosh
  190. #+end_src
  191. *** utilisation de la commande =st=
  192. =st= utilise =ssh= ou =mosh= et se met dans un =tmux= sur la destination.
  193. #+begin_src sh
  194. st root@monvps.fr
  195. #+end_src
  196. On note qu'il faut penser à mettre les clé SSH sur la destination.
  197. ** Mise à jour de l'ensemble
  198. Pour mettre à jour un VPS:
  199. #+BEGIN_SRC sh
  200. myc-update
  201. #+END_SRC
  202. Cette commande va ré-appliquer l'installation du charm =docker-host=
  203. qui installe ou met à jour chaque composant.
  204. ** Gestion des dockers
  205. *** Relancement
  206. si on veut relancer parce que le compose a changé :
  207. on fait pareil qu'au lancement : lors du "up", docker-compose se
  208. rend compte que la définition des services a changé et relance les
  209. docker voulu.
  210. *** Arrêt
  211. #+BEGIN_SRC sh
  212. compose --debug down
  213. #+END_SRC
  214. *** Voir les logs
  215. #+BEGIN_SRC sh
  216. cd /opt/apps/myc-deploy
  217. compose --debug logs odoo
  218. #+END_SRC
  219. *** Obtenir les IPs des dockers
  220. #+BEGIN_SRC sh
  221. docker-ip
  222. #+END_SRC
  223. ** Par services
  224. *** odoo
  225. **** Backups
  226. ***** Backuping odoo account (filestore and database)
  227. There are still some quirks, so be sure:
  228. - to change your current directory to =/opt/apps/myc-deploy=
  229. - your odoo instance should be already up.
  230. - to have =admin-password= defined in your =compose.yml=, in your
  231. =odoo= service's =options=.
  232. #+BEGIN_SRC yaml
  233. odoo:
  234. options:
  235. admin-password: XXXXXX
  236. #+END_SRC
  237. #+BEGIN_SRC sh
  238. MYODOOSERVICENAME=odoo
  239. DBNAME="$MYODOOSERVICENAME"
  240. OUTPUTFILE=backup-odoo.zip
  241. cd /opt/apps/myc-deploy &&
  242. compose save "$MYODOOSERVICENAME" "$DBNAME" "$OUTPUTFILE"
  243. #+END_SRC
  244. The backup file should be in the same directory.
  245. ***** Restoring odoo account (filestore and database)
  246. There are still some quirks, so be sure:
  247. - to change your current directory to =/opt/apps/myc-deploy=
  248. and put your backup file in the same directory
  249. - your odoo instance should be already up.
  250. - an odoo base should not exist with the same name prior to restoring
  251. if it is the case, =ODOOBASE=odoo && pgm rm "$ODOOBASE" -f && rm -rf
  252. - to have =admin-password= defined in your =compose.yml=, in your
  253. =odoo= service's =options=.
  254. #+BEGIN_SRC yaml
  255. odoo:
  256. options:
  257. admin-password: XXXXXX
  258. #+END_SRC
  259. *IMPORTANT* you might want to consider the usage of =docker-cutoff= if
  260. you are restoring a production odoo onto a dev or staging odoo that you
  261. don't want to allow to go mess around with sending mails or fetching mails.
  262. #+BEGIN_SRC yaml
  263. docker-cutoff 25 993 465
  264. #+END_SRC
  265. These are the normal loading instructions:
  266. #+BEGIN_SRC sh
  267. MYODOOSERVICENAME=odoo
  268. DBNAME="$MYODOOSERVICENAME"
  269. SOURCEFILE=backup-odoo.zip
  270. cd /opt/apps/myc-deploy &&
  271. compose load "$MYODOOSERVICENAME" "$SOURCEFIE" "$DBNAME"
  272. #+END_SRC
  273. ***** charger un dump SQL dans odoo
  274. Supporte *.dump ou sql (non compressé), *.gz ou *.bz2:
  275. #+BEGIN_SRC sh
  276. compose load-db odoo MONFICHIER.dump.bz2
  277. #+END_SRC
  278. ***** sauvegarder dump db de odoo
  279. Pour l'instant on passe par pgm
  280. #+BEGIN_SRC sh
  281. compose save-db odoo MONFICHIER.dump.bz2
  282. #+END_SRC
  283. **** Update de modules
  284. #+BEGIN_SRC sh
  285. compose update odoo MABASE [MODULE [MODULE ...]]
  286. #+END_SRC
  287. **** lancement d'une commande odoo
  288. Si l'ensemble n'est pas up:
  289. #+BEGIN_SRC sh
  290. compose --debug run odoo --help
  291. #+END_SRC
  292. **** Mod dev d'odoo
  293. Il est souhaitable de lancer odoo en mode dev avec un terminal prêt à
  294. accueillir un pdb par exemple, et pouvoir changer facilement la ligne de commande.
  295. On peut tout a fait lancer odoo directement, par exempe:
  296. #+BEGIN_SRC sh
  297. compose run --rm --use-aliases odoo --dev=wdb --config=/opt/odoo/auto/odoo.conf
  298. #+END_SRC
  299. On récupère ainsi tous les volumes et autres options (sauf ce qui est
  300. dans =command:=) défini dans =compose.yml=.
  301. Un problème cependant: si on utilise apache comme frontend, celui-ci
  302. ne pourra pas résoudre le nom =odoo= à cause de problèmes autour de
  303. =docker-compose= et/ou =docker network=. En effet, si on fait un =up=
  304. comme d'habitude, et qu'on souhaite simplement arrêter le service
  305. classique pour ensuite le remplacer par la commande au dessus, cela ne
  306. fonctionnera pas. En effet, l'alias réseau =odoo= n'est plus adjoignable
  307. (même avec les commandes =docker network {dis,}connect=), et même si
  308. le container original de odoo est détruit ou éjecté du réseau, ou que l'on
  309. essaye de connecter soi-même le nouveau container.
  310. Un moyen (bancal) de passer outre cependant:
  311. - =down= pour fermer le réseau
  312. - =create= sur le service apache, puis =restart=.
  313. - enfin, le =run= tel que décrit au dessus
  314. Soit:
  315. #+BEGIN_SRC sh
  316. compose down &&
  317. compose create apache &&
  318. compose restart apache &&
  319. compose run --rm --use-aliases odoo --dev=wdb --config=/opt/odoo/auto/odoo.conf
  320. #+END_SRC
  321. Le container odoo crée par la dernière ligne se retirera proprement des tables DNS
  322. interne, et donc peut tout a fait être relancée autant de fois que l'on souhaitera.
  323. *** letsencrypt
  324. Le service letsencrypt fourni des certificat SSL à la demande et les
  325. renouvelle automatiquement.
  326. **** configuration dans compose
  327. ***** Authentification HTTP
  328. Il n'y a besoin d'aucune option dans le service =letsencrypt=.
  329. Le charm =apache= doit trouver un service utilisant le charm =letsencrypt=, cette
  330. connection se fera automatiquement si un servce de type =letsencrypt= est lancé soit
  331. parce que directement mentionné dans la racine ou dans une relation explicite.
  332. La relation construite automatiquement (ou manuellement) d'un service
  333. =apache= vers un service =letsencrypt= s'appelle =cert-provider=.
  334. Une fois que ce service est relié à apache, on peut s'en servir comme clé dans
  335. la configuration =ssl= des relations =*-->web-proxy-->apache=.
  336. Par défaut, =apache= utilisera du ssl pour tout se virtual-host s'il trouve un
  337. =cert-provider= à disposition.
  338. Aussi la configuration suivante est suffisante pour avoir un site publié en SSL:
  339. #+BEGIN_SRC yaml
  340. www.mydomain.org:
  341. charm: odoo
  342. apache:
  343. letsencrypt:
  344. #+END_SRC
  345. Cela équivaut à :
  346. #+BEGIN_SRC yaml
  347. www.mydomain.org:
  348. charm: odoo
  349. relations:
  350. web-proxy:
  351. myapache:
  352. domain: www.mydomain.org
  353. ssl:
  354. myletsencrypt:
  355. challenge-type: http
  356. myapache:
  357. charm: apache
  358. myletsencrypt:
  359. charm: letsencrypt
  360. #+END_SRC
  361. ***** Authentification DNS
  362. ****** créer un nouveau jeu de clé OVH pour l'authentification DNS
  363. When =letsencrypt= is setup and running::
  364. #+BEGIN_SRC sh
  365. compose --debug add letsencrypt DOMAIN [DOMAIN...]
  366. #+END_SRC
  367. Exemple de setup (dans =compose.yml=):
  368. #+BEGIN_SRC yaml
  369. letsencrypt:
  370. options:
  371. email: admin@0k.io
  372. ovh:
  373. entrypoint: ovh-eu
  374. application:
  375. key: ZZZ
  376. secret: XXX
  377. consumer_key: YYYYY
  378. #+END_SRC
  379. Le résultat est dans =/srv/datastore/data/letsencrypt/etc/letsencrypt/live/DOMAIN1=
  380. Il apparaît entre 30sec et 1 minute après la demande.
  381. ****** Vérifier que le jeu de clé ovh est bon
  382. Cette commande prend le compose yml et va vérifier que les accès sont valides:
  383. #+BEGIN_SRC shell
  384. check-compose-ovh-credentials compose.yml
  385. #+END_SRC
  386. **** Utilisation manuelle
  387. On peut utiliser le service =letsencrypt= manuellement
  388. ***** creation d'un certificat http
  389. #+BEGIN_SRC shell
  390. compose crt letsencrypt create DOMAIN [DOMAIN...]
  391. #+END_SRC
  392. Cette action crée un certificat (et force le renouvellement si existant).
  393. On peut y injecter une configuration via =--add-compose-content= si nécessaire::
  394. #+BEGIN_SRC shell
  395. compose --add-compose-content='
  396. letsencrypt:
  397. ovh:
  398. ## see: https://api.ovh.com/g934.first_step_with_api
  399. entrypoint: ovh-eu
  400. application:
  401. key: XXX
  402. secret: YYY
  403. consumer_key: ZZZ
  404. challenge-type: dns
  405. #renew-before-expiry: 30' crt letsencrypt create DOMAIN [DOMAIN...]
  406. #+END_SRC
  407. ***** Renew de tous les certificats
  408. Cela renew uniquement les certificats dont la date de validité est inférieure à 30j
  409. #+BEGIN_SRC shell
  410. compose crt letsencrypt renew
  411. #+END_SRC
  412. ***** Liste des certificats gérés et infos connexes
  413. #+BEGIN_SRC shell
  414. compose run letsencrypt crt list
  415. #+END_SRC
  416. ***** suppression d'un certificat
  417. #+BEGIN_SRC shell
  418. compose run letsencrypt certbot delete --cert-name DOMAIN
  419. #+END_SRC
  420. *** apache
  421. **** Utiliser letsencrypt
  422. Pour ajouter la fonctionalité de génération automatique de certificat
  423. via le service =letsencrypt=, il faut:
  424. - déclarer un service =letsencrypt= si cela n'est pas déjà fait
  425. - le lier au charm apache via une relation =cert-provider=:
  426. #+BEGIN_SRC yaml
  427. frontend:
  428. charm: apache
  429. relations:
  430. cert-provider: letsencrypt
  431. letsencrypt:
  432. ...
  433. #+END_SRC
  434. Et l'on peut alors utiliser la valeur =letsencrypt= (le nom du service qui implémente
  435. qui est en relation =cert-provider= avec apache) dans le champ =ssl=::
  436. #+BEGIN_SRC yaml
  437. web-proxy:
  438. apache:
  439. ...
  440. ssl: letsencrypt
  441. #+END_SRC
  442. **** Changer les clés SSL
  443. Voici un exemple de ce qu'on peut mettre dans les options de la relation apache
  444. pour déclarer le certificat que l'on souhaite:
  445. #+BEGIN_SRC yaml
  446. ssl:
  447. ca-cert:
  448. -----BEGIN CERTIFICATE-----
  449. MIIF6TCCA9GgAwIBAgIQBeTcO5Q4qzuFl8umoZhQ4zANBgkqhkiG9w0BAQwFADCB
  450. iDELMAkGA1UEBhMCVVMxEzARBgNVBAgTCk5ldyBKZXJzZXkxFDASBgNVBAcTC0pl
  451. ...
  452. m9T8bJUox04FB6b9HbwZ4ui3uRGKLXASUoWNjDNKD/yZkuBjcNqllEdjB+dYxzFf
  453. BT02Vf6Dsuimrdfp5gJ0iHRc2jTbkNJtUQoj1iM=
  454. -----END CERTIFICATE-----
  455. -----BEGIN CERTIFICATE-----
  456. MIIFdzCCBF+gAwIBAgIQE+oocFv07O0MNmMJgGFDNjANBgkqhkiG9w0BAQwFADBv
  457. MQswCQYDVQQGEwJTRTEUMBIGA1UEChMLQWRkVHJ1c3QgQUIxJjAkBgNVBAsTHUFk
  458. ...
  459. Le9Gclc1Bb+7RrtubTeZtv8jkpHGbkD4jylW6l/VXxRTrPBPYer3IsynVgviuDQf
  460. Jtl7GQVoP7o81DgGotPmjw7jtHFtQELFhLRAlSv0ZaBIefYdgWOWnU914Ph85I6p
  461. 0fKtirOMxyHNwu8=
  462. -----END CERTIFICATE-----
  463. cert: |
  464. -----BEGIN CERTIFICATE-----
  465. MIIF/TCCBOWgAwIBAgIRALUydpTpCApfYMuJchDJv5AwDQYJKoZIhvcNAQELBQAw
  466. XzELMAkGA1UEBhMCRlIxDjAMBgNVBAgTBVBhcmlzMQ4wDAYDVQQHEwVQYXJpczEO
  467. ...
  468. lIxY9HJanHrWvjiz7+eToxXpZJtAPXTx5hxzcJrtWROlq7IJCMIhzr/EVA37jTCk
  469. Xs5S6mr0T6Dqx6MQkPATSsEEJlLH5wq3DxXQcrMqnM/WHMRYUCkoTl37sXplflHe
  470. jw==
  471. -----END CERTIFICATE-----
  472. key: |
  473. -----BEGIN PRIVATE KEY-----
  474. MIIJRQIBADANBgkqhkiG9w0BAQEFAASCCS8wggkrAgEAAoICAQDONqqTCS4CiSi/
  475. XeNpp2nUsq1299spGc7mlRs+PDrXNHscB5lUB5/yo2yEetYXrJacQ8n4NV9hkID5
  476. ...
  477. 44eHDYsofcnRbidGR+QT8PQgiiDNCkbpi2u4QnLTs0w4oW+53ZTyHYEYF2rcLbIb
  478. vRt4kR4KG6ULXrmsRA4WQjBDJ9vZw2aK+w==
  479. -----END PRIVATE KEY-----
  480. #+END_SRC
  481. **** Ajouter des rêgles particulière de apache
  482. #+BEGIN_SRC yaml
  483. relations:
  484. web-proxy:
  485. apache:
  486. ...
  487. apache-custom-rules: |
  488. RewriteEngine On
  489. RewriteCond %{HTTPS} off
  490. RewriteRule ^ https://%{HTTP_HOST}%{REQUEST_URI} [R=302,L,QSA]
  491. #+END_SRC
  492. **** Vérification des derniers logs de renouvellement automatique
  493. #+BEGIN_SRC shell
  494. tail -f /srv/datastore/data/cron/var/log/cron/letsencrypt-renew_script.log -n 200
  495. #+END_SRC
  496. *** postgres
  497. **** utilisation de pgm
  498. récupérer l'IP du docker postgres via =docker-ip=
  499. #+BEGIN_SRC sh
  500. PGHOST=172.19.0.2 PGUSER=postgres pgm ls
  501. #+END_SRC
  502. **** base corrompue, réparation
  503. Il s'agit de lancer un =pg_resetwal=, il faut veiller à plusieurs élément:
  504. - bien arréter tout process utilisant le répertoire de =data= du
  505. postgres en question, généralement un =compose stop postgres=
  506. suffit.
  507. - utiliser l'image du postgres via son nom (habituellement =myc_postgres=).
  508. - monter le répertoire data =directement=
  509. Le tout peut se faire ainsi dans une installation qui fait tourner un postgres
  510. actuellement:
  511. #+begin_src sh
  512. compose stop postgres &&
  513. docker run --rm --entrypoint pg_resetwal \
  514. -u postgres -v /srv/datastore/data/postgres/var/lib/postgresql/data:/var/lib/postgresql/data \
  515. myc_postgres \
  516. /var/lib/postgresql/data &&
  517. docker start myc_postgres_1
  518. #+end_src
  519. *** mysql
  520. **** sur installation mailcow
  521. Le script =vps= fourni via =myc-manage=, permet la commande =vps
  522. install backup MYBACKUPDEST=, qui s'occupe de mettre en place le dump
  523. de =mysql=, et le système pour envoyer les backup régulièrement via
  524. rsync.
  525. **** docker sans compose
  526. #+begin_src sh
  527. export MYSQL_ROOT_PASSWORD=xxx
  528. export MYSQL_CONTAINER=mailcowdockerized_mysql-mailcow_1
  529. /srv/charm-store/mysql/hooks/install.d/60-backup.sh
  530. #+end_src
  531. *** rsync-backup
  532. **** Installation du backup via compose / mailcow
  533. - un serveur =compose= est un serveur ayant des services géré par
  534. =compose= à backupper.
  535. - un serveur =mailcow= est un serveur faisant tourner l'installation =mailcow=.
  536. ***** Via la commande 0km sur un hôte admin
  537. L'instruction suivante doit être executée sur un hôte ayant la commande
  538. =0km= d'installée et les accès vers le VPS et un compte administration
  539. du serveur d'archivage.
  540. #+begin_src sh
  541. 0km vps-install backup myadmin@core-06.0k.io:10023 myvps.fr
  542. #+end_src
  543. Note: on peut spécifier autant de vps que l'on souhaite en fin de
  544. ligne de commande. L'installation des vps se fera en parallèle et
  545. vers le serveur d'archive spécifié en premier argument.
  546. Note: cette commande peut-être executé plusieurs fois sur le même
  547. hôte : si tout est déjà installé, cette commande n'aura pour seul
  548. effet que de relancer une synchronisation vers le backup.
  549. ***** Via la commande vps sur le vps lui-même
  550. A faire depuis le serveur compose ou mailcow:
  551. #+begin_src sh
  552. vps install backup core-06.0k.io:10023
  553. #+end_src
  554. Ici =core-06.0k.io:10023= est le serveur cible d'archivage (à modifier
  555. si nécessaire).
  556. A la fin de l'opération, une commande est proposée pour ajouter
  557. facilement la nouvelle clé à l'hôte s'occupant de l'archivage.
  558. Cette commande doit être executée sur un hôte ayant les accès vers un
  559. compte administration du serveur d'archivage.
  560. Dans le cas d'un VPS sur installation compose, il s'agira également de
  561. relancer sur le VPS lui-même, un =compose up= pour intégrer et lancer
  562. le nouveau container de backup.
  563. Une fois la clé enregistrée du coté du serveur d'archivage, un premier
  564. archivage peut être déclenché via:
  565. #+begin_src sh
  566. vps backup
  567. #+end_src
  568. Ceci permet de lancer le premier backup et de valider que tout fonctionne
  569. **** Installation du backup sur un host debian
  570. Cela fonctionnera sur tout host ayant une base debian.
  571. #+begin_src sh
  572. DOMAIN=mail.xxxx.fr
  573. BACKUP_SERVER=core-06.0k.io:10023
  574. cd /srv/charm-store/rsync-backup/
  575. ./hooks/install.d/60-install.sh
  576. #+end_src
  577. Note, il est possible de spécifier des exclusions pour chaque
  578. répértoire mirroré de telle façon:
  579. #+begin_src sh
  580. cat <<EOF >> /etc/mirror-dir/config.yml
  581. /home:
  582. exclude:
  583. - /*/.cache/
  584. - /*/.gvfs/
  585. - /*/.local/share/Trash/files/
  586. - /*/.Trash/
  587. - /*/.mozilla/firefox/*/Cache/
  588. - /*/.mozilla/firefox/*/storage/default/*/cache/
  589. /media/data:
  590. exclude:
  591. - /binary/games/_steam
  592. - /incoming
  593. - /.Trash*
  594. - /lost+found
  595. - /backup/device
  596. EOF
  597. #+end_src
  598. * Interventions avancées
  599. Description des process avancés d'intervention sur une installation existante.
  600. ** Modification du compose
  601. Y a un exemple en commentaire dans le =/opt/apps/myc-deploy/compose.yml=
  602. Petit exemple:
  603. #+BEGIN_SRC yaml
  604. odoo:
  605. ...
  606. docker-compose:
  607. ## Important to keep as a list: otherwise it'll overwrite charm's arguments.
  608. command:
  609. - "--log-level=debug"
  610. environment:
  611. TOTO: TUTU
  612. image: masuperimage
  613. #+END_SRC
  614. ** Récupération de donnée
  615. *** Depuis le VPS backuppé
  616. Les VPS backuppés peuvent avoir besoin de récupérer les données
  617. archivées. Pour le moment, comme il n'y pas d'accès aux versions
  618. précédentes des backups, l'intérêt de cette fonctionnalité reste
  619. limité.
  620. **** Par répertoire
  621. Via la commande =vps=, l'action =recover-target= permet de recouvrir
  622. les données du service d'archivage (si celui-ci à été correctement
  623. installé avec les commandes spécifiée dans la [[*rsync-backup][section =rsync-backup=]]).
  624. Récupération d'un répertoire:
  625. #+begin_src sh
  626. vps recover-target "cron/" /tmp/cron
  627. #+end_src
  628. Cette commande va récupérer le contenu archivé dans "cron/" pour le mettre
  629. sur l'hôte courant dans "/tmp/cron".
  630. Il est possible de spécifier l'option =--dry-run= (ou =-n=) pour ne
  631. rien modifier et voir quels sont les actions qui seront menées.
  632. Attention à l'usage de cette commande, en effet le répertoire de
  633. destination peut-être entièrement modifié : cette commande effacera et
  634. modifiera le contenu du répertoire de destination.
  635. *** Depuis un hôte d'administration
  636. **** Récupération d'un VPS complet
  637. Depuis un hôte d'adminstration, et via la command =0km=, nous
  638. pouvons re-déployer un backup existant sur un nouveau VPS.
  639. #+begin_src sh
  640. 0km vps-backup recover myadmin@core-06.0k.io:10023#mail.mybackupedvps.com mynewvps.com
  641. #+end_src
  642. Attention, cela supprimera toute installation =mailcow= précédente
  643. (donnée comprise) sur le VPS de destination.
  644. **** Récupération partielle
  645. ***** Récupération d'un répertoire ou fichier précis
  646. Depuis un hôte d'adminstration, et via la command =0km=, nous pouvons
  647. récupérer un répertoire ou un fichier précis d'un backup existant sur
  648. un nouveau VPS.
  649. C'est la même commande que pour la récupération complète, on rajoute à
  650. la source un chemin et possible aussi à la destination.
  651. #+begin_src sh
  652. 0km vps-backup recover myadmin@core-06.0k.io:10023#mail.mybackupedvps.com:/mon/chemin mynewvps.com
  653. 0km vps-backup recover myadmin@core-06.0k.io:10023#mail.mybackupedvps.com:/mon/chemin mynewvps.com:/ma/dest
  654. #+end_src
  655. ***** Récupération d'un composant
  656. Suivant si le type de backup est reconnu et le supporte, il est
  657. possible de nommer un composant précis en lieu et place d'un
  658. répertoire ou d'un fichier.
  659. Par exemple, les backup de type 'mailcow' supportent les composants
  660. suivants: =mailcow=, =postfix=, =rspamd=, =redis=, =crypt=, =vmail=,
  661. =vmail-attachments=, =mysql=.
  662. #+begin_src sh
  663. 0km vps-backup recover myadmin@core-06.0k.io:10023#mail.mybackupedvps.com:mailcow,mysql mynewvps.com
  664. 0km vps-backup recover myadmin@core-06.0k.io:10023#mail.mybackupedvps.com:postfix mynewvps.com
  665. #+end_src
  666. ** Troubleshooting
  667. S'il semble qu'il y ait un soucis, tu peux visualiser le =docker-compose.yml= qui est
  668. généré à la fin via l'ajout de =--debug= AVANT la commande:
  669. #+begin_src sh
  670. compose --debug up odoo frontend
  671. #+end_src
  672. * Comment ça marche
  673. La surcouche =compose= a pour responsabilité de:
  674. - créer graduellement un =docker-compose.yml= et lancer =docker-compose=.
  675. - à partir des *charms* qui factorisent les parties réutilisables
  676. - et à partir du =compose.yml= qui offre une interface plus haut niveau
  677. et permet d'exprimer plus succintement les intentions de déploiement sans
  678. entrer dans la logique technique de l'implémentation des services.
  679. - lancer des executable et des instructions au fur et à mesure si nécessaire.
  680. Il part du =compose.yml= et accède aux définitions en yaml des charms
  681. à déployer et qui sont dans /srv/charms ... (qui en fait sont dans
  682. =/opt/apps/0k-charms=).
  683. Chaque charm possède une définition générale (le =metadata.yml=) qui
  684. permet également l'injection d'élément dans le =docker-compose.yml=
  685. final.
  686. Et puis il y a des =hooks= : des scripts bash lancés avec des
  687. information contextuelle dans des variables d'environment, et qui vont
  688. généralement mettre en place des services à l'initialisation ou pour
  689. s'assurer de la bonne liaison entre les services.