Configuration
Barman 에는 세 가지 유형의 구성 파일이 있습니다.
- Global/General Configuration
- Server configuration
- Model configuration
Main configuration file 은 기본적으로 /etc/barman/barman.conf 해당 경로에 존재하고 일반적인 설정인 main directory, system user, log file 등을 포함하고 있습니다.
Server Configuration file 은 barman 이 백업할 서버당 1개씩 존재합니다. /etc/barman/conf.d 안에 파일 이름과 접미사 .conf 를 붙인 형식으로 만들게 됩니다.
Model Configuration file 은 /etc/barman.d 디렉토리 안에 ABCD.conf 와 같은 형식으로 만들게 됩니다. barman config-switch 명령을 통한 barman 서버 구성 위에 적용하는 재정의 파일입니다.
파일의 형식 작성법과 옵션은 아래 메뉴얼을 참고 부탁드립니다.
Configuration 자세한 정보 : https://docs.pgbarman.org/release/3.10.0/barman.5.html
Backup Setup
이제 barman의 여러가지 백업 방식을 구성해보겠습니다.
- WAL Streaming(via pg_receivewal)
- WAL Archiving (via archive_command = barman-wal-archive)
- WAL Archiving (via archive_command = rsync/SSH)
- Streaming Backup
- rsync/SSH Backup
아래 테스트 코드에 IP는 barman 설치 서버 : 192.168.1.214, PostgreSQL 설치 서버 : 192.168.1.215 로 구성되어 있습니다.
barman 서버와 PostgreSQL 서버에서 각각 수행하는 커맨드가 나열되어 있으니 혼동에 주의하시기 바랍니다.
WAL Streaming (via pg_receivewal)
barman 은 pg_receivewal 을 기본 스트리밍 복제 프로토콜을 활용하여 PostgreSQL 서버로부터 트랜잭션 로그를 지속적으로 수신합니다.
- PostgreSQL 스트리밍 전용 유저 생성
WAL 스트리밍 백업을 사용하려면 스트리밍 연결을 설정해야 합니다. 아래와 같이 PostgreSQL 서버에서 특정 사용자(streaming_barman)를 생성하겠습니다.
[postgres@localhost:~]$ createuser -P --replication streaming_barman
Enter password for new role: [STREAMING_BARMAN USER PASSWD 입력]
Enter it again: [STREAMING_BARMAN USER PASSWD 입력]- 스트리밍 연결 동작 확인
연결이 확인되면 시스템식별자, 타임라인, WAL 플러시 위치가 포함된 결과를 보여줍니다.
[barman@localhost ~]$ psql -U streaming_barman -h 192.168.1.215 -c "IDENTIFY_SYSTEM" replication=1
Password for user streaming_barman:
systemid | timeline | xlogpos | dbname
---------------------+----------+------------+--------
7297285663764050046 | 13 | 2/65037870 | - barman 서버 구성 파일 작성
vi /etc/barman/pg.conf
[pg]
description = "Our main PostgreSQL server"
conninfo = host=192.168.1.215 user=barman dbname=postgres
streaming_conninfo = host=192.168.1.215 user=streaming_barman dbname=postgres
backup_method = postgres
streaming_archiver=on
create_slot=auto
slot_name=barman
path_prefix = "/usr/pgsql-15/bin"- barman 서버에서 barman receive-wal 수행
- 추후 PostgreSQL 서버에 변경이 발생하여 생긴 WAL을 수신하여 백업합니다.
- 단, 해당 방식으로 수행시 세션이 프로세스를 계속 잡고 있기 때문에 다른 작업이 불가능합니다.
- 추후엔 barman cron 명령으로 수행하게 됩니다.
[barman@localhost conf.d]$ barman receive-wal pg
Starting receive-wal for server pg
pg: pg_receivewal: starting log streaming at 3/C5000000 (timeline 13)- PostgreSQL 서버 프로세스 조회
[postgres@localhost:~]$ ps x | grep postgres
26785 ? Ss 0:00 /usr/pgsql-15/bin/postgres
26786 ? Ss 0:00 postgres: logger
26787 ? Ss 0:00 postgres: checkpointer
26788 ? Rs 0:00 postgres: background writer
26790 ? Ss 0:00 postgres: walwriter
26791 ? Ss 0:00 postgres: autovacuum launcher
26792 ? Ss 0:00 postgres: logical replication launcher
26800 ? Ss 0:00 postgres: walsender streaming_barman 192.168.1.214(38644) streaming 3/C5000260- barman 서버 WAL 확인
[barman@localhost streaming]$ pwd
/var/lib/barman/pg/streaming
[barman@localhost streaming]$ ls
0000000D00000003000000C5.partial- PostgreSQL 서버 WAL 파일 스위칭
[postgres@localhost:~]$ psql -c "select pg_switch_wal();"
pg_switch_wal
---------------
3/C50004F8- barman 서버 WAL 확인
- 추후 WAL file(C5) 는 /var/lib/barman/pg/wals 로 이동하게 됩니다.
[barman@localhost streaming]$ pwd
/var/lib/barman/pg/streaming
[barman@localhost streaming]$ ls
0000000D00000003000000C5 0000000D00000003000000C6.partialWAL Archiving (via archive_command = barman-wal-archive)
barman 2.6부터 archive_command를 통해 WAL 파일을 barman 서버에 보관하는 방법은 barman-cli 패키지에 포함되어 있는 barman-wal-archive 명령을 사용하는 것입니다.
barman-cli 는 Barman 클러스터의 각 PostgreSQL 서버에 설치되어야 합니다.
- PostgreSQL 서버에 barman-cli 설치
[root@localhost ~]# yum install barman-cli
Last metadata expiration check: 1:43:51 ago on Fri 02 Feb 2024 05:10:33 PM KST.
Dependencies resolved.
====================================================================================================
Package Arch Version Repository Size
====================================================================================================
Installing:
barman-cli noarch 3.9.0-1.el8 ol8_developer_EPEL 42 k
Installing dependencies:
libpq x86_64 13.11-1.el8 ol8_appstream 198 k
python3-argcomplete noarch 1.9.3-6.el8 ol8_appstream 60 k
python3-barman noarch 3.9.0-1.el8 ol8_developer_EPEL 526 k
python3-pip noarch 9.0.3-22.el8 ol8_appstream 20 k
python3-psycopg2 x86_64 2.7.5-7.el8 ol8_appstream 172 k
python3-setuptools noarch 39.2.0-6.el8 ol8_baseos_latest 163 k
python36 x86_64 3.6.8-38.module+el8.9.0+90104+968a3e84 ol8_appstream 18 k
Enabling module streams:
python36 3.6
Transaction Summary
====================================================================================================
Install 8 Packagesbarman-wal-archive가 barman 서버에 연결할 수 있는지, PostgreSQL 서버가 barman 서버에게 WAL 파일을 수신할 수 있는지 확인할 수 있습니다. backup 은 barman 서버의 host, pg 는 barman 서버에 설정된 PostgreSQL 서버 이름, DUMMY 는 placeholder 입니다.
(barman-wal-archive 에는 WAL 파일 이름에 대한 인수가 필요합니다. DUMMY 는 무시됩니다.)
barman-wal-archive --test backup pg DUMMY
[postgres@localhost:~]$ barman-wal-archive --test 192.168.1.214 pg DUMMY
Ready to accept WAL files for the server pgbarman 서버와 통신하기 위해 SSH를 사용하므로 postgres 사용자가 백업 서버에 barman 으로 로그인하려면 SSH 키 인증이 필요합니다.
PostgreSQL 서버에서 postgresql.conf 파일을 아래와 같이 편집하여 아카이브 모드를 활성화하고 barman-wal-archive 를 사용하도록 archive_command 를 설정합니다.
- PostgreSQL 서버 파라미터 세팅
- 적용 후 postgresql 서버를 재시작합니다.
archive_mode = on
wal_level = 'replica'
archive_command = 'barman-wal-archive backup pg %p'- PostgreSQL 서버 WAL 파일 스위칭
- PostgreSQL 서버에서 WAL 파일을 스위칭해서, 스위칭된 WAL 파일이 백업 되는지 보겠습니다.
[postgres@localhost:~]$ psql -c "select pg_switch_wal();"
pg_switch_wal
---------------
3/C7000210- barman 서버 incoming 디렉토리 확인
- barman 서버의 백업 디렉토리로 WAL 파일을 백업 받는지 확인해보겠습니다.
[barman@localhost incoming]$ pwd
/var/lib/barman/pg/incoming
[barman@localhost incoming]$ ls
0000000D00000003000000C7WAL Archiving (via archive_command = rsync/SSH)
barman 2.6 이전 버전엔 일반적으로 rsync 방식을 활용한 WAL 파일 백업을 수행했습니다.
barman 명령어 중 barman show-servers 를 사용하여 WAL 파일을 가져오는 디렉토리를 확인할 수 있습니다.
[barman@localhost ~]$ barman show-servers pg |grep incoming_wals_directory
incoming_wals_directory: /var/lib/barman/pg/incoming- PostgreSQL 서버 파라미터 설정
- 적용 후 postgresql 서버를 재시작합니다.
archive_mode = on
wal_level = 'replica'
archive_command = 'rsync -a %p barman@192.168.1.214:/var/lib/barman/pg/incoming/%f'- PostgreSQL 서버 WAL 파일 스위칭
- PostgreSQL 서버에서 WAL 파일을 스위칭해서, 스위칭된 WAL 파일이 백업 되는지 보겠습니다.
[postgres@localhost:~]$ psql -c "select pg_switch_wal();"
pg_switch_wal
---------------
3/CF000420- barman 서버 incoming 디렉토리 확인
- barman 서버의 백업 디렉토리로 WAL 파일을 백업 받는지 확인해보겠습니다.
[barman@localhost incoming]$ pwd
/var/lib/barman/pg/incoming
[barman@localhost incoming]$ ls
0000000D00000003000000D0Streaming Backup
barman은 스트리밍 연결을 사용하여 PostgreSQL 서버를 백업할 수 있습니다. (pg_basebackup 의존)
해당 구성에서는 barman 세팅 후 Streaming 방식으로 전체 백업을 받아보겠습니다.
barman 서버엔 여러버전의 pg_basebackup 을 설치하고, 구성 파일에 path_prefix 옵션을 사용해서 서버마다 특정 버전을 각각 지정할 수도 있습니다.
archiver 또는 streaming_archiver 를 통해 WAL 아카이브되지 않으면 백업을 시작할 수 없습니다.
- barman 서버 구성 파일 작성
vi /etc/barman/pg.conf
[pg]
description = "Our main PostgreSQL server"
conninfo = host=192.168.1.215 user=barman dbname=postgres
streaming_conninfo = host=192.168.1.215 user=streaming_barman dbname=postgres
backup_method = postgres
streaming_archiver=on
create_slot=auto
slot_name=barman
path_prefix = "/usr/pgsql-15/bin"- barman cron 및 barman check 수행
[barman@localhost conf.d]$ barman cron
Starting WAL archiving for server pg
Starting streaming archiver for server pg
[barman@localhost ~]$ barman check pg
Server pg:
PostgreSQL: OK
superuser or standard user with backup privileges: OK
PostgreSQL streaming: OK
wal_level: OK
replication slot: OK
directories: OK
retention policy settings: OK
backup maximum age: OK (no last_backup_maximum_age provided)
backup minimum size: OK (0 B)
wal maximum age: OK (no last_wal_maximum_age provided)
wal size: OK (0 B)
compression settings: OK
failed backups: OK (there are 0 failed backups)
minimum redundancy requirements: OK (have 0 backups, expected at least 0)
pg_basebackup: OK
pg_basebackup compatible: OK
pg_basebackup supports tablespaces mapping: OK
systemid coherence: OK (no system Id stored on disk)
pg_receivexlog: OK
pg_receivexlog compatible: OK
receive-wal running: OK
archiver errors: OK- barman backup 명령을 이용한 Full backup 수행
[barman@localhost ~]$ barman backup pg
Starting backup using postgres method for server pg in /var/lib/barman/pg/base/20240207T024215
Backup start at LSN: 3/D20001C0 (0000000D00000003000000D2, 000001C0)
Starting backup copy via pg_basebackup for 20240207T024215
Copy done (time: 7 seconds)
Finalising the backup.
This is the first backup for server pg
WAL segments preceding the current backup have been found:
0000000D00000003000000CF from server pg has been removed
0000000D00000003000000D0 from server pg has been removed
0000000D00000003000000D1 from server pg has been removed
Backup size: 1.3 GiB
Backup end at LSN: 3/D4000000 (0000000D00000003000000D3, 00000000)
Backup completed (start time: 2024-02-07 02:42:15.838417, elapsed time: 7 seconds)
Processing xlog segments from streaming for pg
0000000D00000003000000D2
0000000D00000003000000D3- barman backup 여부 확인
[barman@localhost base]$ pwd
/var/lib/barman/pg/base
[barman@localhost base]$ ls
20240207T024215
[barman@localhost base]$ barman show-backup pg 20240207T024215
Backup 20240207T024215:
Server Name : pg
System Id : 7297285663764050046
Status : DONE
PostgreSQL Version : 150004
PGDATA directory : /var/lib/pgsql/15/data
Tablespaces:
test_tbs : /var/lib/pgsql/tbs (oid: 24586)
test_tbs1 : /var/lib/pgsql/tbs1 (oid: 33727)
Base backup information:
Disk usage : 1.3 GiB (1.3 GiB with WALs)
Incremental size : 1.3 GiB (-0.00%)
Timeline : 13
Begin WAL : 0000000D00000003000000D3
End WAL : 0000000D00000003000000D3
WAL number : 1
Begin time : 2024-02-07 02:42:16.606937+09:00
End time : 2024-02-07 02:42:24.388604+09:00
Copy time : 7 seconds
Estimated throughput : 178.1 MiB/s
Begin Offset : 40
End Offset : 0
Begin LSN : 3/D3000028
End LSN : 3/D4000000
WAL information:
No of files : 1
Disk usage : 16.0 MiB
WAL rate : 17142.85/hour
Last available : 0000000D00000003000000D4
Catalog information:
Retention Policy : not enforced
Previous Backup : - (this is the oldest base backup)
Next Backup : - (this is the latest base backup)rsync / SSH Backup
rsync를 통한 백업은 2.0 이전에는 유일하게 사용 가능한 방법이었으며 현재는 증분 백업 기능을 지원하는 유일한 백업 방법입니다.
archiver 또는 streaming_archiver 를 통해 WAL 아카이브되지 않으면 백업을 시작할 수 없습니다.
- barman 서버 구성 파일 작성
vi /etc/barman/pg.conf
[pg]
description = "Our main PostgreSQL server"
conninfo = host=192.168.1.215 user=barman dbname=postgres
backup_method = rsync
ssh_command=ssh postgres@192.168.1.215
archiver=on
path_prefix = "/usr/pgsql-15/bin"- PostgreSQL 서버 파라미터 설정
- 적용 후 postgresql 서버를 재시작합니다.
archive_mode = on
wal_level = replica
archive_command = 'rsync -a %p barman@192.168.1.214:/var/lib/barman/pg/incoming/%f'- barman check 수행
[barman@localhost incoming]$ barman check pg
WARNING: No backup strategy set for server 'pg' (using default 'concurrent_backup').
Server pg:
PostgreSQL: OK
superuser or standard user with backup privileges: OK
wal_level: OK
directories: OK
retention policy settings: OK
backup maximum age: OK (no last_backup_maximum_age provided)
backup minimum size: OK (1.3 GiB)
wal maximum age: OK (no last_wal_maximum_age provided)
wal size: OK (16.0 MiB)
compression settings: OK
failed backups: OK (there are 0 failed backups)
minimum redundancy requirements: OK (have 1 backups, expected at least 0)
ssh: OK (PostgreSQL server)
systemid coherence: OK
archive_mode: OK
archive_command: OK
continuous archiving: OK
archiver errors: OK- barman backup 수행
[barman@localhost base]$ barman backup pg
WARNING: No backup strategy set for server 'pg' (using default 'concurrent_backup').
Starting backup using rsync-concurrent method for server pg in /var/lib/barman/pg/base/20240207T181749
Backup start at LSN: 3/D6000028 (0000000D00000003000000D6, 00000028)
Starting backup copy via rsync/SSH for 20240207T181749
Copy done (time: 11 seconds)
Asking PostgreSQL server to finalize the backup.
Backup size: 1.3 GiB
Backup end at LSN: 3/D6000138 (0000000D00000003000000D6, 00000138)
Backup completed (start time: 2024-02-07 18:17:49.634791, elapsed time: 13 seconds)
Processing xlog segments from file archival for pg
0000000D00000003000000D6
0000000D00000003000000D6.00000028.backup- barman 백업 여부 확인
[barman@localhost base]$ barman show-backup pg last
WARNING: No backup strategy set for server 'pg' (using default 'concurrent_backup').
Backup 20240207T181749:
Server Name : pg
System Id : 7297285663764050046
Status : DONE
PostgreSQL Version : 150004
PGDATA directory : /var/lib/pgsql/15/data
Tablespaces:
test_tbs : /var/lib/pgsql/tbs (oid: 24586)
test_tbs1 : /var/lib/pgsql/tbs1 (oid: 33727)
Base backup information:
Disk usage : 1.3 GiB (1.3 GiB with WALs)
Incremental size : 1.3 GiB (-0.00%)
Timeline : 13
Begin WAL : 0000000D00000003000000D6
End WAL : 0000000D00000003000000D6
WAL number : 1
Begin time : 2024-02-07 18:17:50.373483+09:00
End time : 2024-02-07 18:18:02.785885+09:00
Copy time : 11 seconds
Estimated throughput : 119.4 MiB/s
Begin Offset : 40
End Offset : 312
Begin LSN : 3/D6000028
End LSN : 3/D6000138
WAL information:
No of files : 0
Disk usage : 0 B
Last available : 0000000D00000003000000D6
Catalog information:
Retention Policy : not enforced
Previous Backup : 20240207T024215
Next Backup : - (this is the latest base backup)
