개요
pg_directpath는 데이터를 버퍼를 통하지 않고 바로 디스크에 기록하는 Extension 이며, PostgreSQL에서 데이터를 새 페이지에 직접 기록하고, 관계 파일에 추가하는 확장 기능입니다.
이는 공유 버퍼를 우회하여 8MB 단위로 데이터를 직접 기록하며, 삽입이 완료되면 표준 삽입처럼 새 튜플이 표시됩니다.
중단 시에는 새 튜플이 표시되지 않으며, 대상 관계가 기록된 관계인 경우 WAL 로깅이 수행되어 새 페이지의 전체 페이지 이미지를 작성합니다.
문제
https://github.com/bdrouvot/pg_directpaths
현재 ‘pg_directpaths’ 는 공식 알파 상태에 있으며 테스트 환경에서만 사용을 권장하며 운영환경에서는 권장되지 않습니다.
설치
해당 동작을 하기 위해서는 $PATH를 설정해야합니다.
# git clone https://github.com/bdrouvot/pg_directpaths.git
# cd pg_directpaths
# make
# make install
-- make 진행시 환경변수 설정을 꼭 하셔야 합니다 ! 
사용법
-- shared_preload_libraries 설정
vi $PGDATA/postgresql.conf
...
shared_preload_libraries = 'pg_directpaths'
...
-- load pg_directpaths
psql -c 'load 'pg_directpaths''
데이터 직접 적재
데이터 직접 적재를 하기위해서는 /*+ APPEND */ 힌트를 추가해야 합니다.
/*+ APPEND */ insert......사용 예시
테이블과 인덱스 생성
create table desttable (timeid integer,insid integer,indid integer,value integer);
create unique index ix_desttable on desttable (timeid,indid,insid);
create index brin_idx_desttable on desttable using brin (timeid);
EXPLAIN 확인 후 APPEND 힌트 없이 실행
postgres=# timing
Timing is on.
postgres=# explain (COSTS OFF) insert into desttable select a % 50, a % 10000, a , a from generate_series(1,5000000) a;
QUERY PLAN
------------------------------------------
Insert on desttable
-> Function Scan on generate_series a
(2 rows)
Time: 9.163 ms
postgres=# insert into desttable select a % 50, a % 10000, a , a from generate_series(1,5000000) a;
INSERT 0 5000000
Time: 21618.790 ms (00:21.619)
힌트가 있는 EXPLAIN 과 실행 시간 비교
postgres=# /*+ APPEND */ explain (COSTS OFF) insert into desttable select a % 50, a % 10000, a , a from generate_series(1,5000000) a;
QUERY PLAN
------------------------------------------------
INSERT APPEND
-> Insert on desttable
-> Function Scan on generate_series a
(3 rows)
Time: 0.449 ms
postgres=# /*+ APPEND */ insert into desttable select a % 50, a % 10000, a , a from generate_series(1,5000000) a;
INSERT 0 5000000
Time: 14112.812 ms (00:14.113)
결론
pg_directpaths 를 사용 했을 경우, 파일에 직접 기록이 되기에 생성되는 WAL 크기도 적기에 대용량 데이터를 적재시에 사용하게 되면 효과 적으로 사용할 수 있습니다.
추가 테스트
| 40GB | 80GB | 120GB | |
| INSERT | 23분 46초 | 1시간 13분 | |
| pg_directpaths | 37분 54초 | 26분 |
