[Python] Parquet 파일 읽고/쓰기

라이브러리

Parquet를 컨트롤하는데 필요한 라이브러리는 pyarrow 이다.

from pyarrow import csv
import pyarrow as pa
import pyarrow.parquet as pq

import pandas as pd 

우선 필요한 데이터 프레임을 생성 해주자.

df = pd.DataFrame({'one': [-1, 0, 2.5],
                   'two': ['foo', 'bar', 'baz'],
                   'three': [True, False, True]},
                   index=list('abc'))
                   
df

	one	two	three
a	-1.0	foo	True
b	0.0	bar	False
c	2.5	baz	True

Parquet 저장하기

생성된 df를 우선 pa.Table.from_pandas()를 통해 데이터 형식을 변경 해준다. 그리고 나서 pq.write_table()함수를 통해 저장 해주면 끝.

table_from_pandas = pa.Table.from_pandas(df,preserve_index = False)
pq.write_table(table_from_pandas, 'df.parquet')

Parquet 불러오기

이번에는 저장된 parquet를 불러와보자. pq.read_table() 함수를 통해 df.paquet를 불러오면 끝. 그리고 나서 이를 to_pandas()함수를 사용하여 판다스 형식으로 변경해주면 된다.

t = pq.read_table('df.parquet')
df = t.to_pandas()

실제 데이터 와의 비교

Google Storage에 주가데이터를 저장하고 이를 Streamlit에 실시간으로 배포하는 구조를 구상하고 있다. 지난 몇년간의 주가데이터를 모두 저장 해둔 csv인데 이를 parquet로 변경 하면 다음과 같이 상당한 압축이 진행 된다. (물론 Streamlit에 서빙 하기 위해서는 조금 더 파일을 쪼개봐야 한다.)

• csv:
  • kor_stock_ohlcv.csv
  • 파일 용량: 214 MB
• parquet:
  • kor_stock_ohlcv.parquet
  • 파일 용량: 65.9 MB