Github

깃헙은 다음과 같다. 앞으로 이곳에 하나씩 파일을 업로드 하면서 문서를 생성할 예정

• GCP, 파이썬을 사용한 금융 데이터 ETL 및 대시보드 구축

FinanceDataReader

• 공식문서: FinanceDataReader

사용할 데이터

• 해외 종목 리스트
• 해외주식 가격 데이터
• 환율 데이터
• 비트코인 가격

설치

우선 설치를 해보자. finance-datareader설치는 다음과 같다.

$ pip install -U finance-datareader # finance-datareader 설치

라이브러리 호출

import pandas as pd
from time import sleep
import FinanceDataReader as fdr

from datetime import datetime
import os
import time

날짜 호출

현재 날짜를 호출하자. 시작 날짜는 start_date로 2017-01-01로 지정해주어 2017년 부터 수집을 해주도록 한다.

now = datetime.now()
today_date2 = now.strftime('%Y-%m-%d')
start_date2 = '2017-01-01'

S&P 500 종목 리스트 생성

이번엔 S&P 500 종목 리스트를 저장 해주자. fdr.StockListing() 함수를 통해 가져올 수 있으며 컬럼명은 ticker. corp_name, sector, industry로 저장해준다.

# S&P 500 symbol list
snp500 = fdr.StockListing('S&P500')
snp500.columns = ['ticker', 'corp_name', 'sector', 'industry']
snp500.head()

이제 이 데이터는 snp500_ticker_list로 저장해주도록 하자.

sp500_ticker_list = snp500['ticker']
snp500.to_csv('data_crawler/snp500_ticker_list.csv', index = False)

S&P 500 주가 데이터 수집

for ticker_nm in sp500_ticker_list:
    file_name = 'snp500_daily'
    try:
        # Apple(AAPL), 2017-01-01 ~ Now
        df_raw = fdr.DataReader(ticker_nm, start_date2,today_date2)
        df_raw['ticker'] = ticker_nm
        df_raw = df_raw.reset_index()
        
        
        if not os.path.exists(f'data_crawler/{file_name}.csv'):
            df_raw.to_csv(f'data_crawler/{file_name}.csv', index=False, mode='w')
        else:
            df_raw.to_csv(f'data_crawler/{file_name}.csv', index=False, mode='a', header=False)
        
        print(f'{ticker_nm} success')    
    except:
        print(f'{ticker_nm} fail')

간단하게 확인해보면 다음과 같은 테이블이 생성 된다.

df_raw.head()

비트코인

이번에는 비트코인 데이터를 수집해보자. 간단하다. fdr.DataReader() 함수에 시작날짜와 끝날짜를 설정 해주면 된다.

btc_df = fdr.DataReader('BTC/KRW', "2016-01-01",today_date2)
btc_df = btc_df.reset_index()

간단하게 확인해보면 다음과 같은 테이블이 생성 된다.

btc_df.head()

이는 btc_df.csv로 저장 해주도록 하자.

btc_df.to_csv(f'data_crawler/btc_df.csv')

환율 정보

마지막으로 환율 정보를 가져와 보자. fdr.DataReader() 함수에 ‘USD/KRW’ 옵션을 넣어 주자.

usdkrw = fdr.DataReader('USD/KRW', '1995-01-01', today_date2) # 달러 원화
usdkrw = usdkrw.reset_index()

간단하게 확인해보면 다음과 같은 테이블이 생성 된다.

usdkrw.tail()

이는 usdkrw로 저장 해주도록 하자.

usdkrw.to_csv(f'data_crawler/usdkrw.csv')