본문 바로가기
상장사 재무제표 수집 -pandas.read_html 코딩을 제대로 배우지 않았거나 문과 출신의 일반 직장인들이 쉽게 배울 수 있는 파이썬(Python) 데이터분석툴 활용법 교육을 내용으로 블로깅을 시작해보려고 했는데요. 저 또한 코딩 초보인지라 좌충우돌하면서 직접 코딩을 공부하고 실전 예제를 다뤄보느라 블로그를 체계적으로 만들 정신이 없었던 것 같아요. 다시 한번 심기일전해서, 직장인에게 필요한 코딩 예제 위주로 주제를 잡아서 집중해서 블로그 컨텐츠를 만들어 보려고 합니다. 오늘은 일반 기획 담당자들이라면 자주 하는 일인데요. 상장사 재무제표 데이터를 수집하는 작업을 파이썬을 활용해서 자동화하는 코딩 예제를 소개합니다. 초보의, 초보에 의한, 초보를 위한 파이썬 코딩! 복잡한 코딩은 피하겠습니다. 간단하게 따라하면서 바로 업무에 적용할 수 있는 알고리즘을..
네이버 주식 시세 - 웹 스크래핑(web scraping) 네이버 등 포털 사이트에서 제공하는 주식시세(주가정보) 데이터를 가져와서, 그래프로 간략하게 그려보는 예제를 만들어 봅니다. 처음에는 코드 한줄 한줄 전부 이해하는 것보다는 예제 코드를 최대한 타이핑해보면서 실행 결과를 확인해 보면서 흥미를 갖는 것이 중요합니다. 지난 포스팅에서 설명드린 pandas.read_html 함수를 사용해서 네이버 주식 시세 테이블을 dataframe으로 가져옵니다. 아래 그림처럼 주식시세가 웹페이지 여러 페이지에 걸쳐 있기 때문에, 페이지를 한장씩 넘어가면서 pandas.read_html 함수를 사용하여 표를 여러 번 나누어서 읽어야 합니다. 우선, 필요한 패키지(pandas, datetime)를 불러온다. 네임스페이스를 사용하여 pd, dt 등 약칭으로 부른다 import ..
비상장/ 중소기업 정보제공 사이트 비상장/ 중소기업에 관한 정보를 검색할 수 있는 Tip을 알려 드립니다. 주식시장에 상장된 회사에 대한 정보는 포털사이트나 전자공시 사이트 등에서 어렵지 않게 구할 수 있습니다. 하지만, 비상장 회사 또는 중소기업에 대한 정보를 웹(web)에서 찾는 것은 쉽지 않습니다. 취업을 위해서, 또는 신규 거래처 조사 등 여러 가지 이유로 비상장 회사, 중소기업에 대한 정보를 조사하는 경우가 있습니다. 상장회사와는 다르게 중소기업에 대한 정보를 일목요연하게 제공해 주는 사이트가 제한적이기 때문에 취업 준비생 or 재직자 모두 어려움을 겪게 되는데요. 비상장회사 or 중소기업 정보를 조사하는 노하우를 알려 드립니다. 1. 사람인 등 취업 정보 제공 사이트 : 채용정보를 검색하고 해당 기업명을 클릭하면 상세한 기업 ..
KOSPI 주식 종목 리스트 가져오기 -pandas.read_csv 오늘은 인터넷에서 CSV 파일을 다운로드해서, 필요한 정보만을 추출해서 정리하는 작업을 해보겠습니다. 코딩을 이제 배우기 시작하는 직장인의 입장에서 파이썬 문법 기초부터 차근차근 배워나가는 것도 필요하지만, 당장 실무에 적용할 수 있는 파이썬 라이브러리 위주로 집중 학습하는 것도 좋은 방법이라고 생각합니다. 이런 관점에서 지난번에 사용했던 판다스(pandas) 모듈을 다시 한번 활용합니다. 지난번에는 판다스(pandas) 모듈의 read_html 함수를 사용하여 html 웹 페이지에 있는 모든 표를 가져오는 방법을 배웠는데요. 이번에는 read_csv 함수를 사용하여 CSV 파일을 읽어들이는 과정을 만나보겠습니다. CSV 파일 다운로드 오늘 활용할 데이터는 KOSPI 상장 주식 종목 리스트입니다. 한국증..
간단한 뉴스 스크랩 만들기 웹은 정보의 보고라고 불립니다. 우리가 이용하는 네이버, 구글 같은 검색 사이트도 웹을 이곳저곳 다니면서 데이터를 수집, 저장하고 분석해서 빠른 검색이 가능하게 도와주는 일을 합니다. 검색 사이트에 일일이 들어가지 않으면서, 내가 원하는 키워드를 입력해서 뉴스 사이트 검색 결과를 가져오는 작업을 해보려 합니다. 검색 결과 목록 중에서 뉴스 제목과 해당 언론사 사이트로 연결되는 링크 정보만 따로 모아서 정리해보겠습니다. 최종 자료는 엑셀(Excel) 파일로 저장합니다. 뉴스 사이트 선택하기 뉴스 정보를 가져올 웹사이트를 선택해서 스크래핑이 가능한 구조인지 먼저 체크합니다. 자바스크립트로 구성된 동적 웹페이지는 정보를 가져오려면 복잡한 단계를 거쳐야 하기 때문에, 정적 html로 만들어진 웹사이트를 선택합니..
야후, 구글이 Finance API를 변경함에 따라, 미국 주식의 가격정보를 파이썬(Python)으로 가져올 수 없게 되었습니다. Morningstar를 비롯한 몇 개 사이트에서는 여전히 API를 열어 두고는 있는데요. 반복 업무를 단순화할 수 있는 방법에 대해서 직장인 누구라면 고민해 본 적이 있을 거예요. 예를 들어 직무에 따라서는 거시경제 지표(환율, 금리, 주가 등)를 수집하기 위해서 매일 아침 출근하자마자 서둘러서 여기저기 사이트를 옮겨 다닌 경험이 있으실 거예요. 웹사이트를 하나하나 찾아다니며 Ctrl + C, Ctrl + V를 여러 번 반복해서 엑셀에 옮기는 작업은 여간 귀찮은 일이 아닐 수 없습니다. 엑셀, 파워포인트 같은 오피스 직무 스킬에 파이썬(Python)을 하나 더 추가해보면 어떨까요. 파이썬이 PC에 설치되었다는 가정 하에서 포스팅을 이어가겠습니다. 환율정보 조회 환율정보를 조회할 수 있는 웹사이트는 네이버, 다음 등 포털뿐만 아니라 외환은행, 국민은행 등 금융기관 홈페이지, 기타 금융 정보 제..
웹에서 미국 ETF 리스트 가져오기 - Requests/ bs4 (BeautifulSoup) 야후, 구글이 Finance API를 변경함에 따라, 미국 주식의 가격정보를 파이썬(Python)으로 가져올 수 없게 되었습니다. Morningstar를 비롯한 몇 개 사이트에서는 여전히 API를 열어 두고는 있는데요. Morningstar에서 가격 정보를 가져오기 전에, 미국 ETF 리스트를 먼저 구해 보겠습니다. 위키피디아에서 미국 ETF 리스트 정보(https://en.wikipedia.org/wiki/List_of_American_exchange-traded_funds) 를 제공하고 있습니다. 오늘 필요한 Python 라이브러리는 requests와 bs4 (BeautifulSoup)입니다. 아나콘다(Anaconda)를 설치한 경우 별도로 라이브러리를 설치할 필요가 없습니다. 아니라면, 별도로 in..
Morningstar에서 미국 ETF 가격정보 가져오기 - pandas_datareader 활용 미국 ETF ticker를 입력하면 모닝스타(Morningstar) API를 통해 Price history 데이터를 가져오는 작업을 해보려고 합니다. 최종적으로는 아래와 같이 그래프를 그려 보겠습니다. 미국 ETF - ITOT 가격 변동 (2015 ~ ) 미국 ETF 리스트 가져오기 - 위키피디아 위키피디아에서 미국 ETF 리스트를 가져와서 dict 형태로 저장해 본 적이 있습니다. 이 예제를 save_us_etf_tickers( )라는 함수로 만들어 봅니다. http://okkam76.blog.me/221281008012 웹에서 미국 ETF 리스트 가져오기 - Requests/ bs4 (BeautifulSoup) 야후, 구글이 Finance API를 변경함에 따라, 미국 주식의 가격정보를 파이썬(Pyt..

티스토리툴바