트레이딩 학습 방법

마지막 업데이트: 2022년 3월 15일 | 0개 댓글
  • 네이버 블로그 공유하기
  • 네이버 밴드에 공유하기
  • 페이스북 공유하기
  • 트위터 공유하기
  • 카카오스토리 공유하기

주식투자 강화학습 과정 확인의 필요성

주식투자 강화학습을 진행하면 정해진 환경에서 매순간 무작위로 행동을 결정하거나 신경망으로 행동을 결정한 다음, 에이전트가 결정된 행동을 수행하고 그 결과로 에이전트의 상태가 변경됩니다. 이번 절에서는 주식투자 강화학습 과정을 확인하는 방법을 다룹니다.

강화학습 과정 확인의 필요성

강화학습이 잘 진행되고 있는지를 판단하려면 신경망이 어떤 출력값을 반환하는지, 에이전트의 상태는 어떻게 변해가는지를 관찰해야 합니다.

강화학습으로 수백, 수천 에포크를 거치며 주식투자를 (제대로) 학습하다 보면 처음에는 투자 손실을 보다가 에포크를 거쳐 가면서 점점 수익을 내게 됩니다. 학습 시간은 인공 신경망의 복잡도, 학습 데이터의 크기, 에포크 수에 따라 수십 분에서 며칠까지도 걸릴 수 있습니다. 그렇기 때문에 제대로 된 학습을 진행하고 있는지 아닌지를 학습 과정이 진행되는 동안 관찰할 필요가 있습니다.

학습이 진행되어 가는데, 신경망의 학습이 제대로 되지 않아서 매수만 한다거나 매도만 하는 등의 이상 상황이 발생하면 중도에 학습을 멈추고 문제 파악 및 해결을 하고 다시 학습을 수행하는 것이 시간을 절약하는 길입니다.

강화학습 과정을 로그로 남기기

일반적으로 어떠한 과정을 텍스트로 기록한 것을 로그(log)라고 합니다. 로그는 (이미지보다) 상대적으로 작은 데이터 크기로 쉽게 기록할 수 있으며 상세한 정보를 담을 수 있다는 장점이 있습니다. 단점은 한눈에 기록을 파악하기 힘들다는 점입니다.

강화학습 과정에서 로그로 남기는 값들은 다음과 같습니다.

  • 파라미터(parameter): 학습 속도(learning rate), 할인 요인(discount factor), 최소/최대 투자 단위(trading unit), 지연 보상 임계치(delayed reward threshold) 등의 파라미터를 기록해둬야 파라미터에 따라 결과가 어떻게 달라지는지를 확인할 수 있습니다.
  • 에포크(epoch) 결과: 전체 에포크 중에서 몇 번째 에포크인지 먼저 기록하고 탐험률, 탐험 횟수, 매수 횟수, 매도 횟수, 관망 횟수, 보유 주식 수, 포트폴리오 가치, 긍정적 학습 횟수, 부정적 학습 횟수, 학습 과정에서 발생한 손실 등을 기록해 에포크가 진행되면서 이 값들이 어떻게 변해가는지 확인합니다.
  • 최종 학습 결과: 학습 과정 중에서 달성한 최대 포트폴리오 가치, 수익 발생 횟수 등 전체 학습이 완료되고 나서야 알 수 있는 통계치 등을 확인합니다.

강화학습 과정을 이미지로 가시화하기

각 에포크마다 보유 주식 수, 행동, 인공 신경망의 출력값, 탐험, 수익과 손실을 관찰하기 위해 그림 4.6과 같은 가시화 방법을 사용합니다.

강화학습 과정 가시화 방법

가장 상위의 차트는 주식 종목의 일봉 차트를 보여줍니다. 즉, 강화학습의 환경(environment)이라고 할 수 있습니다.

두 번째 차트는 에이전트가 수행한 행동을 배경색으로 보여주고 보유 주식 수를 실선으로 보여줍니다. 매수했으면 보유 주식 수가 증가할 것이고 매도했으면 보유 주식 수는 줄어들 것입니다.

세 번째 차트는 가치 신경망의 출력값을 보여줍니다. 빨간 실선은 매수 행동에 대한 가치 신경망의 예측 가치를 보여주고 파란 실선은 매도 행동에 대한 예측 가치를 트레이딩 학습 방법 보여줍니다. 배경에는 매수 예측 가치가 높으면 빨간색, 매도 예측 가치가 높으면 파란색으로 표시해 줍니다.

네 번째 차트는 정책 신경망의 출력값을 보여줍니다. 빨간 실선으로 매수 행동에 대한 예측 확률을 보여주고 파란 실선으로 매도 행동에 대한 예측 확률을 보여줍니다.

정책 신경망이 있는 경우 정책 신경망의 예측 확률이 높은 행동을 택하게 됩니다. 수행한 행동에 대해 배경색으로 매수는 빨간색, 매도는 파란색으로 보여줍니다. 정책 신경망이 없는 경우 가치 신경망의 예측 가치가 높은 행동을 선택하고 수행한 행동을 이 차트의 배경으로 그려줍니다. 여기서 무작위 투자, 즉 탐험을 했으면 배경을 노란색으로 표시합니다.

마지막 차트는 포트폴리오 가치를 보여줍니다. 즉, 투자 결과인 손익을 보는 것입니다. 이 화면에서는 PV가 초기 자본금인 10,000,000원을 넘어서 수익이 발생한 것을 볼 수 있습니다. 여기서 빨간 수직선은 긍정 보상(positive reward)을 가지고 학습한 지점을, 파란 수직선은 부정 보상(negative reward)으로 학습한 지점을 표시한 것입니다.

이 화면을 에포크마다 한 트레이딩 학습 방법 번씩 생성해서 각 에포크에서 에이전트가 수행한 행동들, 인공 신경망의 출력, 투자 결과인 수익을 한눈에 볼 수 있습니다. 그림 파일을 에포크마다 생성하기에 부담이 있는 경우 10번의 에포크마다 한 번씩만 생성하는 등 일부 에포크에서만 생성할 수도 있습니다.

[실시간 온라인/저자직강] 파이썬과 케라스를 이용한 딥러닝/강화학습 주식투자

최근 주목받고 있는 딥러닝(Deep Learning)은 사실 새로운 기술이 아닙니다. 딥러닝의 근간이 되는 기술들은 1950년대부터 꾸준히 연구되어 왔습니다. 딥러닝이 최근에 와서야 주목받는 이유는 컴퓨터 연산 능력이 크게 발전했으며 방대한 데이터 확보가 가능해졌기 때문입니다.

하지만 어떤 분야에서는 이러한 방대한 데이터를 학습함에 있어 학습데이터를 구축하는 것이 매우 큰 비용을 요하거나 어쩌면 불가능할 수도 있습니다. 이러한 한계점을 해결하는 기법 중 하나로 강화학습을 들 수 있습니다. 강화학습은 데이터를 탐색하면서 스스로 학습하는 기법입니다.

주식투자에서도 활용할 데이터는 예전에 비해 방대해 졌습니다. 대부분 증권사의 HTS(Home Trading System)를 통해 데이터를 쉽게 구할 수 있으며 웹 상에서 구할 수 있는 데이터도 많습니다.

본 강의를 통해 딥러닝과 강화학습에 대해 직관적으로 이해하고 주식투자에 활용할 수 있는 데이터를 확보하는 방법을 익힙니다. 또한 딥러닝과 강화학습을 적용하여 주식투자 기계학습 모델을 파이썬으로 학습(Training)해 봅니다.

본 강의를 수강하고 나면 주식투자를 위한 기계학습에 대한 통찰을 얻고 스스로 다양한 시도를 해 볼 수 있습니다. 계량투자(퀀트투자), 시스템 트레이딩에 관심이 있거나 딥러닝/강화학습을 특정 도메인(특히 금융)에 적용해 보고 트레이딩 학습 방법 싶으신 대학생, 대학원생, 직장인, 전업투자자들에게 유용한 강의가 될 것입니다.

전국 대학의 학술자원을 이용할 수 있는
대국민 서비스,
RISS에 오신것을 환영합니다.

RISS란?

RISS 개요

RISS(Research Information Sharing Service)는 전국 대학이 생산하고 보유하며 구독하는 학술자원을 공동으로 이용할 수 있도록 개방된 대국민 서비스입니다.

우리의 목표

RISS는 다음과 같은 목표를 가지고 서비스를 운영하고 있습니다.

  • - 국가학술연구정보 공유 시스템 구축을 통한 국가적 트레이딩 학습 방법 연구 경쟁력 강화
  • - 인적자원의 개발을 통한 차세대 산업동력 제고

RISS 자료

RISS에서는 다음과 같은 자료를 이용할 수 있습니다.

6,304,375 건 국내학술논문

62,608,654 건 해외학술논문

167,166 건 연구보고서 등

주제별 최신 인기논문

RISS에서는 '주제별 최신 인기논문'을 검색할 수 있습니다.트레이딩 학습 방법

주제별 최신 인기논문

내추천논문

MYRISS > 내추천논문에서 키워드와 학술지를 등록하여 알림서비스를 받아 볼 수 있습니다.

관심서비스

RISS 이용권한

RISS 이용권한
비용 구분 서비스 구분 개인로그인 기관로그인 소셜로그인 무로그인
무료 학위/학술논문 이용가능 이용가능 이용가능 이용가능
해외전자자료 이용가능

※ 신분, 소속기관 IP에 따라 이용

※ 자료제공 업체페이지 로그인 후 이용

※ 자료제공 업체페이지 로그인 후 이용

※ 자료제공 업체페이지 로그인 후 이용

내 추천논문 이용방법

MYRISS > 내추천논문에서 확인 가능합니다.

MyRISS 내 추천논문 내 자료 추천 알림 설정

1. 관심키워드

자주 쓰는 검색 키워드를 등록하여 최신 학위논문 및 국내학술논문을 확인 할 수 있습니다.

내 관심논문등록-관심 키워드 등록

최신 학위논문 국내 학술논문

2. 관심 학술지

자주 이용하는 학술지를 등록하여 최신 학술논문을 확인 할 수 있습니다.

1) 내 관심논문 관심학술지 등록

내 관심논문등록-관심학술지 등록

TIP : 최대 트레이딩 학습 방법 5개까지 등록, 30일까지 저장가능

내 관심논문등록-최신학술논문확인

즐겨 찾는 해외 DB를 등록할 수 있습니다.

자주 이용하는 학술지를 등록하여 최신 학술논문을 확인 할 수 있습니다.

해외내관심DB등록

RISS 자료 유형별 이용방법

RISS 자료 유형별 이용방법
자료유형명 안내
학위논문 학위취득을 위하여 제출된 석•박사 학위논문
학술논문 학술지에 투고된 논문
학술지 연구자의 학술논문을 게재한 잡지
단행본 한 권 한 권이 단독으로 간행되는 서적
연구보고서 연구결과를 보고하기 위해 제출하는 문서

1. 학위논문 : 원문보기 무료 이용

원문을 제공하지 않는 경우 복사신청

RISS 자료 유형별 이용방법-학위논문 RISS 자료 유형별 이용방법-학위논문

2. 국내 학술논문

무료 , 유료 , 기관내무료 이용

RISS 자료 유형별 이용방법-국내 학술논문(무료)

RISS 자료 유형별 이용방법-국내 학술논문(유료)

RISS 자료 유형별 이용방법-국내 학술논문(기관 내 무료)

3. 해외 학술논문

유료국내복사, 유료해외논문 구매대행, 무료국내복사 이용

- 국내 소장 있는 경우 : 복사/대출을 통한 유료이용

- 국내소장이 없는 경우 : 복사/대출을 통한 해외논문 구매대행을 통한 유료이용

RISS 자료 유형별 이용방법-해외 학술논문

- 외국 학술지 지원센터 소장 자료 : 복사서비스 무료 이용

RISS 자료 유형별 이용방법-해외 학술논문

4. 학술지

권호정보를 통한 학술논문 확인 후 복사/대출 유료 이용

RISS 자료 유형별 이용방법-학술지 RISS 자료 유형별 이용방법-학술지

5. 단행본

RISS 자료 유형별 이용방법-단행본

6. 연구보고서

검색 후 연구보고서를 제공하는 페이지에서 무료 이용

RISS 자료 유형별 이용방법-연구보고서

복사/대출 이용방법

소속기관 이용자

RISS 가입 → 도서관 담당자 승인 → 복사/대출신청 → 자료수령 → 비용지불

일반 이용자

RISS 가입 → 복사신청 및 결제 → 자료수령

국내자료신청

복사/대출 이용방법-국내자료신청
구분 소속기관이용자 일반이용자
복사 대출 복사
신청자료 학술지, 단행본 , 학위논문 단행본 학술지, 단행본 , 학위논문
발송방법 기관전송, 일반우편, 등기우편, 택배, 팩스 택배 등기우편, 택배
평균소요일수 1일~6일 2일~5일 2일~6일
신청비용 기본료 + 장당복사비 1건당 5,340원 기본료 4,670원부터
지불방법 후불 후불 선불
수령지 소속도서관 수령지 직접 기재
수령형태 인쇄물 실물도서 인쇄물
비고 선불 신청 가능 대출참여기관 이용자만 가능

해외자료신청

복사/대출 이용방법-해외자료신청
구분 소속기관이용자 일반이용자
NII

해외전자정보 복사신청

해외전자정보 서비스에서 자료 검색 후 상세서지에서 복사신청

복사신청

복사신청

해외전자자료 이용방법

RISS 이용권한
이용자 구분 접속 방법 패키지 구독 여부 이용 방법
소속기관 이용자
(학교 소속)
① 교내 접속
② RISS 로그인
구독하는 경우 24시간 이용
구독하지 않는 경우 오후 4시부터 익일 오전 9시까지 이용

(*ASC, BSC 2종 오후 5시부터 / Onju, LAWnB 2종 오후 6시부터 익일 오전 9시까지 이용)

ScienceDirect, Wiley Online Library, JCR, O’Reilly 트레이딩 학습 방법 Higher Education, PQDT Global

(대학생, 대학원생, 교수, 대학직원, 대학사서, 연구원)

※ 해외 이용자 및 소셜 로그인 한 경우 검색만 가능하며 원문열람은 제공되지 않습니다.

자료유형 안내

  • 소속기관이 구독하는 경우 : 24시간 무료로 로그인 후 원문보기 이용 가능
  • 소속기관이 구독하지 않을 경우 : 시간대별 무료로 서비스로 이용 가능
  • 소속기관이 없는 일반이용자 : OA(Open Access) 자료 이용 가능
자료유형 트레이딩 학습 방법
구분 내용
Academic Journals 연구자의 학술논문을 게재한 잡지
EBOOKs 한 권씩 단독으로 간행되는 서적
Dissertations 학위취득을 위하여 제출된 석•박사 학위논문
Conference materials 학회에서 발행되는 학술 회의자료
Reviews 비평 및 평론
Reports 과제 및 기록물

1. Academic Journals : 연구자의 학술논문을 게재한 잡지로 권한에 따라 원문보기 이용 가능

로그인 전

로그인 후

2. EBOOKs : 전자책으로 출판사에서 인쇄페이지와 이용범위를 제한할 수 있음

ebook

DDOD(소속기관 등록), PQDT Global(구독기관)에 한하여 석, 박사 학위논문을 제공

DDOD

4. Conference Materials

학회에서 발행되는 학술 회의자료로 원문 확인 후 저장 및 인쇄 가능

Conference Materials

비평 및 평론자료로 원문 확인 후 저장 및 인쇄 가능

Reviews

6. Reports : 과제 및 기록물

OA(Open Access) 자료 이용 시 일반이용자 이용가능

Reports

등재정보 안내

등재정보
등재구분 내용
SCI 미국 클래리베이트 애널리틱스(Clarivate Analytics)가 구축한 국제학술논문 데이터베이스로(Science Citation Index) 과학기술분야에 높게 평가된 학술지에 기재된 논문
SCIE SCI확장판 (Science Citation Index Expanded)
SSCI 사회과학논문 인용색인(Social Science Citation Index)
A&HCI 예술 및 인문과학 논문 인용색인(Arts and Humanities Citation Index)
ESCI 기본 요건을 갖추었으나 피인용 영향도가 충분하지 않아 SCIE, SSCI, A&HCI에 아직 등재되지 않은 학술지
SCOPUS 엘스비어(Elsevier)출판사에서 제공하는 데이터베이스로 인용정보를 제공
KCI 한국연구재단에서 운영하는 인용 색인 및 데이터 베이스

강화학습을 적용한 페어트레이딩 최적화 전략 = Optimizing the Pairs-Trading Strategy using Deep Reinforcement Learning with Trading and Stop-loss Boundaries

INTERPARK

직거래 유도 주의 안내 판매자가 현금결제를 유도하는 경우 절대 결제하지 마시고,
인터파크 안전거래 신고센터(02-1661-2595) 로 문의하시기 바랍니다.

상품상세 정보

해외직구 상품 안내

이 상품은 전세계의 인기상품을 해외 직배송 또는 수입이 되어 배송되는 상품입니다.
안내 및 주의사항

해외직구 상품 안내

해외 및 국내 판매자의 "해외 브랜드 상품"을 여러 배송방법 (국내배송, 해외직배송 등)을 통해 판매하고 있으며, 국내에서 접하기 힘든 다양한 해외 현지 상품을 트레이딩 학습 방법 보다 안전하고 저렴하게 구매할 수 있습니다.

해외직배송 해외배송기간 5일~15일 소요 (영업일 기준)

  1. 개인통관고유부호 입력 후 결제완료
  2. 해외 배송
  3. 세관 및 통관
  4. 국내 배송

개인통관고유부호란

개인 식별을 위한 고유번호로, 관세청 전자통관시스템에서 신청 즉시 발급 가능하며 한 번 발급된 번호로
계속 트레이딩 학습 방법 사용 가능합니다. 개인통관고유번호 신청하러가기

개인통관고유부호의 신규발급 및 사용내역, 통관정보, 예상 세액 조회 등은 관세청 홈페이지의 “해외직구 여기로” 사이트를 통해 확인 가능합니다. 해외직구 여기로

구매대행업자를 통한 수입인 경우에도 납세의무, 수입요건 확인 등은 구매자에게 책임이 있습니다.

해외직배송 상품 구매 시 개인이 자가사용 목적으로 수입하는 개인 수입 통관 원칙에 의거, 총 구매금액이 약 $150(미국 목록통관 물품의 경우 $200)이 넘는 경우 고객님께서 대한민국 세관에 관세 및 수입부가세를 납부해주셔야 하며, 환율 변동에 따라 관부가세가 달라질 수 있습니다.

해외직구로 구매한 여러 개의 물품이 동일한 날짜에 통관 될 경우 합산과세(별개의 과세단위를 서로 합하여 과세)가 부과될 수 있습니다.
- 수령인이 동일한 2건 이상의 물품이 같은 날짜에 통관이 진행되어 당일 관세신고 금액이 무관세
기준을 초과하는 경우 (단, 서로 다른 국가에서 발송되었다면 제외)
- $150 이하의 상품을 복수개 구매하여 총 결제금액이 약 $150를 초과하는 경우 등

ScienceON Chatbot

본 연구는 강화 학습으로 자동 트레이딩 시스템을 구축할 때 생기는 문제를 해결하기 위해 금융 데이터의 한계를 극복하고 실제 금융 시장 상황을 반영하는 세 가지 방법을 제안하여 총 이익을 극대화하는 것을 목표로 하고 있다. 첫째, 주식을 어떻게 거래할지 결정을 내리는 동시에 거래할 주식의 수를 예측하여 정하는 거래 시스템을 제안한다. 강화학습 방법의 일종인 Deep Q-Network(DQN)에 Deep Neural Network(DNN) Regressor를 추가하여 주식 수를 예측하는 자동화 시스템을 설계한다. 둘째, 혼란스러운 시장.

본 연구는 강화 학습으로 자동 트레이딩 시스템을 구축할 때 생기는 문제를 해결하기 위해 금융 데이터의 한계를 극복하고 실제 금융 시장 상황을 반영하는 세 가지 방법을 제안하여 총 이익을 극대화하는 것을 목표로 하고 있다. 첫째, 주식을 어떻게 거래할지 결정을 내리는 동시에 거래할 주식의 수를 예측하여 정하는 거래 시스템을 제안한다. 강화학습 방법의 일종인 Deep Q-Network(DQN)에 Deep Neural Network(DNN) Regressor를 추가하여 주식 수를 예측하는 자동화 시스템을 설계한다. 둘째, 혼란스러운 시장에서 어떤 전략이 이익을 내는데 효과적인지 분석하기 위해 Q-value를 사용하여 다양한 행동 전략을 연구한다. 마지막으로, 전이학습을 제안하여 충분하지 않은 금융 데이터로 인한 과적합을 방지한다. 본 트레이딩 학습 방법 연구에서는 이 세 가지 방법을 S&P500, KOSPI, HSI, EuroStoxx50 등 4가지 주식 지수를 사용하여 실험적으로 검증한 후 광범위한 연구를 수행한다. DNN Regressor로 주식 수를 정하는 자동 거래 시스템은 S&P500에서 4배, KOSPI에서 5배, HSI에서 12배, EuroStoxx50에서 6배의 수익이 증가하는 효과를 보였다. 시장 상황이 혼란스러운 상황에서 거래 결정을 미루는 전략은 S&P500에서 18%, KOSPI에서 24%, EuroStoxx50에서 49%의 순이익 증가율을 보였다. 또한 전이학습은 총 이익을 S&P500 2배, KOSPI 3배, HSI 2배, EuroStoxx50 2.5배 증가시킨다. 세 가지 제안된 방법을 모두 사용하는 트레이딩 학습 방법 거래 시스템은 S&P500에서 13배, KOSPI에서 24배, HSI에서 30배, EuroStoxx50에서 18배의 총 수익을 창출 해 시장 및 기존 강화학습 모델을 능가한다.


0 개 댓글

답장을 남겨주세요