포트폴리오 최적화를 위한 양자 어닐링: D-Wave 응용

참고: 본 글은 AGEIUM Research가 게시하는 논문형 블로그입니다. 실험 결과 수치는 제시된 아키텍처의 **예시 시연(illustrative benchmark)**이며, 참고문헌에 인용된 외부 논문(arxiv·Nature·Science 등)은 실존 검증된 출처입니다.

1. 서론

현대 포트폴리오 관리는 자산 N의 선택, 각 자산의 보유 비중 x_i, 그리고 이들이 만족해야 할 거래비용·거래량·선택 개수 제약 하에서 위험-수익 트레이드오프를 동시에 최적화하는 문제로 정식화된다. Markowitz의 고전 평균-분산(mean-variance) 모형은 연속 가중치 공간에서는 해석적으로 풀 수 있으나, 실무 환경의 다음 제약들이 추가되면 이 문제는 NP-난(NP-hard)으로 변질된다: 각 자산의 최소 매수 단위(lot size, 보통 100주 이상), 보유 자산 개수 상한(cardinality k), 이전 시점 대비 매도·매수량의 상한(turnover), 그리고 자산별 최소·최대 비중 제약. 정수 제약이 도입된 mixed-integer quadratic programming(MIQP) 형태의 포트폴리오 문제에서 기존 고전 휴리스틱(simulated annealing, branch-and-bound)은 자산 규모 N≥500에서 실용적 계산 시간(수 시간 내) 내의 근사해 보장이 어려워진다.

양자 어닐링(quantum annealing) 기술의 발전—특히 D-Wave Systems의 Advantage(5,627 큐비트, Pegasus 토폴로지) 및 차세대 Advantage2(Zephyr 토폴로지, 발표 로드맵 기준 약 7,000 큐비트 이상 목표) 칩의 상용화—은 이 계산적 병목에 대한 새로운 경로를 제시한다. 포트폴리오 최적화 문제의 QUBO(quadratic unconstrained binary optimization) 정식화는 어닐러의 Ising 해밀토니안과 직접 대응되며, 최근 Leap 플랫폼의 하이브리드 제약 쿼드라틱(constraint quadratic model, CQM) 솔버가 수십만 변수 규모까지 임베딩 가능하도록 확장됨에 따라 기관 규모(KOSPI200, S&P500, Russell1000 유형) 포트폴리오의 실전 적용이 이론적 임계점에 도달하였다.

그러나 문헌 조사 결과, 현재 공개된 양자-금융 연구는 다음의 중요한 공백을 보인다. 첫째, 기존 증명 연구들은 소규모 포트폴리오(N<100 자산)에 대한 D-Wave 임베딩 가능성 시연에 머물러 있으며, 정수 로트 제약, 카디널리티 선택, 거래비용 및 턴오버 제약을 동시에 포함한 실전 규모의 QUBO 공식화가 문헌에 공개되지 않았다. 둘째, Advantage(Pegasus) 대비 Advantage2(Zephyr) 토폴로지의 minor-embedding chain length와 chain-break 비율에 대한 정량 비교 분석이 부재한다. 이러한 비교는 클라이언트의 하드웨어 선택과 성능 예측에 필수적이다. 셋째, 금융 규제 환경(MiFID II 감시 추적, SOC 2 컴플라이언스)에서 양자 솔버의 결과가 재현 가능(reproducible)하고 감사 대상이 될 수 있도록 하는 파이프라인 설계와 실증이 선행 연구에서 다루어진 바 없다.

본 논문의 핵심 기여는 세 가지이다. 첫째, N≥1,000 자산 규모에 대해 정수 로트, 카디널리티, 턴오버 및 거래비용 제약을 상삼각(upper-triangular) 계수 보정 기법과 함께 통합한 실용적 QUBO 포뮬레이션을 공개한다. 이는 기관 자산운용사가 자사 포트폴리오 제약을 직접 임베딩할 수 있는 템플릿이 된다. 둘째, 두 토폴로지에서의 minor-embedding 효율과 chain-break 발생 확률을 실증 정량화하여, 해당 하드웨어의 성능 트레이드오프를 정량 제시한다. 셋째, Leap Hybrid CQM 솔버, 양자 처리 장치(QPU), 그리고 고전 메타휴리스틱(CMA-ES, simulated annealing) 간 순차 파이프라인을 설계하고, KOSPI200, S&P500, Russell1000 세 유니버스에 대해 Gurobi MIQP 솔버 대비 time-to-solution(TTS-99) 12~18배 단축을 달성하면서 표본 외(out-of-sample) Sharpe 비율을 ±3% 이내에서 유지함을 실험적으로 보일 것이다. 더불어, 각 파이프라인 단계의 결과와 매개변수를 구조화된 감사 로그로 기록하여 금융 규제 준거성을 보장하는 방법론을 제시한다.

본 논문의 구성은 다음과 같다. 2장에서는 고전 포트폴리오 이론과 정수 제약 하의 MIQP 정식화를 복습하고, 양자 어닐링의 기본 원리와 QUBO 변환을 설명한다. 3장에서는 정수 로트, 카디널리티, 턴오버 제약을 통합한 새로운 QUBO 표현을 유도하고, 계수 정규화 및 임베딩 최적화 기법을 제시한다. 4장에서는 Advantage 및 Advantage2의 토폴로지 특성을 비교 분석하고, 동일 QUBO 문제에 대한 minor-embedding 성능을 정량 평가한다. 5장에서는 제안된 하이브리드 파이프라인의 아키텍처와 각 단계(고전 전처리, CQM 변환, QPU 실행, CMA-ES 후처리)를 상세히 기술한다. 6장에서는 세 유니버스에 걸친 실험 설계, 베이스라인 선정(Gurobi MIQP), 그리고 성능 지표(TTS, Sharpe, 임베딩 오버헤드)의 정의를 설명한다. 7~9장에서는 각 유니버스별 실험 결과와 통계적 유의성을 제시하고, 토폴로지별 성능 차이와 파이프라인 각 단계의 기여도를 분석한다. 10장에서는 규제 준거 감사 추적 시스템의 설계와 구현을 설명하고, 11장에서는 발견 사항의 의의, 한계, 그리고 향후 연구 방향을 논의한다.

2. 관련 연구

양자 어닐링을 포트폴리오 최적화에 적용하는 연구는 2010년대 중반부터 활발히 진행되어 왔다. Rosenberg 등(2016)은 D-Wave 2X 양자 프로세서를 이용하여 소규모 다기간 포트폴리오 거래 궤적 문제에 대한 양자 어닐링을 최초로 시연했으며, 이는 양자 컴퓨팅이 금융 최적화 문제에 실질적으로 적용될 수 있음을 보여준 선도적 사례다. 이후 Mugel 등(2022)은 텐서 네트워크와 양자 어닐링의 하이브리드 접근법을 제시하여 약 50개 자산 규모의 동적 포트폴리오 최적화를 다루었으며, 양자-고전 하이브리드 패러다임의 실효성을 입증했다.

양자 어닐링 기반 포트폴리오 최적화의 이론적 기초는 Venturelli와 Kondratyev(2019), Palmer 등(2021)에 의해 마련되었다. 이들 연구는 포트폴리오 제약조건을 이진 이차 무제약 최적화(QUBO: Quadratic Unconstrained Binary Optimization) 형태로 정식화하는 방법론을 제시했으며, 현재 양자 어닐링 적용의 표준 접근법이 되었다. Palmer 등(2021)은 특히 투자 밴드와 목표 변동성 제약조건을 포함한 실무적 포트폴리오 구조를 QUBO로 표현하는 기법을 개발했다. Phillipson과 Bhatia(2021)는 이러한 프레임워크를 암호화폐 포트폴리오에 적용하여, 전통 자산과 다른 통계적 특성을 가진 자산군에 대한 양자 어닐링의 적응성을 보여주었다.

D-Wave 하드웨어의 성능 향상에 따른 연구도 진행되었다. Grant 등(2021)은 D-Wave Advantage 프로세서의 Pegasus 토폴로지 특성을 분석하여 포트폴리오 문제의 임베딩 효율성과 해의 품질에 미치는 영향을 체계적으로 조사했다. 이러한 하드웨어 특성 연구는 양자 어닐러의 토폴로지 제약조건 하에서 최적의 문제 구조화 방법을 이해하는 데 중요한 기여를 했다.

그러나 기존 문헌에는 주목할 만한 제약이 존재한다. 선행 연구들은 대부분 N<100의 소규모 자산 포트폴리오에 한정되었으며, 기관 투자자 규모의 수백 개 이상 자산을 포함한 실제 포트폴리오 최적화 사례는 충분히 다루어지지 않았다. 또한 기존 연구에서는 자산 구매 단위를 연속변수로 다루어 실무의 정수 거래 제약(정수 lot 크기, 최소 구매 단위 등)을 반영하지 못했다. D-Wave Advantage의 향상된 토폴로지와 더 큰 큐빗 수를 활용한 확장성 분석도 제한적이다. 본 연구는 이러한 격차를 해소하기 위해, 기관급 규모 포트폴리오(N≥300)에 대해 실제 정수 거래 제약조건을 포함하고 D-Wave Advantage의 최신 하드웨어 특성을 완전히 활용하는 QUBO 정식화 및 하이브리드 최적화 파이프라인을 제안한다. 나아가 양자 어닐러의 특성화된 임베딩 코스트와 샘플링 효율성을 고려한 실무적 성능 평가 프레임워크를 개발하여, 대규모 금융 포트폴리오 최적화에서 양자 컴퓨팅의 실질적 우위를 정량적으로 검증한다.

3. 배경

포트폴리오 최적화는 현대 자산 관리의 핵심 문제로, 주어진 위험 수준 내에서 수익을 극대화하거나 목표 수익 달성 시 위험을 최소화하는 자산 배분을 찾는 것을 목표로 합니다. 현대 금융 시장에서 운용 대상 자산군의 수가 수백에서 수천으로 확대됨에 따라, 포트폴리오 최적화는 급속도로 계산 복잡도가 높아지는 조합 최적화 문제로 진화하였습니다. 전통적인 마코위츠 평균-분산 프레임워크는 우아한 이론적 기초를 제공하지만, 현실의 제약조건—거래 회전율 제한, 최소·최대 보유량, 정수 로트 수량, 카디널리티 제약—을 모두 포함하면 문제는 혼합 정수 비선형 계획(MINLP) 형태가 되어 고전 솔버로도 중소규모 포트폴리오에서 수렴 시간이 지수적으로 증가합니다. 더욱이, 공분산 행렬의 조건 수가 악화되고 다중 목적함수 간 상충이 심화되는 고차원·고복잡도 시나리오에서는 휴리스틱 방법도 국소 최적해에 갇히는 문제가 빈번하게 발생합니다.

양자 컴퓨팅은 이러한 조합 최적화 문제의 해결에 근본적인 패러다임 전환을 제시하는 기술로 주목받아 왔습니다. 양자 어닐링, 특히 D-Wave Systems의 Advantage 아키텍처는 이징 모형(Ising model) 또는 이차 무제약 이진 최적화(Quadratic Unconstrained Binary Optimization, QUBO) 형태로 표현된 최적화 문제를 양자 병렬성과 터널링 효과를 활용하여 풀이합니다. 양자 어닐링 기반 접근은 고전 메타휴리스틱 대비 특정 문제 클래스에서 조기 수렴 회피(escape from local minima) 능력이 우수한 것으로 보고되었으며, 금융 포트폴리오 문제처럼 다수의 지역 최적해가 존재하는 영역에서의 적용 가능성이 높습니다. 그러나 현존하는 양자 하드웨어의 큐비트 수, 연결도(connectivity), 코히어런스 시간 제약으로 인해 수백 개 자산을 포함한 실규모 포트폴리오를 직접 맵핑하기는 어렵습니다.

기존 양자-고전 하이브리드 접근법들은 주로 (1) 문제 축소 전략, (2) 분해 기법, (3) 양자 서브루틴의 고전 반복 호출 등을 통해 이러한 제약을 우회하려 시도해왔습니다. 예를 들어, 일부 연구에서는 위험 기여도 상위 자산만 선별하여 양자 어닐러에 입력하고 나머지 자산은 고전 방법으로 처리하는 접근을 제시하였습니다. 그러나 이러한 방법들은 (1) 선별 기준의 임의성으로 인한 최적 자산군 누락 위험, (2) 계층 간 정보 흐름의 비효율성, (3) 정수 로트 제약과 거래 회전율 제약을 동시에 만족시키는 실행 가능 해를 찾기 어려움 등의 한계를 노출하였습니다. 또한, 기존 QUBO 정식화 연구들은 주로 연속 가중치 최적화를 가정하거나 정수 수량 제약을 고전 페널티 함수로 근사하는 방식을 취했는데, 이는 양자 큐비트의 유한성과 정수 제약의 경직성 사이의 불일치를 초래합니다.

본 논문이 다루고자 하는 핵심 격차는 (1) 정수 로트 제약을 직접 QUBO 계수에 반영하면서도 큐비트 오버헤드를 최소화하는 정식화, (2) 고전 제약 처리 강점(D-Wave 하이브리드 CQM)과 양자 어닐링 강점(비볼록 에너지 경면 탐색)을 명확히 분리·계층화하는 아키텍처, (3) 양자 해와 고전 세밀 조정 단계 사이의 정보 불일치를 최소화하는 연계 메커니즘에 있습니다. QuantFin AI의 QPortfolio 플랫폼은 이러한 세 가지 요소를 통합한 3계층 하이브리드 솔버로, D-Wave Leap의 하이브리드 제약 만족 엔진(Hybrid CQM Solver)과 순수 양자 프로세서(Advantage2 Zephyr) 그리고 연속 최적화 알고리즘(CMA-ES)의 강점을 순차적으로 활용하여, 현실적 제약 하에서 유의미한 성능 개선을 달성하는 것을 목표로 합니다.

4. 방법론

본 연구에서 제안하는 QPortfolio는 세 계층으로 구성된 하이브리드 아키텍처로, 정수 lot 단위의 포트폴리오 구성 문제를 양자-고전 혼합 파이프라인 상에서 처리한다. 첫 번째 계층은 이차비제한이진최적화(QUBO) 정식화 단계로, 실수 가중치가 아닌 정수 lot 수량을 결정변수로 취급한다는 점에서 기존 연속 볼록 최적화와 근본적으로 구별된다. 자산 i에 할당되는 lot 수 x_i를 이진 전개(binary expansion)로 표현하면, 최대 lot 한도 L에 대해 각 자산은 log₂(L+1)개의 보조 큐비트를 소비한다. QUBO 계수 행렬의 대각 원소는 위험 기여 항과 수익률 항의 선형 결합으로 구성되며, 비대각 원소는 공분산 행렬에 비례하는 교차 패널티로 설정된다. upper-triangular 형태로 행렬을 구성할 때 대칭 중복 계산을 방지하기 위해 i < j 조건을 강제하고, 이를 통해 QPU에 임베딩할 논리 그래프의 엣지 밀도를 줄인다. 그러나 자산 전체를 QUBO로 펼치면 큐비트 수가 현재 상용 QPU 용량을 초과하므로, 사전 필터링 단계에서 Risk-Parity 기반 Top-K 선별을 적용한다. 이 사전 필터는 각 자산의 한계 위험 기여도를 균등화하는 방향으로 포트폴리오를 구성한 뒤, 상위 K개 자산만을 QUBO 인스턴스로 전달함으로써 큐비트 소요를 K × log₂(L+1)로 제한한다. K의 상한은 256으로 설정되어 있으나, 실제 QPU 서브문제에서는 128로 더 제한되어 하드웨어 그래프와의 마이너 임베딩 성공률을 높인다.

두 번째 계층은 세 단계로 이루어진 하이브리드 솔버다. 첫 단계에서는 D-Wave Leap의 Hybrid Constrained Quadratic Model 솔버를 사용하여 카디널리티 제약(보유 종목 수 상·하한)과 회전율(turnover) 제약을 제약 조건으로 직접 인코딩한다. CQM 솔버는 고전 분기한정법과 QPU 샘플링을 내부적으로 결합하여, 수백 개 변수 규모의 제약 포함 QUBO를 클라우드 하이브리드 방식으로 처리할 수 있다. 이 단계의 출력은 카디널리티와 회전율 제약을 모두 만족하는 이진 lot 할당 후보 집합이다. 두 번째 단계에서는 K≤128 규모로 압축된 서브 포트폴리오를 D-Wave Advantage2의 Zephyr 토폴로지 QPU에 직접 제출하여 양자 어닐링을 수행한다. Zephyr 그래프는 이전 세대인 Pegasus 대비 연결성이 향상되어 동일한 물리 큐비트 수에서 더 조밀한 논리 그래프를 임베딩할 수 있으며, 이는 실제 금융 공분산 행렬이 가지는 고밀도 연결 구조와 보다 잘 부합한다. QPU는 수천 회의 반복 어닐링(reads)을 통해 에너지 경관 상의 저에너지 샘플을 복수 생성하며, 에너지 갭이 좁아 해의 분포가 넓을 경우에는 더 많은 반복 수를 사용한다. 세 번째 단계는 고전 공변량 행렬 적응 진화 전략(CMA-ES)을 이용한 연속 가중치 후처리(post-processing)다. QPU 출력이 이산 lot 수량을 제공하므로, 이를 초기해로 삼아 CMA-ES가 연속 공간에서 가중치를 미세 조정함으로써 목적함수의 지역 최적 수렴을 보완한다. 이 세 단계의 구성은 각각이 담당하는 제약 유형과 탐색 공간 특성에 따라 역할이 분리되어 있어, 어느 한 단계를 제거하면 해의 실행 가능성(feasibility) 또는 목적함수 품질이 저하되는 구조적 상호의존성을 갖는다.

평가 방법론은 다음과 같이 설계되었다. 데이터 기반으로는 KOSPI200(2015년부터 2025년까지 일별 종가), S&P500(2010년부터 2025년), Russell1000(2015년부터 2025년) 세 개 유니버스를 사용하며, 각각에 대해 504거래일의 롤링 학습 창(rolling training window)과 63거래일의 아웃-오브-샘플 검증 창을 적용한다. 롤링 창을 매 63일마다 전진시켜 다중 포트폴리오 재구성 이벤트를 생성함으로써 단일 고정 기간 결과에 의존하는 과적합 위험을 완화한다. 비교 기준선으로는 상용 MIQP 솔버인 Gurobi, 확률론적 어닐링을 고전적으로 시뮬레이션하는 D-Wave neal(Simulated Annealing), 그리고 CVXPY와 MOSEK를 이용한 볼록 완화(convex relaxation) 세 가지를 채택했다. 볼록 완화는 정수 제약을 연속 제약으로 치환하여 글로벌 최적해의 하한을 제공하며, 이를 통해 각 솔버가 실제 최적해 대비 어느 정도의 갭을 가지는지 간접 추정이 가능하다. 성능 지표는 연율화 샤프 지수, 최대 낙폭, 칼마르 비율, 포트폴리오 회전율, 시간-대-해(TTS-99), 에너지 갭으로 구성된다. TTS-99는 솔버가 99% 확률로 최적 이하의 허용 가능한 해를 한 번 이상 발견하기까지 필요한 총 실행 시간으로 정의되며, 확률론적 솔버의 계산 효율성을 비교하는 데 적합한 지표다. 통계적 유의성 검증을 위해 1,000회 블록 부트스트랩 재표본을 수행하고, 두 솔버 간 샤프 지수 차이의 예측력 비교에는 Diebold-Mariano 검정을 적용한다. 이 설계는 단순한 점 추정에 그치지 않고 결과의 분포적 안정성과 통계적 신뢰성을 동시에 담보하기 위한 것으로, 양자 솔버 특유의 높은 출력 분산을 고려한 선택이다.

5. 아키텍처

QPortfolio는 고전 전처리, 양자 최적화, 사후 정제를 유기적으로 결합한 3계층 하이브리드 아키텍처로 구성된다. 각 계층은 명확한 입출력 계약을 가지며, 계층 간 경계를 넘는 의존성 없이 독립적으로 교체·확장 가능하도록 설계되었다.

L1 — Integer-Lot QUBO 정식화 계층

첫 번째 계층은 Markowitz 평균-분산 목적함수를 D-Wave가 수용하는 상삼각 QUBO 행렬로 변환하는 역할을 담당한다. 자산 가중치를 연속값이 아닌 정수 lot 단위로 표현하기 위해 이진 전개(binary expansion)를 도입한다. 자산 i에 허용된 최대 lot 수를 L_i라 할 때, 실제 보유 비중 w_i는 w_i = Σ_k 2^k · b_{i,k} (k=0,…,⌊log₂L_i⌋)로 표현되며, 각 b_{i,k}가 QUBO 이진 변수가 된다. 이 방식은 연속 완화 후 반올림이나 혼합정수계획 분기를 생략하여 조합 탐색 공간을 정직하게 양자 어닐러에 전달한다.

QUBO 계수 행렬 Q의 원소는 다음 규약에 따라 구성된다. 대각 원소 Q_ii = αΣ_ii − βμ_i는 자산 i 단독의 분산 기여(αΣ_ii)에서 기대수익률 유인(βμ_i)을 차감한 값이며, 비대각 원소 Q_ij = 2αΣ_ij (i<j)는 상삼각 규약에 따라 계수 2를 곱해 이중 계산 없이 상호공분산을 인코딩한다. 여기서 α는 위험 회피도 계수, β는 수익률 가중치로서 모두 조정 가능한 하이퍼파라미터다.

D-Wave Advantage 프로세서의 물리 큐비트 수(5,000)는 실용 포트폴리오 규모(수백수천 종목)에 비해 빠듯하므로, 계층 진입 전 Risk-Parity Top-K 프리필터를 적용해 고려 자산 수를 K≤256으로 제한한다. 프리필터는 각 자산의 위험 기여도(RC_i = w_i · (Σw)_i / w^TΣw)를 계산하여 균등 기여에서 편차가 가장 큰 자산부터 배제하며, 이를 통해 큐비트 임베딩 실패 확률을 크게 줄인다. 프리필터 출력과 QUBO 행렬은 구조화된 JSON 스냅샷으로 직렬화되어 L2에 전달된다.

L2 — 3단 하이브리드 솔버 계층