koapy 의 entrypoint는 멀티 Thread 로 접근해도 되나요?

[thesoomyung]

from koapy import KiwoomOpenApiPlusEntrypoint
entrypoint = KiwoomOpenApiPlusEntrypoint()

위와 같이 엔트리 포인트를 하나 만들어서 여러 thread가 접근하여 계좌조회, 호가조회, 분봉차트 등의 다양한 요청이
동시에 나갈 수 있는 구조로 koapy 응용프로그램을 작성 중에 있습니다.
그런데 동시 요청에 좀 많아진다 싶을 때 쯤에는 koapy가 응답이 없는 상황이 어김없이 발생합니다.
koapy를 재시작 하지 않는 한 풀리지가 않더라구요.

요청 빈도는 분당 10~20여회 정도입니다.
만약, 클라이언트로부터 요청 제한을 걸어두셨다면 시간이 지나면 풀려야 하는데 풀리지도 않는 것 같습니다.

이슈 재현 가능한 샘플 프로그램을 작성하다가 이렇게 질문을 먼저 드려봅니다.
entrypoint는 멀티 Thread 로 접근해도 되는건지, 동시 요청에 안정적인 것인지 궁금합니다.
바쁘시겠지만 가능하시면 답변 한번 부탁 드립니다.
감사합니다.

[elbakramer]

안녕하세요.

몇가지 머리속에 떠오르는 내용들 나열하는식으로 먼저 답변드려봅니다.

• KOAPY 의 구현부들은 당장은 멀티쓰레딩 환경을 충분히 고려해서 개발된게 아니라서요. 멀티쓰레딩 환경을 권장하진 않습니다.
• 다만 파악하고 있는 범위내에서, 동시접근시 문제가 될 법한 리소스에 대한 구현들에서는 threading.Lock 등을 활용해서 일반적으로는 이슈가 없도록 구현하려고 노력하고 있습니다.
• 제가 생각했을때 말씀주신 응답없음 현상의 원인이 KOAPY 구현부의 단독적인 영향이기 보단 KiwoomOpenAPI 쪽 내부 구현과 함께 복합적으로 작용했을 가능성이 커보입니다.

원인과 관련해서 제가 추측하는 내용에 대해 좀 더 구체적으로 말씀드려보자면 아래와 같습니다.

1. 일단 KiwoomOpenAPI 쪽 구현 자체가 멀티쓰레딩 환경을 고려해 짜여진 라이브러리는 아닌 것 같습니다.
   • 단순하게 예를 들어 여러개의 TR 을 동시적으로 요청하는 시나리오를 가정해봤을 때
     • 요청시 CommRqData() 함수를 호출해야하는데 해당 함수는 앞에서 여러번의 SetInpuValue() 호출을 가정하고 있습니다.
     • 동시성이 존재하는 환경에서 별다른 동기화 없이 위의 함수들을 호출하는 경우 TR의 입력값들이 뒤섞일 여지가 있습니다.
     • 따라서 모든 TR 요청은 순차적으로 이루어져야 합니다. 그다지 멀티쓰레딩 환경과 어울리지 않는 사용방식입니다.
2. 앞서 이슈로 등록해주셨던 실시간 등록,해제를 반복하면 gRPC 서버가 멈추는 현상 #40, 실시간데이터 수신과 반복적인 계좌조회가 multi thread 로 수행될때 gRPC 서버 멈춤 현상 #41 같은 케이스들로 견주어 볼 때, Qt 의 이벤트루프 바깥에서의 함수호출은 경우에 따라 KiwoomOpenAPI 내부의 상태값을 망가뜨리면서 응답이 없게 만들 수 있어 보입니다.
   • 구체적으로 당시 실시간데이터 등록해제시 호출하는 SetRealRemove() 함수를 Qt 의 이벤트루프 바깥에서 호출하는것이 KOAPY 를 응답이 없게 만드는 원인이었습니다. (gRPC 커넥션 종료시 콜백 함수내에서 처리되는데, 이게 아마 지금 문제가 되시는 멀티쓰레딩 상황과 비슷하지 않았을까 싶습니다.)
   • 그에 대한 해결책으로 당시 Qt 의 시그널/슬롯 및 QueuedConnection 방식의 연결을 통해 해당 함수 호출이 이벤트루프 상에서 순차적으로 처리되도록 변경했습니다. (이게 왜 이렇게 되는건지에 대한 충분한 이해는 저도 아직 없습니다. 그냥 여러 시도했던 방법들 중에 운좋게 먹혔던거고 이게 이상적인 해결책이 아닐 수도 있습니다. 그리고 굳이 QueuedConnection 가 아니어도 되긴 했던거 같네요.)

따라서 이런 내용을 기반으로 제가 제안드려볼 수 있는 해결책은 아래정도가 떠오릅니다.

• 키움쪽 함수 호출시, 문제가 될 법한 부분들, 가능하면 결과값이 필요없거나 비동기 방식으로 처리해도 무방한 부분들에서, 함수 호출방식을 async_call() 로 대체해보는 것이 단기적인 해결책이 될 수 있을 것 같습니다.
• 좀 더 근본적으로는 앞서 언급된 async_call() 의 구현처럼, 동시성을 가지고 처리하고자 하는 작업의 단위별로 함수(슬롯) 을 만들고, 별도 시그널에 연결하여, 이후 직접적인 함수 호출대신 해당 시그널을 발생시키는 식으로 원하는 작업을 처리하도록 변경해보는게 어떨까 싶습니다.

[elbakramer]

위에서 언급한 QueuedConnection 등 과 관련해서는 구글링시에 나오는 아래 문서와
https://makersweb.net/qt/946

공식 Qt 문서가 있는데요.
https://doc.qt.io/qt-5/qt.html#ConnectionType-enum

참고하시다보면 뭔가 힌트를 줄 수도 있지 않을까 싶어서 링크 걸어 놓습니다.

호출 타이밍이나 (즉시 vs 이벤트루프 반환시) 실행 쓰레드 (송신 vs 수신) 등에서 차이가 있는거 같은데
아마도 말씀주신 멀티쓰레딩 환경과 연관이 있지 않을까 싶습니다.