기간: 2023.12.18 - 2024.02.19
1. 연구 배경
Gait Simulation의 방법론은 크게 CMA-ES(Covariance matrix adaptation evolution strategy)와 RL(Reinforcement Learning)이 있다. 이중 환자 보행 simulation과 다양한 환경에도 적용가능한 RL를 사용하고자 하였다. 이와 관련하여 SCONE 제작 연구소에서 발표한 DEP-RL(Differential Extrinsic Plasticity-RL)을 사용하고자 하였다. 하지만 여러 가지 문제점이 있어 이를 해결하는 것을 목표로 연구를 진행하였다.
2. DEP-RL의 baseline 문제점
DEP-RL은 Musculoskeletal system에서 좋은 성능을 보이고 gait simulation에서 좋은 성능을 보인다. 하지만 크게 3가지 문제점이 있었다.
- 느린 학습 속도
- Unstability of trunk: 몸이 좌우로 흔들며 걷는 문제
- Peak GRF(Ground React Force on foot) 문제
3. 해결 방안
-
Customization of body model
H1622 모델에 대하여 Trunk의 좌우 움직임을 제한하기 위하여 2가지 구성요소를 통하여 구현
1.1. Joint motor: trunk muscle 보조 torque로 3축 torque 구현
1.2. Harness: trunk translation limit를 구현 -
Customization reward function
Reward function은 두 가지 목적에 대한 수식을 각각 구현하여 목표를 설정하였다.
2.1. Balance
COM, trunk(상반신의 COM)의 z축 cost 도입
좌우 방향으로 몸을 기울이지 않고 걷도록 학습
2.2. GRFDelta
물리적 의미: Impact
Peak GRF 줄이는 역할
4. 연구 결과
Body model 수정 --> Balance 문제와 Peak GRF 문제 해결
Custom reward function을 도입--> pelvis tilt의 불안정성 문제 일부 해결
기존 연구보다 빠른 학습 속도
- DEP_RL: https://github.com/martius-lab/depRL
- Sconegym: https://github.com/tgeijten/sconegym