3D Flash Memory Array for Noisy Deep Q-Networks and Efficient Exploration Method in Reinforcement Learning ; 노이즈가 있는 심층 Q-네트워크를 위한 3차원 플래시 메모리 어레이와 강화학습의 효율적인 탐색 방법

학위논문(박사) -- 서울대학교대학원 : 공과대학 전기·정보공학부, 2024. 2. 최우영. ; 최근 강화 학습은 사람들의 삶에 깊이 관여하고 있으며 다양한 분야에서 뛰어난 성과를 보이고 있다. 강화 학습의 성능은 네트워크의 훈련에 활용되는 데이터의 양에 직접적으로 관련이 있으며. 이러한 데이터는 탐색 기술을 통해 쉽게 얻을 수 있지만, 기존에 보고된 탐색 방법을 하드웨어 기반 네트워크에서 구현하는 것은 구현의 복잡성과 상당한 하드웨어 부담으로 인해 어려움이 존재한다. 본 논문에서는 둥근 이중 채널을 갖춘 새로운 3차원 플래시 메모리 어레이를 고집적 저전력 시냅스 소자로 제안하고 제작, 분석한다. 제안된 3차원 플래시 메모리 어레이는 기존의 3차원 NAND와 유사한 구조를 갖고 있어 CMOS 공정 기술과의 호환성이 뛰어나다. 제작된 3차원 플래시 메모리는 수직 방향으로 여러 층을 쉽게 쌓을 수 있으며, 단일 채널 홀에 대해 2개의 독립적인 플래시 메모리 셀을 특징으로 하여 높은 집적도를 가진다. 볼록한 얇은 폴리 실리콘 채널을 둘러싼 게이트 구조는 채널에 대한 게이트 제어성을 향상시키고 Fowler-Nordheim 터널링을 기반으로 하는 저전력 프로그램/이레이즈 작업을 용이하게 한다. 기존 연구와 달리 층별로 분리된 채널은 층간 셀 간섭을 최소화한다. 제작된 소자는 pA 이하의 오프 전류와 105을 초과하는 온/오프 전류 비율을 가진다. 멀티 레벨 시냅스 가중치를 확보했으며, 10번의 반복 측정 동안 2% 이하의 낮은 변동성을 보인다. 병렬 가중 합 연산 및 무작위 액세스 기능이 각각 1%와 2% 이하의 오류로 성공적으로 구현되었다. 제작된 소자는 생물학적 시냅스의 특징을 효과적으로 모방하였다. 제작된 소자의 고집적도 및 저전력 작동은 뉴로모픽 시스템에 대한 적합성을 보장한다. 본 연구에서는 제작된 3차원 플래시 시냅스 소자의 저주파 잡음을 이용하여 효율적인 탐색 방법을 제안한다. 시냅스 소자의 저주파 잡음 특성은 전력 스펙트럼 밀도 측정을 통해 얻는다. 일반적으로 1/f 잡음은 네트워크에 해로운 영향을 미치므로 최소화되어야 한다고 생각되어 왔다. 그러나 제안된 강화 학습 시스템에서 1/f 잡음은 에이전트의 정책에 확률성을 제공하고 효과적인 탐색을 촉진하여 훈련 속도와 성능을 모두 향상시킨다. 제안된 강화 학습 시스템은 3차원 플래시 시냅스 소자의 고유한 1/f 잡음을 활용하여 최소한의 하드웨어 부담으로 탐색 과정을 촉진한다. 제안된 강화 학습 시스템은 기존의 엡실론(ε)-탐욕 방법을 사용하는 소프트웨어 기반 네트워크와 유사한 성능을 보여주었다. 네트워크는 시냅스 소자의 고유한 1/f 잡음을 사용하는 결정론적 행동 선택 방법을 사용함에도 불구하고 훈련 과정 동안 충분한 탐색을 수행하였다. 이 접근 방식은 추가 회로의 필요성을 최소화한다. 시냅스 소자의 잡음 수준이 네트워크의 성능에 미치는 영향도 조사되었다. 네트워크는 특정 범위의 잡음 수준에서 잘 훈련되지만 잡음 수준이 너무 크거나 작아지면 성능이 저하된다. 작은 잡음 수준에서는 네트워크의 학습을 위한 충분한 탐색이 수행되지 않고, 큰 잡음 수준에서는 과도한 탐색이 수행되어 최적의 행동 선택을 방해한다. 제안된 방법의 중요한 장점 중 하나는 하드웨어 부담을 최소화하면서 잡음 수준을 최적의 수준으로 쉽게 조정할 수 있다는 것이다. 시냅스 소자의 고유한 1/f 잡음은 읽기 시간, 동작 전압, 소자의 크기 등을 조절하여 최적의 잡음 수준으로 간단하게 조정할 수 있다. 이 기능은 제안된 강화 학습 시스템의 유연성과 효율성을 향상시킨다. 또한, 소자 간 변화가 네트워크의 성능에 미치는 영향에 대한 분석이 수행되었다. 제안된 강화 학습 시스템은 이러한 변화에 대해 높은 수준의 내성을 나타냈다. 이 결과는 소자 간 변화에도 불구하고 제안된 강화 학습 시스템의 견고성과 신뢰성을 강조한다. ; Nowadays, reinforcement learning (RL) is deeply involved in peoples lives and shows outstanding performance in many fields. The performance of RL is ...