알파제로를 실제로 만들어 보면서 배우는 인공지능!
Google Colaboratory 기반의 손쉬운 테스트 환경!
이 책은 프로 바둑 기사들에게 승리를 거둔 인공지능 알파고의 최신 버전인 알파제로를 실제로 만들어 보면서 학습하는 인공지능 프로그래밍 입문서다. 작은 프로그램을 단계별로 작성하면서 프로그래밍 언어인 파이썬과 인공지능 기초 기술인 딥 러닝, 강화 학습, 탐색을 학습하고, 최종으로 알파제로 기반의 인공지능을 완성해 틱택토, 커넥트4, 오셀로, 간이 장기 게임 등을 실습해 본다.
인공지능 프로그래밍이라고 하면 고성능 컴퓨터나 서버가 필요할 것 같지만, 이 책에서는 구글이 제공하는 무료 온라인 서비스인 ‘Google Colaboratory’를 사용하기 때문에 고급 장비는 필요하지 않다. 웹 브라우저를 사용할 수 있는 개인용 컴퓨터(윈도우/맥/리눅스)와 네트워크 환경만 있으면 누구나 손쉽고 간단하게 인공지능 프로그래밍을 시작할 수 있다. 부디 이 책이 인공지능 프로그래밍을 시작하고 싶은 분에게 도움이 되고, 더 많은 독자가 알파제로 알고리즘의 우아함을 느낄 수 있길 바란다.
이 책에서 다루는 알파제로 관련 이론
■ 딥러닝: 컨볼루셔널 뉴럴 네트워크, ResNet
■ 강화 학습: 다중 슬롯 머신 문제, 경사 하강법, Sarsa, Q 학습, DQN
■ 탐색: 미니맥스법, 알파베타법, 원시 몬테카를로 탐색, 몬테카를로 트리 탐색
저자 소개
저자 : 후루카와 히데카즈
1975년 군마현 출신으로 아이즈 대학 컴퓨터소프트웨어학과를 졸업했다. 2000년에 드완고(Dwango)에서 휴대전화 애플리케이션 연구 개발을 시작했다. 2005년에는 UEI에서 스마트폰 및 2족 보행 로봇용 애플리케이션을, 2013년에는 하이퍼텍스트 태블릿 디바이스 ‘enchantMOON’ 개발에 참여했다. 2017년부터는 GHELIA에서 인공지능, VR, AR을 연구 및 개발하고 있다. 또한, 프로그래밍 관련 서적을 다수 집필했다.
역자 : 김연수
대학 졸업 후 일본의 모 자동차 기업 산하의 한국 내 연구소에 근무하면서 소프트웨어 개발을 시작했다. 여러 기업에서 다양한 직무를 경험했고, 지금은 글로벌 기업에서 업무 생산성 향상을 지원하기 위한 학습과 실험을 꾸준히 하고 있다. 최근의 관심사는 좋은 지식의 전달, 회사에 속하지 않고도 지속할 수 있는 삶, 그리고 ‘Why Not Change the World’라는 가치관을 실현하는 것이다.
목 차
CHAPTER 1 알파제로와 머신러닝 개요 1
1-1 알파고와 알파고 제로, 그리고 알파제로 3
1-2 딥 러닝 개요 7
1-3 강화 학습 개요 18
1-4 탐색 개요 23
CHAPTER 2 파이썬 개발 환경 준비 27
2-1 파이썬과 Google Colab 개요 29
2-2 Google Colab 사용 방법 34
2-3 파이썬 문법 47
CHAPTER 3 딥 러닝 63
3-1 뉴럴 네트워크를 활용한 분류 65
3-2 뉴럴 네트워크를 활용한 회귀 83
3-3 컨볼루셔널 뉴럴 네트워크를 활용한 이미지 분류 93
3-4 ResNet을 활용한 이미지 분류 107
CHAPTER 4 강화 학습 125
4-1 다중 슬롯머신 문제 127
4-2 정책 경사법을 활용한 미로 게임 138
4-3 Sarsa와 Q 학습을 활용한 미로 게임 151
4-4 DQN을 활용한 카트-폴 165
CHAPTER 5 탐색 187
5-1 미니맥스법을 활용한 틱택토 189
5-2 알파베타법을 활용한 틱택토 199
5-3 원시 몬테카를로 탐색을 활용한 틱택토 205
5-4 몬테카를로 트리 탐색을 활용한 틱택토 210
CHAPTER 6 알파제로의 구조 223
6-1 알파제로를 활용한 틱택토 225
6-2 듀얼 네트워크 생성 232
6-3 몬테카를로 트리 탐색 구현 241
6-4 셀프 플레이 파트 구현 252
6-5 파라미터 갱신 파트 구현 257
6-6 신규 파라미터 평가 파트 구현 263
6-7 베스트 플레이어 평가 268
6-8 학습 사이클 실행 273
CHAPTER 7 사람과 AI의 대전 279
7-1 로컬 파이썬 개발 환경 준비 281
7-2 Tkinter를 활용한 GUI 구현 292
7-3 사람과 AI의 대전 302
CHAPTER 8 샘플 게임 구현 309
8-1 커넥트4 311
8-2 오셀로 326
8-3 간이 장기 344
찾아보기 371
