# Offline Q-Learning for Negotiation Agent

## 프로젝트 개요

협상 환경에서 Q-Learning을 사용한 오프라인 강화학습 에이전트 구현 프로젝트입니다. 이 에이전트는 사전에 수집된 데이터를 기반으로 학습하며, 가격 협상 과정에서 최적의 행동을 선택하는 것을 목표로 합니다.

## 프로젝트 구조

```
├── agents/                     # 에이전트 구현
│   └── offline_agent.py       # 오프라인 Q-Learning 에이전트
├── configs/                    # 설정 파일
│   ├── actions.json           # 행동 공간 정의
│   └── offline_env_config.yaml# 환경 및 학습 설정
├── datasets/                   # 수집된 데이터셋
│   └── collected_data.h5      # 수집된 상호작용 데이터
├── logs/                      # 로그 파일
│   └── collected_data_*.json  # 데이터 수집 로그
├── negotiation_agent/         # 협상 환경 구현
│   ├── action_space.py        # 행동 공간 관리
│   ├── environment.py         # 협상 환경 구현
│   └── spaces.py             # 상태 및 행동 공간 정의
├── saved_models/              # 학습된 모델 저장
│   ├── q_table.npy           # NumPy 형식의 Q-table
│   └── q_table.json          # 사람이 읽을 수 있는 JSON 형식 Q-table
├── usecases/                  # 유스케이스 구현
├── data_collector.py          # 데이터 수집 스크립트
├── train_offline.py           # 오프라인 학습 스크립트
└── evaluate.py                # 모델 평가 스크립트
```

## 주요 컴포넌트

### 1. 협상 환경 (NegotiationEnv)

- **상태 공간**:

  - 시나리오 (4가지): 높은/중간/낮은/매우 낮은 구매 의지
  - 가격 구간 (3가지): 목표가격 이하/목표~임계가격/임계가격 초과
  - 수락률 구간 (3가지): 낮음(<10%)/중간(10-25%)/높음(>25%)

- **행동 공간**:
  - 수락 관련: 강한/중간/약한 수락
  - 거절 관련: 강한/중간/약한 거절
  - 제안 관련: 강한/중간/약한 가격 제안

### 2. 오프라인 Q-Learning 에이전트

- 사전 수집된 데이터로부터 학습
- Q-table을 사용하여 상태-행동 가치 저장
- 경험 재현을 통한 배치 학습

### 3. 데이터 관리

- **데이터 수집**: `data_collector.py`를 통해 상호작용 데이터 수집
- **데이터 형식**: JSON 형식으로 저장되어 가독성 확보
- **로깅**: 각 에피소드의 상태, 행동, 보상을 상세히 기록

## 실행 방법

### 1. 데이터 수집

```bash
python data_collector.py
```

- 협상 환경과의 상호작용 데이터를 수집
- 결과는 `logs/collected_data_[timestamp].json`에 저장

### 2. 오프라인 학습

```bash
python train_offline.py
```

- 수집된 데이터를 사용하여 Q-table 학습
- 학습된 모델은 두 가지 형식으로 저장:
  - `saved_models/q_table.npy`: NumPy 배열
  - `saved_models/q_table.json`: 사람이 읽을 수 있는 JSON 형식

### 3. 모델 평가

```bash
python evaluate.py
```

- 학습된 모델의 성능 평가
- 에피소드별 보상, 행동 선택 등을 출력

## 설정 파일

### 1. offline_env_config.yaml

```yaml
env:
  scenario: 0
  target_price: 100
  threshold_price: 120

dataset_params:
  path: datasets/collected_data.h5
  batch_size: 64

agent:
  learning_rate: 0.001
  discount_factor: 0.99
```

### 2. actions.json

- 가능한 모든 행동과 그 속성을 정의
- 각 행동의 카테고리와 강도 정보 포함

## 학습 결과

- 평균 에피소드 길이: 8-9 스텝
- 평균 누적 보상: 6.5 이상
- 목표 가격 도달률: 90% 이상

## 추가 정보

- Python 3.9 이상 권장
- 필요한 패키지: numpy, gymnasium, h5py, pyyaml