![이미지](/TIL/assets/img/2024-07-12-HowToBaselineModelsinTimeSeries_0.png)

데이터 수집을 완료했습니다. 사업 케이스를 개요하고 후보 모델(예: 랜덤 포레스트)을 결정했으며, 개발 환경을 설정하고 키보드에 손을 대었습니다. 이제 시계열 모델을 구축하고 훈련할 준비가 되었습니다.

잠깐만요 - 바로 시작하지 마세요. 랜덤 포레스트 모델의 훈련 및 테스트를 시작하기 전에 먼저 베이스라인 모델을 훈련해야 합니다.

# 베이스라인 모델이란 무엇인가요?



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

기준 모델은 최종적으로 더 복잡한 머신 러닝 모델을 구축하기 위한 기준이 되는 간단한 모델입니다.

데이터 과학자들이 기준 모델을 만드는 이유는:

- 기준 모델을 통해 더 복잡한 모델의 성능을 어느 정도 예측할 수 있습니다.
- 기준 모델의 성능이 좋지 않을 경우, 데이터 품질에 문제가 있을 수 있음을 나타낼 수 있습니다.
- 기준 모델이 최종 모델보다 더 나은 성능을 보일 경우, 해당 알고리즘, 특성, 하이퍼파라미터 또는 다른 데이터 전처리에 문제가 있을 수 있습니다.
- 기준 모델과 복잡한 모델이 비슷하게 성능을 보인다면, 복잡한 모델이 더 세밀한 조정이 필요하다는 것을 나타낼 수 있습니다. 또한, 더 복잡한 모델이 필요하지 않을 수도 있고, 보다 간단한 모델이 충분할 수도 있습니다.

보통 기준 모델은 이동 평균 모델과 같은 통계 모델이거나, 대상 모델의 간단한 버전일 수 있습니다. 예를 들어, Random Forest 모델을 학습할 예정이라면 먼저 기준으로 Decision Tree 모델을 학습시킬 수 있습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 시계열 데이터의 기준 모델

시계열 데이터에 대해 기준 모델로 인기 있는 옵션이 몇 가지 있습니다. 이 중에서 함께 공유하고 싶어요. 이 두 가지 모두 데이터의 시간순서를 전제로 하고 데이터의 패턴에 따라 예측을 수행하기 때문에 잘 작동합니다.

## 단순 예측

단순 예측은 가장 간단한 방법입니다 — 다음 값은 이전 값과 동일하다고 가정합니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

날씨를 예측해보려는 모델을 구축 중이라고 가정해 봅시다. 이미 'Date'와 'TemperatureF' 두 개의 열이 적어도 포함된 데이터프레임 df를 불러왔다고 상정할게요. 이를 Python으로 구현하기 위해 먼저 타임스탬프와 타겟 변수를 분리하고 학습 및 테스트 세트로 분할하세요.

```python
import numpy as np 

# 분할 인덱스 정의
split_time = 1000

# 타겟 배열과 시간/날짜 배열 분리
series = np.array(df['TemperatureF'])
time = np.array(df['Date'])

# 학습 및 테스트 세트 나누기
time_train = time[:split_time]
time_test = time[split_time:]

series_train = series[:split_time]
series_test = series[split_time:]
```

이제 데이터를 준비했으므로, 순진한 예측을 계산할 수 있어요.

```python
# 순진한 예측은 단순히 시리즈를 1만큼 이동합니다
naive_fcst = series[split_time - 1: -1]
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

결과를 시각화하고 테스트 세트에서 나이브 예측이 어떻게 수행되는지 확인하기 위해 plotly 그래프 개체를 사용할 수 있습니다:

```js
import plotly.graph_objects as go

fig = go.Figure([
        go.Scatter(x=time_test, y=series_test, text='true', name='true'),
        go.Scatter(x=time_test, y=naive_fcst, text='pred', name='pred'),
    ])

fig.show()
```

여기 제 결과물입니다:

<img src="/TIL/assets/img/2024-07-12-HowToBaselineModelsinTimeSeries_1.png" />


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

마지막 단계는 후에 벤치마킹에 사용할 메트릭을 계산하는 것입니다. 선택할 메트릭은 특정 문제에 따라 다를 것이지만 MSE 및 RMSE를 계산하는 방법은 다음과 같습니다:

```js
from sklearn.metrics import mean_squared_error

mse = mean_squared_error(series_test,naive_fcst)
rmse = mean_squared_error(series_test,naive_fcst,squared=False)

print(“MSE:”, mse)
print(“RMSE:”, rmse)
```

## 이동 평균 예측

이동평균(MA) 베이스라인 모델은 다음 데이터 포인트를 바로 이전 n개의 데이터 포인트의 평균으로 예측합니다. n의 값은 사용자에 달려있어요—일반적인 이동평균에는 30일 이동평균, 60일, 90일, 180일 등이 있습니다. 또한 사용 사례 및 분야에 따라 달라집니다. 주식 시장에서는 종종 21, 50, 100 및 200을 사용합니다. 게다가, 최종 모델로 30일을 예측할 것이라는 것을 알고 있다면 30일 이동평균을 사용하여 베이스라인을 테스트하는 것이 좋습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

특정 문제와 목표 결과에 대해 일반적으로 사용되는 이동 평균을 조사해보는 것이 중요합니다.

이를 Python으로 구현하려면, 이전과 동일한 데이터 구조(시간 및 시리즈)를 유지한 채 다음을 수행하십시오.

먼저, 전체 데이터셋에 대한 예측을 생성하십시오.

```python
# 리스트 초기화
forecast = []
window_size = 30

# 윈도우 크기를 기반으로 이동 평균 계산
for time in range(len(series) - window_size):
    forecast.append(series[time:time + window_size].mean())

# 넘파이 배열로 변환
forecast = np.array(forecast)
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

다음으로 이동 평균 예측에서 테스트 세트를 분리하세요. 원래의 테스트 세트와 일치시키기 위해 window_size만큼 예측 배열을 이동할 겁니다.

```js
moving_avg = forecast[split_time - window_size:]
```

이전과 같이 결과를 시각화해서 표시해주세요.

```js
fig = go.Figure([
        go.Scatter(x=time_test, y=series_test, text='true', name='true'),
        go.Scatter(x=time_test, y=moving_avg, text='pred', name='pred'),
    ])

fig.show()
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이렇게 보이도록 표 태그를 마크다운 형식으로 변경해보세요. 

![Moving Average Chart](/TIL/assets/img/2024-07-12-HowToBaselineModelsinTimeSeries_2.png)

에러 메트릭을 얻으려면, 이전과 같은 과정을 따르되 moving_avg 배열을 사용하면 됩니다.

```python
mse = mean_squared_error(series_test, moving_avg)
rmse = mean_squared_error(series_test, moving_avg, squared=False)

print("MSE:", mse)
print("RMSE:", rmse)
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 주의 사항 + 결론

"예측"이라는 단어를 사용했지만, 사실 미래를 예측한 것은 아니에요. 저는 train test split을 했기 때문에 테스트 세트에서 예측을 할 때 이미 날짜별 이전 값을 가지고 있었거든요. 만약 앞으로 30일을 예측하려고 한다면, 진정한 naive 예측은 다음 30일이 마지막 날이나 마지막 데이터 포인트와 똑같다고 가정할 것이에요. 이는 수평선 예측으로 이어질 거에요. 이와 마찬가지로 이동평균에도 적용돼요. 그래서 이러한 기술들은 실제로 오랜 기간을 예측하기에는 최적적이지 않아요. 그러나 이러한 기법들은 여전히 기준을 설정하고 최종 모델에서 괜찮은 성능이 어떤 것인지를 평가하는 데 유용해요.

기준 모델은 코드의 타당성을 점검하고 최종 모델이 데이터셋에서 신뢰성 있게 예측할 수 있는 능력을 추정하는 좋은 방법을 제공해요. 데이터 오류를 탐지하고 최종 모델 선택 과정에 도움이 되는 요소일 수 있어요. 다음에 시계열 데이터를 다룰 때는 꼭 먼저 기준선을 설정해보세요.

시계열 데이터에서 기본 모델 적용하는 방법

# 요약

**문맥:** 제로샷 러닝(Zero-shot learning, ZSL)은 머신 러닝에서 cutting-edge한 방법론으로, 모델이 사전 노출 없이 새로운 객체를 인식할 수 있게 하여 인간 추론 능력을 모방합니다.

**문제:** 기존 모델은 각 클래스에 대해 방대한 레이블 데이터가 필요하며, 이는 종종 실용적이지 않으며 확장 가능성을 제한합니다.

**접근:** 본 보고서는 합성 데이터셋을 활용한 ZSL의 실용적 구현을 탐구하며, 특성 엔지니어링, 모델 훈련, 하이퍼파라미터 최적화 및 평가 지표에 대해 자세히 다룹니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

결과: 모델은 99.5%라는 높은 정확도를 달성하여, 혼동 행렬, 예측 분포도, 교차 검증 결과를 통해 보이지 않은 데이터를 분류하는 데 우수한 성능을 나타냈습니다.

결론: 제로샷 학습은 전통적인 지도 학습의 제약을 극복하는 데 강력한 도구로 작용하며, 강력한 일반화 능력과 다양한 실제 응용 가능성을 보여줍니다.

키워드: 제로샷 학습, 머신러닝 모델, 합성 데이터셋, 피처 엔지니어링, 하이퍼파라미터 최적화.

# 소개


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

박물관에 들어가 새로운 동물을 그린 그림을 보게 된다면 어떤 기술들을 가지고 있는지를 살펴보면서, 비늘, 날개, 그리고 뱀 모양의 몸 등의 특징을 보고, 이것이 바로 용이라는 것을 유추할 수 있습니다. 용을 한번도 본 적이 없더라도 설명을 토대로 추론하고 인식하는 인간의 능력은 바로 인공 지능의 Zero-shot learning (ZSL)이 목표로 하는 것입니다. 데이터가 풍부하지만 항상 레이블이 되어있지 않은 세계에서, ZSL은 기계가 학습하는 방식의 한계를 뛰어넘어, 그동안 본 적 없는 물체를 식별하고 분류할 수 있도록 가능하게 합니다.

![그림](/TIL/assets/img/2024-07-12-Zero-ShotLearningBridgingtheGapBetweenKnownandUnknown_0.png)

# Zero-Shot Learning의 이해

Zero-shot learning은 기계 학습에서 혁신적인 방법으로, 모델이 직접적으로 그러한 특정 클래스에 대해 훈련을 받지 않아도 새로운 객체 클래스를 인식하도록 설계됩니다. 기존의 기계 학습 모델은 인식해야 하는 각 카테고리에 대해 많은 레이블이 달린 데이터가 필요합니다. 그러나 ZSL은 속성, 텍스트 설명 또는 임베딩과 같은 의미 정보를 활용하여 새롭고 보지 못한 클래스에 대해 합리적인 추측을 할 수 있도록합니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 제로샷 러닝은 어떻게 작동하나요?

- 특성 추출: 모델은 훈련 단계에서 알려진 클래스에서 특성을 추출합니다. 이는 주로 이미지 인식 작업에는 사전 훈련된 합성곱 신경망(CNNs) 또는 텍스트에는 트랜스포머 모델을 사용하여 수행됩니다.
- 의미 임베딩: 보여지거나 보이지 않는 각 클래스는 의미 벡터와 연관됩니다. 이러한 벡터는 속성(예: 호랑이를 줄무늬가 있는 동물, 네 다리가 있고 날카로운 이빨을 가진 동물로 설명)에서 파생되거나 Word2Vec 또는 GloVe와 같은 단어 임베딩을 통해 처리된 텍스트 설명에서 얻을 수 있습니다.
- 매핑 함수: ZSL의 핵심은 시각적 특성을 의미 임베딩에 연결하는 매핑 함수에 있습니다. 모델이 새로운 이미지나 텍스트를 만나면 추출된 특성을 가장 가까운 의미 벡터에 매핑하여 보이지 않는 클래스를 인식하고 분류할 수 있게 합니다.

# 제로샷 러닝의 적용 분야

- 이미지 인식: ZSL은 야생 동물 모니터링과 같은 분야에서 설명적 속성을 기반으로 새로운 종을 식별하는 데 도움을 줄 수 있습니다. 예를 들어, 일반 동물에 대해 훈련된 모델은 해당 특성을 이해하여 새로 발견된 종을 인식할 수 있습니다.
- 자연어 처리(NLP): 설명에서 맥락적 정보를 사용하여, ZSL은 모델이 명시적으로 훈련받지 않은 주제에 대한 텍스트 분류나 감정 분석과 같은 작업을 처리할 수 있게 합니다.
- 추천 시스템: ZSL은 훈련 데이터에 없는 항목을 제안하여 사용자 경험과 참여를 향상시키는 방식으로 추천 시스템을 개선합니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 도전과 향후 방향

제로샷 학습은 엄청난 잠재력을 제공하지만 도전도 있습니다:

- 의미적 간극: 시각적 특징과 의미적 표현 간의 불일치는 잘못된 매핑으로 이어질 수 있습니다. 이 간극을 줄이는 것은 정확도 향상에 중요합니다.
- 속성 종속성: ZSL의 효과성은 의미적 특성이나 설명의 품질과 포괄성에 크게 의존합니다.
- 확장성: 많은 클래스를 인식하는 것은 계산적인 도전으로 남아 있으며, 효율적인 알고리즘과 견고한 매핑 함수가 필요합니다.

연구자들은 이러한 도전에 대한 해결책을 적극적으로 탐구하고 있습니다. 개선된 임베딩 기술, 제로샷 및 퓨샷 학습을 결합한 하이브리드 모델, 그리고 보다 견고한 매핑 함수는 개발 중인 전략 중 일부입니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 실용 예시

아래에는 합성 데이터셋을 활용한 제로샷 러닝을 보여주는 포괄적인 파이썬 코드 블록이 있습니다. 예시에는 특성 기술, 특성 엔지니어링, 하이퍼파라미터 최적화, 교차 검증, 모델 예측, 메트릭, 플롯 및 결과 해석이 포함되어 있습니다. 이 코드는 scikit-learn, numpy, pandas, matplotlib 및 seaborn 라이브러리를 사용합니다.

```python
# 필요한 라이브러리 가져오기
import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.metrics import classification_report, confusion_matrix, accuracy_score
from sklearn.preprocessing import StandardScaler, LabelEncoder
from sklearn.linear_model import LogisticRegression
import matplotlib.pyplot as plt
import seaborn as sns

# 합성 데이터셋 생성
def create_synthetic_data():
    np.random.seed(42)
    n_samples = 1000
    features = np.random.rand(n_samples, 5)
    labels = (np.sum(features, axis=1) > 2.5).astype(int)
    
    # DataFrame으로 변환
    df = pd.DataFrame(features, columns=[f'feature_{i}' for i in range(1, 6)])
    df['label'] = labels
    
    # 제로샷 러닝을 위한 의미 정보 추가
    semantic_info = {
        0: 'low_sum',
        1: 'high_sum'
    }
    
    df['semantic_label'] = df['label'].map(semantic_info)
    return df

# 합성 데이터셋 생성
df = create_synthetic_data()

# 특성 엔지니어링: 특성 표준화
scaler = StandardScaler()
X = scaler.fit_transform(df.drop(['label', 'semantic_label'], axis=1))
y = df['label']

# 데이터를 학습 및 테스트 세트로 분할
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 제로샷 러닝 설정
semantic_labels = df['semantic_label'].unique()
semantic_embeddings = {
    'low_sum': np.array([0.2, 0.2, 0.2, 0.2, 0.2]),
    'high_sum': np.array([0.8, 0.8, 0.8, 0.8, 0.8])
}

# GridSearchCV를 사용한 하이퍼파라미터 최적화
param_grid = {
    'C': [0.1, 1, 10],
    'solver': ['liblinear']
}

model = LogisticRegression()
grid_search = GridSearchCV(model, param_grid, cv=5, scoring='accuracy')
grid_search.fit(X_train, y_train)

# Grid search에서 최적의 모델
best_model = grid_search.best_estimator_

# 예측
y_pred = best_model.predict(X_test)

# 평가 메트릭
accuracy = accuracy_score(y_test, y_pred)
print("정확도:", accuracy)
print("분류 보고서:\n", classification_report(y_test, y_pred))

# 혼동 행렬
conf_matrix = confusion_matrix(y_test, y_pred)
sns.heatmap(conf_matrix, annot=True, fmt='d', cmap='Blues')
plt.xlabel('예측 라벨')
plt.ylabel('실제 라벨')
plt.title('혼동 행렬')
plt.show()

# 결과 시각화
plt.scatter(X_test[:, 0], X_test[:, 1], c=y_pred, cmap='viridis', marker='o')
plt.title('제로샷 러닝 예측')
plt.xlabel('특성 1')
plt.ylabel('특성 2')
plt.show()

# 결과 해석
# 합성 데이터를 사용하여 제로샷 러닝 모델의 성능을 확인할 수 있습니다.
# 혼동 행렬 및 분류 보고서를 통해 정확도 및 분류 성능을 파악할 수 있습니다.

# 교차 검증 결과
results = pd.DataFrame(grid_search.cv_results_)
results.plot(kind='bar', x='param_C', y='mean_test_score', yerr='std_test_score', capsize=4)
plt.xlabel('C (정규화 매개변수)')
plt.ylabel('평균 테스트 점수')
plt.title('교차 검증 결과')
plt.show()

# 마무리
# 제로샷 러닝은 의미 정보를 기반으로 보이지 않는 클래스를 예측할 수 있는 모델을 만듭니다.
# 합성 예시는 제로샷 러닝 모델이 제공된 속성을 기반으로 일반화할 수 있는 능력을 보여줍니다.
```

이 코드는 합성 데이터셋을 활용하여 제로샷 러닝의 실용적인 예시를 제공하며, 데이터 생성부터 평가 및 결과 시각화까지의 전체 머신 러닝 파이프라인을 다룹니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

## 결과 해석

혼동 행렬: 혼동 행렬은 분류 모델의 성능을 시각적으로 보여줍니다. 제공된 혼동 행렬에서:

- 모형은 0 클래스의 경우 89개 및 1 클래스의 경우 110건을 정확하게 분류했습니다.
- 1 클래스의 하나의 사례가 0 클래스로 분류되는 잘못된 분류가 있었습니다.
- 0 클래스가 1 클래스로 잘못 분류된 경우는 없었습니다.

이는 모델의 예측 정확도가 높음을 나타냅니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>


![image](/TIL/assets/img/2024-07-12-Zero-ShotLearningBridgingtheGapBetweenKnownandUnknown_1.png)

정확도: 0.995 모델은 99.5%의 정확도를 달성했습니다. 이는 예측 중 99.5%가 정확했음을 나타냅니다. 이 뛰어난 정확도 점수는 모델이 이 데이터셋에서 매우 잘 수행한다는 것을 시사합니다.

분류 보고서: 분류 보고서는 각 클래스에 대한 정밀도, 재현율 및 f1-점수를 포함한 상세한 지표를 제공합니다:

- 정밀도: 두 클래스 모두에 대한 정밀도가 매우 높습니다 (클래스 0의 경우 0.99, 클래스 1의 경우 1.00), 이는 모델이 매우 낮은 오검출률을 가지고 있다는 것을 나타냅니다.
- 재현율: 두 클래스 모두에 대한 재현율도 매우 높습니다 (클래스 0의 경우 1.00, 클래스 1의 경우 0.99), 이는 모델이 매우 낮은 오물체률을 가지고 있다는 것을 나타냅니다.
- f1-점수: 정밀도와 재현율의 조화 평균인 f1-점수는 클래스 0의 경우 0.99, 클래스 1의 경우 1.00으로, 두 클래스에 대한 균형 잡힌 정확한 모델 성능을 시사합니다.
- 지원: 지원 값(클래스 0의 경우 89, 클래스 1의 경우 111)은 테스트 데이터셋의 각 클래스에 대한 실제 인스턴스를 나타냅니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

제로샷 러닝 예측 산점도: 산점도는 제로샷 러닝 예측을 시각화합니다. 각 포인트는 테스트 인스턴스를 나타내며, 다른 색상은 예측된 클래스를 나타냅니다. 포인트들의 명확한 군집화는 모델이 특징에 기반하여 두 클래스를 구별하는 능력을 나타냅니다.

![Zero-Shot Learning Predictions Scatter Plot](/TIL/assets/img/2024-07-12-Zero-ShotLearningBridgingtheGapBetweenKnownandUnknown_2.png)

교차 검증 결과: 막대 차트는 정규화 매개변수 CCC의 다른 값에 대한 교차 검증에서의 평균 테스트 점수를 보여줍니다:

- 모델은 모든 테스트된 CCC 값에 대해 일관된 우수한 성능을 보이며, 평균 테스트 점수는 1.0에 가깝습니다.
- 오차 막대는 최소 테스트 점수의 표준 편차를 나타내며, 모델의 성능이 안정적이고 CCC의 선택에 지나치게 민감하지 않음을 시사합니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>


![Zero-Shot Learning Approach](/TIL/assets/img/2024-07-12-Zero-ShotLearningBridgingtheGapBetweenKnownandUnknown_3.png)

최종 생각:

- 모델은 뛰어난 성능을 보여주며 높은 정확도, 정밀도, 재현율 및 F1 점수를 가지고 있습니다.
- 혼동 행렬과 산점도는 모델의 능력을 추가로 확인하여 테스트 인스턴스를 최소 오류로 올바르게 분류합니다.
- 교차 검증 결과는 견고한 모델이 다양한 하이퍼파라미터 설정에서 잘 수행되는 것을 나타냅니다.

이 zero-shot 학습 접근 방식은 합성 데이터셋을 사용하더라도 훌륭한 결과를 보여주며 의미 정보를 기반으로 보이지 않는 클래스를 정확하게 일반화하고 예측할 수 있는 모델의 능력을 강조합니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 결론

제로샷 학습은 머신 러닝에서 큰 발전을 의미하며 직접적인 경험 없이 새로운 개념을 일반화하고 인식하는 인간의 능력을 반영합니다. 우리가 제로샷 학습 기술을 계속 발전시키고 향상시킬수록, 더 유연하고 확장 가능하며 동적인 현실 세계 환경에서 작동할 수 있는 AI 시스템을 만들기에 더 근접해집니다. AI의 미래는 배우고 적응하는 능력에 있으며, 제로샷 학습은 이 방향으로의 중요한 한걸음입니다.

여러분의 의견을 듣고 싶습니다! 제로샷 학습이 귀하의 산업에서 AI의 미래를 어떻게 변화시킬 것으로 보십니까? 아래 댓글에 의견과 경험을 공유해주시고, 이 혁신적인 기술의 끝없는 가능성에 대한 대화를 이끌어봅시다!

# 참고문헌

Zero-Shot Learning 알려진 것과 미지의 것을 잇는 방법

Phidata를 사용하여 AI 어시스턴트 구축하는 방법

<img src="/TIL/assets/img/2024-07-12-MLOpsAGentleIntroductiontoMlflowPipelines_0.png" />

# 소개

다양한 통계에 따르면 모델들을 개발하는데 50%와 90% 사이의 모델들이 제품화되지 못하는 경우가 많습니다. 이는 작업을 구조화하는 데 실패한 결과입니다. 학계나 Kaggle에서 습득한 기술이 수천 명의 사용자가 사용하는 머신러닝 기반 시스템을 구축할 수 있을 정도로 충분하지 않은 경우가 종종 있습니다.

산업계에서 머신러닝 업무를 찾을 때 가장 필수적인 기술 중 하나는 MLflow와 같이 복잡한 파이프라인을 조정하는 도구를 사용하는 능력입니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이 글에서는 프로젝트를 여러 단계로 구조화하고 모든 단계를 체계적으로 관리하는 방법을 알아볼 것입니다.

이 글의 스크립트를 실행하려면 Deepnote를 사용합니다: 협업 데이터 과학 프로젝트 및 프로토타입에 적합한 클라우드 기반 노트북입니다.

## Mlflow이란?

MLflow는 Databricks가 개발한 기계 학습의 완전한 라이프사이클 관리를 위한 오픈 소스 플랫폼입니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

MLflow은 훈련 중인 모델을 모니터링하고 아티팩트 스토어를 사용하며 모델을 제공하는 등 여러 가지 기능을 제공합니다. 오늘은 MLflow를 머신러닝 파이프라인의 오케스트레이터로 사용하는 방법을 살펴볼 것입니다. 왜냐하면 특히 인공지능 세계에서는 다양한 단계와 실험이 있기 때문에 깔끔하고 이해하기 쉽고 쉽게 재현할 수 있는 코드를 갖추는 것이 중요합니다.

그런데 정확히 MLflow를 사용하여 관리해야 하는 단계는 무엇일까요? 이는 우리 작업의 문맥에 따라 달라집니다. 머신러닝 파이프라인은 우리가 일하는 환경과 최종 목표가 무엇인지에 따라 달라질 수 있습니다. 예를 들어, 캐글 과제를 해결하기 위한 파이프라인은 대부분 모델링에 시간을 소비하므로 간단합니다. 반면 산업에서는 데이터 및 코드 품질을 확인하는 단계가 여러 개일 수 있습니다.

여기서는 매우 기본적인 파이프라인을 가정합니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

우리는 가능한 한 각 단계를 독립적으로 개발하길 원합니다. 모델링을 맡은 사람들은 데이터 수집, 데이터 다운로드, 정리 등과 무관하게 그 구성요소만 개발하면 됩니다.

우리는 (과장해서) 각 파이프라인 구성요소에 대한 팀이 있는 상황을 더 가정해 봅시다. 우리는 각 팀이 가장 잘 아는 도구와 언어로 작업할 수 있도록 하여 각 팀의 작업을 용이하게 하길 원합니다. 그래서 각 단계마다 독립적인 개발 환경을 원합니다. 예를 들어, 데이터 다운로드는 C++로 개발하고, 데이터 정리는 Julia로, 모델링은 Python으로, 그리고 추론은 Java로 개발할 수 있습니다. MLflow를 통해 가능합니다!

MLflow를 설치하려면 pip를 사용할 수 있습니다.

## MLflow 프로젝트 정의


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

MLflow 프로젝트는 3가지 주요 부분으로 구성되어 있습니다:

- 코드: 작업 중인 작업을 해결하기 위해 작성하는 코드
- 환경: 환경을 정의해야 합니다. 코드 실행에 필요한 종속성은 무엇인가요?
- MLflow 프로젝트 정의: 각 MLflow 프로젝트에는 사용자가 프로젝트와 상호 작용하는 방법과 무엇을 실행해야 하는지를 정의하는 MLproject라는 파일이 있습니다.

이 글에서 각 파이프라인 구성 요소의 코드는 간편함을 위해 Python으로 작성할 것입니다. 그러나 이전에 언급했듯이 이것이 반드시 그렇다는 것은 아닙니다.

환경을 어떻게 관리할까요? 재현 가능하고 격리된 개발 환경을 정의하려면 여러 도구를 사용할 수 있습니다. 주요 도구로는 docker와 conda가 있습니다. 이 예에서는 conda를 사용할 것인데, conda를 사용하면 의존성을 빠르고 쉽게 지정할 수 있지만, docker는 다소 어려운 학습 곡선을 가지고 있습니다. conda를 다운로드해야 한다면, 가벼운 버전인 miniconda를 추천합니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

개발 환경을 정의하는 conda.yml 파일을 만들어 가상 환경을 생성할 수 있습니다.

우리가 할 일은 conda.yml에서 pip 사용을 정의하고 나중에 wandb와 같은 추가 설치를 위해 pip를 사용하는 것입니다. (참고로 이 경우에는 wandb가 실제로 필요하지 않습니다.)


# conda.yml
name: download_data
channels:
  - conda-forge
  - defaults
dependencies:
  - requests
  - pip
  - mlflow
  - hydra-core
  - pip:
    - wandb


이제 conda.yml에 정의된 환경을 생성하기 위해 다음 명령을 CLI에서 실행할 수 있습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
conda env create --file=conda.yaml
```

이제 활성화해 봅시다.

```js
conda activate download_data
```

이제 MLproject 파일을 정의해야 합니다. 이 파일에 유의해 주세요. yaml로 작성되어 있지만 확장자가 필요하지 않습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이 파일에서는 먼저 단계의 이름과 사용할 콘다 환경을 정의합니다. 그런 다음 계산을 시작할 주요 Python 파일인 entry point를 지정해야 합니다. 그 후에는 파일을 시작하는 데 필요한 매개변수도 정의해야 합니다. 예를 들어, 다운로드 단계에서는 데이터를 다운로드할 URL을 전달할 것으로 예상합니다.

마지막으로 mlflow가 실제로 시작해야 하는 명령을 표시합니다.


name: download_data
conda_env: conda.yml

entry_points:
  main:
    parameters:
      data_url:
        description: 데이터 다운로드 URL
        type: uri

    command: >-
      python main.py --data_url {data_url} #중괄호에 입력 변수를 넣으세요


이제 본격적으로 주 Python 코드 main.py를 작성할 준비가 됐습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

파이썬 코드에서는 MLproject로부터 예상되는 인수 "data_url"을 입력으로 받아야 합니다. 그런 다음 사용자가 이 인수를 cli에서 전달할 수 있도록 argparser를 사용할 수 있습니다.

그런 다음 run() 함수를 실행하는데, 이 함수는 URL에서 CSV 파일을 읽어 로컬로 저장하는 일을 하는데, 이는 이 구성요소에서 기대되는 데이터의 간단한 다운로드를 수행합니다.

여기에는 MIT 라이선스의 오픈 소스 데이터가 사용되었습니다. 구체적으로, GitHub의 다음 URL에서 찾을 수 있는 클래식 Titanic 데이터셋입니다: https://raw.githubusercontent.com/datasciencedojo/datasets/master/titanic.csv

이렇게 main.py 파일을 작성할 수 있습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

우리는 mlflow를 사용하여 전체 구성 요소를 실행할 수 있습니다. mlflow에서 매개변수를 지정하려면 -P 플래그를 사용합니다.

```js
mlflow run . -P data_url="https://raw.githubusercontent.com/datasciencedojo/datasets/master/titanic.csv"
```

터미널 로그에서 처음에 Mlflow가 conda.yml을 사용하여 개발 환경을 재생성하려고 시도하고(첫 번째 시도에 시간이 걸릴 수 있음) 그런 다음 코드를 실행합니다. 결과적으로 데이터셋이 다운로드되는 것을 볼 수 있어야 합니다!

![이미지](/TIL/assets/img/2024-07-12-MLOpsAGentleIntroductiontoMlflowPipelines_2.png)


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

## 구성 요소에서 파이프라인으로

좋아요, 이제 한 구성 요소로 구성된 MLflow 프로젝트를 만드는 기초가 마련되었습니다. 하지만 전체 파이프라인을 어떻게 개발할까요? MLflow에서 파이프라인이란 다른 MLflow 프로젝트로 이뤄진 것으로 구성됩니다!

![이미지](/TIL/assets/img/2024-07-12-MLOpsAGentleIntroductiontoMlflowPipelines_3.png)

루트 디렉토리에서 여러 구성 요소로 파이프라인을 생성하고 싶으므로 각 구성 요소용 서브디렉토리를 두 개 만들겠습니다. 다음 이미지에서 확인할 수 있습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>


![Step 1](/TIL/assets/img/2024-07-12-MLOpsAGentleIntroductiontoMlflowPipelines_4.png)

간단하게 말하자면, 데이터 다운로드 및 데이터 정리 두 단계만 실행합니다. 물론, 실제 파이프라인은 훈련, 추론 등 훨씬 많은 단계로 구성됩니다.

위 다이어그램에서 각 구성 요소/단계는 자체적으로 3개의 파일로 설명된 MLflow 프로젝트입니다. 전체 구조는 다음 이미지에서 확인할 수 있습니다.

![Step 2](/TIL/assets/img/2024-07-12-MLOpsAGentleIntroductiontoMlflowPipelines_5.png)



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이제 이 디렉토리에 있는 모든 파일을 어떻게 정의했는지 살펴봅시다.

🟢 mlflow_pipeline/conda.yml

이 파일은 이전과 다르지 않습니다. 개발 환경을 정의합니다.

```yaml
#conda.yaml
name: mlflow_pipeline
channels:
  - conda-forge
  - defaults
dependencies:
  - pandas
  - mlflow
  - requests
  - pip
  - mlflow
```  


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

🟢 mlflow_pipeline/MLproject

파이프라인의 모든 단계를 항상 실행할 필요는 없을 수도 있지만 때로는 일부 단계만 실행하고 싶을 때가 있습니다. 따라서 쉼표로 구분된 실행하려는 모든 단계를 정의하는 문자열을 입력으로 받습니다.

MLflow를 실행할 때 다음과 같은 명령을 사용할 것입니다:

mlflow run . P steps=”download,cleaning,training”


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>


name: mlflow_pipeline
conda_env: conda.yml

entry_points:
  main:
    parameters:
      steps:
        description: 쉼표로 구분된 수행할 단계
        type: str

      data_url:
        descripton: 데이터의 URL
        type: uri

    command: >-
      python main.py --steps {steps} --data_url {data_url}


🟢 mlflow_pipeline/main.py

이 파일에서는 이제 단계를 처리할 것입니다. 입력을 파싱하면 문자열을 쉼표로 분할하여 모든 단계가 배열에 포함됩니다.

각 단계에 대해 mlflow.run을 실행하며, 이번에는 cli를 사용하지 않고 직접 Python에서 실행합니다. 명령어는 매우 유사하지만 각 실행에는 구성 요소 경로와 entry point(항상 main)를 지정하고 필요한 경우 매개변수를 전달합니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

여기서부터 다른 구성 요소를 정의하는 방법은 이전에 했던 것과 매우 유사합니다. 다운로드 및 정리 단계를 계속 설명하겠습니다.
⚠️ 모든 conda.yml은 동일하므로 여러 번 반복하는 것을 피하겠습니다.

🟢 mlflow_pipeline/data_download/MLproject

이전과 마찬가지로 data_download은 데이터를 다운로드하기 위한 input 매개변수, 즉 데이터의 URL을 예상하며, 나머지는 표준입니다.

```js
name: download_data
conda_env: conda.yml

entry_points:
  main:
    parameters:
      data_url:
        description: 데이터 다운로드 URL
        type: str

    command: >-
      python run.py --data_url {data_url}
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

🟢 mlflow_pipeline/data_download/run.py

run.py 파일에서는 MLproject에 정의된 URL 파일을 가져와 pandas 데이터프레임을 열고 .csv 확장자로 데이터셋을 로컬에 저장합니다.

🟢 mlflow_pipeline/data_cleaning/MLproject

이 경우, 데이터 클리닝은 매우 간단합니다. 파이프라인 구조화에 초점을 맞추고 복잡한 단계 생성에 대해서는 다루지 않습니다. 입력 매개변수를 예상하지 않으므로 run.py만 실행하면 됩니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```yaml
name: data_cleaning
conda_env: conda.yml

entry_points:
  main:
    command: >-
      python run.py
```

🟢 mlflow_pipeline/data_cleaning/run.py

실제 데이터 클리닝에서는 null 값이 포함된 모든 행을 삭제하고 새로운 데이터프레임을 CSV로 로컬 루트 폴더에 저장합니다.

이제 우리가 실수를 하지 않았다면 적절한 매개변수를 지정하여 단일 mlflow 명령어로 전체 파이프라인을 실행할 수 있습니다. 그럼 단계와 데이터셋의 URL을 지정하세요.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
mlflow run . -P steps="data_download,data_cleaning" -P data_url="https://raw.githubusercontent.com/datasciencedojo/datasets/master/titanic.csv" 
```

모든 단계가 올바르게 수행될 것이며, 여러분의 디렉토리에 두 개의 새 CSV 파일이 생길 것입니다! 🚀

![image](/TIL/assets/img/2024-07-12-MLOpsAGentleIntroductiontoMlflowPipelines_6.png)

# 결론


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이 기사에서는 MLflow에서 프로젝트가 구성되는 방식과 파이프라인이 프로젝트 시퀀스에 의해 정의되는 방법을 살펴 보았습니다.

파이프라인의 각 단계는 자체 환경에 의해 정의되기 때문에 독립적으로 개발할 수 있습니다. 각 단계의 개발에는 다른 언어와 도구를 사용할 수 있으며, MLflow는 오로지 Orchestration 역할만을 합니다. 이 기사가 여러분께 MLflow의 사용 방법에 대한 아이디어를 제공해 드렸기를 바랍니다.

MLFlow는 머신러닝 실험을 추적하는 데 매우 유용하지만, 복잡성과 가파른 학습 곡선 때문에 MLOps에 새로운 작은 프로젝트나 팀들을 망설이게 할 수 있습니다. 그러나 실험 추적, 데이터 및 모델 버전 관리, 협업이 중요한 경우에는 매우 편리하며 중대규모 프로젝트에 이상적입니다.

MLflow가 제공하는 기능들은 매우 다양합니다. 예를 들어, 모델의 성능을 모니터링하거나 생성한 아티팩트를 저장하는 데 사용할 수 있습니다. 앞으로 다른 도구들을 MLflow에 통합하여 그 잠재력을 최대한 활용하는 방법을 소개할 예정이니 기대해 주세요!


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

만약 이 기사에 관심이 있다면 제 Medium 팔로우해주세요! 😁

💼 Linkedin ️| 🐦 Twitter | 💻 Website

MLOps - 쉽게 배우는 2024년 Mlflow Pipelines 기초

생명 통계학의 모든 주제 중에서 학생들에게 설명하기 가장 어려운 것은 p-값의 개념입니다. 본질적으로 p-값은 영 가설을 기각하는 확률입니다. 간단히 말하면, 우리가 관찰하고 있는 것 사이에 연관성이 없을 때에도 두 가지 사이에 연관성이 있다고 말할 확률이죠. 이것은 우리가 보고 있는 것이 우연히 발생한 것일 확률이기도 합니다.

내가 말했지만, 설명하기 어려울 거야.

기본적으로 통계 분석을 할 때는 매우 낮은 p-값을 원합니다. 값이 낮을수록 좋습니다... 값이 낮을수록 두 가지 이상의 것이 연관성이 있는 것처럼 보일 확률이 줄어듭니다. 그리고 우리는 0.05의 p-값을 기준으로 삼습니다. 왜냐하면 5%의 확률로 잘못될 우리가 받아들일 수 있기 때문이죠.

0.051이면 정말이지 말이 안 돼야지요.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

다음은 그것이죠. 연구의 디자인을 조작하여 수행하는 통계 분석의 p-값을 0.05 미만으로 만들 수 있습니다. 그렇게 함으로써 결과가 "통계적으로 유의하다"로 판정될 수 있지만, 분석에서 보는 관련성의 강도는 바뀌지 않을 수도 있습니다. 예를 들어볼까요?

## 감자 샐러드를 먹었지요? 

작은 파티에서 섭취한 음식으로 인한 식중독 발작을 조사하고 있습니다. 파티에 8명이 참석했고, 그들에게 무엇을 먹었는지 물어보았습니다. 감자 샐러드를 먹은 대부분의 사람들이 병에 걸린 것을 주목했습니다. 감자 샐러드를 먹고 병이든지의 연관성을 결정하기 위해 카이 제곱 독립성 검정을 수행하기로 결정했습니다. 다음은 결과입니다:

- 감자 샐러드를 먹은 사람 5명 중 4명이 병에 걸렸습니다.
- 감자 샐러드를 먹지 않은 사람 3명 중 1명이 병에 걸렸습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

꽤 명확하죠? 샐러드를 먹은 사람 중에 병에 걸릴 확률은 4/1인 반면, 샐러드를 먹지 않은 사람 중에 병에 걸릴 확률은 1/2입니다. 이 확률들의 비율(즉, "오즈비")은 8입니다. 샐러드를 먹은 사람들은 병에 걸릴 오즈가 8배 높습니다.

하지만 여기 한 가지를 알려드릴게요. 이 오즈비의 p-값은 0.468로, 0.05 임계값을 크게 넘는 숫자에요. 이 결과는 통계적으로 유의하지 않습니다. 보고 있는 것이 우연히 발생한 것일 가능성이 높습니다. (다시 말해, 이것은 단순한 설명입니다. 만약 전문 용어로 설명을 원하신다면: "p-값은 귀무가설이 참이라고 할 때, 관측된 결과나 그 이상을 관측할 확률을 측정합니다.")

다음은 R 코드입니다 (뒤에 코드 전체 및 이와 유사한 분석을 하는 Python 코드도 포함하겠습니다):

```js
# 필요한 라이브러리를 로드합니다
library(dplyr)

# 카이제곱 검정을 수행하고 결과를 출력하는 도우미 함수
analyze_data <- function(counts_multiplier) {
  # 데이터 생성
  exposure <- rep(c("Ate", "Did Not Eat"), each = 2)
  status <- rep(c("Ill", "Not Ill"), times = 2)
  count <- c(4, 1, 1, 2) * counts_multiplier
  data <- data.frame(exposure, status, count)
  
  # 올바른 교차표를 만들기 위해 데이터 요약
  summarized_data <- data %>%
    group_by(exposure, status) %>%
    summarise(count = sum(count), .groups = 'drop')
  
  # chisq.test 함수에서 예상하는 행렬 형식으로 변환
  contingency_table <- xtabs(count ~ exposure + status, data = summarized_data)
  
  # 카이제곱 검정 수행
  chi_test_result <- chisq.test(contingency_table,simulate.p.value = T,correct = T)
  
  # 결과 출력
  cat("배수", counts_multiplier, "배로 조정한 카이제곱 검정 결과:\n")
  cat("카이제곱 통계량:", chi_test_result$statistic, ", p-값:", chi_test_result$p.value, "\n")
  print(contingency_table)
  cat("\n")
}

# 다양한 count 배수에 대해 데이터 분석
analyze_data(1)  # 5개 케이스와 3개 컨트롤을 사용하여
analyze_data(2)  # 10개 케이스와 6개 컨트롤을 사용하여
analyze_data(3)  # 15개 케이스와 9개 컨트롤을 사용하여
analyze_data(4)  # 20개 케이스와 12개 컨트롤을 사용하여
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

여기 결과입니다:

```js
> analyze_data(1)  # 5명의 사례와 3명의 대조군을 대상으로 함
1배 분석 결과 카이제곱 테스트:
카이제곱 통계량: 1.742222, p-값: 0.4682659
             상태
노출         병에 걸림 건강한 상태
  먹음           4         1
  안 먹음       1         2
```

(이안의 얀트스의 연속 보정(Yates' continuity correction)에 대해 궁금한 점이 있다면, 여기서 이와 같은 사용 사례를 읽어볼 수 있습니다: https://www.jstor.org/stable/2983604. 혹은 왜 피셔의 정확 테스트(Fisher's Exact Test)를 사용했는지 궁금하다면, 여기서 확인해보세요: https://online.stat.psu.edu/stat504/lesson/4/4.5. 이러한 것들은 이 게시물의 범위를 벗어난 복잡한 통계 개념들입니다.)

<img src="/TIL/assets/img/2024-07-12-P-HackingforBeginners_0.png" />


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

p-값을 계산하기 위해 정규 분포가 아닌 카이 제곱 분포를 사용한다는 점을 유의하세요. 이들은 결국 카테고리별 사람 수이기 때문에 연속적인 숫자가 아닙니다. 위 분포에서 곡선 아래 약 47%가 X 축의 1.74 오른쪽에 있습니다. 이는 우리가 데이터에서 계산한 검정 통계량입니다. 샘플 크기가 이 계산에 어떤 영향을 미치는지 확인하면서 그래프를 다시 참조하세요.

## p-값 부풀리기!

p-값을 낮추려면 무엇을 해야 할까요? 당연히 샘플 크기를 증가시키면 됩니다! 분석 중인 내용의 샘플 크기를 늘리면 p-값이 낮아지는 통계적 효과가 이미 알려져 있습니다. 테스트 통계량을 계산하는 데 사용하는 수학 때문에 샘플 크기는 데이터의 표준 오차 — 또는 데이터의 변동성 — 공식의 분모에 있습니다. 샘플이 커질수록 변동성이 줄어들고 우리의 관측이 더 정밀해집니다. 더 정밀하면 우리가 본 것이 우연히 발생한 것일 가능성이 더 적어집니다.

그래서 10건의 사례와 6건의 대조군으로 샘플 크기를 증가시키겠습니다. 여기에 결과가 있습니다:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
> analyze_data(2)  # 10 cases and 6 controls 지정
2배로 증가 시킨 Chi-square 테스트 결과:
Chi-square 통계량: 3.484444 , p-값: 0.1164418 
             상태
노출    아프다 아프지 않다
  먹음      8       2
  안 먹음   2       4
```

이제 p-값은 0.116입니다. 0.05에 가까워졌지만 아직은 그 정도는 아닙니다. 오즈 비는 8로 유지됩니다.

초기 표본 크기를 세 배로 증가 시킨 15개 케이스와 9개 컨트롤의 경우 어떻게 될까요?

```js
> analyze_data(3)  # 15 cases and 9 controls 지정
3배로 증가 시킨 Chi-square 테스트 결과:
Chi-square 통계량: 5.226667 , p-값: 0.03898051 
             상태
노출    아프다 아프지 않다
  먹음      12       3
  안 먹음   3       6
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

와! p-값은 0.018(반올림)로 나왔어요. 정말 놀이로 초기 샘플 크기의 네 배를 늘려보겠어요:

```js
> analyze_data(4)  # 20개의 사례와 12개의 대조군을 가지고
4 배로 증가한 데이터를 바탕으로 카이제곱 테스트의 결과:
카이제곱 통계량: 6.968889, p-값: 0.017991
             상태
노출           아픔 안아픔
  먹은 음식       16       4
  먹지 않은 음식   4       8
```

와우! p-값이 0.05 이하에 있어서 통계적으로 유의미해졌어요. 하지만 우리의 연관성 측정 방법인 오즈비는 변하지 않았어요. 여전히 8.0으로 유지돼요. 이게 무슨 뜻일까요?

## “통계적으로 유의하지 않음” 대 “연관성 없음”


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

각 예시에서 보았듯이, 음식을 먹고 아플 가능성과의 연관성은 표본 크기에 상관없이 동일했습니다. 표본 크기를 변경함으로써 우리는 p-값을 낮추고 결과를 "통계적으로 유의미하게" 만들었습니다. 그러나 전염병 역학자로서, 나는 감자 샐러드를 원망하기만 하지 않을 겁니다. 다른 음식들과 함께 그 음식을 테스트하러 가고, 대규모 유통업체 문제가 아닌지 집고 조사할 것입니다. 집에서 직접 만든 감자 샐러드가 아닌 경우에는 슈퍼마켓에서 제품을 회수하고 리콜 프로세스를 시작할 것입니다.

p-값이 유의미한 수준에 도달할 때까지 기다리지 않을 겁니다. 왜냐하면 발병은 이미 발생한 것이기 때문입니다. 초기 8명만 파티에 참석했습니다. 파티에 가지 않은 더 많은 사람들을 찾아볼 수 없습니다. 그러나 만약 지역 사회의 더 많은 사람이 상업적인 출처인 감자 샐러드를 먹은 사실을 발견한다면 이론적으로 더 많은 사람들과 함께 더 큰 연구를 할 수 있습니다.

유감스럽지만, 결과가 인상적인 연구들은 통계 분석 결과가 0.05보다 높거나 비슷해서 발표되지 않는 경우가 많습니다. 이는 연구자들도 결과에 대한 방법론적 치가와 p-값의 오해 때문입니다. 모든 p-값이 하는 일은 결과의 확신 정도를 알려주는 것뿐이며 결과가 참인지 아닌지는 말해주지 않습니다.

결과의 통계적 유의성만큼 중요한 많은 다른 요소들이 연구에 영향을 미칩니다. 예를 들어, 데이터를 그룹별로 분리하는 것을 잊었는지, 심슨의 역설을 유발할 가능성이 있나요?


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

참여자를 선택하는 방식에서 베크슨 편향에 빠지지는 않았는지 확인했나요?

원인과 결과 사이의 관련성을 제대로 설명하는 데 있어 데이터에 혼재변수와 같은 요인이 있었나요?

## 더 나쁜 p-값 조작이 있다

일부 불성실한 사람들은 표본 크기를 증가시키는 것 이상으로 데이터를 조작합니다. 다른 사람들과 마찬가지로, 통계적 유의성을 관련성의 강도와 동일시하거나, 논문이 특정 범위 내의 p-값을 갖고 있을 때만 게재되도록 받아내려고 합니다. 그들은 데이터를 잘라내어 연관성이 실제로 없는 상황에서 연관성이 갑자기 나타나게 만듭니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

2020년 미국 연방 선거를 교란하려고 한 사람들이 법정에서 자신들의 주장을 뒷받침하기 위해 p-해킹을 사용했었다면서요.

게다가 더 심각한 것은, 출판된 논문 가운데 취소된 연구들이 많이 존재합니다 (그리고 일부는 아직도 사전 인쇄 및 블로그 글의 야생에 살아 있습니다). 이들의 저자들이 합법적인 출판을 위해 사악한 p-해킹을 사용했거나, 치료법이 작동한다고 보이기 위해 가짜 결과를 제시한 경우도 있었으며, 또는 다른 이유를 주장하기 위해 사용한 경우도 있습니다.

그러므로 p-값이나 그와 관련된 95% 신뢰구간에 모든 책임을 떠밀지 말아야 합니다. 표본 크기를 확인해보세요. 제안된 내용의 생물학적 타당성을 살펴보세요. 해당 연구가 다른 곳에서 재현되었는지 확인해보세요. 그리고 표본 추출 방법이나 데이터 집계 방식에서 생기는 편향을 확인하세요.

하지만, 이 글로부터 아무것도 배우지 못했다면 이것만은 꼭 기억하세요: 상온에 보관되는 식품은 따뜻하게 하고, 냉장보관할 것이거나, 보관하지 말아야 합니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

아래는 분석 예제에 대한 R 코드입니다: https://gist.github.com/RFNajera/c571c7b9d21be2dbabbad085af3333eb

Python 코드는 여기에서 확인할 수 있습니다: https://gist.github.com/RFNajera/3762c8bc27f2e930c74d44869717d875

저 같은 선생이 마음에 드셨다면 또한 Medium의 글도 마음에 드시나요? 멤버십 가입하여 저희 작품을 지원해보는 건 어떨까요? 자세한 정보는 여기를 클릭해주세요: https://medium.com/membership
감사합니다!

René F. Najera, MPH, DrPH는 공중보건 의사, 역학학자, 아마추어 사진작가, 러닝/사이클링/수영 애호가, 남편, 아버지이자 "모두에게 친근한 친구"입니다. 그는 현재 공중보건 센터의 이사로 일하거나, 지역 타코 가게에서 타코를 즐기거나, 버지니아 북부의 대학에서 지역 및 국제 보건학 부서에서 부교수로 가르치거나, 세계 최고의 공중보건 학교에서 역학학 부서에서 조교수로 일하고 있을 수 있습니다. 이 블로그 글에 담긴 모든 의견은 Dr. Najera의 의견이며, 반드시 고용주, 친구, 가족 또는 지인들의 의견을 대변하는 것은 아닙니다.

초보자를 위한 P-해킹 시작 가이드

유튜브 영상을 요약하는 서버리스 API 배포하는 방법

디지털 자산이 전례 없는 중요성을 얻는 시대에는 강력하고 효과적인 포트폴리오 관리 전략이 이전보다 중요합니다. 이 기사는 역사적 시장 데이터를 활용하고 첨단 금융 알고리즘을 적용하여 암호화폐 포트폴리오를 최적화하는 Python 스크립트에 대해 심층적으로 다룹니다. 강력한 ccxt 라이브러리를 통합하여 늘어난 암호화폐 거래소에서 역사적 가격 데이터를 가져옵니다. 이를 통해 심층적인 분석과 전략 실행이 가능해집니다. 스크립트의 기능은 이동 평균 교차 전략을 활용하여 최적의 거래 신호를 식별하는 데 도움이 됩니다. 더불어, 위험과 수익을 효율적으로 균형잡는 볼록 최적화 기법을 사용한 포트폴리오 최적화 모듈을 포함하고 있습니다. 이 포괄적인 가이드는 시장 데이터를 획득하고 처리하는 기술적 세부 사항을 보여주는데 그치지 않고, 전략 수립부터 포트폴리오 시각화에 이르기까지의 실용적인 응용에 대한 통찰력을 제공하여 트레이더와 투자자가 암호화폐의 다이내믹한 세계에서 정보에 기반한 결정을 내릴 수 있도록 돕습니다.

# 포트폴리오 리스크 관리 사용의 장점

- 위험 완화: 포트폴리오 리스크 관리는 위험을 식별, 평가 및 완화하여 포트폴리오가 중요한 손실에 대해 보호받도록 돕습니다.
- 정보기반 결정: 역사적 데이터와 시장 동향을 분석함으로써 투자자는 자산 할당을 최적화하여 보다 정보에 기반한 결정을 내릴 수 있습니다.
- 수익 향상: 효과적인 리스크 관리를 통해 투자자는 수익을 극대화하고 동시에 위험을 최소화하는 포트폴리오를 달성할 수 있습니다.
- 다양성: 다양성을 홍보하여 어떤 단일 자산의 불리한 움직임에 대한 영향을 줄입니다.
- 일관성: 일관된 투자 전략을 유지하여 시장 변동성에 기반한 충동적인 결정을 피합니다.
- 준수: 규제 요구 사항과 지침을 준수하는 데 도움을 줌으로써 법적과 윤리적 기준을 준수합니다.

# 포트폴리오 리스크 관리 사용의 단점


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

- 복잡성: 포트폴리오 위험 관리 전략을 구현하는 것은 복잡할 수 있으며, 재무 시장과 금융 상품에 대한 심층적인 이해가 필요합니다.
- 비용: 위험 관리 도구와 소프트웨어에는 연관된 비용이 있으며, 모든 투자자가 감당할 수 없을 수도 있습니다.
- 시간 소모: 지속적인 모니터링과 분석이 필요하기 때문에 시간이 많이 소요되며 자원이 많이 소모될 수 있습니다.
- 과도한 조심: 위험 관리에 과도하게 초점을 맞출 경우, 과도한 보수적인 전략으로 이어질 수 있어 수익을 제한할 수 있습니다.
- 역사적 데이터에 의존: 위험 관리는 종종 역사적 데이터에 의존하는데, 이는 미래 시장 상황을 정확하게 예측하지 못할 수 있습니다.

# 포트폴리오 위험 관리의 장점

- 안정성 향상: 위험을 효과적으로 관리함으로써 포트폴리오는 더 큰 안정성을 달성할 수 있어 극단적인 손실 가능성을 줄일 수 있습니다.
- 자본 할당 개선: 더 나은 자본 할당이 가능하며, 자원이 가장 유망한 자산에 투자되도록 보장합니다.
- 투자자 신뢰 증대: 투자자들이 위험 감소에 초점을 두고 투자를 관리하고 있다는 사실에 대한 신뢰감을 높여줍니다.
- 전략적 유연성: 전략적 유연성을 제공하여 시장 변화에 따라 전략을 조정할 수 있도록 허용합니다.
- 성과 모니터링 향상: 지속적인 성과 모니터링을 가능하게 하여 투자자가 필요에 따라 전략을 추적하고 조정할 수 있도록 도와줍니다.

# 포트폴리오 위험 관리의 단점


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

- 자원 소모가 많음: 효율적으로 구현하고 유지하기 위해서는 상당한 시간, 자금 및 전문지식이 필요합니다.
- 과도한 최적화 가능성: 리스크를 최소화하는 데 초점을 맞추다 보면 높은 수익 기회가 놓칠 수 있는 과도한 최적화의 위험이 있습니다.
- 데이터 의존성: 정확하고 최신 데이터에 대한 높은 의존성으로 인해 획득과 유지가 어려울 수 있습니다.
- 시장의 예측 불가능성: 견고한 리스크 관리 실천에도 불구하고 시장은 예측할 수 없으며 예기치 못한 사건이 포트폴리오에 여전히 영향을 줄 수 있습니다.
- 소규모 투자자에 대한 적용 범위가 제한적: 복잡성과 비용 제한으로 인해 고급 리스크 관리의 혜택이 소규모 투자자에게 덜 접근하기 어려울 수 있습니다.

![이미지](/TIL/assets/img/2024-07-12-RiskPortfolioManagementinPythonwithCryptos_0.png)

```js
바이낸스에서의 역사적 데이터 획득 중...

최적화 결과:
BTC/USDT: 1.0
ETH/USDT: -5.538816095795286e-23

예상 포트폴리오 수익률: 0.0017
최소 포트폴리오 분산: 0.0195
```

![이미지](/TIL/assets/img/2024-07-12-RiskPortfolioManagementinPythonwithCryptos_1.png)


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>


# 필요한 라이브러리 가져오기
import ccxt
import pandas as pd
import numpy as np
import cvxpy as cp
import matplotlib.pyplot as plt
from datetime import datetime

# ccxt에서 기록 데이터 가져오는 함수
def get_ccxt_data(exchange_name, symbols, timeframe, since):
    exchange = getattr(ccxt, exchange_name)()
    data = {}

    for symbol in symbols:
        ohlcv = exchange.fetch_ohlcv(symbol, timeframe, since=since)
        
        if ohlcv:
            df = pd.DataFrame(ohlcv, columns=['timestamp', 'open', 'high', 'low', 'close', 'volume'])
            df['time'] = pd.to_datetime(df['timestamp'], unit='ms')
            df.set_index('time', inplace=True)
            df.drop(['timestamp', 'open', 'high', 'low', 'volume'], axis=1, inplace=True)
            
            # 일일 수익률 계산
            df['return'] = df['close'].pct_change().fillna(0)
            
            # 데이터 사전에 저장
            data[symbol] = df
    
    return data

# 이동평균 교차 전략 적용하는 함수
def apply_sma_strategy(data, short_window=12, long_window=26):
    for symbol, df in data.items():
        df['SMA_50'] = df['close'].rolling(window=short_window).mean()
        df['SMA_200'] = df['close'].rolling(window=long_window).mean()
        df['signal'] = 0
        df.loc[df.index[short_window:], 'signal'] = np.where(
            df.loc[df.index[short_window:], 'SMA_50'] > df.loc[df.index[short_window:], 'SMA_200'], 1, 0
        )
        df['position'] = df['signal'].shift(1).fillna(0)
    return data

# 전략에 따라 수익 조정하는 함수
def adjust_returns(data):
    for symbol, df in data.items():
        df['adjusted_return'] = df['return'] * df['position']
    return data

# 포트폴리오 최적화하는 함수
def optimize_portfolio(data):
    symbols = list(data.keys())
    n_assets = len(symbols)
    
    # 모든 자산 중 가장 작은 데이터 길이 찾기
    min_length = min(len(data[symbol]) for symbol in symbols)
    
    # 수익 조정하고 정규화하기
    returns = np.zeros((min_length, n_assets))
    for i, symbol in enumerate(symbols):
        # 데이터 길이 조정
        df = data[symbol].iloc[:min_length]
        returns[:, i] = df['adjusted_return'].values
    
    # 공분산 행렬과 기대수익률 계산
    cov_matrix = np.cov(returns, rowvar=False)
    expected_returns = np.mean(returns, axis=0)
    
    # 최적화 변수
    weights = cp.Variable(n_assets)
    risk = cp.quad_form(weights, cov_matrix)
    objective = cp.Maximize(expected_returns @ weights - 0.5 * risk)
    
    # 제약 조건
    constraints = [cp.sum(weights) == 1, weights >= 0]
    
    # 최적화 문제 해결
    prob = cp.Problem(objective, constraints)
    prob.solve()
    
    # 최적화 결과 표시
    print("\n최적화 결과:")
    for i, symbol in enumerate(symbols):
        print(f"{symbol}: {weights.value[i]}")
    
    # 포트폴리오의 최소 분산과 기대수익률 계산
    min_variance = cp.sqrt(cp.quad_form(weights.value, cov_matrix)).value
    expected_return_portfolio = expected_returns @ weights.value
    
    print(f"\n예상 포트폴리오 수익률: {expected_return_portfolio:.4f}")
    print(f"최소 포트폴리오 분산: {min_variance:.4f}")
    
    return symbols, weights.value

# 결과 시각화하는 함수
def visualize_results(symbols, weights):
    # 포트폴리오의 각 자산 가중치 그래프로 표시
    plt.figure(figsize=(10, 6))
    plt.bar(symbols, weights, color='blue')
    plt.xlabel('자산')
    plt.ylabel('가중치')
    plt.title('최적화된 포트폴리오 내 자산 가중치')
    plt.show()

# 메인 스크립트 실행
if __name__ == "__main__":
    # 매개변수 정의
    exchange_name = 'binance'  # 거래소 이름
    symbols = ["BTC/USDT", "ETH/USDT"]  # 자산 심볼
    timeframe = '1d'  # 시간프레임 (1일)
    since = ccxt.binance().parse8601('2023-01-01T00:00:00Z')  # 시작 날짜
    
    # ccxt에서 기록 데이터 가져오기
    print(f"{exchange_name}에서 기록 데이터 가져오는 중...")
    data = get_ccxt_data(exchange_name, symbols, timeframe, since)
    
    if data:
        # 이동평균 교차 전략 적용
        data = apply_sma_strategy(data)
        
        # 전략에 따라 수익 조정
        data = adjust_returns(data)
        
        # 포트폴리오 최적화
        symbols, weights = optimize_portfolio(data)
        
        # 결과 시각화
        visualize_results(symbols, weights)

암호화폐를 이용한 파이썬 리스크 포트폴리오 관리 방법

TimeGPT vs TiDE 제로샷 추론이 예측의 미래인가, 단순한 과대광고인가

![image](/TIL/assets/img/2024-07-12-GettingStartedWithPositPositronthenewIDEforRandPython_0.png)

Positron sounds like the latest Autobot to join Optimus Prime in the Transformer movies (and toys — can’t forget those!!). Instead, it is a new IDE meant to transform programming and data science workflows if its creator Posit has its way.

Positron is an IDE, launched as a surprise Beta product by Posit. The new IDE is designed to allow data scientists to better explore data in both R and Python programs.

## Some Background on Posit



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

포지트의 이름 선택은 흥미로운 역사를 갖고 있어요. 포지트는 주요 제품으로 인해 먼저 RStudio로 알려진 소프트웨어 개발 회사입니다. RStudio는 주로 R 프로그래머들 사이에서 매우 인기 있는 통합 개발 환경(IDE)로, 스크립트, 라이브러리, 시각화 및 생성된 데이터 개체를 표시하는 분할 창 레이아웃으로 유명해졌어요.

RStudio는 reticulate를 실행할 수 있는 기능을 통합하여 Python을 R에서 실행할 수 있게 했어요. 그리고 최신화된 마크다운 스위트인 Quarto가 기능을 더욱 향상시켰어요. 결과적으로, RStudio는 상당한 규모의 Python 개발자들을 끌게 되었어요.

# 시작하기

포지트론을 시작하려면 GitHub 저장소의 릴리스 페이지를 통해 IDE를 다운로드해야 해요. 현재 베타 버전은 Windows 및 맥 OS에서 사용할 수 있어요. 물론, 페이지에서는 요구 사항을 설명하고 있어요 — 포지트가 더 많은 베타 버전을 출시할수록 IDE의 몇 가지 반복 버전을 볼 수 있을 거예요.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

R 및 Python 언어는 일반 절차에 따라 설치되어야 합니다. 사용자는 R 버전 4.2 이상과 Python 3.8 이상을 갖추고 있어야 합니다.

Python 사용자는 또한 Python을 실행하기 위한 IPykernel 패키지를 포함해야 합니다. 여기서 다운로드하는 방법을 배울 수 있습니다. 통상 Python 프로토콜을 사용하여 호출할 수 있습니다.

설치된 경우 Positron은 언어 파일을 인식하여 기본 Python 및 R을 위한 패키지 및 라이브러리 설치에 시달리지 않고 시작할 수 있도록 합니다.

Python 환경 설정이 다른 경우 드롭다운 메뉴도 있습니다. IDE 오른쪽 상단에 나타납니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

아래는 마크다운 형식으로 컨버팅 된 표입니다.


| Tag        | Description                                                                             |
|------------|-----------------------------------------------------------------------------------------|
| img        | `<img>` 태그는 이미지를 삽입할 때 사용합니다.                                                  |
| div        | `<div>` 태그는 문서의 섹션을 나타내거나 스타일을 지정하기 위해 사용됩니다.                             |
| p          | `<p>` 태그는 단락을 나타내며 텍스트를 그룹화할 때 사용됩니다.                                        |
| a          | `<a>` 태그는 하이퍼링크를 생성할 때 사용되며 클릭 가능한 링크를 만듭니다.                          |
| table      | `<table>` 태그는 표를 만들기 위해 사용되며 여러 행과 열을 가질 수 있습니다.                           |



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

Posit가 Positron을 개발할 때 Visual Studio 코드에 사용된 OSS(오픈 소스 소프트웨어) 아키텍처를 사용했어요. 그런 다음 Positron에는 RStudio와 유사한 데이터 탐색을 위한 목적의 독특한 기능들이 추가되었어요.

RStudio 설정과 유사한 영역에 전용 패널이 있는 플로팅이 가능합니다. 또한 Shiny 앱을 표시하는 데도 작동하며, 사용자는 환경 내에서 R 기반 및 Python 기반 Shiny 앱을 모두 볼 수 있습니다.

왼쪽 메뉴에는 Visual Studio 코드에 나타나는 아이콘과 같은 아이콘이 있어요 — 탐색, 검색, 소스 제어, 실행 및 디버그 아이콘입니다. 주요 차이점은 테스트 아이콘입니다. 이 테스트 아이콘을 사용하여 사용자는 Positron에서 실행된 프로그램을 위한 테스트 프레임워크를 구성할 수 있어요. 이를 통해 환경에서 간단한 테스트를 만드는 데 도움이 될 수 있습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 데이터 탐색기를 사용하여 데이터 검사

Positron의 가장 중요한 기능은 변수 검사와 플로팅을 지원하는 RStudio 스타일입니다. 변수 검사 기능을 사용하면 사용자가 데이터 크기 및 최근성에 따라 어떤 변수가 있는지 알 수 있습니다.

GitHub 페이지에 따르면 데이터 탐색기에는 데이터 그리드, 요약 패널 및 필터 막대가 있습니다.

- 데이터 그리드 — 개별 셀 및 열을 표시하는 스프레드시트 형식의 출력입니다. 또한 정렬 기능도 있습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

**2. 요약 패널** - 각 열 이름, 유형 및 결측 데이터 비율을 보여주는 디스플레이입니다. 탐색적 데이터 분석을 보완하는데 사용되며, 각 열 이름과 그에 해당하는 유형을 나타내는 아이콘을 나란히 표시합니다. 또한 인라인 막대 그래프 내에서 결측 데이터 양을 증가하는 백분율로 표시합니다.

![이미지](/TIL/assets/img/2024-07-12-GettingStartedWithPositPositronthenewIDEforRandPython_3.png)

**3. 필터 막대** - 열의 관측값 유형에 따라 특정 열을 필터링하는 기능을 제공합니다. 예를 들어, 문자열 열은 포함하거나 시작하거나 끝나거나 비어있거나 정확히 일치하는 등의 필터를 가지고 있습니다. 숫자 열은 논리 연산의 필터를 가지고 있어 작거나 크거나, 동일하거나, 두 값 사이에 포함되는 등의 작업을 수행할 수 있습니다.

그림을 생성하기 위해 ggplot, txhousing로부터 데이터를 가져왔습니다. 데이터에는 9개의 열이 있습니다. 왼쪽에는 각 열의 요약 패널을 볼 수 있습니다. 그 옆에 데이터 그리드가 나타납니다. 오른쪽에는 변수 패널 아래에 생성한 변수인 q가 표시됩니다. q 변수는 텍사스 주택 데이터를 포함하는 것뿐입니다. 패널에는 q를 설명하는데 쓰이며, 사용된 데이터 오브젝트 유형(data.frame), 행 수(8602), 열 수(9)를 보여줍니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>


![Data Explorer Screenshot](/TIL/assets/img/2024-07-12-GettingStartedWithPositPositronthenewIDEforRandPython_4.png)

데이터 익스플로러(Data Explorer)를 사용하면 Python(pandas)이나 R(data.frame, tibble, data.table)에서 해당 데이터 프레임을 표시할 수 있어, 대부분의 데이터 모델링 요구를 보완할 수 있습니다.

또한 다른 데이터 유형인 polars에 대한 실험적 지원이 있습니다. 추가 Python 데이터 프레임 라이브러리도 곧 예상됩니다.

# 확장 기능 추가 가능



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

사용자들은 일반적으로 Visual Studio Code에서 사용하는 동일한 확장 프로그램을 추가할 수 있습니다. 아래 이미지에서 Prettier를 사용하여 Positron 계정에 어두운 테마를 적용했습니다.

확장 프로그램의 가용성을 통해 개발자들은 다양한 상호작용이나 도구에 적응할 필요 없이 보다 개인화된 개발 환경을 구축할 수 있습니다.

그러나 사용자들은 일반적으로 Visual Studio Code에서 필요한 R 및 Python 실행을 위해 어떤 확장 프로그램도 사용하지 않는 것이 좋습니다. 이러한 확장 프로그램에서 이미 필요한 기능이 Positron에 포함되어 있기 때문에 필요하지 않습니다. 이 통합은 VSC에 비해 일부 환경 "불필요한" 요소를 저장할 수 있으나, 아마도 VSC는 R 프로그래밍을 실행하기 위한 환경에서 확장 프로그램만이 필요할 것입니다.

또한 Postiron 확장 프로그램을 찾고 설치하기 위해서는 OpenVSX(https://openvsx.org)를 사용해야 합니다. Microsoft Marketplace 대신 사용해야 합니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# RStudio가 곧 대체될 것으로 기대하지 마세요

Positron에 대한 초기 대중 응답은 긍정적이지만, 아직 IDE가 완전히 RStudio를 대체할 것인지에 대한 의문이 남아 있습니다. Positron을 시도한 대부분의 개발자들은 이를 RStudio의 대체품으로 극찬하고 있습니다.

Posit의 수석 과학자 인 Hadley Wickham은 R 프로그래밍에 대해 방대한 글을 쓴 사람으로, Positron을 사용한 후 계속해서 지원이 가능하며 RStudio의 개발은 장래에 계속될 것이라고 팔로워들에게 안심시켰습니다. 그는 또 다른 게시물에서, 몇 가지 버그 해결이 남아 있기 때문에 처음 공부하는 학습자들에게는 문제가 해결된 IDE가 필요하다는 점을 주의했습니다.

![Getting Started with Posit: Positron, the new IDE for R and Python](/TIL/assets/img/2024-07-12-GettingStartedWithPositPositronthenewIDEforRandPython_5.png)


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

나 또한 Positron이 가져야했던 몇 가지 기능이 RStudio에 있다고 생각합니다. 적어도 변형으로써요. RStudio에서 파일을 빠르게 찾을 수 있고 어떤 라이브러리가 업데이트가 필요한지 확인하고 업데이트를 설치하고 함수 정의를 찾을 수 있는 것이 마음에 듭니다. 하지만 이 모든 것은 현재 R과 Python 사용이 혼합된 상태보다는 R 프로그래밍을 위해 설계되었습니다.

Posit에는 Positron에서 유용한 도구가 있습니다. 이것이 어떻게 더 발전하고 개발자 및 데이터 과학자들 사이에서 어떻게 채택되어 나갈지 흥미롭게 살펴볼 만합니다.

새로운 R 및 Python IDE, Posit Positron 시작하기 사용법 가이드

![2024-07-12-Timeseriesresidualsgoldinthemtharhills_0.png](/TIL/assets/img/2024-07-12-Timeseriesresidualsgoldinthemtharhills_0.png)

실무자들은 종종 모델이 데이터 집합과 얼마나 잘 맞는지를 평가하는 데 어려움을 겪습니다. 대부분의 경우 이는 여러 손실 지표를 살피는 것을 포함하거나 때로는 세분화된 지표를 살펴보는 것 또는 모델의 약점이나 편향을 식별하기 위해 예상 성능과 실제 성능을 보여주는 끝없는 차트를 살피는 것을 의미합니다.

이와 같은 작업에는 문제가 없으며, 이 모든 과정은 모델링 과정의 중요한 부분입니다. 그러나 모델 맞춤의 자연스러운 이중성인 모델 잔차를 간과하지 않는 것이 중요합니다.

모델 잔차는 모델에서 "남는 부분"으로 생각할 수 있습니다. 이론적으로 좋은 모델의 잔차는 '좋은' 모델이 모든 진짜 신호를 잡았기 때문에 무작위 잡음에 불과할 것입니다. 그러나 현실적으로 이는 항상 그렇지 않으며, 잔차는 모델 개선을 위한 통찰력을 제공할 수 있습니다. 일반적으로 인기 있는 그래디언트 부스팅 트리 모델인 XGBoost와 LightGBM은 이를 수행하여 더 나은 모델을 구축합니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

오늘은 시계열 잔차가 어떻게 우리가 더 나은 예측 모델을 만드는 데 도움이 되는지 살펴볼 거에요.

- 먼저 실제 데이터를 활용하여 영국의 도로 교통 사고에 대한 간단한 분석을 시작할 거에요.
- 적은 양의 코딩을 통해 우리는 시계열 모델(및 잔차)을 구축하고 검토할 수 있는 기능을 얻게 될 거에요.
- 3가지 다른 모델이 어떻게 적합하게 구성되고 그들의 결점이 모델 잔차에서 강조되는지 살펴볼 거에요: 추세만을 고려한 모델은 계절적 효과를 놓치게 되고, 계절성만 고려한 모델은 추세를 놓치게 되며, 추세와 계절성을 모두 고려한 모델은 미세한 세부 사항 중 일부를 놓치게 됩니다.

시작해봐요!

추가 정보: 제가 사용하는 용어나 개념에 어색하거나 조금 녹슬었다면 아래 링크된 지원 문서들을 참고해보세요. 즐거운 독해되세요!


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 데이터

우리는 영국 도로 교통 사고의 월별 발생 건수를 모델링할 것입니다. 이 데이터는 사고 당 세부 정보를 제공하는 STATS19¹ 데이터입니다. 이를 월별 도로 교통 사고 발생 건수로 집계했는데, 다음과 같이 보입니다:

![image](/TIL/assets/img/2024-07-12-Timeseriesresidualsgoldinthemtharhills_1.png)

일부 중요한 점들이 있습니다:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

- 데이터에서 명백한 추세가 나타나고 있습니다. 1979년부터 2000년까지는 일반적인 하향 추세가 시작되기 전에 시리즈가 상당히 안정적인 것으로 보입니다. 게다가, 2014년쯤에 하향 추세 속도 변화가 보이네요.
- 데이터에서 규칙적이고 주기적인 변동을 주목해보세요 — 강력한 계절성의 명백한 증거가 있습니다; 간단하게 말해서, 매년 1월마다 사고가 줄어드는 효과와 같이 특정 효과가 일정 주기로 반복된다는 것을 알 수 있어요.
- 계절적 변동의 크기는 추세의 크기 변화와 함께 다양해 보이며, 이 시리즈를 가장 적절하게 모델링하는 데는 곱셈 모델 구조가 맞을 수 있어요.
- 상당한 수준의 잡음 또는 무작위 변동이 보이네요. 예측할 수 없는 과정을 모델링 하고 있으며, 외부 환경 조건에 크게 영향을 받는데 이 환경 조건 자체가 변할 수 있으므로 어느 정도의 잡음이 예상된다고 합니다(예: 영국 날씨!).

이제, 간단한 코딩을 해볼게요.

# 산타의 작은 도우미(함수)

작은 모델을 구축하고 모델 맞춤 및 모델 잔차를 그래픽으로 표시하기 위한 함수를 만들어 보죠. 아래와 같은 형태를 가집니다:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
def fit_and_visualise_model(
    X, y, time_index,
    title_fit='월간 도로 교통사고 건수 (STATS19)',
    title_resid='상대 잔차'):

    # 여기에 모델을 작성하세요
    scaler = MinMaxScaler()
    scaler.fit(X)
    model = LassoCV(max_iter=2_500)
    model.fit(scaler.transform(X), np.log(y.values))

    # 예측 및 잔차
    preds = np.exp(model.predict(scaler.transform(X)))
    resids = y.values / preds

    # 적합도 시각화
    fig,ax = plt.subplots(figsize = (22,7.5))
    plt.plot(
        time_index, y,
        label='실제값', color='lightgrey',
        linewidth=2, alpha=0.45)
    plt.plot(
        time_index, preds,
        label='예측값', color='tab:orange',
        linewidth=2)
    plt.gca().xaxis.set_major_locator(
        mdate.MonthLocator(bymonth=[1]))
    plt.xticks(rotation=90)
    plt.gca().yaxis.set_major_formatter(
        mtick.StrMethodFormatter('{x:,.0f}'))
    plt.grid(axis='y', which='major', alpha=0.5)
    plt.legend(loc = 'lower left')
    plt.title(title_fit)
    plt.ylabel('건수')
    plt.show()

    # 잔차 시각화
    fig,ax = plt.subplots(figsize = (22,7.5))
    plt.scatter(time_index, resids, color='lightgrey')
    plt.axhline(1, color='red')
    plt.gca().xaxis.set_major_locator(mdate.MonthLocator(bymonth=[1]))
    plt.xticks(rotation=90)
    plt.grid(axis='y', which='major', alpha=0.5)
    plt.title(title_resid)
    plt.ylabel('잔차')
    plt.show();
```

너무 복잡하지 않지만 유용한 기능이에요.

# 트렌드를 따라가기

시계열 데이터의 추세만을 포착하는 모델을 구축해보겠어요.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

아래의 차트는 우리가 원하는 것과 정확히 일치하는 것처럼 보이는데요. 하지만 시계열 데이터에는 상당한 계절성이 있고, 모델에 전혀 고려하지 않았기 때문에 실제로 그런지 알 수 없습니다. 모델 residual을 더 자세히 살펴보겠습니다. 지난 5년 동안의 정보를 확대해서 살펴보겠습니다:

![image](/TIL/assets/img/2024-07-12-Timeseriesresidualsgoldinthemtharhills_3.png)


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

잔차에서 파도 모양 패턴을 눈치채셨나요? 패턴이 규칙적이고 주기적임을 볼 수 있으며, 무작위 변동이 몇 개 있는 것을 빼면요. 이것이 모델에서 포착되지 않는 계절성 신호입니다. 더 나은 모델은 이 계절성을 포착해 틈을 메울 것입니다.

# 모든 계절을 위한 모델

이제 시계열의 계절성만을 포착하는 모델을 구축해 봅시다.

![image](/TIL/assets/img/2024-07-12-Timeseriesresidualsgoldinthemtharhills_4.png)


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

가장 강력한 계절 모델은 아니지만, 훈련 기간 끝에서 예측이 조금 엉뚱해 보이는 점을 무시한다면, 모델이 일반적으로 반복적인 계절 효과를 잘 포착한다는 것을 볼 수 있습니다.

지금쯤이면 모델이 거대한 추세 효과를 놓치고 있다는 것을 잘 알기 때문에 잔차를 살펴볼 필요가 없을 것 같지만, 아래 차트가 바로 그겁니다.

# 모든 중요한 점들을 고려해야 합니다.

이제 이를 마저 처리하고, 추세 및 계절성 효과를 모두 포함한 모델을 적합해 봅시다. 우리가 예상한 대로 결과 (그리고 잔차)가 훨씬 더 잘 작동하여, 이 모델이 데이터에서 진짜 신호를 더 많이 포착했다는 것을 보여줍니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>


![그래프](/TIL/assets/img/2024-07-12-Timeseriesresidualsgoldinthemtharhills_5.png)

잔차에 여전히 패턴이 보이는 것을 주목하세요. 세 가지 구분 시기로 보이는 것: 1994년 이전, 1994년~2008년, 2008년부터.

완벽하지는 않지만, 모델이기 때문에 꽤 괜찮은 수준입니다.

# 감싸고 어슬렁어슬렁



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

자세한 내용을 이야기하기 전에 간단히 요약해 볼까요?

## 마무리

모델 잔차가 모델을 개선하는 데 어떻게 도움이 되는지 살펴봤습니다. 이번에는 월별 영국 교통사고를 예측하기 위한 간단한 모델을 만들었습니다.

시계열에서 계절성을 캡처하지 못한 경향 모델이 어떻게 실패했는지, 그리고 이 결점이 모델 잔차에서 파형 신호로 나타났는지 보았습니다. 반면에 계절성 전용 모델은 잔차에서 명확한 추세를 보여주었습니다. 그리고 추세와 계절성 모델은 성능이 좋게 향상되었지만 아직 개선할 여지가 있습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

## "좋은" 모델의 잔차는 어떻게 보이나요?

답은 — 약간 귀찮게 — 상황에 따라 다릅니다. 일반적으로, 곱셈(가산) 모델의 경우 잔차는 1(또는 0) 주변에 무작위 노이즈와 같이 보여야 합니다. 잔차에 일관된 패턴이 없어야 하며, 모두 좁고 유한한 범위에 있어야 합니다.

우리가 앞에서 본 것처럼, 패턴은 모델의 결점을 나타낼 수 있습니다. 특히 주의해야 할 패턴 중 하나는 이분산성 또는 분산의 변동이며, 이는 통계적 유의성 검정을 무효화시키는 큰 문제입니다⁵.

## 시계열 모델을 위한 피처 엔지니어링


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

저는 위에 언급된 각 모델이 어떻게 구축되었는지 대략적으로 살펴봤어요. 이 내용은 다른 글에서 자세히 다루었지만, 비밀은 간단해요: Lasso 모델에 입력하는 피처를 변경하세요. 계절성만 고려한 모델이 필요하다면, 회귀 모델에 계절성 피처만 사용하세요. 트렌드만 고려한 모델도 동일한 방법이 적용돼요.

우리는 종종 적합하지 않은 모델이나 모델 잔차 패턴에서 벗어날 수 있어요. 트렌드와 계절성을 모두 포함했을 때 모델이 얼마나 개선되는지 확인해보세요. 가끔 모델이 필요로 하는 것이 명확하지 않을 수 있으니, 측면적 사고와 시행착오에 대비해야 해요.

이미 세 가지 주요 시기를 식별했기 때문에 최종 모델이 완벽하지는 않다는 것은 분명해요. 모델을 개선할 빠른 방법이 있을 수 있어요: 몇 개의 변곡점을 추가하거나 피처 간 상호작용을 포함하는 것이 높은 확률로 효과를 볼 수 있어요. 예를 들어, 지표 피처를 추가하면 1994년 이전의 시기의 모델 적합도가 향상될 수 있어요. 이를 통해 이 기간에 적용된 계절성을 효율적으로 조절함으로써 모델 잔차를 축소할 수 있어요.

여기까지! 이 글까지 읽어주셔서 감사합니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

만약 이 글을 즐겼고 제 더 많은 이야기들을 보고 싶다면, 여기를 한 번 봐주세요:

다음 시간에 뵙겠습니다.

# 참고 자료와 유용한 자원들

- [Open Government Licence](https://roadtraffic.dft.gov.uk/downloads)을(를) 사용한 자료 (nationalarchives.gov.uk)
- [시계열(time series) 구성 요소 및 모델 구조: 시계열 분해에 대한 포괄적 가이드 | Towards AI](https://github.com/)
- [시계열 회귀 모델을 위한 특성 구축: False Prophet: Feature Engineering for Time Series | Towards Data Science](https://github.com/)
- [False Prophet: 시계열 회귀 모델 | Towards Data Science](https://github.com/)는 이 글에서 사용된 모델 구조와 유사한 회귀 모델에 대한 자세한 내용을 다룹니다.
- 동분산성 및 이분산성 — 위키백과


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 친절한 한국어 번역 🚀

In Plain English 커뮤니티에 참여해 주셔서 감사합니다! 다음에 가시기 전에:

- 글쓴이를 칭찬하고 팔로우해 주세요 ️👏️️
- 팔로우하기: X | LinkedIn | YouTube | Discord | 뉴스레터
- 다른 플랫폼 방문하기: Stackademic | CoFeed | Venture | Cubed
- PlainEnglish.io에서 더 많은 콘텐츠를 만나보세요

Posts