![image](/TIL/assets/img/2024-07-13-PredictingStockMarketValuationandDirectionUsingtheFedModel_0.png)

코르델 태니(Cordell Tanny)는 금융 서비스 분야에서 24년 이상의 경험을 보유한 전문가로, 주로 양적 금융에 특화되어 있습니다. 코르델는 이전에 주요 캐나다 기관에서 양적 분석가 및 포트폴리오 매니저로 근무하며 20억 달러 규모의 다자산 소매 투자 프로그램을 관리했습니다.

현재 코르델는 Trend Prophets의 대표이사이자 공동 창립자로 활동하고 있으며, 양적 금융 및 AI 솔루션 기업인 DigitalHub Insights의 경영 이사로도 활동하고 있습니다. 또한, 코르델는 맥길 대학(McGill University)에서 생물학 학사 학위를 취득한 바 있습니다. 그는 CFA 채터홀더로서 금융 리스크 관리자 자격증을 보유하고 있으며, 금융 데이터 전문가 자격증을 소지하고 있습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

trendprophets.com을 방문하여 더 많은 정보를 얻을 수 있어요.

이 기사에 대한 모든 Python 코드는 code templates를 등록하면 여기에서 찾을 수 있어요 (페이지 하단의 code templates에 등록하기란 부분에 있어요).

S&P 500의 역사적 PE 데이터는 macrotrends.net의 공짜 다운로드로 이용 가능해요.

GitHub 저장소에도 이용 가능해요.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

## 간단 버전

요약

Fed Model Basics: S&P 500의 수익률을 10년 만기 미국 국채 수익률과 비교하여 시장의 매력도를 평가합니다.

스프레드 해석: 양의 스프레드는 주식이 저평가되었음을 나타내고, 음의 스프레드는 채권이 더 매력적이라는 것을 시사합니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

인기를 얻은 Ed Yardeni에 의해 만들어진 이 모델은 혼돈스럽지만 여전히 유용한 가치평가 도구로 남아 있습니다.

중요한 점

투자 전략: 이 스프레드를 이해하면 투자자가 주식과 채권 간 자산배분에 관한 판단을 내릴 수 있습니다.

현재 시장 상황: 16년 만에 처음으로 스프레드가 마이너스로 전환되었으며, 이는 주식이 과대평가되었을 가능성과 채권의 매력성을 시그널하는 신호입니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

인플레이션의 역할: 그레인저 인과관계 검정 결과에 따르면, 과거 CPI 인플레이션율은 연방준비제도 모형 차이를 예측할 수 있어 시장 예측에 통찰을 제공합니다.

자세한 내용과 전체 이야기를 원하시는 분은 아래를 참조해주세요.

# 큰 그림

## 소개


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

Fed Model은 주식이 채권보다 더 매력적인지 여부를 식별하는 데 도움을 주는 두 가지 지표를 사용하는 비교적 단순한 분석 기법입니다. 또한 시장 타이밍 모델로 활용될 수 있습니다. 이 두 가지 지표는 다음과 같습니다:

- S&P 500의 주당 순이익률(주가 이익 비율의 역수)
- 최근 10년 만기 미국 국채의 수익률

Fed Model은 주당 순이익률과 채권 수익률의 차이로 계산됩니다. 주당 순이익률은 지수가 얼마나 많이 벌어들이고 있는지(지수 안의 회사들의 모든 기업 이익의 합)를 나타내며 인덱스의 달러 가치당 가격의 누적 가치(인덱스 내의 모든 기업들의 가치의 누적 달러 가치)를 나타냅니다. 높은 주당 순이익률은 투자자들이 총 가격의 백분율로 초과 이익을 획득하고 있다는 것을 시사합니다.

## 스프레드 해석과 그 영향


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

Fed 모델은 S&P 500의 수익률과 10년 만기 미국 국채의 이자율 간의 차이로 정의됩니다. 이 차이는 투자자가 주식과 채권 간 상대적 매력성을 비교하는 데 도움을 줍니다.

- 양수 차이: S&P 500의 수익률이 10년 만기 미국 국채의 수익률보다 높을 때 차이가 양수입니다. 이는 주식에 대한 투자자가 채권 대비 더 높은 수익을 얻고 있음을 나타냅니다. 양수 차이는 주식이 적정 가치에 있을 수도 있거나 상대적으로 안전한 채권 대비 주식 시장이 더 나은 성장 가능성을 제공할 수 있다는 점을 시사합니다.

- 음수 차이: 반대로, 수익률이 10년 만기 국채의 이자율보다 낮을 때 차이는 음수입니다. 이 상황은 주식 대비로 채권이 더 매력적인 것을 시사할 수도 있습니다. 주식 시장이 과도하게 평가되었거나 경제 전망이 불확실할 경우 투자자들은 채권의 안전성을 추구할 수 있습니다.

## Fed 모델의 (매우) 간단한 역사


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

내가 가장 좋아하는 투자 전략가 중 한 명이 페드 모델을 인기 있게 만들었어. 에드 야르데니는 주식 시장 수익과 장기 국채 수익률 사이의 관계를 분석한 작업을 기반으로 상당한 양의 작업물을 제작했지. 페드는 주식 수익률과 채권 수익률 사이의 관계를 보여주는 그래프를 많이 제작했지만, 그것을 모델로 형식화하거나 발표하거나 공식적으로 보증한 적은 없었어. 앨런 그린스팬은 중앙은행을 이끌 때 몇몇 기자회견에서 그에 대해 언급했어.

이 모델의 간단함이 매우 매력적이지. 스프레드가 양수이면 주식을 사고, 음수이면 채권을 사라고. 시간 지표로서의 신뢰성은 조금 불안정하지만. 특히 2008년 대공황의 시간을 잘 맞추지 못했어. 그러나 완벽한 지표는 없으니까 우리는 항상 다른 지표들로부터 확인을 받아보는 게 좋지. 그러나 이는 확실하게 채권과 주식 사이의 상대적 가치 측정 수단이야.

## 모델 시간에 따른 간단한 검토

![이미지](/TIL/assets/img/2024-07-13-PredictingStockMarketValuationandDirectionUsingtheFedModel_1.png)


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

제 1표는 1991년 이후 레세션 밴드가 중첩된 Fed 모델의 플롯을 보여줍니다. 우리는 또한 스프레드가 음수가 될 때를 나타내기 위해 y=0에 수평선을 그렸습니다. 이제 이는 스프레드이므로 양수 또는 음수의 판독이 발생할 수 있다는 점을 기억해야 합니다.

- 주식 가격이 급격히 상승하여 과대평가가 되는 경우 (또는 그 반대).
- 채권 금리가 너무 낮아 전혀 매력적이지 않은 경우.
- 위의 요소들의 조합.

1991년을 살펴보면, 연간 기준으로 인플레이션이 6% 이상이었지만 비교적 강한 어음 수입이 있었습니다 (우리는 침체 상황에서여서 가격이 꽤 떨어져 있었습니다). 높은 인플레이션은 엄격한 Fed 정책과 높은 이자율을 초래함으로써 해당 수십년 동안 음수 스프레드를 설명했습니다. 90년대 후반에는 어음 수입이 급락하여 닷컴 붐으로 인해 "이성을 잃은 열정"으로 유명한 앨런 그린스펀이 유명하게 부른 것과 유사한 상황이 발생했습니다.

닷컴 붕괴 이후 2002년부터 2007년까지의 회복을 고려해봅시다. 인플레이션은 낮았으며 채권 금리는 3-5% 범위 내에 유지되었으며 어음 수입은 한 시점에서 6%를 초과했습니다. 2007년, 스프레드가 처음으로 부호를 바꾸고 2002년 이후 처음으로 음수로 전환된 것을 볼 수 있습니다. 2008년 침체가 곧 발생했습니다. 물론, 그때는 약간의 음수 지역에 빠질 정도가 아무것도 표시하지 않았을 것입니다. 오늘날 예지의 혜택이 주어져 있습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

우리는 이제 최저 금리의 10년대에 접어들었습니다. 그래서 다음 10년 동안 스프레드가 그렇게 높게 유지되는 것은 놀라운 일이 아닙니다. 채권은 단순히 수익을 제공하지 않았습니다. 올해에는 16년 만에 처음으로 스프레드가 음수로 전환되었습니다.

그래서, 중요한 질문은, 이것이 의미하는 바가 있는지입니다.

현재 상황을 살펴보겠습니다:

- 고 인플레이션 시기.
- 매우 오랜 시간 동안 보지 못한 수준의 급증한 이자율과 채권 금리.
- 주식 시장이 역대 최고치를 경신하고 있습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

함께 하면 우리는 주식이 기업 실적 추격을 못하고 높은 수준에 이르렀으면서, 채권은 안정적인 이율을 제공하고 있다는 결론을 내릴 수 있습니다. 여전히 미 연방준비제도(Federal Reserve)의 계획이 불확실한 상황에서 채궘으로의 주요 자금 회전이 없다는 것을 감안하면, 현재 채권이 꽤 매력적으로 보입니다.

그래서 현재 주식은 고평가되었고 채권이 매력적으로 보입니다. 이것에 놀라지 말아야 합니다.

## 인플레이션은 채권 모델에 영향을 미칩니까?

다음으로, 저는 인플레이션과 연방 모델 간의 관계를 조사하고 그 유무를 확인하고 싶었습니다. 직관적으로, 우리는 인플레이션이 두 자산 클래스의 가치에 영향을 미쳤다는 것을 알기 때문에 관련성이 있어야 하며, 이것은 몇 가지 양적 기법을 시도해보는 기회를 제공했습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

먼저, 연간 기준 소비자물가지수(CPI) 플롯을 Fed 모델과 함께 살펴보겠습니다 (그림 2). 흥미로운 그래프군요. 경기 침체 시에는 분명한 관련성이 있습니다. 그러나 이 그래프에서 어떤 결론을 도출하는 것은 매우 어렵습니다.

![Figure 2](/TIL/assets/img/2024-07-13-PredictingStockMarketValuationandDirectionUsingtheFedModel_2.png)

그림 3은 각 시리즈의 월별 값에 대한 산점도를 보여줍니다. 두 값 사이에 상관관계가 전혀 없음을 알 수 있습니다 (로 = -0.11). 그러나 이 관계는 선형일 필요는 없으며, 연이어 발생하는 상관관계를 고려하지 않았습니다. 선형 관계가 없으므로 표준 회귀 분석도 도움이 되지 않을 것입니다.

![Figure 3](/TIL/assets/img/2024-07-13-PredictingStockMarketValuationandDirectionUsingtheFedModel_3.png)


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

The Granger Causality Test

그레인저 인과관계 검정은 한 시계열이 다른 시계열을 예측할 수 있는지를 결정하기 위해 사용되는 통계적 가설 검정입니다. 이 방법은 그레인저라는 사람에 의해 개발되었는데, 이 기법에 대한 작업으로 노벨 경제학상을 수상했습니다. 이 검정은 변수 X가 변수 Y를 그레인저 인과로 유발한다면, X의 과거값은 Y의 과거값만으로는 예측할 수 없는 Y를 예측하는 데 도움이 되는 정보를 포함해야 한다는 원리에 기초합니다.

이 분석에서는 과거 소비자물가지수(CPI) 인플레이션율이 Fed 모델차와를 예측할 수 있는지를 검정합니다. 결과는 3~4개월의 지연으로 중요한 예측력을 보여주며, 이는 지난 인플레이션 데이터가 Fed 모델에 의한 시장 가치평가를 예측하는 데 도움이 되는 것으로 나타납니다 (테이블 1, Python 함수에서의 결과). 이는 인플레이션의 과거값(3 또는 4개월 전)이 Fed 모델의 미래 방향을 추론하는 데 사용될 수 있다는 것을 시사합니다!
  
![image](/TIL/assets/img/2024-07-13-PredictingStockMarketValuationandDirectionUsingtheFedModel_4.png)


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

## 일부 생각

구현 중이던 코드를 다시 살펴볼 때, 페드 모델을 새롭게 살펴보기로 결정했고, 이제 한동안 보지 않았다는 것을 깨달았는데, 워렌 버핏식으로 매우 흥미로워 보입니다. 어디에 서 있는지 보는 것이 재미있을 것 같았어요.

하지만 이러한 결과를 예상하지 못했습니다.

최종 결론:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

- 지난 몇 년 동안 페드 모델에 대한 언급을 많이 보지 못했는데, 16년 만에 처음으로 부정적으로 전환된 사실을 전략가들이 주목해야 합니다.
- 인플레이션을 잠재적 요인으로 확인하는 것은 직관적입니다. 더 많은 변수를 테스트하고 아마도 regime classification에 도움이 될 멋진 비지도 학습 모델을 만들어 볼 수 있을 것입니다.

그리고 이는 또 다른 데이터 과학 프로젝트의 주제가 될 것입니다!

한 테스트 결과에 결론을 내리기 위해 완전히 의존할 수는 없다는 것을 기억하세요. 이 잠재적 관련성에 대해 더 명확하게 이해하기 위해 다른 기법을 테스트해 보았지만, 그것이 쉽지는 않습니다. 이것이 왜 양적 금융이 재미있는 이유입니다.

본문의 모든 Python 코드는 여기서 코드 템플릿을 등록하면 찾을 수 있습니다(페이지 하단의 "코드 템플릿 등록" 부분).


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

LinkedIn이나 Medium에서 나를 팔로우해 주세요!

Fed 모델을 이용한 주식 시장 가치 평가 및 방향 예측 방법

FAISS 벡터 공간 시각화를 통한 RAG 성능 이해하기

![TIL 이미지](/TIL/assets/img/2024-07-13-UseandtoMakeYourPythonFunctionParametersLookNeater_0.png)

파이썬에서는 위치 매개변수 또는 키워드 매개변수를 사용하여 함수에 데이터를 전달할 수 있습니다. 이는 파이썬에서 함수를 매우 유연하게 사용할 수 있게 해줍니다. 그러나 이에는 일부 제한 사항이 있습니다. 예를 들어, 일부 매개변수를 위치 전용으로 지정하고 일부를 키워드 전용으로 지정할 수 있습니다. 또 다른 일반적인 사용 사례는 기본 값이 있는 매개변수를 기본 값이 없는 매개변수보다 먼저 놓아 매개변수가 더 구성되고 사용하기 쉽도록 만드는 것입니다. 이러한 요청은 파이썬의 * 및 / 기호를 사용하여 수행할 수 있습니다.

## 기본 동작

이미 알고 있듯이, 파이썬에서는 위치 매개변수 또는 키워드 매개변수를 사용하여 함수에 데이터를 전달할 수 있습니다. 여기에 간단한 함수 예제가 있습니다:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```python
def echo(x, y, z):
    print(f"{x=}, {y=}, {z=}")
```

이 함수를 호출할 때 위치 매개변수나 키워드 매개변수를 사용할 수 있습니다. 단, 키워드 매개변수는 위치 매개변수 뒤에 있어야 합니다:

```python
echo(1, 2, 3)
echo(1, 2, z=3)
echo(1, y=2, z=3)
echo(x=1, y=2, z=3)
# x=1, y=2, z=3
```

모두 작동하고 동일한 결과를 출력합니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

## /를 사용하여 위치 전용 매개변수 지정하기

함수 정의에서 / 기호 앞에 배치된 매개변수는 위치 전용으로 전달돼야 합니다. echo() 함수를 업데이트하여 /를 사용해봅시다:

```js
def echo(x, /, y, z):
    print(f"{x=}, {y=}, {z=}")
```

이 업데이트로 x는 위치 매개변수로만 전달될 수 있으며, y와 z는 여전히 위치 및 키워드 매개변수로 모두 전달될 수 있습니다:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>


```js
echo(1, 2, 3)
echo(1, 2, z=3)
echo(1, y=2, z=3)
# x=1, y=2, z=3
```

그리고 x가 키워드 매개변수로 전달되면 TypeError가 발생합니다:

```js
echo(x=1, y=2, z=3)
# TypeError: echo() got some positional-only arguments passed as keyword arguments: 'x'
```

## *를 사용하여 키워드 전용 매개변수 지정하기



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

함수 정의에서 * 기호 뒤에 올 파라미터는 키워드 인수로 전달되어야 합니다. echo() 함수에서 / 대신 *를 사용해보겠습니다:

```js
def echo(x, *, y, z):
    print(f"{x=}, {y=}, {z=}")
```

이제 x는 위치 인수 또는 키워드 인수로 전달할 수 있지만, y와 z는 키워드 인수로 반드시 전달되어야 합니다 (x가 위치 매개변수로 전달되더라도):

```js
echo(1, y=2, z=3)
echo(x=1, y=2, z=3)
# x=1, y=2, z=3

echo(1, 2, z=3)
# TypeError: echo() takes 1 positional argument but 2 positional arguments (and 1 keyword-only argument) were given

echo(1, 2, 3)
# TypeError: echo() takes 1 positional argument but 3 were given
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
* 기호의 매우 유용한 기능 중 하나는 매개변수를 보다 구성되게 보이도록 기본값이 설정된 매개변수를 기본값이 없는 매개변수보다 먼저 배치할 수 있다는 것입니다. 예를 들어, * 기호를 사용하여 y에 기본값을 지정하고 여전히 y 뒤에 z를 놓을 수 있습니다:

def echo(x, *, y=2, z):
    print(f"{x=}, {y=}, {z=}")

이것은 Python에서 유효한 구문이며 복잡한 함수 매개변수를 갖는 서드 파티 Python 라이브러리에서 흔히 사용됩니다.

이제 y와 z 둘 다 키워드 매개변수로 전달되어야 하며 y에는 기본값이 설정되어 있습니다:
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>


```js
echo(1, z=3)
echo(1, y=2, z=3)
# x=1, y=2, z=3
```

## 함수 정의에서 *와 /를 결합하기

*와 /를 결합하여 위치 매개변수와 키워드 전용 매개변수를 가진 함수를 정의할 수 있습니다:

```js
def echo(x, /, *, y=2, z):
    print(f"{x=}, {y=}, {z=}")
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이 경우에는 x는 위치 전용이고 y와 z는 키워드 전용 매개변수입니다:

```js
echo(1, z=3)
echo(1, y=2, z=3)
# x=1, y=2, z=3

echo(x=1, z=3)
# TypeError: echo() got some positional-only arguments passed as keyword arguments: 'x'
```

이 게시물에서는 함수 정의에서 *와 / 기호를 사용한 것을 소개했는데, 이들은 다음과 같은 흥미로운 유틸리티를 가지고 있습니다:

- 일부 매개변수를 위치 전용으로 지정하고 일부를 키워드 전용으로 지정합니다.
- 기본값을 가진 매개변수는 기본값이 없는 매개변수 앞에 두어 매개변수를 더욱 구성하기 쉽고 사용하기 편리하게 합니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

## 관련 포스트:

- 특별한 Python 문자열 포맷팅으로 로깅 및 단위 변환하기
- Python 코드를 더 전문적으로 만들기 위해 black, mypy, pylint 사용하기

와 를 사용해서 Python 함수 파라미터를 깔끔하게 정리하는 방법

파이썬으로 모멘텀 및 되돌림 트레이딩 전략 구축 방법

드롭할지 유지할지 수학적 최적화로 비디오 게임 인벤토리 문제를 해결하는 방법

<img src="/TIL/assets/img/2024-07-12-DecisionMakersNeedMoreMath_0.png" />

최근에 직장에서 일에 대해 곤란해하는 친구와 대화를 나누었어요. 그 친구는 자신이 판매 인력부에서 주도하는 주요 소프트웨어 롤아웃에 책임이 있었지만, 그 일에 대해 믿지 않았어요. 사실 그의 동료들도 그렇게 생각하지 않았다고 해요. 그가 묘사한 상황은 정말 안좋고 동기 부여가 안 되는 상황 같았어요.

나는 당연하게도 어떻게 이런 상황이 발생했는지 물어보았어요. 그 친구는 롤아웃을 추진할 결정이 경영진 사이에서 유포된 '킬러 차트'에서 비롯되었다고 설명했어요. 차트는 두 그룹의 판매 결과를 비교하여 특정 소프트웨어 제품을 현장에서 사용한 한 그룹이 더 효과적이라는 결론을 내렸다고 해요.

내가 한 질문은 두가지였어요. 먼저, 그들이 두 그룹의 차이가 우연 때문이 아닌지 확인했느냐 물어보았고, 그 다음으로 소프트웨어 사용이 그 차이를 일으켰다는 것이 결정적으로 입증되었는지 확인했느냐 물었어요.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

말끔히 당황했다. 그는 우연히 차이가 발생할 수 있다는 것을 전혀 몰랐다며 원인과 결과에 대한 질문은 심지어 논의되지 않았다고 말했다. 그는 경영진이 단지 차트를 삼켜버리고 숫자들과 그 의미에 대한 추가 논쟁 없이 결정을 내렸다고 설명했다.

우리가 도출한 결론은 이 모든 것이 그룹 내에서 수학에 대해 아무도 모르기 때문에 발생했다는 것이었다! 분석 자료 한 조각이 그룹 전체를 휩쓴 바 있었고, 관련된 사람들은 모두 그것을 올바르게 비평할 경험이나 지식이 없었다.

나는 이러한 상황이 급속히 확대되고 있고, 그로 인해 수백만 달러의 잘못된 결정이 이루어지고 있다는 것을 우려한다.

## 왜 수학이 더 중요해지고 있는 것일까?


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

간단히 말하면, 데이터의 양이 많이 증가했습니다. IBM에 따르면, 우리는 이제 매일 2.5 퀸틸리언 바이트 이상의 데이터를 생성하고 있습니다. 이러한 추세가 계속될 것으로 보여주는 다양한 통계가 있습니다:

- McKinsey의 연구에 따르면, 거의 50%의 영업 및 마케팅 기능이 자신들을 '분석 및 빅데이터에 의해 변형되었다'고 설명하고 있습니다.
- Statista에 따르면, 빅데이터 시장은 다음 10년 동안 연간 10% 이상 성장할 것으로 보고 있습니다.
- 최근 업무 설문 조사에 따르면, 기업의 84%가 고급 분석 및 빅데이터 프로젝트를 시작하여 의사 결정을 개선하고 있습니다.

명확한 사실은 의사 결정자들이 10년이나 20년 전보다 훨씬 많은 데이터 주도 문서와 차트를 마주하게 될 것이라는 것입니다. 하지만 이러한 데이터 풍부한 환경에서 정확한 결정을 내릴 수 있는 능력을 가진 의사 결정자들이 더 잘 갖추어져 있는지 궁금합니다.

![이미지](/TIL/assets/img/2024-07-12-DecisionMakersNeedMoreMath_1.png)


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

## 수학 능력은 높아지고 있지만 기술은 부족합니다

데이터 중심의 의사 결정과 분석 붐으로 인해 경영진의 수학 능력도 함께 높아져야 합니다. 분석을 의심하고 비평할 수 있는 능력이 없다면 의사 결정자들은 판촉 활동과 편향된 의도에 휘둘릴 수밖에 없습니다. 상관 관계, 회귀, 통계적 유의성 및 예측 정확도와 같은 개념들이 언급되고 있지만, 의사 결정자들이 그것들을 이해할 만큼 충분히 잘 갖추고 있는지에 대한 증거가 없습니다.

- 영국의 케임브리지 평가 연구에 따르면, 고도의 데이터 중심인 것이 아닌 직무에서도 고용주들은 수리능력을 중요시하며, 그러나 현재의 업무 인원은 이를 충족시키기에 적절한 수준이 되지 못하고 있다고 강조합니다.
- 미국 노동부는 다음 10년 동안 수학 관련 직종이 다른 직종보다 4배 빠른 속도로 성장할 것으로 예상되지만, OECD에 따르면 미국은 성인의 수리 능력 평균으로 볼 때 30개국 중 24위를 차지합니다.
- 최근 하버드 대학의 연구에 따르면, 미래 직업 시장에서 수학은 가장 필수적인 기술 중 하나가 될 것으로 예상되며, 최근의 가장 큰 일자리 증가는 수학이 필요한 포지션으로 집중되고 있다는 것을 보여줍니다.

# 의사 결정자들이 알아야 할 것은 무엇인가요?


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

세련된 매크로 요소와 트렌드 가운데, 데이터 중심 환경에서 의사 결정자가 알아야 할 몇 가지 기본적인 요소들이 있다고 생각이 듭니다:

- 상관 관계의 의미와 다양한 유형의 데이터에 대한 상관 계수 측정 방법
- 인과 관계의 의미, 상관 관계와의 차이, 그리고 인과 관계를 증명하는 방법
- 가설 검증의 통계적 방법과 가설 검정에 기반한 통계적 조건

데이터 중심 환경에서 일하고 계시는데 이러한 것들에 대해 충분히 이해하고 있다고 느끼지 않으시다면, 지금이라도 대책을 세우도록 권장드립니다. 더불어 동료 의사 결정자들도 비슷한 입장에 있다고 느낀다면, 상황은 더욱 시급해진다고 할 수 있습니다.

매년마다 직장에서 수학적 지식이 더욱 중요해지는 건 의심할 여지가 없습니다. 우리가 좋아하든 안 하든, 노력을 기울여 학습을 해 나가야 할 필요가 있습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

수학이 당신의 업무에서 얼마나 중요한가요? 자유롭게 의견을 남겨주세요.

의사결정자들이 수학을 더 배워야 하는 이유

빅 데이터는 인간의 행동과 상호 작용과 관련된 패턴, 동향 및 관련성을 밝히기 위해 계산적으로 분석할 수 있는 극도로 큰 데이터 세트를 가리킵니다. 네 가지 V - Volume, Velocity, Variety, 그리고 Veracity. 이러한 V는 빅 데이터를 특징 짓는데, 함께 간단하게 알아보도록 하죠:

- Volume: 매초 생성되는 데이터의 양은 엄청나게 많습니다. 소셜 미디어 업데이트부터 거래 기록까지 규모는 거대합니다.
- Velocity: 데이터는 이례적으로 빠른 속도로 생성되며, 실시간 또는 거의 실시간 처리가 요구됩니다.
- Variety: 데이터는 다양한 형식으로 제공됩니다 - 구조화된, 반구조화된 그리고 비구조화된 데이터 형식으로, 텍스트, 이미지, 비디오 등이 있습니다.
- Veracity: 데이터의 품질과 정확도는 매우 다양할 수 있으며, 신중한 데이터 관리 및 처리 기술이 필요합니다.

Python은 간단함과 데이터 처리 및 분석을 위한 강력한 라이브러리가 많이 제공되어 인기 있는 언어입니다. Python이 빅 데이터 기술과 어떻게 결합되는지 알아봅시다.

![Python을 위한 빅 데이터 이미지](/TIL/assets/img/2024-07-12-PythonforBigData_0.png)


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 대용량 데이터 처리를 위해 PySpark와 같은 라이브러리 사용하기

## PySpark 소개

PySpark는 대규모 데이터 처리를 위한 오픈 소스 통합 분석 엔진인 Apache Spark의 파이썬 API입니다. Spark는 암시적 데이터 병렬 처리와 오류 허용을 통해 전체 클러스터를 프로그래밍하는 인터페이스를 제공합니다.

## PySpark 설정하기


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

PySpark을 사용하려면 먼저 설치해야 합니다. PySpark는 다음과 같이 pip을 통해 설치할 수 있습니다:

```js
pip install pyspark
```

## PySpark을 사용한 기본 작업

PySpark를 사용하여 몇 가지 기본 작업을 살펴보겠습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

SparkSession을 초기화하는 방법:

```python
from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("BigDataWithPySpark") \
    .getOrCreate()
```

데이터 읽기:

다양한 소스에서 데이터를 읽을 수 있습니다. CSV 파일을 읽는 예제는 다음과 같습니다:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
df = spark.read.csv("파일경로/당신의/csv파일.csv", header=True, inferSchema=True)
```

데이터 변환 수행하기:

PySpark 데이터프레임은 강력한 데이터 처리 기능을 제공합니다. 여기에 일반적인 변환 작업 몇 가지가 있습니다:

```js
# 특정 열 선택
df_selected = df.select("column1", "column2")

# 행 필터링
df_filtered = df.filter(df["column1"] > 50)

# 그룹화 및 집계
df_grouped = df.groupBy("column2").agg({"column1": "mean"})
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

실행 중인 작업:

작업은 DataFrame에 대한 변환 실행을 트리거합니다:

```js
# DataFrame 표시
df.show()

# 결과를 로컬 리스트로 수집
data = df.collect()
```

예시: PySpark를 사용한 단어 카운트


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

큰 데이터 처리의 고전적인 예로 단어 수 세기 문제가 있습니다.

```python
# 텍스트 파일에서 RDD 생성
text_file = spark.sparkContext.textFile("경로/텍스트파일.txt")

# 단어 수 세기 수행
word_counts = text_file.flatMap(lambda line: line.split(" ")) \
    .map(lambda word: (word, 1)) \
    .reduceByKey(lambda a, b: a + b)

# 결과 수집
results = word_counts.collect()
for word, count in results:
    print(f"{word}: {count}")
```

## 파이썬을 하둡 및 다른 빅데이터 기술과 통합하기
### 하둡 및 HDFS


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

하둡은 대규모 데이터 집합의 분산 처리를 위해 컴퓨터 클러스터 간에 사용되는 프레임워크입니다. 하둡 분산 파일 시스템 (HDFS)은 방대한 양의 데이터를 저장하고 고 처리량 액세스를 제공하기 위해 설계되었습니다.

## PyArrow를 사용하여 HDFS에 액세스하기

PyArrow는 인메모리 데이터를 처리하기 위한 크로스-언어 개발 플랫폼입니다. 이를 사용하여 HDFS와 상호작용할 수 있습니다.

PyArrow 설치 방법:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
pip install pyarrow
```

HDFS와 상호 작용하기:

```js
import pyarrow.fs as fs

# HDFS에 연결하기
hdfs = fs.HadoopFileSystem('hdfs://your-hdfs-namenode:8020')

# HDFS 디렉토리의 파일 목록 가져오기
files = hdfs.get_file_info(fs.FileSelector('/path/in/hdfs'))

for file in files:
    print(file)
```

## Apache Hive 통합


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

Hive은 SQL을 사용하여 분산 저장소에 저장된 대규모 데이터 세트의 읽기, 쓰기 및 관리를 용이하게 하는 데이터 웨어하우스 소프트웨어입니다.

## PyHive를 사용하여 Hive에 연결하는 방법

PyHive 설치하기:

```js
pip install pyhive
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

파이썬에서 Hive 쿼리하기:

```js
from pyhive import hive

# Hive에 연결
conn = hive.Connection(host='your-hive-server', port=10000, username='your-username')

# 쿼리 실행
cursor = conn.cursor()
cursor.execute("SELECT * FROM your_table LIMIT 10")

# 결과 가져오기
results = cursor.fetchall()
for row in results:
    print(row)
```

## Apache Kafka와 통합

Kafka는 하루에 수조 건의 이벤트를 처리할 수 있는 분산 이벤트 스트리밍 플랫폼입니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

## Kafka 통합을 위한 Kafka-Python 사용하기

Kafka-Python 설치:

```js
pip install kafka-python
```

메시지 생성 및 소비:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```python
from kafka import KafkaProducer, KafkaConsumer

# Kafka 프로듀서 생성
producer = KafkaProducer(bootstrap_servers='your-kafka-broker:9092')
producer.send('your_topic', b'This is a test message')

# Kafka 컨슈머 생성
consumer = KafkaConsumer('your_topic', bootstrap_servers='your-kafka-broker:9092')
for message in consumer:
    print(message.value.decode('utf-8'))
```

## Python이 대용량 데이터 처리에 적합한 이유

다양한 생태계: Python은 복잡한 데이터 처리 작업을 간단하게 만드는 라이브러리와 프레임워크가 풍부한 생태계를 자랑합니다. 예를 들어, PySpark는 Apache Spark의 강력한 기능을 활용하여 대규모 데이터 처리를 쉽게 처리하고, PyArrow는 HDFS와의 원활한 상호작용을 용이하게 합니다.

학습과 사용의 용이성: Python의 문법은 깨끗하고 배우기 쉬워 초보자부터 숙련된 프로그래머까지 접근하기 쉽습니다. 이러한 사용의 용이성은 개발 프로세스를 가속화시켜 빠른 프로토타이핑과 반복을 가능하게 합니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

확장성: 파이썬은 하둡, 하이브, 카프카와 같은 강력한 빅데이터 기술과 통합되어 있어, 응용 프로그램이 대규모 데이터 세트의 요구를 충족하기 위해 확장 가능합니다. 이 확장성은 실시간으로 데이터를 처리하고 분석해야 하는 비즈니스에 중요합니다.

커뮤니티 지원: 파이썬 커뮤니티는 크고 활발하여 지속적으로 새로운 도구를 개발하고 기존 도구를 개선하고 있습니다. 이 활기찬 커뮤니티 지원은 파이썬이 빅데이터 기술 분야의 기술적 발전을 선도하고 있음을 의미합니다.

## 실용적인 응용분야

파이썬이 빅데이터 분야에서 활용되는 실용적인 응용분야는 매우 다양하고 광범위합니다. 각 산업의 기업들이 파이썬을 활용하여 데이터로부터 통찰을 얻고 있습니다:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

금융: 금융 기관은 부정 행위 감지, 리스크 관리 및 알고리즘 거래에 파이썬을 사용합니다. 거래 및 시장 데이터의 대량 데이터 세트를 처리하고 분석하여 패턴을 식별하고 신중한 결정을 내립니다.

건강 관리: 의료 분야에서는 예측 분석, 환자 데이터 관리 및 맞춤 의료에 파이썬을 사용합니다. 의료 기록과 연구 데이터의 대량을 분석하여 환자 결과를 개선하고 운영을 최적화합니다.

소매: 소매업체는 고객 행동을 분석하고 재고를 관리하며 마케팅을 맞춤화하는 데 파이썬을 사용합니다. 빅데이터 분석을 통해 구매 패턴을 이해하고 고객 경험을 향상시킵니다.

제조업: 제조업체는 예측 유지보수, 공급망 최적화 및 품질 관리를 위해 파이썬을 활용합니다. 센서 데이터와 생산 지표를 분석하여 효율성을 향상시키고 다운타임을 줄이는 데 도움을 줍니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

## 미래 전망

데이터 양이 기하급수적으로 증가함에 따라 효율적이고 확장 가능한 데이터 처리 솔루션이 더욱 중요해질 것입니다. Python은 계속해서 이러한 변화하는 환경에서 중심적인 역할을 하게 될 것입니다.

머신 러닝과 인공 지능: Python은 TensorFlow, Keras, scikit-learn과 같은 머신 러닝 라이브러리와의 통합을 통해 고급 분석 및 대용량 데이터로부터 학습하는 AI 모델의 개발을 가능케 합니다.

실시간 분석: 실시간 분석의 필요성이 더욱 두드러지게 되고 있습니다. Python은 Apache Kafka와 같은 스트리밍 데이터 플랫폼과 작업할 수 있는 능력을 통해 기업이 데이터가 도착하는 대로 신속하게 반응하여 적시에 통찰력과 조치를 제공할 수 있도록 합니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

데이터 프라이버시와 보안: 데이터 프라이버시와 보안에 대한 관심이 증가함에 따라, Python은 데이터 마스킹, 암호화 및 규정 준수 기능에 대한 능력이 더욱 중요해지고 있습니다. 데이터가 안전하게 처리되고 저장되는 동시에 규정 준수를 유지하는 것이 매우 중요합니다.

클라우드 통합: 데이터 저장 및 처리를 위한 클라우드 기반 솔루션으로의 이전이 계속해서 확대되고 있습니다. Python의 AWS, Azure, Google Cloud와 호환되는 특성은 확장 가능하고 비용 효율적인 빅 데이터 솔루션을 제공합니다.

요약하면, Python은 빅 데이터 분야에서 다양하고 지속적으로 확장되는 역할을 하고 있습니다. 견고한 생태계, 사용 편의성 및 강력한 통합을 통해 대규모 데이터 처리 작업에 대한 필수 언어가 되었습니다. 분산 컴퓨팅을 위한 PySpark, HDFS 상호작용을 위한 PyArrow, 대규모 데이터 쿼리를 위한 PyHive, 이벤트 스트림 처리를 위한 Kafka-Python을 통해 Python은 데이터 전문가가 방대한 데이터 집합에서 의미 있는 통찰을 얻을 수 있도록 도와줍니다.

산업이 빅 데이터의 파워를 활용할수록, Python은 데이터 분석의 중심요소로 남아 있을 것이며 혁신을 주도하고 더 스마트한 의사 결정을 가능하게 합니다. Python의 새로운 기술과 트렌드에 대한 적응력은 빅 데이터 분석 분야에서 매우 중요한 도구로 남을 것을 보장합니다. 빅 데이터를 위해 Python을 수용함으로써 현재의 데이터 문제를 해결할뿐만 아니라 미래 기술 발전을 이용해 지속적인 성장과 경쟁 우위를 확보할 수 있도록 조직을 준비시킬 수 있습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

귀하는 소중한 지원을 해주셨습니다. 만약 이 글이 유익하거나 통찰력을 준다면 박수를 부탁드리겠습니다. 제 작품을 계속해서 업데이트하려면 저를 Medium에서 팔로우해주세요. 읽어주시고 글에 참여해주셔서 감사드립니다!

빅데이터 처리를 위한 Python 사용 방법

<img src="/TIL/assets/img/2024-07-12-QuantizedMistral7BvsTinyLlamaforResource-ConstrainedSystems_0.png" />

프랑스 스타트업인 Mistral이 공개한 오픈 소스 언어 모델 Mistral 7B를 소개하면서 ChatGPT나 claude.ai와 같은 전용 모델이 보여준 놀라운 성능이 오픈 소스 커뮤니티에서도 이용 가능해졌습니다. 이 모델을 리소스가 제한된 시스템에서 사용할 수 있는 가능성을 탐색하기 위해 양자화된 버전은 훌륭한 성능을 유지했습니다.

이전 연구에서 2비트 양자화된 Mistral 7B 모델이 정확성 테스트를 훌륭히 통과했지만, 맥에서 질문에 대한 평균 응답 시간이 약 2분이 걸리는 문제가 있었습니다. 그래서 Llama 2와 동일한 아키텍처와 토크나이저를 사용한 3조 토큰으로 사전학습된 1.1B 언어 모델인 TinyLlama[1]이 출시되었습니다. 이 모델은 더 많은 리소스가 제한된 환경을 위해 고안되었습니다.

이 기사에서는 양자화된 Mistral 7B와 양자화된 TinyLlama 1.1B의 질문-응답 능력의 정확성과 응답 시간 성능을 앙상블 검색 증강 생성 (RAG) 설정에서 비교할 것입니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

목차
- 활성화 기술
- 시스템 아키텍처
- 환경 설정
- 구현
- 결과 및 토론
- 최종 생각

## 활성화 기술

이 테스트는 8GB RAM을 장착한 MacBook Air M1에서 수행됩니다. 계산 및 메모리 자원이 제한되어 있기 때문에 우리는 이 LLM들의 양자화된 버전들을 채택하고 있습니다. 본질적으로 양자화란 모델의 매개변수를 더 적은 비트로 표현하는 것을 의미하며, 이는 모델을 압축하는 효과를 냅니다. 이 압축은 메모리 사용량을 줄이고 더 빠른 실행 시간 및 증가된 에너지 효율성을 가져오지만 정확도를 희생해야 합니다. 이 연구에서는 2비트 양자화된 Mistral 7B Instruct 및 5비트 양자화된 TinyLlama 1.1B Chat 모델을 GGUF 형식으로 사용할 것입니다. GGUF는 모델의 빠른 로딩과 저장을 위해 설계된 이진 형식입니다. 이러한 GGUF 모델을 로드하기 위해 llama-cpp-python 라이브러리를 사용할 것입니다. llama-cpp-python은 llama.cpp 라이브러리에 대한 Python 바인딩입니다.

검색 증가 생성 (RAG)은 LLM의 출력을 향상시키는 과정으로, 응답 생성 이전에 교육 데이터 소스 외부의 신뢰할 수 있는 지식 베이스를 참조하는 것입니다. RAG 응용 프로그램은 문헌에서 관련 문서 조각을 검색하기 위한 검색기 시스템과, 검색된 조각을 컨텍스트로 사용하여 응답을 생성하는 LLM으로 구성됩니다. 검색기는 RAG의 주요 요소이며, 전체 질문-답변 (QA) 시스템의 성능에 상당한 영향을 미칩니다. LLM과 함께 작업할 수 있는 강력한 프레임워크 라이브러리인 LangChain은 재견러(EnsembleRetriever)를 포함하고 있습니다. 재견러는 입력으로 검색기 목록을 받아 상호 순위 조합 알고리즘을 기반으로 결과를 조합하고 재정렬합니다. 서로 다른 알고리즘의 장점을 활용함으로써, 과거에 더 높은 정확도를 달성했다는 것을 보여주었습니다. 본 문서에서 우리는 앙상블을 위해 BM25 검색기와 FAISS 검색기를 0.3:0.7 비율로 결합할 것입니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이러한 지원 요소를 모두 함께 가져오기 위해 시스템 아키텍처를 살펴보겠습니다.

# 시스템 아키텍처

이전 글에서 소개한 모듈식 아키텍처를 재사용할 것입니다. 아래와 같이: 

![아키텍처 이미지](/TIL/assets/img/2024-07-12-QuantizedMistral7BvsTinyLlamaforResource-ConstrainedSystems_1.png)


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이 QA 시스템에는 세 가지 모듈이 있습니다:

- 첫 번째 모듈은 온라인 PDF 문서를 로드하고 벡터화하는 작업을 포함합니다.
- 두 번째 모듈은 양자화된 LLM을 로드하고 FAISS 리트리버를 인스턴스화하며 FAISS와 BM25 리트리버로 구성된 앙상블 리트리버 인스턴스를 만드는 작업을 포함합니다. 이후 LLM, 앙상블 및 사용자 정의 프롬프트를 포함하는 리트리버 체인을 생성합니다.
- 세 번째 모듈은 이 RAG를 위한 도우미 모듈로 작동합니다. 이 모듈은 코사인 유사도 및 모델 응답 시간을 계산하여 질문 세트 전체에서 LLM 성능을客客하게하게 합니다.

구현을 살펴보기 전에, 환경 설정을 먼저 해보겠습니다.

# 환경 설정


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

여기서 사용하는 Python 버전은 3.10.5입니다. 이 프로젝트를 관리하기 위해 가상 환경을 생성할 거에요. 환경을 생성하고 활성화하기 위해 다음 단계를 따라봐요:

```bash
python3.10 -m venv mychat
source mychat/bin/activate
```

이제 모든 필요한 라이브러리를 설치하러 가볼까요? (의존 라이브러리도 함께 설치됩니다):

```bash
pip install langchain==0.0.259
pip install faiss-cpu
pip install rank_bm25
pip install sentence_transformers
CMAKE_ARGS="-DLLAMA_METAL=on" FORCE_CMAKE=1 pip install --upgrade --force-reinstall llama-cpp-python --no-cache-dir
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

최근에 langchain이 리팩토링되었기 때문에 코드에 사용된 특정 버전이 위에 표시되어 있습니다. M1 프로세서에서 하드웨어 가속화를 사용하여 llama-cpp-python 라이브러리를 사용하려면 위의 마지막 설치 명령어는 Metal 지원을 활성화합니다. Metal을 사용하면 연산이 GPU에서 실행됩니다.

faiss-cpu는 GPU가 아닌 CPU를 사용하여 밀도가 높은 벡터의 유사성 검색 및 클러스터링을 위한 효율적인 라이브러리입니다. Okapi BM25로도 알려진 rank_bm25는 문서가 주어진 검색 쿼리와 얼마나 관련되는지를 추정하는 랭킹 함수입니다. sentence-transformers는 문장 및 기타 것들의 임베딩을 계산하는 간단한 방법을 제공합니다.

이제 코드를 살펴볼 준비가 되었습니다.

# 구현


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

저희 시스템 아키텍처에 따르면 LoadVectorize, LLMPerfMonitor 및 주요 모듈이 총 3개의 모듈이 있습니다. 처음 두 모듈은 수정 없이 이전 연구에서 재사용되었습니다. 첫 번째 모듈에서 로드된 샘플 문서는 최근 출시된 600페이지 이상의 가속화 장치 가이드인 SteelHead입니다.

LLM을 로드하기 위해 LlamaCpp 인스턴스를 일반적인 모델 매개변수로 인스턴스화할 것입니다. 모델 GGUF 파일은 이미 미리 다운로드되어 특정 디렉토리에 저장되어 있습니다. Mistral 7B Instruct 또는 TinyLlama Chat 모델을 로드하려면 LlamaCpp 인스턴스의 model_path 속성에 다른 값이 지정되어야 합니다. 그런 다음 FAISS와 BM25 리트리버가 함께 하는 EnsembleRetriever 인스턴스를 생성할 것입니다. 마지막으로 LLamaCpp 인스턴스, EnsembleRetriever 및 프롬프트로 RetrievalQA 체인을 생성할 것입니다.

Mistral 프롬프트는 다음 템플릿을 따릅니다:

`s`[INST] 'context' [/INST]`/s`'question'


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

TinyLlama 프롬프트는 다음과 같습니다:


|system| 'context' </s> |user| 'question' </s> |assistant|


따라서, 아래 코드 목록은 TinyLlama 애플리케이션의 메인 모듈을 나타냅니다.

```python
# main.py
from langchain.retrievers import EnsembleRetriever
from langchain.chains import RetrievalQA
from langchain.prompts import PromptTemplate
from langchain.llms import LlamaCpp
import LoadVectorize
import LLMPerfMonitor
import timeit

# Prompt template 
qa_template = """<|system|>
You are a friendly chatbot who always responds in a precise manner. If answer is 
unknown to you, you will politely say so.
Use the following context to answer the question below:
{context}</s>
<|user|>
{question}</s>
<|assistant|>
"""

# Create a prompt instance 
QA_PROMPT = PromptTemplate.from_template(qa_template)

llm = LlamaCpp(
    model_path="../models/tinyllama_gguf/tinyllama-1.1b-chat-v1.0.Q5_K_M.gguf",
    temperature=0.01,
    max_tokens=2000,
    top_p=1,
    verbose=False,
    n_ctx=2048
)
# load doc, vectorize and create retrievers
db,bm25_r = LoadVectorize.load_db()
faiss_retriever = db.as_retriever(search_type="mmr", search_kwargs={'fetch_k': 3}, max_tokens_limit=1000)
r = 0.3 # ensemble ratio
ensemble_retriever = EnsembleRetriever(retrievers=[bm25_r,faiss_retriever],weights=[r,1-r])
# Custom QA Chain 
qa_chain = RetrievalQA.from_chain_type(
    llm,
    retriever=ensemble_retriever,
    chain_type_kwargs={"prompt": QA_PROMPT}
)

# List of questions 
qa_list = LLMPerfMonitor_EN.get_questions_answers()
print('model;question;cosine;resp_time')
for i,query in enumerate(qa_list[::2]):
   start = timeit.default_timer()
   result = qa_chain({"query": query})
   cos_sim = LLMPerfMonitor_EN.calc_similarity(qa_list[i*2+1],result["result"])
   time = timeit.default_timer() - start # seconds
   print(f'bm25-{r:.1f}_f-{1-r:.1f};Q{i+1};{cos_sim:.5};{time:.2f}')
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 결과 및 토의

응답의 정확성을 이해하기 위해 모델 응답과 전문가의 샘플 답변 사이의 코사인 유사도를 계산했습니다. 예를 들어, 다음은 두 모델에 대해 질문을 제시한 것입니다:

이 질문에 대한 답변은 SteelHead RiOS v9.7입니다. 각 모델의 응답은 아래와 같습니다.

두 LLM이 올바른 코드 버전을 식별할 수 있었습니다. 그러나 둘 다 추가 세부 정보를 포함한 응답이 완전히 정확하지는 않습니다. 특히 TinyLlama에 대해서는 좋은 결과입니다. 10개의 질문에 대한 정확도는 도형 2에 트리맵 차트로 나타냈습니다. Treemap은 내재적 분류 체계를 사용하여 데이터를 효과적으로 표현할 수 있으며 선택한 측정 항목의 크기와 색상 음영을 사용하여 구분할 수 있습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

아래 표는 마크다운 형식으로 변환해 주세요.

이미지는 래이블을 명시해 볼 수는 있지만, Markdown은 이미 HTML인 요소보다 더 적합하고, 깨끗한 마크업을 보여주는 방법입니다. 역할에 따라 Markdown의 사용은 더 효과적일 수 있습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

선택한 질문에 대한 결과를 기반으로 보면, TinyLlama는 정확성 측면에서 꽤 잘 수행했습니다. 더 중요한 점은 더 정확한 Mistral 7B 모델보다 훨씬 더 빠르게 응답할 수 있었습니다. 주장대로라면, TinyLlama는 자원이 제한된 시스템에서 좋은 성능을 보이는 모델로 보입니다.

#최종 생각

몇 달 전 Mistral 7B 모델이 소개된 이후, 오픈 소스 LLM은 정확도에서 큰 발전을 이루었습니다. 내부 문서에서 이 모델이 훈련되지 않았더라도, 우리는 검색 보감 생성(RAG) 설정에서 이 능력을 활용할 수 있습니다. 그러나 이러한 대형 모델을 자원이 제한된 환경에서 실행하는 것은 완전히 현실적이지는 않습니다. 이 곳에서 양자화는 모델의 매개변수에 사용된 비트 수를 줄이는 데 도움이 됩니다. 게다가, 자원 풋프린트가 작은 모델들이 이러한 제한된 환경을 위해 소개되었고, TinyLlama가 그러한 모델 중 하나입니다.

이 기사에서 우리는 정량화된 Mistral 7B Instruct와 TinyLlama 1.1B Chat의 정확성과 질문 응답 시간을 비교했습니다. 정확성 측면에서 큰 모델 Mistral 7B가 TinyLlama보다 여전히 우수하지만, 응답 시간 측면에서 TinyLlama의 응답이 Mistral 7B보다 훨씬 빨랐습니다. 한 예에서 TinyLlama의 응답 시간이 Mistral 7B보다 17배 빨랐습니다. 따라서 정확도에 약간의 하락이 허용되는 애플리케이션의 경우, TinyLlama는 자원이 제한된 시스템에 완벽하게 적합합니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

안녕하세요!

# 참고 자료

[1] https://huggingface.co/TinyLlama/TinyLlama-1.1B-Chat-v1.0
[2] https://python.langchain.com/docs/modules/data_connection/retrievers/ensemble
[3] Mistral 7B를 사용하여 앙상블 리트리버의 컨텍스트와 함께 내부 문서 조사하기

리소스가 제한된 시스템을 위한 Quantized Mistral 7B vs TinyLlama 비교분석

<img src="/TIL/assets/img/2024-07-12-PandasLoadingdataintoaDataFrame_0.png" />

판다스는 파이썬 데이터 라이브러리 중 주축에 서 있으며, 데이터 조작을 위한 다양한 함수 보물 묶음을 제공합니다. 핵심은 데이터프레임(DataFrame)으로, 이를 사용하여 테이블 형식의 데이터를 쉽게 저장하고 조작할 수 있습니다.

## 타이타닉 데이터셋 불러오기

다음은 캐글(Kaggle)에서 다운로드할 수 있는 데이터셋 링크입니다. [링크 바로가기](https://www.kaggle.com/competitions/titanic/data?select=train.csv)


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>


![Pandas Loading Data into a DataFrame](/TIL/assets/img/2024-07-12-PandasLoadingdataintoaDataFrame_1.png)

타이타닉 데이터셋은 카글에서 제공하는 클래식한 챌린지로, 비극적인 타이타닉 호에 탑승한 승객들에 대한 데이터를 제공합니다. 이 데이터셋을 Pandas DataFrame으로 로드해보겠습니다:

```python
import pandas as pd
# 타이타닉 데이터셋 로드
titanic_df = pd.read_csv('train.csv')
# 처음 몇 행 확인
print(titanic_df.head())
```

이 코드 조각은 타이타닉 CSV 파일을 DataFrame으로 읽어와 우리가 분석할 데이터를 엿볼 수 있도록 해줍니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

더 깊게 파기

이제, 판다스를 사용하여 타이타닉 데이터셋에서 수행할 수 있는 몇 가지 더 많은 작업을 살펴봅시다:

생존율 분석

타이타닉에 관한 가장 감동적인 질문 중 하나는 생존과 관련이 있습니다. 우리는 판다스를 사용하여 다양한 기능에 기반한 생존율을 분석할 수 있습니다:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
# 클래스별 생존률 계산
생존률 = titanic_df.groupby('Pclass')['Survived'].mean()
print(생존률)
```

이 코드는 승객 클래스별로 데이터를 그룹화하고 각 클래스의 평균 생존률을 계산합니다.

기능 엔지니어링: 가족 규모 열 생성

기존 데이터에서 새로운 기능을 만들어 추가 정보를 얻을 수 있습니다. 예를 들어 'FamilySize' 열을 만들어보겠습니다:



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
# Create a new column for family size
titanic_df['FamilySize'] = titanic_df['SibSp'] + titanic_df['Parch'] + 1
# Analyze survival rates by family size
family_survival = titanic_df.groupby('FamilySize')['Survived'].mean()
print(family_survival)
```

이 코드 블록은 DataFrame에 새 열을 추가하고, 그런 다음 가족 규모별로 데이터를 그룹화하여 생존율에 영향을 미쳤는지 확인합니다.

로딩 매개변수 조정

데이터를 로드하는 방식을 더 세밀하게 조정해야 할 때가 있습니다. Pandas는 이 과정을 세밀하게 조정할 수 있는 많은 매개변수를 제공합니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
# 행을 건너뛰고 누락된 값 설정 및 열 제한을 위한 매개변수 조정
df = pd.read_csv('train.csv', skiprows=4, na_values=['?'], usecols=['Name', 'Sex', 'Age'])
```

여러분은 행을 건너뛰고 누락된 값 처리를 할 수 있으며 특정 열만을 선택하여 로드할 수 있습니다.

DataFrame 미리보기

로드된 후에는 모든 것이 올바르게 보이는지 확인하기 위해 DataFrame을 미리보는 것이 좋습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```python
# DataFrame의 첫 몇 행 미리보기
print(df.head())
# DataFrame의 마지막 몇 행 미리보기
print(df.tail())
```

이러한 방법들은 데이터를 로드한 후 빠르게 데이터의 개요를 제공해줍니다.

요약 통계량 사용하기

판다스는 요약 통계량을 통해 데이터의 포괄적인 개요를 제공하는 데 뛰어납니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>


# Get summary statistics for numerical columns
print(df.describe())
# Get summary statistics for all columns including categorical
print(df.describe(include='all'))


이 명령어들은 데이터셋의 중심 경향성, 분산 및 형태를 요약하는 기술통계를 생성합니다.

# 동물원 프로젝트의 더 많은 예제

배운 내용을 더 실용적으로 적용해 보겠습니다 — 동물원 프로젝트입니다. 데이터를 로드하고 정리한 다음, 각 동물 종에 대한 평균 식량 필요량을 계산해 봅시다:



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
# 동물원 데이터 분석
zoo_df = pd.read_csv('zoo_data.csv')
# 데이터 정제
zoo_df.dropna(inplace=True)
# 종 별 평균 사료 소비량 계산
average_food = zoo_df.groupby('species')['food_per_day'].mean()
print(average_food)
```

메소드 체이닝: 코드를 더 깔끔하게 작성하는 방법

판다스의 메소드 체이닝을 사용하면 한 줄 안에 여러 작업을 쉽게 수행할 수 있습니다. 각 메소드가 다음으로 자연스럽게 이어지는 책의 장이라고 생각해보세요.

```js
import pandas as pd
# 샘플 동물원 데이터
data = {
    'Animal': ['사자', '호랑이', '곰', '얼룩말'],
    '이름': ['레오', '줄무늬', '발루', '자라'],
    '나이': [5, 7, 3, 4],
    '무게': [250, 220, 350, 380]
}
zoo_df = pd.DataFrame(data)
# 메소드 체이닝 예시
zoo_df.assign(월령=lambda x: x['나이'] * 12).sort_values(by='나이')
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

위의 예에서 우리는 먼저 나이를 월로 변환한 다음 나이를 기준으로 DataFrame을 정렬합니다. 이 모든 작업을 한 표현식으로 처리합니다. 이렇게 하면 코드가 더 깔끔해지고 더 효율적으로 됩니다. 

```js
결과
  동물 이름   나이   무게  월 단위 나이
2 Bear   Baloo   3   350       36
3 Zebra  Zara    4   380       48
0 Lion   Leo     5   250       60
1 Tiger  Stripes 7   220       84
```

데이터 정렬 및 순위 매기기: 데이터 조직화

데이터를 정렬하는 것은 가장 중요한 항목이나 덜 중요한 항목을 분석할 때 중요합니다. 판다스는 이러한 작업을 위해 sort_values() 및 sort_index()를 제공합니다. 반면에 순위 매기기는 데이터에 순위를 할당하여 리더보드와 유사하게 만듭니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
# 체중순으로 정렬
sorted_zoo = zoo_df.sort_values(by='Weight', ascending=False)
# 나이순으로 동물 순위 매기기
zoo_df['Age_rank'] = zoo_df['Age'].rank(method='min', ascending=False)
```

데이터 걸러내기 및 그룹화: 데이터 살펴보기

필터링을 통해 특정 기준을 충족하는 데이터만 볼 수 있습니다. groupby()와 함께 사용되는 그룹화로 카테고리화된 데이터에 대한 작업을 수행할 수 있습니다.

```js
# 300 파운드 이상의 동물 필터링
heavy_animals = zoo_df[zoo_df['Weight'] > 300]
# 동물 종류별로 그룹핑하여 평균 체중 계산
avg_weight_by_animal = zoo_df.groupby('Animal')['Weight'].mean()
우리의 동물 데이터셋에 대한 통찰을 제공하기 위해 동물공원 프로젝트를 위한 복잡한 코드 예제를 함께 구성해 보겠습니다. 동물원 주민을 필터링, 정렬, 순위 매기는 메소드를 연쇄적으로 적용하여 데이터를 처리할 것입니다.
# 동물원 프로젝트를 위한 복잡한 메소드 체이닝
(zoo_df
  .query('Weight >= 200')
  .assign(Age_in_months=lambda x: x['Age'] * 12)
  .sort_values(by=['Animal', 'Age_in_months'], ascending=[True, False])
  .groupby('Animal')
  .agg({'Name': 'first', 'Age_in_months': 'max', 'Weight': 'mean'})
  .rename(columns={'Name': 'Oldest_Animal', 'Age_in_months': 'Oldest_Age', 'Weight': 'Avg_Weight'})
  .reset_index()
)
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
결과
    동물      가장 나이 많은 동물    가장 나이     평균 무게
0    곰       발루           36            50.0
1    사자      레오           60           250.0
2    호랑이    스트라이프     84           220.0
3    얼룩말    자라           48           380.0
```

이 블록에서는 200 파운드보다 무겁지 않은 동물을 걸러내고, 나이를 개월로 변환하며, 동물 유형과 나이순으로 정렬하여 동물 유형별로 그룹화한 다음, 가장 나이 많은 동물과 평균 무게를 찾기 위해 집계합니다. 이를 통해 데이터를 명확하고 조직적으로 볼 수 있으며, 추가 분석이나 보고에 이상적입니다.

계속해서 찾아주시기 바랍니다 (-̀ᴗ-́ )و

이전 포스트: `- Pandas: 파이썬에서 데이터 분석의 중추`


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

다음 - Pandas: 데이터 정리 및 변형

Pandas DataFrame에 데이터 로드하는 방법

<img src="/TIL/assets/img/2024-07-12-ICreatedAPythonPackageToPrintBinaryTreesForFun_0.png" />

이번에 이진 트리와 힙을 다루다가, 나만의 트리를 빠르고 쉽게 표시하고 시각화하는 방법이 필요했어요.

그래서 온라인에서 Python 패키지를 검색해보니 몇 개가 그 역할을 해줄 수 있었어요. 그래도 사용하기가 귀찮은 경우가 많았어요.

기존 솔루션을 사용하고 코드를 약간 더 써가며 내 시간을 낭비하는 대신, 개발자들이 흔히 하는 것처럼, 몇 일을 허비해서 처음부터 내가 직접 패키지를 만들기로 결정했죠.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 내 패키지 — print-btree

내 패키지를 설치하는 방법:

```js
pip install print-btree
```

Github: https://github.com/zlliu246/print_btree


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 기본 사용 방법

```js
from print_btree import print_btree

class Node:
    def __init__(self, val):
        self.val = val
        self.left = None
        self.right = None

# 이진 트리를 만드세요
root = Node(1)
root.left = Node(2)
root.right = Node(3)
root.left.left = Node(4)
root.left.right = Node(5)

print_btree(root)

'''

 __1__
 |   |
_2_  3 
| |    
4 5   

'''
```

만약 이진 트리 Node가 .val .left 및 .right를 사용한다면, print_btree 함수를 간단히 가져와 트리를 출력할 수 있습니다

# 노드가 다른 이름을 사용하는 경우 어떻게 하나요?


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
from print_btree import print_btree

class BNode:
    def __init__(self, value):
        self.value = value
        self.left_node = None
        self.right_node = None

root = BNode(1)
root.left_node = BNode(2)
root.right_node = BNode(3)
root.left_node.left_node = BNode(4)
root.left_node.right_node = BNode(5)
root.right_node.right_node = BNode(100)

# we pass in the names here
print_btree(root, 
            val='value',
            left='left_node',
            right='right_node')

'''

 __1__
 |   |
_2_  3__
| |    |
4 5   100

'''
```

저희 클래스는 다음과 같이 사용합니다:

- 노드 대신 BNode
- .val 대신 .value
- .left 대신 .left_node
- .right 대신 .right_node

문제없이 이 이름들을 print_btree에 전달할 수 있습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 일부로 매우 긴 값 이름을 지원합니다

```js
from print_btree import print_btree

class Node:
    def __init__(self, val):
        self.val = val
        self.left = None
        self.right = None

root = Node('apple')
root.left = Node('pie')
root.right = Node('juice')
root.left.left = Node('pear')
root.left.right = Node('pineapplejuice')
root.right.right = Node('durian')

print_btree(root)

'''
       ________apple________
       |                   |
 _____pie_____           juice_
 |           |                |
pear   pineapplejuice       durian

'''
```

물론, Node(`appleorangepearwithcherriesontop`) 같은 값이 들어있는 경우, 출력된 이진 트리 모양은 여전히 잘못 보일 수 있어요

# 빠른 논리 요약


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

가정하에 이진 트리를 출력해야 한다고 가정합시다.

```python
class Node:
    def __init__(self, val):
        self.val = val
        self.left = None
        self.right = None

root = Node('apple')
root.left = Node('pie')
root.right = Node('juice')
root.left.left = Node('pear')
root.left.right = Node('pineapplejuice')
root.right.right = Node('durian')

'''
       ________apple________
       |                   |
 _____pie_____           juice_
 |           |                |
pear   pineapplejuice       durian
'''
```

단계 1) 이진 트리를 2D 리스트로 변환하세요.

```python
# 입력
root

# 출력
[
    ['apple'],
    ['pie', 'juice'],
    ['pear', 'pineapplejuice', None, 'durian']
]

# 참고: None 값은 순서를 유지하기 위해 유지됩니다.
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

테이블 태그를 마크다운 형식으로 변경해주세요.

Step 2) 가장 아래에 있는 목록에서 문자열 생성하기

```js
['pear', 'pineapplejuice', None, 'durian']

# 다음과 같은 형태로 변환

'pear   pineapplejuice  ?   durian'

# None 값은 ?으로 변환됩니다
```

Step 3) 이전 문자열에서 값과 일치하는 파이프 |를 포함하는 문자열 생성하기

```js
# 다음과 같은 문자열에서
'pear   pineapplejuice  ?   durian'

# 다음을 생성
' |           |          |    |'


# 현재는 트리의 기초만 갖추어져 있습니다
'''
 |           |         |     |
pear   pineapplejuice  ?   durian
'''
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

"4단계) 다음으로 아래에 있는 목록에서 문자열 생성하기

```js
# from 
['pie', 'juice']    # 그리고
' |        |      |      |  '

# generate
' _____pie_____           juice_'


# 현재 우리가 가지고 있는 것
'''
 _____pie_____          _juice_
 |           |          |     |
pear   pineapplejuice   ?   durian
'''
```

5단계) 루트에 도달할 때까지 단계 3과 4 반복하기

```js
'''
 _____pie_____          _juice_
 |           |          |     |
pear   pineapplejuice   ?   durian
'''

# 다음으로

'''
       |                   |
 _____pie_____          _juice_
 |           |          |     |
pear   pineapplejuice   ?   durian
'''

# 그리고 아래처럼 변환됩니다

'''
       ________apple________
       |                   |
 _____pie_____          _juice_
 |           |          |     |
pear   pineapplejuice   ?   durian
'''


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 결론

이 작은 프로젝트가 이진 트리와 힙 등을 다룰 때 조금이나마 도움이 되었으면 좋겠어요.

만약 버그를 발견하거나 이 패키지에 대한 제안이 있으시다면 언제든지 알려주세요!

응원합니다


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 만약 제가 만든 작품을 지원하고 싶다면

- 제 책을 구입해주세요! — 101가지 파이썬에 대해 몰랐던 것들
- 구입처: [여기를 클릭하세요](https://payhip.com/b/vywcf)
- 이 이야기에 박수를 50번 치십시오
- 여러분의 생각을 댓글로 나누어 주세요
- 이야기 중에서 가장 좋아하는 부분을 강조해 주세요

감사합니다! 이런 작은 동작들이 큰 도움이 되고, 저는 정말로 감사하게 생각합니다!

YouTube: [여기를 클릭하세요](https://www.youtube.com/@zlliu246)


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

LinkedIn: [https://www.linkedin.com/in/zlliu/](https://www.linkedin.com/in/zlliu/)

Posts