![Hugging Face](/TIL/assets/img/2024-07-09-AComprehensiveGuideforGettingStartedwithHuggingFace_0.png)

대규모 언어 모델들의 급격한 발전으로 다양한 작업을 해결하기 위해 적용되는 경우가 많아졌으며, Hugging Face에 대한 지식은 반드시 알아둬야 할 필수요소가 되었습니다.

왜 Hugging Face를 사용해야 할까요? Hugging Face는 다양한 오픈 소스 모델에 대한 접근성을 제공하는 데 중요한 역할을 합니다. 이 플랫폼 덕분에 데이터 과학자, 개발자 및 연구자들은 최신 모델을 쉽게 탐색하고 활용할 수 있습니다.

본문에서는 Hugging Face의 잠재력, 이를 활용하는 방법 및 가능한 사용 사례에 대해 설명하겠습니다. 시작해봅시다!



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

목차:

- Hugging Face란 무엇인가요?
- Hugging Face의 기본 구성 요소
- Open LLM Leaderboard란 무엇인가요?
- Hugging Face에 접근하는 방법
- Hugging Face로 놀기 시작하기
- Transformers 라이브러리 활용하기

## Hugging Face란 무엇인가요?

<img src="/TIL/assets/img/2024-07-09-AComprehensiveGuideforGettingStartedwithHuggingFace_1.png" />



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

허깅페이스는 다양한 작업을 위한 사전 훈련 모델에 민주적인 접근을 제공하는 허브입니다. 번역, 요약, 질의응답, 객체 감지, 이미지 분할 등 다양한 작업에 사용됩니다. 사용자들이 오픈 소스 모델에 기여할 것을 장려합니다.

이 중심화된 저장소의 매력은 허깅페이스 트랜스포머(Hugging Face Transformers)로, 모델을 쉽게 다운로드하고 불러오며 미세 조정할 수 있는 매우 인기 있는 파이썬 라이브러리입니다.

모델뿐만 아니라 데이터셋과 기계 학습 데모인 허깅페이스 스페이스(Hugging Face Spaces)도 호스팅합니다.

## 허깅페이스의 기본 구성요소



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

허깅페이스에는 모델, 데이터셋 및 스페이스 세 가지 주요 구성 요소가 있어요.

![image](/TIL/assets/img/2024-07-09-AComprehensiveGuideforGettingStartedwithHuggingFace_2.png)

모델 페이지에 들어가보면 수많은 오픈소스 모델로 인해 압도될 수 있지만 걱정 마세요. 먼저 해결하고자 하는 작업을 식별한 후 해당 작업으로 필터링하는 것이 권장됩니다. 작업을 선택한 후에는 인기도와 다운로드 횟수 같은 다양한 기준에 따라 모델을 정렬할 수 있어요.

![image](/TIL/assets/img/2024-07-09-AComprehensiveGuideforGettingStartedwithHuggingFace_3.png)



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

모델과 마찬가지로, 다양한 종류의 데이터셋이 있어서 다양한 작업에 활용할 수 있습니다. 이전과 마찬가지로 최종 목표에 따라 작업별로 필터링하고 결과를 정렬하는 것이 중요합니다.

![이미지](/TIL/assets/img/2024-07-09-AComprehensiveGuideforGettingStartedwithHuggingFace_4.png)

마지막으로, Hugging Face 스페이스라는 기계 학습 데모를 빠르게 살펴볼 수 있습니다. Hugging Face 스페이스에서는 Streamlit, Gradio, 그리고 FastAPI를 기반으로 한 대화형 애플리케이션을 통해 모델을 실행할 수 있습니다. 다시 말해, Hugging Face 스페이스를 통해 직관적인 인터페이스를 통해 간접적으로 모델과 상호 작용할 수 있습니다.

![이미지](/TIL/assets/img/2024-07-09-AComprehensiveGuideforGettingStartedwithHuggingFace_5.png)



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

위에는 입력 텍스트로부터 이미지를 생성하는 전문 공간 예시가 있습니다. 이 데모인 PixArt-Sigma는 4K 해상도에서 이미지를 생성할 수 있는 PixArt-Sigma 1024px 확산 변환 모델을 활용합니다.

## 오픈 LLM 리더보드란?

![image](/TIL/assets/img/2024-07-09-AComprehensiveGuideforGettingStartedwithHuggingFace_6.png)

Hugging Face의 또 다른 중요한 기여는 오픈 LLM 리더보드입니다. 이는 오픈 소스 LLMs와 챗봇을 추적하고 평가할 수 있는 머신 러닝 데모 또는 Hugging Face 공간입니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

모델 페이지와 마찬가지로 사용 가능한 모델이 너무 많습니다. 과업을 해결하기 위해 필요한 모델 유형을 식별한 후 이를 기반으로 결과를 필터링하는 것이 좋습니다.

![이미지](/TIL/assets/img/2024-07-09-AComprehensiveGuideforGettingStartedwithHuggingFace_7.png)

예를 들어, 처음부터 훈련된 모델만 추적하길 원한다고 가정해 봅시다. 이 경우 "사전 훈련된 모델"을 선택하여 필터링해야 합니다.

필터를 수정하면 리더보드 상단의 모델 대부분이 Meta 및 Databricks와 같은 대규모 기술 회사에서 나온 것을 알 수 있을 것입니다. 이것은 모든 회사가 이러한 대규모 모델을 훈련시키기에 컴퓨팅 능력을 갖추지 못한 이유입니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

## Hugging Face에 접속하는 방법

![hugging-face-image](/TIL/assets/img/2024-07-09-AComprehensiveGuideforGettingStartedwithHuggingFace_8.png)

노트북에서 Hugging Face의 모델과 데이터셋에 액세스하려면 먼저 Hugging Face API 키가 필요합니다. 계정이 아직 없다면 만들어야 합니다. 계정이 생성되면 Settings`Access Tokens`을 클릭하고 "New token" 버튼을 누릅니다.

![hugging-face-image](/TIL/assets/img/2024-07-09-AComprehensiveGuideforGettingStartedwithHuggingFace_9.png)



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

토큰의 이름인 HF_TOKEN과 해당 토큰의 유형을 결정하세요. 이 유형은 read 또는 write 중 하나로 선택할 수 있습니다. 모델을 다운로드하거나 모델에서 추론을 실행하는 경우 read를 선택하면 가장 일반적인 선택지입니다. 모델을 훈련시키려면 write를 선택하는 것이 좋습니다.

![이미지](/TIL/assets/img/2024-07-09-AComprehensiveGuideforGettingStartedwithHuggingFace_10.png)

그걸로 끝입니다! 우리는 Hugging Face에서 첫 번째 액세스 토큰을 생성했습니다. 액세스 토큰에 대해 더 깊이 알아보고 싶다면, Hugging Face 문서를 살펴보세요.

## Hugging Face와 놀기 시작



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

<img src="https://miro.medium.com/v2/resize:fit:1400/1*2AywAoMAEN5v8VG8wIFU7Q.gif" />

Hugging Face의 개념이 명확해지면, 이제는 자습서의 실제 부분으로 넘어가는 시간입니다. 영어에서 이탈리아어로 텍스트를 번역하는 모델을 찾고 싶다고 가정해 봅시다. 다음은 다음과 같은 단계입니다:

- 모델 페이지로 이동
- 번역을 작업으로 선택
- 이탈리아어를 언어로 선택

우리는 트렌딩 순으로 정렬된 첫 번째 결과 중에서 나타나는 모델 NLLB-200을 선택하기로 결정했습니다. 모델의 웹 페이지에는 프로젝트 목적에 따라 유용할 수 있는 다양한 버튼도 포함되어 있습니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

![이미지](/TIL/assets/img/2024-07-09-AComprehensiveGuideforGettingStartedwithHuggingFace_11.png)

이 경우에는 모델을 로드하는 코드 라인을 얻기 위해 "Transformers에서 사용" 버튼을 클릭하면 됩니다.

## Transformers 라이브러리 활용

실험을 진행할 경우, Google Colab을 사용하는 것을 추천드립니다. Google Colab은 코드를 웹 브라우저에서 실행하며 CPU 또는 GPU 리소스에 액세스할 수 있는 클라우드 기반 플랫폼입니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

또한, 이 환경은 이전에 얻은 허깅페이스의 액세스 키와 같은 환경 변수를 간단히 가져오는 것을 가능하게 합니다.

구글 코랩을 열고, Secrets로 이동하여 “새로운 비밀”을 클릭하고 허깅페이스 액세스 토큰의 이름과 값을 복사하면 됩니다. 또한, 노트북 액세스를 토글하는 것을 잊지 마세요!

![이미지](https://miro.medium.com/v2/resize:fit:1400/1*Td3lFpVFua1VnP8vsogu3g.gif)

설치해야 할 라이브러리가 있습니다:



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
pip install transformers
```

이 Python 라이브러리를 시작하려면 파이프라인()을 사용하여 추론, 모델 로드, 및 학습을 하는 것이 좋습니다. 이 경우에는 모델 NLLB-200을 로드하려고 합니다.

간단히 "Transformers에서 사용하기" 버튼에서 찾은 코드를 복사하면 됩니다. 아래는 약간의 수정이 필요한 코드입니다:

```js
from transformers import pipeline
import torch

translator = pipeline(task="translation",
                      model="facebook/nllb-200-distilled-600M",
                      torch_dtype=torch.bfloat16
                      )
```



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

pipeline()은 번역 작업용 모델 NLLB-200을 다운로드하고 캐시합니다. 이러한 매개변수들 외에도, 모델을 압축하는 데 성능이 감소하지 않는 torch의 유형을 지정합니다.

이제 이를 사용하여 텍스트를 번역할 수 있습니다:

```js
text = """
ChatGPT 개발자 OpenAI는 단 한 번의 짧은 오디오 샘플만 있으면 인간의 목소리를 재현할 수 있는 새로운 도구를 소개했다.\
이 도구는 고도의 정확도로 음성을 복제하려는 기술 회사들이 개발한 여러 도구 중 하나이다.\
시스템의 이름은 Voice Engine입니다. OpenAI는 3월 29일 Voice Engine에 관한 세부 정보를 공개했다.\
"""

text_translated = translator(text,
                             src_lang="eng_Latn",
                             tgt_lang="ita_Latn")

print(text_translated[0]['translation_text'])
```

이것이 출력 내용입니다:



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
OpenAI의 ChatGPT 개발자가 새로운 도구를 소개했어요!
그 도구는 짧은 음성 샘플을 사용하여 인간의 목소리를 재현할 수 있다고 해요.
이 도구는 음성을 높은 정확도로 복제하기 위해 기술 기업들이 개발한 여러 도구 중 하나에요.
이 시스템의 이름은 Voice Engine이에요. OpenAI는 3월 29일 Voice Engine에 대한 세부 정보를 공개했어요.
```

좋아요! 우리가 과제를 해결했네요. 쉬웠죠?

## 최종 생각

이것은 Hugging Face를 시작하는 데 도움이 되는 입문 가이드였어요. Transformers는 상위 모델, 특히 NLP 모델에 쉽게 액세스할 수 있게 해주는 파이썬 라이브러리에요.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이 플랫폼과 파이썬 라이브러리에 대해 더 깊이 파고들고 싶다면, 아래에서 제안하는 리소스를 살펴보세요.

이 글이 유용하게 느껴졌으면 좋겠어요. 즐거운 하루 보내세요!

유용한 리소스:

- Hugging Face 문서
- Hugging Face 무료 강좌
- Hugging Face와 함께하는 오픈소스 모델 강좌

Hugging Face 시작을 위한 종합 가이드

2024년 최신 LangChain, Python, Heroku 사용 방법 실제 사용 사례와 팁

딕셔너리를 순회하는 방법을 배울 거에요. 딕셔너리는 여러 가지 방법으로 정보를 저장할 수 있기 때문에 이를 순회하는 다양한 방법이 있어요. 주어진 딕셔너리의 키, 값 또는 모든 키-값 쌍을 순회할 수 있어요.

## 키-값 쌍을 순회하기

세 개의 키-값 쌍을 포함하는 scientist_0 딕셔너리를 고려해봐요:

```js
# 파일 이름: scientist.py

scientist_0 = {
    'username': 'rfeynman',
    'first name': 'richard',
    'last name': 'feynman',
    }

for key, value in scientist_0.items():
    print(f"\n키: {key}")
    print(f"값: {value}")
```



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

루프에 대한 예시를 보면, 코드를 실행하면 다음과 같이 결과가 나옵니다

```js
$ python3 scientist.py

Key: username
Value: rfeynman

Key: first name
Value: richard

Key: last name
Value: feynman
```

이후에 자세히 설명하겠습니다.

키와 값에 대해 간단히 k와 v를 사용할 수 있습니다. 따라서 아래와 같이 코드를 작성하면 (특히 루프 부분을 참조하십시오), Python이 이전 코드와 정확히 동일하게 이해합니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
# 파일 이름: scientist.py

scientist_0 = {
    'username': 'rfeynman',
    'first name': 'richard',
    'last name': 'feynman',
    }

for k, v in scientist_0.items():
    print(f"\nKey: {k}")
    print(f"Value: {v}")
```

위의 for 문에서 scientist_0 사전의 이름 뒤에 items() 메서드가 따라옵니다. 이 메서드는 키-값 쌍을 반환합니다. 그런 다음 각 키-값 쌍이 여기에서 Key와 Value로 정의된 두 변수에 할당됩니다.

## 키값만 루핑

items() 메서드 대신 keys() 메서드를 사용하면 사전의 키만을 순회할 수 있습니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
# file name: scientist_hobby.py

scientist_hobby = {
    'einstein': '바이올린',
    'feynman': '봉고',
    'dirac': '사색',
    }

for name in scientist_hobby.keys():
    print(name.title())
```

위 코드에서는 scientist_hobby라는 사전이 정의되어 있습니다. 이 사전은 이름이 과학자의 이름이고 값이 과학자의 취미인 세 개의 키-값 쌍으로 이루어져 있습니다. 만약 여기서 값이 아닌 과학자들의 이름인 키만 필요하다면, keys() 메서드를 사용하면 됩니다.

```js
$ python3 scientist_hobby.py
Einstein
Feynman
Dirac
```

위 코드를 실행하면 사전의 키만을 반환합니다. 여기서 간단히 언급하고 싶은데, 이러한 상황(값이 아닌 키만 반환하는 것)은 keys() 메서드를 특별히 지정하지 않을 때의 기본 동작입니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```python
# 파일명: scientist_hobby.py

scientist_hobby = {
    'einstein': '바이올린',
    'feynman': '봉고',
    'dirac': '사색',
    }

for anything in scientist_hobby:
    print(anything.title())
```

위 코드에서 .keys()를 제외하였지만, 이 코드를 실행하면 과학자들의 이름만 반환하여 결과는 똑같이 나올 것입니다.

알파벳 순서로 키를 순회하고 싶다면 sorted() 메서드를 사용할 수 있습니다:

```python
# 파일명: scientist_hobby.py

scientist_hobby = {
    'einstein': '바이올린',
    'feynman': '봉고',
    'dirac': '사색',
    }

for name in sorted(scientist_hobby.keys()):
    print(name.title())
```



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

위의 코드를 실행하면 다음과 같이 됩니다

```js
$ python3 scientist_hobby.py
Dirac
Einstein
Feynman
```

## 값만 반복

상담하신 것처럼, 우리는 키가 없는 값의 순서를 반환하기 위해 위에서 논의한 keys() 메소드와 대조해서 values() 메소드를 사용할 수 있습니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
# 파일 이름: scientist_hobby.py

scientist_hobby = {
    'einstein': 'violin',
    'feynman': 'bongo',
    'dirac': 'pondering',
    'heisenberg': 'violin',
    }

print("이러한 취미가 언급되었습니다:")
for hobby in scientist_hobby.values():
    print(hobby.title())
```

위의 코드를 실행하면 다음이 반환됩니다:

```js
$ python3 scientist_hobby.py
이러한 취미가 언급되었습니다:
Violin
Bongo
Pondering
Violin
```

여기서 바이올린은 두 명이 동일한 취미를 가지고 있기 때문에 반복됩니다. 이러한 종류의 반복을 방지하고 싶은 경우 아래에 표시된 대로 set() 메소드를 사용할 수 있습니다:



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```python
# file name: scientist_hobby.py

scientist_hobby = {
    'einstein': 'violin',
    'feynman': 'bongo',
    'dirac': 'pondering',
    'heisenberg': 'violin',
    }

print("These hobbies have been mentioned:")
for hobby in set(scientist_hobby.values()):
    print(hobby.title())
```

```python
$ python3 scientist_hobby.py
These hobbies have been mentioned:
Violin
Pondering
Bongo
```

Now Violin is returned only once.

One can also make a set using braces ({}). However, in contrast to a dictionary where a set of key-value pairs are given inside '{}', in a set each single element should be separated by a comma.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
>>> 취미 = {'바이올린', '봉고', '사색', '바이올린', '봉고'}
>>> 취미
{'사색', '바이올린', '봉고'}
```

딕셔너리와 집합 사이의 차이를 알아두면 혼란을 방지할 수 있어요.

![이미지](/TIL/assets/img/2024-07-09-StartCodingwithPython5DictionariespartIIlooping_0.png)

![이미지](/TIL/assets/img/2024-07-09-StartCodingwithPython5DictionariespartIIlooping_1.png)



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

![image](/TIL/assets/img/2024-07-09-StartCodingwithPython5DictionariespartIIlooping_2.png)

파이썬으로 코딩 시작하기 5 딕셔너리 part II  반복문 사용법

## PYTHON

![Python Image](/TIL/assets/img/2024-07-09-SuperchargeyourPythonCodewithRuff_0.png)

아직 프로젝트에서 Black, isort, 그리고 Flake8을 사용하고 계신가요? 업그레이드할 때입니다.

새로운 도구가 나왔습니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 러프

러프는 찰리 마시의 열정 프로젝트로 시작되었습니다.

그는 더 빠른 Python 린터를 만들기로 결심했습니다.

가장 큰 Python 프로젝트 중 일부가 그것을 사용하기 시작하자, Python 생태계를 더 생산적으로 만들기 위해 고성능 개발자 도구를 구축하여 소프트웨어를 더 빨리 출시할 수 있도록 하는 기회를 보았습니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

Ruff는 러스트로 작성된 매우 빠른 Python 린터 및 코드 포매터입니다.

그 얼마나 빠른지 궁금하신가요? 이 이미지가 모두를 알려줍니다.

![Supercharge your Python Code with Ruff](/TIL/assets/img/2024-07-09-SuperchargeyourPythonCodewithRuff_1.png)

Ruff는 Flake8(그리고 수십 개의 플러그인), Black, isort, pydocstyle, pyupgrade, autoflake 등을 대체할 수 있으며, 10~100배의 속도 향상을 자랑합니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

VS Code 및 다양한 다른 통합을 위한 일등 서비스 편집기 통합을 제공합니다.

Ruff는 Airflow, Hugging Face, Pandas와 같은 주요 오픈 소스 프로젝트에서 활발히 사용됩니다.

## 사용자들이 말하는 것

FastAPI 창시자 Sebastián Ramírez:



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

닉 쉬록은 Elementl의 창립자이자 GraphQL의 공동 창시자입니다.

# 빠른 속도의 비결

럼프의 놀라운 속도는 주로 러스트 기반의 아키텍처 덕분에 가능합니다. 러스트는 성능과 안정성으로 유명하여, 럼프가 다른 도구들보다 빠른 린팅 및 포매팅 서비스를 제공할 수 있게 해줬습니다.

이 효율성은 러스트의 성능 능력을 통해 이루어지며, 변경되지 않은 파일의 재분석을 방지하는 내장 캐싱 시스템과 개발 과정 전반에 걸쳐 성능 최적화에 초점을 맞춘 덕분입니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

대규모 코드베이스에서도 하위 초 반응 루프를 제공하도록 설계된 Ruff는 린팅 및 형식 지정 작업을 기다리는 시간을 줄여 개발자들의 삶의 질을 크게 향상시킵니다.

궁금하시다면, 웹사이트에서 Ruff가 코드를 파싱하는 방식을 탐색할 수 있는 플레이그라운드가 준비되어 있습니다.

![Ruff Playground](/TIL/assets/img/2024-07-09-SuperchargeyourPythonCodewithRuff_2.png)

해당 페이지에는 AST, 토큰, 형식 지정 IR(중간 표현), 그리고 형식 지정 주석을 보여줍니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

하지만 더 이상 말이 필요 없어요. 직접 해보는 것이 최선이죠!

# 테스트 드라이브

## 설치

Ruff는 PyPI에서 ruff로 사용할 수 있습니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
pip install ruff
```

마니매 진행 및 확인하기 Manim, the animation engine 3blue1brown이 수학 비디오에서 사용하는 엔진입니다.

<img src="/TIL/assets/img/2024-07-09-SuperchargeyourPythonCodewithRuff_3.png" />

## 코드 분석



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

코드에 린터를 실행하려면, 다음과 같이 사용합니다.

```js
ruff check .
```

하나의 파일에 대해 실행하려면, 다음과 같이 하세요.

```js
ruff check <filename.py>
```



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

총 415개의 오류가 있었어요. 이 중 33개는 수정할 수 있어요!

![이미지](/TIL/assets/img/2024-07-09-SuperchargeyourPythonCodewithRuff_4.png)

해결하기 위해선 다음과 같이 --fix 플래그를 사용해요

```js
ruff check --fix .
```



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

<img src="/TIL/assets/img/2024-07-09-SuperchargeyourPythonCodewithRuff_5.png" />

알 수 있듯이, 33개가 수정되었고, 383개가 남아 있습니다.

## 포맷팅

포맷팅을 위해 ruff 형식을 사용합니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
format을 변경하십시오.
```

<img src="/TIL/assets/img/2024-07-09-SuperchargeyourPythonCodewithRuff_6.png" />

아마도 당신은 이렇게 Ruff를 사용하지 않을 것이며, 에디터를 사용하고 있기 때문에, 이제 설정하는 방법을 살펴봅시다!

# VS Code에서 사용하기



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

VSCode 확장 프로그램을 설치해보세요.

이제 "모든 자동 수정 가능한 문제 해결"만으로 쉽게 해결할 수 있어요!

![이미지](https://miro.medium.com/v2/resize:fit:1400/0*kF8S-U62dWreNT6M.gif)

게다가 더 좋은 점은 저장할 때도 이 작업을 할 수 있다는 거예요.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

## 저장 시 형식 지정

만약 Ruff가 lint 위반을 자동으로 수정하고, import를 정리하며 저장할 때 형식을 지정하길 원한다면, 설정 파일인 settings.json으로 이동하세요.

다음을 추가하세요.

```js
"[python]": {
  "editor.formatOnSave": true,
  "editor.codeActionsOnSave": {
    "source.fixAll": "explicit",
    "source.organizeImports": "explicit"
  },
  "editor.defaultFormatter": "charliermarsh.ruff"
}
```



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

테이블 태그를 마크다운 형식으로 변경하실 수 있습니다.

Ruff가 유형 또는 저장 시 실행되기를 원하는지에 따라 다릅니다. 기본적으로 유형에 실행되지만, 저는 저장 시에 실행되기를 선호합니다.

```js
"ruff.lint.run": "onSave",
```

## 주피터 노트북

이 확장 프로그램으로 노트북에서 서식 지정, 린팅, 그리고 가져오기 정리를 위한 명령어를 사용할 수 있습니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

오른쪽 코드 조작으로 변경하세요.

![사진](https://miro.medium.com/v2/resize:fit:1400/0*0qBmSIfB0VVP2au_.gif)

저장 시에도 이를 사용하려면 아래 코드를 추가하세요.

```js
"notebook.formatOnSave.enabled": true,
"notebook.codeActionsOnSave": {
  "source.fixAll.ruff": true,
  "source.organizeImports.ruff": true
}
```

# pre-commit 사용하기



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

프리 커밋을 사용하려면 Ruff의 프리 커밋 후크를 추가하는 방법입니다.

```js
- repo: https://github.com/astral-sh/ruff-pre-commit
  # Ruff 버전.
  rev: v0.2.2
  hooks:
    # 린터 실행.
    - id: ruff
      types_or: [ python, pyi, jupyter ]
      args: [ --fix ]
    # 포매터 실행.
    - id: ruff-format
      types_or: [ python, pyi, jupyter ]
```

# CLI로 Jupyter 노트북 사용

만약 노트북을 위해 CLI를 사용 중이라면, pyproject.toml이나 ruff.toml 중 하나에 이 줄을 추가해야 합니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
extend-include = ["*.ipynb"]
```

# 더 많은 통합 기능

많은 다른 통합 기능들을 지원합니다. Vim도 포함돼요!

<img src="/TIL/assets/img/2024-07-09-SuperchargeyourPythonCodewithRuff_7.png" />



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# Ruff에 대해 더 알아보기

여기까지입니다! Ruff에 관한 더 많은 콘텐츠를 원한다면 아래 링크를 확인해보세요 👇

- Matt Layman이 Python 프로젝트를 Ruff로 전환하는 라이브 스트림 시청하기
- Flake8 및 PyLint를 작별하고 Ruff로 더 빠른 린팅하기
- Ruff: 빠른 Python 린터 [LWN.net]
- Ruff로 업그레이드할 때입니다 — Eric J. Ma의 개인 사이트
- 코드 품질을 향상시키는 가장 빠른 방법: Ruff 린터 사용하기

# 읽어 주셔서 감사합니다



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

bitgrit 데이터 과학 게시물을 구독하고 최신 소식을 받아보세요!

다른 데이터 과학자들과 최신 데이터 과학 및 인공지능 개발에 대해 함께 이야기하고 싶나요? 저희 디스코드 서버에 가입해보세요!

워크숍 및 다가오는 대회 소식을 받아보려면 Bitgrit를 팔로우해주세요!

Discord | 웹사이트 | 트위터 | 링크드인 | 인스타그램 | 페이스북 | 유튜브

Ruff로 파이썬 코드를 강화하는 방법

RNN LSTM부터 Temporal Fusion Transformers와 Lag-Llama까지 최신 시계열 예측 기술들

MLOps는 AI 통합과 혁신을 위한 기계 학습 모델과 실제 응용 프로그램 사이의 다리 역할을 합니다.

![MLOps](/TIL/assets/img/2024-07-09-WhatisMLOpsMachineLearningOperationsExplained_0.png)

저희가 사는 세상의 모든 측면에 AI가 통합된 시대에, 실리콘 밸리의 작은 팀이 기계 학습과 상호 작용하는 방식을 바꿀 수 있는 위험을 감지했습니다.

MLOps의 심층적인 내용을 밝혀냄으로써, 기계 학습 모델과 현실 세계 응용 프로그램 간의 간극을 메우는 역할을 발견할 수 있습니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

저는 MLOps의 복잡성을 안내해 드릴 거에요. 기계 학습 모델의 배포, 모니터링 및 관리를 어떻게 가속화하는지 보여 드릴 거예요.

# Machine Learning Operations (MLOps)란 무엇인가요?

MLOps는 기계 학습 운영(Machine Learning Operations)을 의미하며, 기계 학습 시스템의 개발(Dev) 및 운영(Ops)을 통합하기 위해 제안된 최상의 실천 방법의 모음을 지칭합니다.

MLOps는 DevOps 철학 중 일부 중요한 요소를 통합하여 데이터 과학 및 운영 전문가의 개선된 커뮤니케이션, 협력 및 통합 작업을 도입합니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

그 의미에서 MLOps는 기계 학습 시스템이 직면하는 독특한 도전에 대응하도록 설계되었습니다.

# MLOps의 주요 구성 요소

![이미지](/TIL/assets/img/2024-07-09-WhatisMLOpsMachineLearningOperationsExplained_1.png)

MLOps에는 다양한 구성 요소가 있습니다:



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

- 데이터 관리: 데이터 관리는 특정 기술을 통해 데이터 획득, 저장 및 전처리를 통합하는 과정을 포함합니다. 적절한 데이터 관리는 모델 훈련을 위한 데이터의 품질과 접근성을 보장할 수 있습니다.
- 모델 개발 및 훈련: 모델은 다양한 기계 학습 알고리즘을 통해 개발되며, 그런 다음 해당 모델은 데이터를 사용하여 훈련됩니다. 모델 개발을 위한 적절한 프레임워크와 도구를 포함합니다.
- 모델 버전 관리: 소프트웨어 개발에서의 코드 버전 관리와 같이, 이 접근 방식은 관련된 데이터 세트와 함께 모델의 다양한 버전을 유지하여 모델 변경과 반복을 관리하는 것을 용이하게 합니다.
- 배포: 훈련된 모델을 제품 환경으로 통합하는 과정으로, 이후에 새로운 데이터를 기반으로 예측하거나 조치를 취할 수 있게 됩니다.
- 모델 모니터링 및 관리: 배포 이후, 모델은 가끔씩 성능과 정확도를 모니터링해야 합니다. 데이터나 비즈니스 요구 사항의 변경에 응답하여 모델을 업데이트하는 모델 관리가 필요합니다.
- 자동화 및 오케스트레이션: 규모에 맞는 기곌 학습 파이프라인 내에서의 작업 자동화와 조율은 중요합니다. 이는 데이터 전처리, 모델 훈련, 테스트 및 배포 과정을 자동화하는 것을 의미합니다.
- 협업 및 거버넌스: 데이터 과학자, 엔지니어 및 비즈니스 이해 관계자 간의 유대감을 도와주는 메커니즘으로, 윤리적 AI 실천, 보안 및 규정 준수에 관한 거버넌스가 필요합니다.

이 통합은 MLOps의 기초가 되며, 팀은 기계 학습 모델을 효율적이고 효과적으로 생성, 배포 및 관리할 수 있습니다.

# MLOps의 주요 이점

기관은 기계 학습 모델의 흐름 내에서 MLOps를 구현함으로써 여러 이점을 얻을 수 있습니다. 일부 주요 이점은 다음과 같습니다:



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

- Time to Market: MLOps는 기계 학습의 라이프사이클을 데이터 준비 단계부터 모델 준비 단계까지의 시간을 단축시켜 모델로 배포하는 데 소요되는 시간을 줄입니다. 이로써 제품 모델을 성공적으로 도입하는 데 걸리는 시간을 단축시킵니다.
- 향상된 모델 품질과 성능: 모델들의 지속적인 워크플로우 - 통합, 배포 및 모니터링 - 은 모델이 항상 최적으로 작동하여 가장 정확한 결과를 제공하도록 합니다.
- 협업: MLOps는 데이터 과학자, 개발자 및 운영 엔지니어간 협업을 개선하여 목표를 공유하고 효과적으로 함께 일할 수 있도록합니다.
- 확장성: MLOps의 모범 사례 및 도구는 기계 학습 운영을 확장할 수 있도록 도와줍니다. 이로써 여러 모델과 대량의 데이터를 효과적으로 처리하는 것이 용이해집니다.
- 재현성 및 추적성: MLOps는 모델과 데이터의 버전 관리를 가능하게 함으로써 재현 가능한 실험과 명확한 이력을 통한 변경 사항의 추적을 보장하여 책임과 투명성을 더합니다.
- 비용 효율성: 반복적인 작업의 자동화 및 자원 최적화를 통해 기계 학습 프로젝트 주변의 작업을 수행하는 데 드라마틱하게 줄어든 비용을 제공합니다.
- 규제 준수 및 보안: MLOps는 감사 모델, 데이터 프라이버시, 보안 조치를 검토할 수 있는 메커니즘을 제공하여 거버넌스 및 규제 준수를 허용합니다.

기계 학습 프로젝트에 포함된 MLOps는 기업들이 AI 시스템의 배포와 유지를 돕는 데 문제를 쉽게 해결할 수 있게 합니다.

# MLOps의 도구 및 기술

MLOps 생태계의 일부인 여러 도구와 기술들이 ML 라이프사이클의 다양한 단계를 지원하기 위해 개발되었습니다. 아래에는 일반적으로 MLOps에서 사용되는 가장 중요한 도구와 기술 중 일부가 소개되어 있습니다:



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

- 데이터 관리 및 버전 관리: DVC(Data Version Control)와 LakeFS와 같은 도구들은 데이터 관리와 버전 관리를 돕고, 이를 통해 머신 러닝 프로젝트를 재현 가능하고 추적 가능하게 합니다.
- 실험 추적: MLflow 플랫폼과 Weights & Biases는 실험 추적 프레임워크를 내장하여 실험을 추적하고 매개변수 및 결과를 기록하며, 데이터 과학자가 실험을 비교하고 관리할 수 있게 합니다.
- 모델 개발 프레임워크: 머신 러닝 모델 개발을 지원하는 인기 있는 라이브러리와 프레임워크에는 TensorFlow, PyTorch 및 Scikit-learn이 포함됩니다.
- 모델 버전 및 레지스트리: MLflow Model Registry와 DVC가 모델의 버전 관리를 처리하여 해당 메타데이터를 포함하고 올바른 모델을 추적하는 것을 쉽게 합니다.
- 워크플로 오케스트레이션 및 자동화: Apache Airflow와 Kubeflow Pipelines는 데이터 전처리부터 모델 학습 및 배포까지 머신 러닝 워크플로를 자동화할 수 있습니다. 이로써 프로세스에서 일관성과 효율성을 약속합니다.
- 모델 배포: TensorFlow Serving, TorchServe 및 Kubernetes를 사용하여 개발된 모델을 실제 세계에서 프로덕션 규모로 배포하는 프로세스로, 이러한 방식으로 실제 업무 부하를 효과적으로 처리할 수 있습니다.
- 모델 모니터링 및 운영: 이 프로세스는 모델의 성능과 운영 상태를 Prometheus, Grafana 및 AI를 사용하여 모니터링하고, 정의된 정상 범위나 임계값을 벗어났을 경우 해당 팀에 경고를 보냅니다.
- 버전 관리 및 협업: Git 및 GitHub 도구는 버전 관리와 협업을 지원합니다. 이를 통해 파일 버전을 제어하고 프로젝트의 소프트웨어 개발자팀과 협업할 수 있습니다.

이러한 도구와 기술들은 MLOps 툴킷의 주요 구성 요소로, 어떤 프로젝트에서도 MLOps를 롤아웃, 채택 및 실천하는 데 도움이 됩니다.

# DevOps vs MLOps

![MLOps 이미지](/TIL/assets/img/2024-07-09-WhatisMLOpsMachineLearningOperationsExplained_2.png)



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

비록 데브옵스(DevOps)와 엠엘옵스(MLOps)는 개발과 운영이 어떻게 이루어져야 하는지에 대한 유사한 목표를 향하지만, 머신 러닝 프로젝트가 가져다주는 도전에 따라 차이가 발생합니다. 엠엘옵스와 데브옵스의 차이점은 다음과 같습니다:

- 데이터와 모델에 초점: 데브옵스는 소프트웨어 개발 프로세스를 중점으로 두며 코드의 통합, 테스트, 배포를 강조하지만, 엠엘옵스는 데이터 버전 관리와 모델 훈련을 포함하여 배포에 이르기까지 모델의 라이프사이클을 보완함으로써 머신 러닝의 핵심인 코드 외에 다른 측면을 다룹니다.
- 데이터 출처와 모델 버전 관리: 엠엘옵스에서는 모델 버전 관리가 매우 중요하며 코드 뿐만 아니라 데이터와 모델도 버전 관리됩니다. 이는 모델의 출처를 재현하고 이해하는 능력에 중요하며, 이는 보통 데브옵스에서 다루지 않는 영역입니다.
- 지속적인 훈련과 모니터링: 데브옵스가 지속적인 통합 및 배포를 갖고 있다면, 엠엘옵스는 모델의 지속적인 훈련과 모니터링을 포함합니다. 이는 모델이 새로운 데이터로 지속적으로 재훈련되어야 하며 모델 성능이 시간이 지남에 따라 모니터링되어야 한다는 것을 반영합니다.
- 실험 및 평가: 다양한 모델 아키텍처와 매개변수 설정에 대해 유연한 실험을 가능하게 하며, 실험 추적, 결과 및 모델 평가를 추적하는 도구는 엠엘옵스의 핵심입니다. 그러나 이러한 부분은 전통적인 데브옵스의 중심에 있지 않습니다.
- 다양한 팀 간의 협업: 엠엘옵스는 데이터 과학자, 데이터 엔지니어, 머신 러닝 엔지니어 및 운영팀과 긴밀히 협업해야 합니다. 반면 데브옵스는 개발과 IT 운영 사이의 연결을 강조합니다. 엠엘옵스는 데이터와 모델 관리에 중점을 둔 역할을 통합함으로써 또 다른 층을 더하였습니다.
- 확장성과 거버넌스 도전: 엠엘옵스는 머신 러닝 모델의 확장과 이러한 리소스의 효율적인 거버넌스에 특유의 도전에 직면할 것입니다. 또한 이는 소프트웨어 개발에서 만나는 것보다 비교적 더 복잡한 거버넌스, 윤리 및 규정 이슈에 대처할 수 있어야 합니다.

요약하면, 엠엘옵스는 머신 러닝 프로젝트의 특수 요구 사항을 고려해 데브옵스의 원칙을 적용 및 확장합니다. 모델의 라이프사이클은 개발부터 배포 및 모니터링까지 끝까지 고려하여 데이터 관리, 모델 버전 관리 및 지속적인 개선을 다룹니다.

# 엠엘옵스에서의 Best Practices



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

MLOps를 수용하려면 올바른 장치와 최상의 실천 방법을 준수해야 합니다. 이는 AI 워크플로우의 원활한 작동을 보장합니다. 여기 MLOps에서의 절대적인 Best Practices 목록입니다:

- 머신 러닝 라이프사이클 자동화: 가능한 한 데이터 준비, 모델 개발, 평가 및 구현과 같은 머신 러닝 프로세스를 자동화합니다. 이 접근 방식은 인적 오류를 최소화하고 생산성을 향상시킵니다.
- 모든 것을 버전 관리: 코드, 데이터 세트, 모델 및 실험 로그를 포함한 모든 구성 요소에 대해 버전 관리 메커니즘을 적용합니다. 이러한 방법은 일관성, 책임성 및 필요할 때 이전 반복으로 되돌아갈 수 있는 능력을 보장합니다.
- 모델을 위한 CI/CD(Continuous Integration/Continuous Delivery) 설정: 소프트웨어 엔지니어링에서의 관행을 반영하여 머신 러닝 프로젝트에 지속적인 통합 및 지속적인 배포 방법론을 적용하여 자동화된 테스트와 원활한 모델 배포를 보장합니다.
- 생산 중인 모델 모니터링: 배포된 모델을 지속적으로 관찰하여 성능이나 정확도의 저하를 주시합니다. 비정상적인 활동에 대한 자동화된 알림을 설정하고 필요에 따라 모델 업데이트 및 재배포 프로세스를 간소화합니다.
- 모델 관리와 윤리 실행: 윤리적 고려사항, 규정 준수 및 데이터 프라이버시를 다루는 프레임워크를 개발합니다. 모델이 어떻게 결정을 내리고 데이터를 사용하는지에 대한 투명성을 확보합니다.
- 팀 간 협업 강화: 데이터 과학자, ML 엔지니어 및 운영 직원 간의 협업 환경을 조성하여 정확성뿐만 아니라 확장 가능하고 지속 가능한 모델을 생산합니다.
- 데이터 품질 강조: 훈련 및 추론에 사용되는 데이터가 품질이 높은지 확인합니다. 편향, 누락된 값, 소음과 같은 문제를 해결합니다. 데이터 원천 및 전처리 단계를 정기적으로 감사합니다.
- 지식 문서화 및 공유: 모델, 데이터 원천, 실험 및 결정을 문서화합니다. 팀 내부 및 조직 전체에서 지식을 공유하여 학습 및 지속적인 개선 문화를 구축합니다.

이러한 절차를 따르면 조직은 MLOps의 장점을 극대화하여 AI 모델이 효율적이고 성공적으로 생성, 전송 및 유지되도록 보장하며 가치와 성장을 이끌어냅니다.

# 실제 적용 사례



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

<img src="/TIL/assets/img/2024-07-09-WhatisMLOpsMachineLearningOperationsExplained_3.png" />

MLOps은 이론적인 개념뿐만 아니라 다양한 산업 분야에서 현실 세계 문제 해결을 위해 적용될 수 있습니다. 아래는 MLOps가 실무에서 활용되는 몇 가지 예시입니다:

- **의료 분야:** 의료 분야에서는 환자 결과 예측, 진단 지원, 그리고 치료 계획 개인화를 예측하는 모델을 배포하고 관리하는 데 MLOps가 활용됩니다. 지속적인 모니터링은 모델이 새로운 데이터에 적응하여 정확도와 환자 치료를 향상시킵니다.
- **금융 분야:** 은행 및 금융 기관은 신용 위험 모델 관리, 사기 거래 감지, 그리고 개인화된 고객 서비스에 MLOps를 활용합니다. MLOps를 통해 이러한 모델들이 최신 상태를 유지하고 새로운 데이터가 입력될 때 잘 수행되도록 보장합니다.
- **소매 분야:** 소매업체는 재고 최적화, 제품 추천, 그리고 공급망 관리를 위해 MLOps를 활용합니다. MLOps는 변화하는 소비자 행동과 시장 트렌드에 적응하는 모델들을 신속하게 배포하는 것을 돕습니다.
- **제조업:** 제조업에서는 예측 유지보수, 품질 통제, 그리고 공정 최적화를 촉진하는데 MLOps를 활용합니다. 모델은 지속적으로 모니터링되고 업데이트되어 다운타임을 예방하고 효율성을 향상시킵니다.
- **자율 주행차:** MLOps는 자율 주행을 위한 모델 개발과 배포를 지원하며, 차량에서 수집된 새로운 데이터를 통해 업데이트되어 안전성과 성능을 향상시키는 것을 보장합니다.
- **엔터테인먼트:** 스트리밍 서비스는 콘텐츠 추천 개인화, 사용자 경험 향상, 스트리밍 품질 최적화에 MLOps를 적용합니다. 모델의 지속적인 개선이 시청자의 참여를 유지하는 데 중요합니다.

이러한 예시들은 다양한 분야에서 MLOps의 다재다능성과 영향을 보여줍니다. 기계 학습 모델의 효율적인 배포와 관리를 가능케 함으로써 MLOps는 기업이 AI의 힘을 활용하여 혁신을 추구하고 운영 효율성을 향상시키며 고객 경험을 개인화하는 데 도움이 됩니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 결론

요약하면, MLOps는 기계 학습 개발과 운영을 연결해주는 다리 역할을 하며, 기계 학습 모델의 배포 및 유지보수를 간소화하고 향상시키는 것을 목표로 합니다.

MLOps를 숙달하고 능숙한 데이터 과학자가 되기 위한 여정은 지속적인 학습과 실전 연습으로 마련되어 있습니다.

원본 게시물: https://www.stratascratch.com.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# Stackademic 🎓

끝까지 읽어주셔서 감사합니다. 떠나시기 전에:

- 작가를 응원하고 팔로우해주시면 감사하겠습니다! 👏
- 다음 계정도 팔로우해주세요: X | LinkedIn | YouTube | Discord
- 다른 플랫폼도 방문해주세요: In Plain English | CoFeed | Differ
- 더 많은 콘텐츠는 Stackademic.com에서 확인하실 수 있습니다.

MLOps란  머신러닝 운영 쉽게 이해하기

## 파이썬 프로그래밍

![image](/TIL/assets/img/2024-07-09-OptimizingPandasCodeTheImpactofOperationSequence_0.png)

Pandas는 데이터프레임에서 작업할 때 환상적인 프레임워크를 제공합니다. 데이터 과학에서는 작은 데이터프레임부터 크고 때로는 아주 큰 데이터프레임까지 다룹니다. 작은 데이터프레임을 분석하는 것은 매우 빠를 수 있지만, 큰 데이터프레임에서 심지어 단일 작업도 상당한 시간이 걸릴 수 있습니다.

이 글에서는 종종 데이터프레임에서 작업 순서를 바꿈으로써 이 시간을 단축시킬 수 있다는 것을 보여 드리겠습니다. 이 작업은 사실상 아무 비용도 들지 않는 방법입니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

다음 데이터프레임을 상상해봅시다:

```js
import pandas as pd

n = 1_000_000
df = pd.DataFrame({
    letter: list(range(n))
    for letter in "abcdefghijklmnopqrstuwxyz"
})
```

100만 행과 25개의 열을 갖고 있어요. 이렇게 큰 데이터프레임에서 다양한 작업을 수행하면 현재 개인 컴퓨터에서 눈에 띌 것입니다.

가령, 다음 조건을 따르는 행만 필터링하여 가져와야 한다고 상상해보죠: `a` 50,000이상 그리고 `b` 3,000이상, 그리고 `a`, `b`, `g`, `n`, `x` 열 다섯 개만 선택해야 한다면, 다음과 같이 할 수 있어요:



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
subdf = df[take_cols];
subdf = subdf[subdf["a"] < 50_000];
subdf = subdf[subdf["b"] > 3000];
```

위 코드에서는 먼저 필요한 열을 가져와서 행을 필터링합니다. 동일한 결과를 얻을 수 있으며, 연산의 순서를 바꿔서 먼저 필터링을 수행한 다음 열을 선택할 수도 있습니다:

```js
subdf = df[df["a"] < 50_000];
subdf = subdf[subdf["b"] > 3000];
subdf = subdf[take_cols];
```

더불어 Pandas 연산을 연결하여 동일한 결과를 얻을 수도 있습니다. 해당 명령의 연결은 다음과 같습니다:



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
# 칼럼을 먼저 선택한 다음 행을 필터링합니다.
df.filter(take_cols).query(query)

# 행을 먼저 필터링한 다음 칼럼을 선택합니다.
df.query(query).filter(take_cols)
```

df가 크기 때문에 네 가지 버전 간 성능이 다를 것으로 예상됩니다. 어느 것이 가장 빠를까요? 가장 느릴까요?

# 벤치마크

이 작업을 벤치마크해보겠습니다. timeit 모듈을 사용할 것입니다:



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

아니면 IPython 쉘에서 이용 가능한 버전입니다.

저희의 벤치마크는 다음과 같습니다:

![벤치마크 이미지](/TIL/assets/img/2024-07-09-OptimizingPandasCodeTheImpactofOperationSequence_1.png)

다음 섹션에서는 벤치마크 결과를 분석한 후 결과를 해석하겠습니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 결과

## Bracketing: 열 선택한 다음 행 필터링하기 (16.5 ms)

```js
subdf = df[take_cols];
subdf = subdf[subdf["a"] < 50_000];
subdf = subdf[subdf["b"] > 3000];
```

이 코드에서는 Tipycal Pandas 코드로 괄호, 불리언 인덱싱 및 대입을 사용했습니다. 예상 결과를 얻기 위해 다음 순서대로 세 줄을 사용했습니다: 먼저 열 하위 집합을 선택하고 그런 다음 두 개의 필터링 조건을 순차적으로 적용했습니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

네 가지 접근법 중에서 이 방법은 비교적 빨랐어요 — 하지만 가장 빠른 방법은 아니었어요. 먼저 열을 선택하면 df 데이터프레임의 너비가 줄어들지만, 데이터프레임이 큰 이유는 주로 너비가 아니라 행의 수 때문이에요. 이렇게요¹:

```js
In [7]: n_of_elements = lambda d: d.shape[0]*d.shape[1]

In [8]: n_of_elements(df)
Out[8]: 25000000

In [9]: n_of_elements(df.filter(take_cols))
Out[9]: 5000000

In  [10]: n_of_elements(df.query(query))
Out [10]: 1174975
```

보시다시피 열을 먼저 제거할 때 (df.filter(take_cols)), 500만 개 요소를 갖는 데이터프레임을 얻을 수 있고, 행을 먼저 필터링할 때 (df.query(query))는 100만 개가 넘는 요소를 가진 데이터프레임을 얻게 돼요. 이는 네 배 이상 작은 크기에요.

불필요한 열을 먼저 제거하면 불필요한 행을 먼저 제거하는 것보다 작업이 느려질 것이 당연해요 — 다음 섹션에서 보여줄게요.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

## 괄호 사용: 행 필터링 후 열 선택 (10.7 ms)

```js
subdf = df[df["a"] < 50_000];
subdf = subdf[subdf["b"] > 3000];
subdf = subdf[take_cols];
```

이 코드는 브래킷, 부울 인덱싱, 및 할당을 기반으로 한 전형적인 판다스 코드를 사용하지만, 이번에는 데이터프레임의 크기를 줄이기 위해 먼저 행이 필터링됩니다. 그런 다음 선택된 열이 가져와집니다.

이는 시험한 네 가지 방법 중에서 명백히 가장 빠른 방법입니다. 효율성 향상은 데이터프레임 크기의 초기 감소로 인해 얻어지며, 결과적으로 후속 단계에서 처리해야 하는 더 작은 데이터셋을 제공합니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이전 방법과 이 접근 방식에서 우리는 진정한 벡터화된 Pandas 코드를 사용했습니다. 이는 직접 부울 인덱싱을 사용했다는 것을 의미합니다. 이론적으로 가장 성능이 우수한 Pandas 코드를 제공하는 것은 벡터화된 연산이며, 그것을 볼 수 있습니다. 두 가지 버전 간의 차이는 우리가 방금 분석한 내용에서 나타납니다: 데이터프레임 크기를 가장 줄일 것으로 생각되는 이 작업을 먼저 사용해야 합니다.

## Pipes: 열 선택 후 행 필터링 (26.0 ms)

```python
df.filter(take_cols).query(query)
```

이 코드는 연결된 Pandas 연산을 사용합니다. 먼저 행을 필터링한 다음 필요한 열을 가져옵니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

판다스 데이터프레임의 .query() 메서드는 전통적인 판다스/넘파이 의미의 벡터화된 연산을 사용하지 않습니다. 대신, numexpr Python 패키지를 사용합니다. 이론적으로는 문서에 설명된 대로,

우리가 실험한 결과로는 불리언 인덱싱을 기반으로 한 벡터화된 연산보다 속도가 느린 것을 확인했습니다.

우리의 벤치마크로 돌아와서, 이 코드는 관찰된 코드 중에서 분명히 가장 느립니다. 이에는 두 가지 이유가 있습니다: 판다스 연산을 연쇄적으로 하는 것이 벡터화하는 것보다 느리며, 우리가 방금 논의한 대로, 먼저 열의 수를 줄이는 것이 먼저 행을 필터링하는 것보다 이 데이터셋에 효율적이지 않습니다. .filter() 메서드는 데이터프레임의 크기를 줄이지만, 이 감소는 .query()를 사용하여 행 수를 줄인 후에 얻은 감소보다 4배 이상 작습니다.

## Pipes: 행을 필터링한 다음 열을 선택합니다 (17.3 ms)



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
df.query(query).filter(take_cols);
```

이 코드는 이전 것의 개선된 버전으로 간주할 수 있습니다. 이미 필요 없는 행을 먼저 없애야 하고, 그 후에 필요한 열을 선택해야 한다는 것을 알고 있습니다. 이 코드는 Pandas 연산을 연쇄적으로 수행하여 이 작업을 수행합니다.

이 방법은 이전 방법(열을 선택한 후 .query()가 적용되는 파이프)보다 효율적이지만, 여전히 해당 벡터화된 코드와 성능이 맞지는 않습니다. 덜 효과적인 순서에서 벡터화된 코드와 거의 유사한 성능을 보입니다.

# 해석



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

[본문 내용]

벤치마크 결과에서는 다음과 같은 관찰이 일어났습니다. 이는 벡터화된 연산과 연산 순서의 중요성을 강조합니다:

- 먼저 벡터화된 행 필터링: 결과는 데이터프레임 크기를 최대한 처음에 줄이는 것의 중요성을 강조합니다. 먼저 행의 수를 줄이면 이후의 작업(우리의 경우, 열 선택)이 더 작은 데이터셋에서 작동하므로 속도가 향상됩니다.
- 열 선택의 효율성: 열 선택으로 워크플로우를 시작하면 데이터프레임을 좁힘으로써 메모리 사용량을 줄일 수 있습니다. 이는 실행 시간을 줄이는데 이어집니다. 그러나 이 줄임이 행 필터링으로 시작했을 때보다 작습니다. 따라서 이 버전은 처리 속도에 최적화되어 있지 않습니다.
- 연쇄적인 작업: 이는 이 기사의 주제가 아니지만, Pandas 작업을 연쇄하는 것은 벡터화하는 것보다 효율적이지 않음을 관찰했습니다. 파이프의 실행 시간 (17.3 ms 및 26 ms)은 이 현상을 보여줍니다. 해당 시간은 해당 벡터화된 작업(각각 10.7 ms 및 16.5 ms)보다 더 느립니다.

그러나 이해해야 할 점은 이해가 일반적이 아니라는 것입니다. 이는 우리의 벤치마크 및 분석한 특정 시나리오를 참조합니다.

여러분에게 연습 문제를 남기겠습니다: `50_000 또는 b` 3000 중 어떤 행 필터링을 먼저 적용하느냐에 따라 어떤 영향이 있을까요?



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 행보다 열이 많음

위에서는 행보다 열이 더 많은 데이터프레임을 다루었지만, 상황이 정반대인 경우는 어떨까요? 즉, 훨씬 많은 열이 있고 훨씬 적은 행이 있는 데이터프레임을 다루는 경우를 생각해보겠습니다.

위에서 배운 내용을 바탕으로, 우리가 작업 순서를 선택하는 주요 기준은 결과 데이터프레임의 크기입니다. 그래서 다음 시나리오를 분석해봅시다:

![이미지](/TIL/assets/img/2024-07-09-OptimizingPandasCodeTheImpactofOperationSequence_2.png)



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이거 봤어요? 718 µs 대 121 ms로 첫 번째 접근 방식(먼저 열을 선택)이 훨씬 빠릅니다. 거의 170 배나 빠르죠! 그 이유는 이전과 같아요 — 첫 번째 작업 후 데이터프레임의 크기 때문이에요. 이번에는 차이가 엄청나죠:

![이미지](/TIL/assets/img/2024-07-09-OptimizingPandasCodeTheImpactofOperationSequence_3.png)

두 번째 작업도 매우 다른 크기의 데이터프레임에서 작동합니다:

![이미지](/TIL/assets/img/2024-07-09-OptimizingPandasCodeTheImpactofOperationSequence_4.png)



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

Pandas 연쇄 작업은 이러한 데이터프레임에 대해 매우 비효율적으로 작동하는 흥미로운 점입니다:

![Image](/TIL/assets/img/2024-07-09-OptimizingPandasCodeTheImpactofOperationSequence_5.png)

열을 먼저 처리했음에도 불구하고 이 파이프는 위의 느린 작업보다 시간을 세 배나 적게 소요했음을 유념하세요. 순서를 바꾼 상태의 대응하는 파이프를 벤치마킹 해보려고 했지만, 3시간 후에 벤치마킹을 종료했습니다:

![Image](/TIL/assets/img/2024-07-09-OptimizingPandasCodeTheImpactofOperationSequence_6.png)



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

테이블 태그를 마크다운 형식으로 변경해 보겠습니다.

# 결론

저희 실험은 판다스에서 데이터 조작의 중요한 원칙을 보여줍니다: 가능한 한 빨리 데이터셋 크기를 줄이는 것이 성능을 크게 향상시킬 수 있습니다, 특히 벡터화된 행 필터링 작업을 통해.

이 권장 사항은 놀랍지 않을 수 있지만 상당히 분명해 보입니다. 과거에 가끔 이를 따르지 못한 적이 있었는데, 앞으로는 판다스 작업의 순서에 대해 생각해야겠다고 확실히 기억하겠습니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

작은 데이터프레임을 대화식 세션에서 분석할 때는 성능 차이를 무시하고 선호하는 코드를 사용해도 됩니다. 그러나 실제 운영 코드에서는 작은 데이터프레임이나 대규모 데이터프레임을 분석할 때 작업 순서가 상당한 차이를 만들 수 있습니다.

첫 번째 예시에서 행 필터링을 열 선택보다 먼저 적용하는 것이 더 효율적인 전략으로 나타났습니다. 그러나 이는 일반적으로 나타나는 현상은 아니며 데이터프레임에 따라 다릅니다.

우리는 데이터프레임의 요소 수를 주요 기준으로 사용했지만, 데이터프레임이 길거나 넓은지도 중요한 점입니다. 요소 수가 동일한 두 데이터프레임을 분석했을 때 성능에 큰 차이를 확인했습니다.

따라서 성능이 중요하다면 각각의 데이터프레임을 개별적으로 분석하고 모양과 크기를 고려하여 작업 순서를 신중히 선택해야 합니다. 이 통찰력은 특히 대용량 데이터셋을 다룰 때 판다스 워크플로를 최적화하는 데 매우 소중합니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

요약해 봅시다. 저희의 벤치마크는 Pandas 작업을 구현하는 데 다음과 같은 주요 통찰을 제공합니다:

- Pandas 작업에 벡터화를 적용하면 Pandas 작업을 연쇄하는 것보다 성능이 더 우수한 코드를 얻을 수 있습니다.
- 일반적으로 여러 Pandas 작업을 포함하는 성능이 우수한 코드를 구현하려면 데이터프레임의 모양과 크기에 따라 후속 단계에서 데이터프레임의 크기를 가장 크게 줄일 작업부터 시작하고, 이를 가장 적게 줄이는 작업으로 끝냅니다.
- 성능이 중요한 경우, 데이터프레임의 모양과 크기를 고려하여 각 코드 조각을 개별적으로 최적화합니다.

# 각주

¹ 이 코드에서는 다음 람다 정의를 사용하여 명명된 함수를 정의했습니다:



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
In [7]: n_of_elements = lambda d: d.shape[0]*d.shape[1]
```

네, 이름 붙은 람다 정의를 사용했어요. 여기에서 설명한 대로:

이론적으로는 이름 붙은 람다를 사용하지 말아야 하지만,

여기에서는 이 규칙의 예외를 보여드려요: 저장이나 배포되지 않는 데이터 분석 코드를 사용할 때요.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

재밌게도, 이 정확한 코드를 배포했어요. 하지만 반항적으로 하는 게 아니라 어떤 점을 강조하기 위해서였죠.

Pandas 코드 최적화 연산 순서가 미치는 영향

일상적인 프로덕션 프로젝트에서 사용하는 파이썬 도구들  Part I

인과 검증과 인과 추론에서 V-구조의 중요성과 그 역할 이해하기

## 거래 결정 도구

![Trading Index](/TIL/assets/img/2024-07-09-BuildyourowntradingindexwithPython_0.png)

맞춤 지수는 자산 구성 및 가중치에 대한 유연성과 제어를 제공하여 전통적인 지수와 비교했을 때 투자 전략을 더 잘 반영할 수 있는 고유한 기준을 제공합니다. 이 기사에서는 Python을 사용하여 맞춤 지수를 작성하는 방법을 안내하겠습니다.

## 왜 맞춤 지수를 사용해야 하나요?



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

- 유연성: 특정 투자 또는 거래 전략에 맞게 지수를 맞춤 설정할 수 있습니다.
- 통제: 자산 포함 및 가중 기준을 사용자 정의할 수 있습니다.
- 혁신: 투자 및 거래 모두에서 경쟁 우위를 제공할 수 있는 독특한 지수 개발

## 미국 달러 지수를 계산하는 이유

역사적 가격을 찾을 수 있는 모든 것에 대해 사용자 정의 지수를 만들 수 있지만, 이 글은 이미 존재하는 지수인 미국 달러 지수를 만들 것입니다.

제가 미국 달러(USD)를 선택한 이유는 우리가 사용자 정의 결과를 실제 지수와 비교하여 테스트할 수 있기 때문입니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

제 2로 가장 중요한 건 통화를 선택했습니다. 외환 거래에서 외환 페어를 거래할 때 한 통화가 다른 통화와 비교됨을 볼 수 있습니다. 실제로 페어가 길어지면, 예를 들어 EURUSD가 있습니다. EUR이 강해지고 있는지, USD가 약해지고 있는지 확신할 수 없습니다. 이것은 통화 지수로만 제공될 수 있는 답변입니다.

## 사용자 정의 인덱스 생성 단계별 안내서

통화 데이터 처리 및 금융 데이터 가져오기를 위해 pandas, numpy 및 yfinance와 같은 필수 라이브러리를 가져와 시작합니다.

```js
import pandas as pd
import json
import yfinance as yf
import mplfinance as mpf
```



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

그럼 해당 쌍의 딕셔너리와 내가 관심 있는 통화의 딕셔너리를 불러오세요(기사 맨 끝에 링크가 있습니다).

```js
with open('currencies_weights.json') as f:
    currencies = json.load(f)

with open('currencies_pairs.json') as f:
    pairs = json.load(f)
```

통화는 심볼(예: EUR)과 해당 국가의 GDP(십억 달러)를 가장 중요하게 가지고 있어야 합니다. GDP를 선택한 이유는 가장 현실적인 측정값으로 보였습니다(결국 옳은 것으로 판명되었죠…). 그냥 하나의 통화로 표시되어야 한다는 점만 주의하면 됩니다. 예를 들어, 유로존 GDP는 USD로 표시되어야 하며 EUR이 아니어야 합니다. 이것이 가장 쉬운 방법인 것을 발견했는데, 로컬 통화로 GDP를 가지고 있고 이후 변환해야 하는 방법보다 편리합니다.

아래 for 루프를 사용하면 모든 쌍에 대한 1시간 가격을 다운로드하고, 우리 사랑하는 `yfinance`의 도움으로 이를 딕셔너리에 추가할 수 있습니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
for pair in pairs:
    pairs[pair]['df'] = yf.download(pairs[pair]['name'] + '=X', start='2023-01-01', end='2023-12-31', interval='1h')
```

가능한 가장 작은 시간 단위를 선택하여 데이터를 찾아야 큰 시간 단위(예: 4시간 또는 일일)의 캔들을 만들 수 있습니다. 그런 다음 야후 금융이 가끔 일부 날짜를 제공하지 않을 경우에도 데이터 프레임을 동기화합니다. API가 완전하고 적절한 데이터를 제공할 것이라고 확신하는 경우, 이 부분은 건너 뛰시기 바랍니다.

```js
# 최소 및 최대 날짜 찾기
for pair in pairs:
    mindate = min(pairs[pair]['df'].index)
    maxdate = max(pairs[pair]['df'].index)
# 공통되지 않은 날짜 제외
for pair in pairs:
    pairs[pair]['df'] = pairs[pair]['df'].loc[mindate:maxdate]
print(mindate, maxdate)
```

이제 계산할 통화의 지수와 이 통화를 포함하는 모든 통화에 대한 종가를 갖는 데이터 프레임을 생성하고 설정해야 합니다. 통화가 판매 쪽에 있다면 환율을 뒤집어서 모두 매수쪽으로 가져와야 합니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
통화 = 'USD'

mydict = {}
# 해당 통화를 포함하는 쌍 필터링
for pair in pairs:
    if 통화 in pairs[pair]['buycur']:
        print("매수", pair)
        mydict[pairs[pair]['sellcur']] = pairs[pair]['df']['Close']
    elif 통화 in pairs[pair]['sellcur']:
        print("매도", pair)
        mydict[pairs[pair]['buycur']] = 1 / pairs[pair]['df']['Close']

df_currency = pd.DataFrame(mydict)
```

위 데이터프레임의 각 열(통화)에 대해 GDP를 사용하여 가중치 목록을 생성합니다.

```js
weights = []
for col in df_currency.columns:
    weights.append(currencies[col]['GDP'])

weights = [weight / sum(weights) for weight in weights]
```

이제 가중 폐장 가격을 생성하고 선택한 데이터프레임으로 재샘플링하는 마법이 일어납니다(원본보다 더 높아야 함).



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
# 데이터프레임 준비
df_index = df_currency.copy()
df_index = df_index.pct_change(fill_method=None)
df_index.dropna(inplace=True)

# 가중 평균 종가 계산
weights_df = pd.DataFrame(weights, index=df_index.columns, columns=['Weight'])
df_index[currency] = df_index.dot(weights_df['Weight']).cumsum(axis=0)*1000
df_index[currency] = df_index[currency].round(6)

# 인덱스를 일별로 다시 샘플링
df_index = df_index[currency].dropna()
ohlc = df_index.resample('D').ohlc()
ohlc.dropna(inplace=True)
```

여기까지입니다. ohlc 데이터프레임에는 일별 미국 달러 지수의 캔들 정보가 포함되어 있습니다.

과정을 확인하려면 실제 미국 달러 지수를 다운로드하여 비교해보겠습니다.

```js
usd_dollar_index = yf.download("DX-Y.NYB", (start = "2023-01-01"), (end = "2023-12-31"), (interval = "1d"));
```



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

첫 번째 점검은 시각적으로 이루어질 것입니다. 그래서 우리가 만든 그래프와 공식 그래프를 겹쳐서 플로팅할 거에요. 멋져 보이죠?

```js
mpf.plot(ohlc, (type = "candle"), (figratio = (30, 10)));
mpf.plot(usd_dollar_index, (type = "candle"), (figratio = (30, 10)));
```

<img src="/TIL/assets/img/2024-07-09-BuildyourowntradingindexwithPython_1.png" />

다른 방법은 종가의 상관 관계를 점검하는 것이에요.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```python
# 먼저 상관 계수를 계산하기 전에 두 날짜 및 시간 인덱스를 시간대 정보 없이 만들어야 합니다
ohlc.index = ohlc.index.tz_localize(None)
usd_dollar_index.index = usd_dollar_index.index.tz_localize(None)

combined_df = pd.DataFrame({
    'ohlc': ohlc['close'],
    'usd_dollar_index': usd_dollar_index['Close']
})

correlation = combined_df.corr().iloc[0, 1]
```

이를 통해 우리는 놀라운 0.976의 상관 관계를 얻게 됩니다. 이를 통해 두 인덱스가 일치함을 알 수 있습니다...

하지만 미국 달러 지수는 6개 통화에 대한 고정 가중치로 계산되는 반면, 우리의 경우에는 14가 있었으므로 약간의 차이가 있습니다!

여기에서 Git Hub에서 코드와 통화 쌍에 대한 json 파일을 찾을 수 있습니다. 클릭하세요.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

## 다음 단계

- 실험: 다양한 가중 체계와 자산 선택을 시도해보세요.
- 향상: 보다 정교한 백테스팅 지표 추가.
- 최적화: 기계 학습 모델 통합하여 사용자 정의 지수를 최적화하세요.

나의 데이터 주도 투자 여정을 함께 해보세요! 저를 Medium, Twitter (현재 X로 잘 알려진) 및 Github에서 팔로우해주세요. 저는 코딩, 글쓰기, 데이터 이해를 통한 성장을 추구합니다 ;)

면책 조항: 이 글에서 투자의 흥미로운 세계를 탐험하는 동안 교육 목적으로 제공되는 정보임을 꼭 상기해주세요. 저는 금융 자문가가 아니며 여기에 게시된 내용은 금융 조언으로 간주되지 않습니다. 언제나 연구를 하시고 투자 결정을 내리기 전에 전문가와 상의하는 것을 고려해주십시오.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 쉽고 간결한 영어 커뮤니티에 참여해 주셔서 감사합니다! 떠나시기 전에:

- 반드시 저자를 clapping 하고 팔로우 해주세요 ️👏️️
- 팔로우하기: X | LinkedIn | YouTube | Discord | 뉴스레터
- 다른 플랫폼 방문하기: CoFeed | Differ
- PlainEnglish.io에서 더 많은 콘텐츠 확인하기

Posts