플로렌스-2는 Microsoft의 고급 비전 기반 모델로, 프롬프트 기반 방식을 사용하여 다양한 비전 및 비전-언어 작업을 처리하기 위해 설계되었습니다. 로컬에서 플로렌스-2를 설정하고 실행하는 데 도움이 되는 시작 스크립트가 여기 있어요.

![이미지](/TIL/assets/img/2024-07-12-StartingwithFlorence2locally_0.png)

# 시작 스크립트

플로렌스-2를 실행하는 데 사용할 수 있는 시작 스크립트입니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```python
import os
from transformers import AutoProcessor, AutoModelForCausalLM  
from PIL import Image
import requests
from unittest.mock import patch
from transformers.dynamic_module_utils import get_imports

def run_example(task_prompt, text_input=None):
    if text_input is None:
        prompt = task_prompt
    else:
        prompt = task_prompt + text_input
    inputs = processor(text=prompt, images=image, return_tensors="pt")
    generated_ids = model.generate(
        input_ids=inputs["input_ids"].cuda(),
        pixel_values=inputs["pixel_values"].cuda(),
        max_new_tokens=1024,
        early_stopping=False,
        do_sample=False,
        num_beams=3,
    )
    generated_text = processor.batch_decode(generated_ids, skip_special_tokens=False)[0]
    parsed_answer = processor.post_process_generation(
        generated_text, 
        task=task_prompt, 
        image_size=(image.width, image.height),
    )
    return parsed_answer

# Example usage
fn = 'ray_ban_meta.jpeg'
image = Image.open(fn)
task_prompt = '<MORE_DETAILED_CAPTION>'
ret = run_example(task_prompt)
print(ret)
```

## 너무 괴롭히지 마세요

만약 지역에서 실행하는 모든 시도 끝에도 이 예외를 받게 된다면: `pip install flash_attn`를 실행해 보세요.

```python
File "C:\Users\alex_\aichat\florence2_vision\myenv\lib\site-packages\transformers\dynamic_module_utils.py", line 182, in check_imports
    raise ImportError(
ImportError: 이 모델링 파일은 환경에 없는 다음 패키지가 필요합니다: flash_attn. `pip install flash_attn`을 실행해 보세요.
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

상태 코드를 Markdown 형식으로 변경하십시오.

```js
File "C:\Users\alex_\aichat\florence2_vision\myenv\lib\site-packages\flash_attn\flash_attn_interface.py", line 10, in <module>
    import flash_attn_2_cuda as flash_attn_cuda
ImportError: DLL load failed while importing flash_attn_2_cuda: The specified procedure could not be found.
```

청소한 상태에서 Miniconda를 사용하여 시작해 보세요.

# 깔끔한 환경 설정


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

다음과 같이 새로운 conda 환경을 만들어 보세요:

```js
conda create -n florence2 python=3.11 -y
conda activate florence2
```

CUDA 설치 여부 확인:

CUDA가 설치되어 있는지 확인해주세요:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
nvcc --version

nvcc: NVIDIA (R) Cuda 컴파일러 드라이버
Copyright (c) 2005-2024 NVIDIA Corporation
2024년 4월 17일 수요일에 빌드됨
Cuda 컴파일 도구, 릴리즈 12.5, V12.5.40
빌드 cuda_12.5.r12.5/compiler.34177558_0
```

CUDA 경로 설정:

```js
set "CUDA_PATH=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.5"
set "CUDA_HOME=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.5"
```

PyTorch 및 종속성 설치하기:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
pip install transformers einops timm
```

# Flash 어텐션 불필요

transformers 의존성에서 요구되지도 않고 알려진 문제입니다.

이것이 해결책이에요:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
# With Python 3.11.7, transformers==4.36.2
import os
from unittest.mock import patch

from transformers import AutoModelForCausalLM
from transformers.dynamic_module_utils import get_imports


def fixed_get_imports(filename: str | os.PathLike) -> list[str]:
    """https://huggingface.co/microsoft/phi-1_5/discussions/72을 위한 해결책."""
    if not str(filename).endswith("/modeling_phi.py"):
        return get_imports(filename)
    imports = get_imports(filename)
    imports.remove("flash_attn")
    return imports


with patch("transformers.dynamic_module_utils.get_imports", fixed_get_imports):
    model = AutoModelForCausalLM.from_pretrained("microsoft/phi-1_5", trust_remote_code=True)
```

# OCR 테스트

## 입력 이미지

<img src="/TIL/assets/img/2024-07-12-StartingwithFlorence2locally_1.png" />



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

다음은 스크립트를 실행한 후의 업데이트 내용입니다:

```js
D:\DEV\MODELS\modules\transformers_modules\microsoft\Florence-2-large-ft\3112cd2e25c969cfdcb600a01489c56737d943d3\modeling_florence2.py:1209: UserWarning: 1Torch was not compiled with flash attention. (Triggered internally at ..\aten\src\ATen\native\transformers\cuda\sdp_utils.cpp:455.)
  attn_output = torch.nn.functional.scaled_dot_product_attention(
{'<OCR>': '2310Z8MOOWN - RW4008 6015IC 26243-4003RCID 2AYOA-403'}
```

잘 작동합니다! 좀 그렇지만요. 일부 숫자가 누락되었지만, 그건 다음에 다시 이야기할 주제입니다.

# 마지막으로


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이 단계를 따르면 어려움 없이 Florence-2를 로컬에서 실행할 수 있을 것입니다. 다른 문제가 발생하면 모든 의존성이 올바르게 설치되어 있는지, 환경이 올바르게 구성되어 있는지 확인해주세요.

# Hugging Face Spaces

환경을 로컬로 설정하기를 원치 않는다면 Hugging Face Spaces를 사용하여 Florence-2를 실행할 수도 있습니다. 이는 로컬 구성이 필요 없이 모델에 액세스할 수 있는 클라우드 기반 솔루션을 제공합니다. Hugging Face의 Florence-2 스페이스를 확인해보세요: Hugging Face Spaces

# 출처

로컬에서 Florence 2 시작하는 방법

![Screenshot](/TIL/assets/img/2024-07-12-HowtoAbstractYourReasoning_0.png)

고등학교 수학 학생에서 박사 후 수준의 최첨단 순수 수학 연구에 이르기까지 여정을 거친 개발자로서, 이러한 다른 교육 수준에서 뇌가 어떻게 작동하는지에 대한 한 가지 중요한 차이점을 강조하고 싶습니다.

고등학교 학생들은 수학을 연습할 때 일반적으로 특정 문제에 자신들의 교과지식을 적용하여 학습합니다. 이 문제들은 일반적으로 특정 값, 객체 또는 함수와 관련이 있습니다. 예를 들어, 고등학교 학생들은 보통 정수, 실수 또는 복소수, 또는 정수 다항식과 작업할 것입니다. 이로써 그들은 전문 수학자가 되기 위해 필요한 지식과 패턴인식을 향상시킵니다.

그러나 완전히 발전된 전문 수학자들은 최대한 일반화하고 추상화하여 생각하는 데 훈련 받습니다. 정수나 확립된 일상적인 숫자 구조와 작업하는 대신, 그들은 그룹, 환, 모듈 또는 체와 같은 추상 대수 구조와 작업합니다. 이는 많은 알려진 보다 구체적인 구조를 포괄하는데, 그 결과로 그들의 결과물은 더 강력해지며 보다 일반적인 구조와 문제에 적용할 수 있게 됩니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이 문장은 조금 추상적이에요. 웃음을 포함하기 위해 말장난을 쓰는 걸 용서해주세요. 수학적 통찰을 일반화하는 기회를 잡는다면 더 강력해질 수 있다는 간단한 예시를 보여드리겠어요. 이 옥스퍼드 수학 입학 시험 문제에서 고등학생은 특정 상황에 대해 결론을 내야 하죠. 그러나 접근법의 일반화를 발견하려는 순간에 훨씬 더 일반적인 결론을 내릴 수 있다는 것이 밝혀졌어요. 시험지에서의 문제로 시작해볼게요.

## 원본 MAT 문제 및 해답

![image](/TIL/assets/img/2024-07-12-HowtoAbstractYourReasoning_1.png)

미국 독자분들을 위해, '사탕'에 대한 미국식 단어는 '과자'입니다 😊


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

문제를 적혀 있는 그대로 해결해 보겠습니다. 그리고 우리의 해결책에 대해 일반화할 수 있는 부분이 있는지 살펴보겠습니다.

(i)부분에서 우리는 어떤 날이든 미리암이 이득을 얻는 것을 알 수 있습니다. 따라서 미리암은 여행 중 첫 15일이 맑은 날이 되도록 하여 이득을 극대화할 것입니다. 따라서 첫 15일 동안 이득을 한개씩 더 해가며, 총 15일 후에는 15개의 숫자의 합, 즉 ½ × 15 × 16 = 120개의 사탕을 얻을 것입니다. 그리고 나머지 15일 동안은 하루에 15개의 사탕을 받을 것이며, 이로써 추가로 15²= 225개의 사탕을 얻게 됩니다. 따라서 미리암의 가장 많은 사탕의 개수는 120 + 225 = 345개가 됩니다. (부모님은 이곳에서 수학을 한 결과에 확실히 경악할 것입니다)! 반대 경우는 미리암이 가장 적은 사탕의 수를 받는 경우입니다. 즉, 처음 15일이 비 오는 날이고 사탕을 전혀 받지 않으며, 마지막 15일이 맑은 날이고 각각 하나의 사탕을 받는 경우로, 이 경우 총 120개의 사탕을 받게 됩니다.

(ii)부분에서, 처음 15일이 맑은 날인 경우 아담은 이 날들에 사탕을 전혀 받지 않습니다. 그런 다음 16일차에 16개의 사탕을 받고, 17일차에 17개의 사탕을 받는 식으로 30번째 날에 30개의 사탕을 받게 됩니다. 따라서 아담이 받는 총 사탕의 수는 16부터 30까지의 모든 정수를 더한 것으로, 이는 미리암과 마찬가지로 345개가 됩니다. 처음 15일이 비 오는 날인 경우, 아담은 1일차에 1개의 사탕을 받고, 2일차에 2개의 사탕을 받는 식으로 15일차에는 15개의 사탕을 받습니다. 그 후에는 사탕을 받지 않습니다. 따라서 이 경우 아담이 받는 사탕 역시 처음 15개의 정수를 더한 값인 120개입니다.

(iii)부분에서, 우선 하루가 비 오는 날이고 다음 날이 맑은 날인 미리암의 경우를 살펴보겠습니다. 그리고 k를 이 비 오는 날을 포함하여 지난 휴가 중에 발생한 맑은 날의 수라고 가정합니다. 그러면 오늘이 미리암이 총 사탕을 받는 데에 k개에 기여할 것이고, 내일은 k+1개를 기여할 것입니다. 따라서 오늘과 내일 모두 미리암의 총 사탕에 2k+1개를 기여합니다. 이제 이 두 날을 바꿔 봅시다. 그러면 오늘이 미리암에게 k+1개의 사탕을 기여할 것이고, 내일 또한 k+1개를 기여하므로, 따라서 이 두 날은 미리암의 총 사탕에 2k+2개를 기여합니다. 이 교환이 다른 날들이 미리암의 총 사탕에 기여하는 데에 영향을 주지 않는다는 것에 유의하면, 이 교환은 미리암의 총 사탕을 한 개 더 늘어나게 합니다. 아담의 경우에도 동일한 방법을 사용하면, k일이 비 오는 날이라고 가정하고 그 다음 k+1일이 맑은 날인 경우를 생각해봅시다. 그러면 k일이 아담의 총 사탕에 k개를 기여하고 k+1일이 0을 기여하는데, 따라서 총 k개를 기여할 것입니다. 이들을 교환하면, k일이 0을 기여하고 k+1일이 k+1을 기여하므로, 총 기여하는 양은 k+1개가 됩니다. 따라서 아담의 경우에도 이 교환으로 인해 한 개의 사탕을 더 받습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

(iv) 부분에서는 실제로 지금까지 한 작업을 약간의 일반적화하도록 유도받았습니다. 처음 두 부분에서 알 수 있듯이 첫 15일이 비 오는 휴일과 다음 15일이 맑음인 경우, 아담과 미리암이 같은 양의 사탕을 먹는다는 것을 알았습니다. 그러나 여기서 중요한 깨달음은 — 이 시나리오로 시작한다면 — 우리는 점진적으로 인접한 비와 맑은 날을 교환하여 15일 간의 비와 맑은 날의 어떤 구성도 얻을 수 있다는 것입니다. 예를 들어, 주어진 구성에서 첫 맑은 날이 ` 16일인 경우, 우리는 초기 시나리오로 돌아가서 15일과 16일을 교환합니다. k가 15이면, 14일과 15일을 교환하고, 이렇게 반복하여 k에 첫 맑은 날을 배치합니다. 그런 다음 j ` k 위치에 다음 맑은 날을 배치하고, 이를 반복합니다. 이제 (iii)부분에서 어떤 교환 시리즈도 미리암과 아담의 합계에 동일한 영향을 준다는 것에 주목합니다. 따라서 그들은 같은 총 사탕 양으로 시작하며, 우리가 만드는 모든 인접한 교환은 그들의 총 사탕에 동일한 영향을 미치므로, 미리암과 아담이 같은 총 사탕 양을 가질 것이라고 결론지을 수 있습니다. 15일 동안 비와 맑은 날이 있는 휴일에 대해서도 마찬가지입니다. 그럼 이 내용으로 마칩니다.

## 여기서 멈추는 이유가 있을까요?

우리가 위에서 한 내용을 일반화하여, 휴일이 얼마나 길든 날씨가 어떻든 상관없이 미리암과 아담이 가질 사탕 양의 차이를 계산하는 데 기회를 발견했나요? 다시 한번 살펴보고, 이번에는 계산을 추상화해 봅시다!

휴일이 30일이고 15일 동안 비가 오고 15일 동안 맑은 날이라는 것 대신에, 휴일이 q일이라고 가정하고 k ≤ q인 비 오는 날이 k개이고 맑은 날이 q-k개인 경우를 생각해 봅시다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

위의 방법에서 알 수 있듯이, 우리는 k일 동안의 비가 내린 날이 모두 달의 시작부터인 것으로 가정할 수 있습니다. 인접한 비 오는 날과 맑은 날을 교환하는 일련의 작업으로 이를 통해 어떤 구성도 유도할 수 있고, 이것이 어린이들이 받는 사탕의 총 수를 변경하지 않음을 알 수 있습니다. 따라서 k일 동안 비가 내린 다음 q-k일 동안 맑은 날이 있는 이 초기 구성에서 사탕의 차이를 계산하는 것으로 충분합니다.

아담의 경우, 이 구성에서 그는 0개의 사탕에서 시작하여 처음 k일 동안 매일 추가로 한 개의 사탕을 받은 후 더 이상 사탕을 받지 않게 됩니다. 따라서 아담은 다음과 같은 수의 사탕을 받게 됩니다:

![image](/TIL/assets/img/2024-07-12-HowtoAbstractYourReasoning_2.png)

미리암의 경우, 처음 k일 동안은 사탕을 받지 않다가 k+1일에 한 개의 사탕을 받은 후 마지막 날(q일)까지 각각의 추가적인 날마다 한 개의 사탕을 받습니다. 따라서 미리암은 다음과 같은 수의 사탕을 받게 됩니다:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>


![Miriam and Adam sweets difference equation](/TIL/assets/img/2024-07-12-HowtoAbstractYourReasoning_3.png)

When we subtract these two and perform some algebraic simplification, we obtain a general expression for the difference in the number of sweets received by Miriam and Adam for any holiday lasting q days with k ≤ q rainy days:

![General expression for sweets difference](/TIL/assets/img/2024-07-12-HowtoAbstractYourReasoning_4.png)

It's clear from this equation that for holidays with an equal number of rainy and sunny days (i.e., q = 2k), the difference in sweets is zero, and both children will receive the same number of sweets. Furthermore, the number is positive when there are more sunny days than rainy days (favoring Miriam), and negative when there are more rainy days than sunny days (favoring Adam).



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

시험 문제의 이 추상화에 대해 어떻게 생각하셨나요? 자유롭게 의겢하여 주세요.

추론을 추상화하는 방법 이해를 돕는 구체적 사례 포함

![이미지](/TIL/assets/img/2024-07-12-Top5PythonDataVisualizationTechniquesYouProbablyArentUsing_0.png)

## 이 5가지 고급 시각화 차트를 마스터하세요

이 다섯 가지 고급 시각화 차트를 마스터하면 데이터 시각화가 쉬워집니다. 이 라이브러리들은 서로 보완하여 데이터 표현을 극대화합니다.

# 1. 화음도표


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

Chord Diagram(코드 다이어그램)은 데이터 포인트 간의 복잡한 관계를 창조적으로 보여줍니다. 노드들이 원 주위에 배열되어 아크로 연결됩니다. 아크의 길이는 연결 값을 반영하며 두께는 관계의 중요도를 나타냅니다. 색상은 데이터를 분류하여 비교를 쉽게 만듭니다. 유전자 데이터 시각화를 위해 특히 다양한 분야에서 널리 사용됩니다.

![Chord Diagram example](/TIL/assets/img/2024-07-12-Top5PythonDataVisualizationTechniquesYouProbablyArentUsing_1.png)

![Chord Diagram example 2](/TIL/assets/img/2024-07-12-Top5PythonDataVisualizationTechniquesYouProbablyArentUsing_2.png)

다음은 Holoviews 및 Bokeh를 사용하여 다섯 개국 간의 무역 관계를 보여주는 코드 다이어그램 예시입니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```python
import holoviews as hv
from holoviews import opts
import pandas as pd
import numpy as np
hv.extension('bokeh')

# 5개 국가 간의 수출량을 나타내는 표본 행렬
export_data = np.array([[0, 50, 30, 20, 10],   
                        [10, 0, 40, 30, 20],   
                        [20, 10, 0, 35, 25],   
                        [30, 20, 10, 0, 40],   
                        [25, 15, 30, 20, 0]]) 

labels = ['USA', 'China', 'Germany', 'Japan', 'India']

# 판다스 데이터프레임 생성
df = pd.DataFrame(export_data, index=labels, columns=labels)
df = df.stack().reset_index()

df.columns = ['source', 'target', 'value']

# Chord 객체 생성
chord = hv.Chord(df)

# Chord 다이어그램 스타일링
chord.opts(
    opts.Chord(
        cmap='Category20', edge_cmap='Category20', 
        labels='source', label_text_font_size='10pt',  
        edge_color='source', node_color='index', 
        width=700, height=700 
    )
).select(value=(5, None)) 

# 플롯 출력
chord
```

![Chord Diagram](/TIL/assets/img/2024-07-12-Top5PythonDataVisualizationTechniquesYouProbablyArentUsing_3.png)

- [Chord 호환성](https://holoviews.org/reference/elements/matplotlib/Chord.html)
- [pyCirclize GitHub](https://github.com/moshi4/pyCirclize)



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 2. 썬버스트 차트

썬버스트 차트는 계층적 데이터를 명확하게 표시하여 전통적인 원형 및 링 차트를 능가합니다. 각각 계층을 나타내는 동심원을 사용합니다. 중심은 루트이며 세그먼트는 노드를 나타냅니다. 각 세그먼트의 크기는 해당 값을 반영하여 데이터의 중요성을 직관적으로 이해하게 합니다. 파일 시스템 계층 구조, 사용자 탐색 경로, 시장 세분화 및 유전 데이터의 시각화에 유용합니다.

다음은 Plotly 라이브러리를 사용하여 썬버스트 차트를 만드는 예시입니다.

```js
import plotly.express as px
import numpy as np

df = px.data.gapminder().query("year == 2007")

fig = px.sunburst(df, path=['continent', 'country'], 
                  values='pop',
                  color='lifeExp', 
                  hover_data=['iso_alpha'],
                  color_continuous_scale='RdBu',
                  color_continuous_midpoint=np.average(df['lifeExp'], weights=df['pop']))
fig.show()
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>


[그림](https://plotly.com/python/sunburst-charts/)

# 3. Hexbin Plot

[그림](/TIL/assets/img/2024-07-12-Top5PythonDataVisualizationTechniquesYouProbablyArentUsing_5.png)



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

헥스빈 플롯 또는 육각형 바이닝은 데이터 점이 밀집되어 있을 때 특히 2D 데이터 분포를 시각화하는 데 효과적입니다. 데이터 공간을 육각형 바인으로 분할하며 색상은 각 바인 내의 점 수를 나타내어 데이터 분포를 명확하게 표현합니다.

Python과 Matplotlib을 사용하여 공기 품질 지수(AQI)와 병원 방문 간의 상관 관계를 시연한 헥스빈 플롯을 만드는 예제를 보여드릴게요.

```js
import numpy as np
import matplotlib.pyplot as plt
from mplhexbin import HexBin

# 시뮬레이션 데이터
np.random.seed(0)  # 재현성 확보
n_points = 10000
x = np.random.rand(n_points) * 100  # 공기 품질 지수(AQI) 범위: 0에서 100
y = 5 * np.sin(x * np.pi / 50) + np.random.randn(n_points) * 15  # 시뮬레이션된 병원 방문, AQI와 관련 있지만 잡음이 있음

# 새로운 그림 생성
fig, ax = plt.subplots(figsize=(10, 8))

# HexBin을 사용하여 육각형 바인 플롯 생성
hb = HexBin(ax, gridsize=20, cmap='viridis', extent=[0, 100, -30, 50])  # 그리드 크기, 색상 지도 및 범위 설정
hb.hexbin(x, y, mincnt=1)  # 육각형 바인 플롯 그리기, mincnt는 최소 카운트 임계값을 설정합니다

# 제목 및 축 레이블 추가
ax.set_title('공기 품질 지수(AQI)와 병원 방문 간의 관계')
ax.set_xlabel('공기 품질 지수(AQI)')
ax.set_ylabel('병원 방문')

# 그림 표시
plt.colorbar(hb.cmap, ax=ax, label='데이터 포인트 수')  # 컬러바 추가 및 레이블 설정
plt.show()
```

<img src="/TIL/assets/img/2024-07-12-Top5PythonDataVisualizationTechniquesYouProbablyArentUsing_6.png" />


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

https://matplotlib.org/stable/gallery/statistics/hexbin_demo.html

# 4. 샌키 다이어그램

샌키 다이어그램은 엔터프라이즈 시스템과 시계열 데이터의 흐름을 시각적으로 보여주는 차트입니다. 데이터의 유입과 유출을 보여주며 주로 에너지, 재료, 금융 데이터에 사용됩니다. 매튜 헨리 핀리어스 릴 샌키(Mattew Henry Phineas Riall Sankey)의 이름을 따와 만들어졌습니다. 다이어그램은 시스템의 단계들 간의 데이터 양을 바로 알 수 있게 해줍니다. 노드의 너비는 흐름의 양과 비례하기 때문에 데이터의 규모와 방향을 이해하기 쉽습니다.

<img src="/TIL/assets/img/2024-07-12-Top5PythonDataVisualizationTechniquesYouProbablyArentUsing_7.png" />


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

아래는 파이썬을 사용하여 생산원에서 작은 도시 소비자에게 에너지 흐름을 보여주는 샌키 다이어그램을 생성하는 예제입니다.

```python
import plotly.graph_objects as go

labels = ["Coal", "Solar", "Wind", "Nuclear", "Residential", "Industrial", "Commercial"]

source = [0, 1, 2, 3, 0, 1, 2, 3] 
target = [4, 4, 4, 4, 5, 5, 5, 5] 
value = [25, 10, 40, 20, 30, 15, 25, 35] 

# 샌키 다이어그램 객체 생성
fig = go.Figure(data=[go.Sankey(
    node=dict(
        pad=15,  
        thickness=20, 
        line=dict(color="black", width=0.5),
        label=labels 
    ),
    link=dict(
        source=source,  
        target=target, 
        value=value  
    ))])

fig.update_layout(title_text="모델 도시의 에너지 흐름", font_size=12)
fig.show()
```

[이미지 바로가기](/TIL/assets/img/2024-07-12-Top5PythonDataVisualizationTechniquesYouProbablyArentUsing_8.png)

[Plotly 샌키 다이어그램 자세히 보기](https://plotly.com/python/sankey-diagram/)


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 5. 스트림 그래프 (테마 리버)

스트림 그래프는 변화를 나타내는 강을 닮았습니다. 색상이 카테고리를 구분하며, "강"의 너비는 각 카테고리의 값으로 나타냅니다. 데이터 동태를 이해하기 쉽게 보여주며, 추세와 관계를 시각적으로 표현합니다.

![Stream Graph](/TIL/assets/img/2024-07-12-Top5PythonDataVisualizationTechniquesYouProbablyArentUsing_9.png)

여기에는 Altair 라이브러리를 사용하여 스트림 그래프를 만드는 예시가 있습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
import altair as alt
from vega_datasets import data

source = data.unemployment_across_industries.url

alt.Chart(source).mark_area().encode(
    alt.X('yearmonth(date):T',
        axis=alt.Axis(format='%Y', domain=False, tickSize=0)
    ),
    alt.Y('sum(count):Q', stack='center', axis=None),
    alt.Color('series:N',
        scale=alt.Scale(scheme='category20b')
    )
).interactive()
```

<img src="/TIL/assets/img/2024-07-12-Top5PythonDataVisualizationTechniquesYouProbablyArentUsing_10.png" />

https://altair-viz.github.io/gallery/streamgraph.html

최신 AI 이야기를 계속 읽으려면 Substack에서 저희와 함께하세요. 우리 함께 AI의 미래를 모습을 만들어 봅시다!



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

파이썬 이야기를 업데이트 받으려면 Substack에서 저희와 함께 연락하십시오. 함께 파이썬을 배워봐요!

아직 잘 알려지지 않은 5가지 파이썬 데이터 시각화 기법

수학적 프로그래밍으로 자산 저장 문제 해결하는 방법

<img src="/TIL/assets/img/2024-07-12-HomeAcceptanceTestforSmallLanguageModels_0.png" />

요즘 인공지능 커뮤니티에서 멋진 소식들이 있었어요. 모두가 작은 언어 모델과 낮은 계산 자원 가용성과 관련이 있어요.

예를 들면, 1.58비트(32비트 대신) 대규모 언어 모델을 실행하는 Transformer를 상상해봐요: 이를 위해 GPU가 필요하지 않아요.

지금으로선, 이것은 아직 가능한 미래에 해당해요. 현실은 새로운 작은 언어 모델이 챗봇 어시스턴트로 놀라운 성능을 발휘할 수 있다는 거죠.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

집에서 손쉽게 직접 테스트해보고 싶지 않으세요?

컴퓨터에 전용 GPU가 없는 경우에 대한 완벽한 직접 테스트 가이드를 제공해 드릴게요.

![이미지](/TIL/assets/img/2024-07-12-HomeAcceptanceTestforSmallLanguageModels_1.png)

# 전문적인 사전 설명


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

H2O.ai는 Apache-2 라이센스로 출시되었고 놀라운 SML을 제공합니다: h2oai/h2o-danube-1.8b-chat라고 불린답니다.

마찬가지로, MBZUAI(모하메드 빈 자이드 인공지능 대학교 - LaMini 모델의 창조자)의 사랑받는 친구들은 새로운 람가 무리를 발표했습니다. 최고 러너는 MobiLlama-1B-Chat입니다.

이제 다양한 Small AI가 제공되어 일상적인 작업에 파트너를 선택할 수 있습니다.

이 기사에서 제공하는 방법은 로컬 컴퓨터뿐만 아니라 동일한 네트워크에 연결된 친구나 동료와 공유할 수 있습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이 방법을 사용하면 Python 코드에서 변경해야 하는 유일한 부분은 페이지 제목입니다!

# Home Acceptance Test

이 용어는 계측 공학에서 상속 받은 것입니다. 공장 수락 테스트는 제조업체의 공장에서 수행하는 일련의 절차와 테스트로, 제조업체가 제공할 장비를 확인하는 것입니다. FAT(공장 수락 테스트) 중에 시스템이 요청한 요구사항을 준수하는지 확인해야 합니다.

우리의 Small Language Models에 대해 우리 중 누구도 기대를 갖고 있습니다. 이를 확인할 방법은 없는 것일까요?


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

저는 귀하의 GitHub Repo에 3가지 예제를 만들어서 귀하가 3분 안에 설정하고 수정하며 Hugging Face Hub의 거의 모든 모델과 페어링할 수 있도록 했습니다.

# 홈 랩 설정 방법

이 프로젝트를 가능한 한 호환성 있게 만들기 위해 최소한의:

- 파이썬 라이브러리 수
- 가장 쉬운 GGUF 추론 방법
- 그래픽 인터페이스의 쉬운 사용자 정의를 사용했습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

따라서 이 프로젝트를 위한 새 폴더를 만들고 가상 환경을 생성한 다음 활성화하세요 (여기서 제시된 지침은 Windows 사용자를 위한 것입니다).

저는 아직 Python 3.10을 사용 중이지만 3.11도 괜찮습니다. Sentencepiece를 사용하려면 3.12를 사용하지 마세요 (아직 지원되지 않음).

```js
mkdir HAT
cd HAT
python -m venv venv

venv\Scripts\activate
```

가상 환경이 활성화된 상태이므로 필요한 3개의 라이브러리만 설치해야 합니다:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
pip install llama-cpp-python[server]==0.2.53
pip install openai
pip install streamlit
```

라마-cpp-python 라이브러리는 CPU 만 사용하여 양자화된 모델을 실행할 수 있을뿐만 아니라 서버로서도 작동할 수 있습니다!

처음에는 놀랐어요. 한 줄의 명령어로 이게 다 가능하다니요!

로컬 모델을 호출하기 위해 openai Python 라이브러리가 필요합니다. 여기서의 차이점은 ChatGPT를 호출할 때와 동일한 방법으로 로컬 모델을 호출할 것이지만 인터넷 연결이 필요하지 않으며 API 키나 돈을 요청하지 않을 것입니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

그리고 웹 그래픽 인터페이스로 Streamlit을 사용할 것입니다.

마지막으로, 모델 파일을 잊지 말아야 합니다. 우리는 오직 CPU 자원을 사용할 계획이므로 모델의 양자화된 GGUF 형식을 사용하려고 합니다.

모델을 다운로드하여 모델 하위 폴더에 저장해주세요.

- https://huggingface.co/brittlewis12/h2o-danube-1.8b-chat-GGUF
- https://huggingface.co/asedmammad/gemma-2b-it-GGUF/tree/main
- https://huggingface.co/tsunemoto/cosmo-1b-GGUF/tree/main


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

여기 3개의 모델 링크를 제공해드리겠습니다 (danube-1.8B-chat Q5_K_M, Gemma-2B-it Q4_K_M, 그리고 Cosmo-1b Q4_K_M): 하지만 이 외에도 그 이상의 모델들을 사용할 수 있다는 것을 기억해 주세요.

이제 모든 설정이 완료되었습니다.

cosmo-1b.Q4_K_M.gguf, gemma-2b-it.q4_K_M.gguf, 그리고 h2o-danube-1.8b-chat.Q5_K_M.gguf의 모델 파일들은 model이라는 하위 폴더에 있어야 합니다.

![이미지](/TIL/assets/img/2024-07-12-HomeAcceptanceTestforSmallLanguageModels_2.png)


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# H2O Danube-1.8b-chat 테스트 벤치에서

파이썬 파일을 여기 리포지토리에서 다운로드할 수 있어요. 여기서 모델을 실행하고 사용자 정의하는 과정에 대해 설명할 거예요.

코드 워크스루를 원하신다면 아래 기사를 참고하세요:

모델을 API로 실행한 다음 streamlit을 실행하려면 두 개의 터미널 창이 필요해요: 하나는 FastAPI 서버를 시작하고, 또 다른 하나는 Streamlit GUI 서버 역할을 할 걘이에요. 두 터미널은 모두 venv를 활성화해야 해요.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

왼쪽 터미널에서 다음 명령으로 llama-cpp-server를 실행하십시오:

```js
python -m llama_cpp.server --host 0.0.0.0 --model model/h2o-danube-1.8b-chat.Q5_K_M.gguf --n_ctx 16384
```

오른쪽 터미널에서 다음 명령으로 Streamlit 서버를 시작하십시오:

```js
streamlit run .\Danube1.8-stChat_API.py
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

기본 브라우저를 열어 기본 챗봇 그래픽 인터페이스를 확인하세요.

![Chatbot Interface](/TIL/assets/img/2024-07-12-HomeAcceptanceTestforSmallLanguageModels_3.png)

바로 채팅을 시작할 수 있어요. 몇 가지 매개변수를 변경할 수 있어요 (예를 들어

- 온도
- 출력의 최대 토큰 수
- 어시스턴트와 사용자의 턴 수와 관련된 다른 유용한 매개변수는 버퍼 메모리에 유지할 대화의 수입니 12개의 작은 모델인 Cosmo-1B이 좋은 숫자입니다. 
- 대화 전체가 txt 로그 파일에 저장됩니다. (매우 유용함)
- '이전 대화 모두 삭제' 버튼을 클릭하면 이전 대화 내용이 모두 지워지고 처음부터 시작하게 됩니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>


![image](/TIL/assets/img/2024-07-12-HomeAcceptanceTestforSmallLanguageModels_4.png)

# 모든 마법이 일어나는 곳은 어디인가요?

실제로 동일한 Streamlit 파일을 다른 챗봇 모델과 함께 사용할 수 있는 사실은 llama-cpp-python의 힘 덕분입니다.

호환되는 openai-webserver는 기본적으로 우리에게 모델과 상호작용하는 표준 방식을 제공해줍니다(API의 힘입니다...).



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

서버에서 사용 가능한 옵션 전체 목록을 보려면 명령줄에 다음과 같이 입력하면 됩니다.

```js
python3 -m llama_cpp.server --help  # 리눅스/맥 용
python -m llama_cpp.server --help   # 윈도우 용
```

서버를 로드하는 명령줄에서 이전에 우리가 chat-format을 지정했다는 것을 알았을 것입니다. 편의를 위해, 명령줄에 전달되는 각 인수에 대해 새 줄을 추가할 것입니다.

```js
python -m llama_cpp.server 
--host 0.0.0.0 
--model model/gemma-2b-it.q4_K_M.gguf 
--chat_format gemma 
--n_ctx 8192
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

- --host 0.0.0.0: 이 argument는 서버의 노출된 IP 주소를 지정하는 데 사용됩니다. 0.0.0.0으로 설정하면 컴퓨터가 네트워크에 할당한 IP를 사용하도록 지정하는 것입니다.

- --model model/gemma-2b-it.q4_K_M.gguf: 이는 GGUF 파일의 위치를 제공하는 데 사용됩니다.

- --chat-format gemma: 이 argument는 채팅 템플릿에 책임이 있습니다. 각 LLM이 특정 형식의 스타일로 프롬프트를 받는 것을 기억해야 합니다. 여기서 llama-cpp가 이미 구축한 기존 채팅 템플릿을 지정합니다.

- --n_ctx 8192: 이는 모델이 계산할 수 있는 컨텍스트 창입니다. Gemma-2b는 8,192토큰, Danube-1.8b는 16,384토큰의 창을 가지고 있습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

놀라운 엔지니어링 작업이 여기 정확히 있습니다. Andrei aka abetlen은 채팅을 처리하는 매우 똑똑한 방법을 만들었습니다 (소스는 여기에 있습니다):

모델은 다음 우선 순위 순서로 메시지를 단일 프롬프트로 포맷팅합니다:

- 제공된 경우 chat_handler 사용
- 제공된 경우 chat_format 사용
- gguf 모델의 메타데이터에서 tokenizer.chat_template 사용 (대부분의 새로운 모델에 작동해야 함, 오래된 모델에는 없을 수 있음)
- 그렇지 않으면, llama-2 채팅 형식으로 대체

의미를 보여드리기 위해 다누브-1.8b-채팅 모델의 llama-cpp-server의 로딩 시퀀스를 살펴보겠습니다:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

GGUF 파일에는 모델 토크나이저가 포함되어 있습니다. 모델을 로드하는 동안 llama-cpp-python은 토크나이저.template을 구문 분석하여 우리가 사용할 수 있는 chat.template으로 변환합니다!

이는 터미널 창에서 추출한 내용입니다.

이제 다른 Streamlit 앱을 실행하지 않아도 채팅을 할 수 있습니다. Danube를 읽고 Gemma와 대화하는 것은 상당히 이상할 수 있지만 중요한 것은 챗봇이 임무를 제대로 수행하고 있다는 것입니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

<img src="https://miro.medium.com/v2/resize:fit:1400/1*2oMOmJlYp0LFWxzVycN90A.gif" />

## 그래서, Chat-formats이 뭔가요?

만약 명령줄에서 챗형식을 지정하려면, llama-cpp-python이 내장된 해결책으로 제공하는 옵션들은 다음과 같습니다:

```js
llama_cpp.llama_chat_format(valid formats: [
'llama-2', 'alpaca', 'qwen', 'vicuna', 'oasst_llama', 
'baichuan-2', 'baichuan', 'openbuddy', 'redpajama-incite', 
'snoozy', 'phind', 'intel', 'open-orca', 'mistrallite', 
'zephyr', 'pygmalion', 'chatml', 'mistral-instruct', 
'chatglm3', 'openchat', 'saiga', 'gemma', 'functionary', 
'functionary-v2', 'functionary-v1', 'chatml-function-calling'])
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 결론

이미 언급했듯이, 그리고 멈추지 않고 계속 말할 테니 매주 새로운 모델이 나오고 있습니다. 많은 사람들이 그 중 하나를 쫓아가느라 시간을 낭비하지 말라고 말할지도 모릅니다.

하지만 저는 그것에 반대합니다! 다른 사람들의 판단에 항상 의지해서는 안 됩니다. 게다가, 작은 언어 모델(30억 파라미터 미만)은 매우 유망하며 매우 적은 추론 시간으로 CPU에서 실행할 수 있습니다.

이러한 작은 모델들의 파라미터 조정은 결과를 극적으로 바꿀 수 있으며, 모든 주요 지표에서 높은 벤치마크 점수를 가질 수는 없지만 이는 전혀 좋지 않거나 특정 목적에 완벽하지 않다는 것을 의미하지 않습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

자신을 판단하는 최선의 방법은 당신 자신입니다. 홈 수용 테스트는 정말 좋은 해결책이죠!

만약 놓치셨다면, 다시 한번 GitHub Repo를 확인해보세요:

이 기사를 즐기셨기를 바랍니다. 이 이야기가 가치를 제공했고 조금이라도 지원을 표현하고 싶다면:

- 이 이야기에 대해 많이 박수를 보내세요.
- 기억해야 할 중요한 부분을 강조하세요(나중에 찾을 때 더 쉽고 더 나은 기사를 작성하는 데 도움이 됩니다).
- 자신만의 AI를 만드는 방법을 배우려면 이 무료 eBook을 다운로드하세요.
- 제 링크를 사용하여 Medium 멤버십 가입하기 ($5/월로 무제한 Medium 기사 읽기).
- Medium에서 제 팔로우하기.
- 제 최신 기사는 https://medium.com/@fabio.matricardi에서 읽을 수 있습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

다음은 몇 가지 더 자료입니다:

## 챗봇 구축을 위한 자원 및 참고 자료:

## 출력을 스트리밍하는 방법을 배우려면:

## 채팅 템플릿 유도


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# Stackademic 🎓

내용을 끝까지 읽어주셔서 감사합니다. 떠나기 전에:

- 작가를 클립하고 팔로우해주시면 감사하겠습니다! 👏
- 저희를 팔로우해 주세요: X | LinkedIn | YouTube | Discord
- 다른 플랫폼에서도 저희를 만나보세요: In Plain English | CoFeed | Venture | Cubed
- 더 많은 콘텐츠는 Stackademic.com에서 확인하세요.

소형 언어 모델의 가정 내 수용 테스트 방법

# 문제 😕

데이터는 새로운 석유입니다. 점점 더 많은 조직이 중요한 이유로 Azure 리소스 로그를 로그 분석 워크스페이스로 전송하기를 선택하고 있습니다:

- 로그 분석 워크스페이스의 보존 기간을 최대 12년까지 구성할 수 있습니다. 이는 감사와 같은 요구 사항을 보완합니다.
- Kusto 쿼리 언어 구문을 사용하여 강력한 쿼리를 실행할 수 있어 필요한 데이터만 좁혀 보거나 시각화하여 시가 차트 등을 사용할 수 있습니다.

로그 분석 워크스페이스로 전송되는 데이터 예시로는 Cosmos DB(NoSQL 데이터베이스)에서 활성화된 CDBDataPlaneRequests 테이블이 있습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

해당 테이블에서 어떤 유용한 데이터를 얻을 수 있을까요?

![Table Screenshot](/TIL/assets/img/2024-07-12-HowtoQueryLogAnalyticsWorkspaceDataUsingPython_0.png)

이는 전체 테이블 중 일부에 불과합니다. 실제로 Cosmos DB에서 사용할 수 있는 테이블은 더 많습니다. 더불어, 모든 Azure 리소스를 위한 가능한 모든 테이블을 상상해보세요!

일반적으로 Azure 리소스에서 로그를 전송할 수 있는 기능은 "진단 설정(diagnostic settings)"이며, 데이터는 테이블 형식으로 전송됩니다. 진단 설정에 대한 자세한 내용은 여기에서 확인해주세요.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

모든 그 귀중한 데이터를 활용할 수 있게 되면 아마도 즉시 분석을 수행할 수 있어서 설레일 것입니다. 다른 말로 하면, "데이터 과학".

로그 분석 워크스페이스에 프로그래밍 방식으로 액세스하면 데이터로 수행 가능한 작업은 무궁무진합니다. Python Jupyter 노트북에서 데이터를 쉽게 분석할 수도 있고요.

이것의 제한을 궁금해하시나요? 이 설명서를 즐겨찾기에 추가해주세요.

이제 세부 사항에 대해 깊이 파고들어볼까요?


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 사전 준비 사항 📚

![이미지](/TIL/assets/img/2024-07-12-HowtoQueryLogAnalyticsWorkspaceDataUsingPython_1.png)

이 글을 처음부터 끝까지 따라하고 싶다면 이 사항을 준비해주세요:

- Visual Studio Code (VS Code)를 사용하는 IDE (VS Code에 특화된 확장 프로그램을 사용할 것입니다)
- Python의 기본 지식
- azure-identity, azure-monitor-query, pandas 등의 비기본 라이브러리가 설치된 Python 환경
- 로그를 보내는 기존의 Log Analytics 워크스페이스
- [선택 사항] 가능하다면 진단 설정 로그를 Log Analytics 워크스페이스로 보내기 위한 Cosmos DB 계정이 있어야 합니다. 저의 스크립트는 이에 기반합니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

지금은 로그 분석 워크스페이스에서 데이터를 검색하는 Python 스크립트를 확인해 봅시다.

# 솔루션 💯

<img src="/TIL/assets/img/2024-07-12-HowtoQueryLogAnalyticsWorkspaceDataUsingPython_2.png" />

이 섹션에서는 샘플 Python 스크립트를 부분별로 분해합니다. 모든 부분을 이해한 후에 모두 조합해도 괜찮습니다(부분은 위에서 아래로 순서대로 나열되어 있습니다)!


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

## [1] 필요한 라이브러리 가져오기

이미 해당 Python 라이브러리들이 없는 경우에는 설치해야 할 수도 있습니다: azure-identity, azure-monitor-query, pandas

```js
import os
import pandas as pd
from datetime import datetime, timezone
from azure.monitor.query import LogsQueryClient, LogsQueryStatus
from azure.identity import DefaultAzureCredential
from azure.core.exceptions import HttpResponseError
```

## [2] 스크립트에 필요한 클라이언트 초기화하기


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

우리는이 스크립트를위한 두 개의 별개의 클라이언트를 시작해야합니다. 간단함을 위해 동기 클라이언트를 선택하겠습니다:

```js
# 필요한 클라이언트 생성 (동기, 공용 클라우드)
credential = DefaultAzureCredential()
client = LogsQueryClient(credential)
```

DefaultAzureCredential() 클래스를 이해하는 데 어려움이 있는 경우 이 설명서를 읽어보십시오.

## [3] Log Analytics 워크스페이스 ID 정의


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

Log Analytics 워크 스페이스 ID를 얻으려면 Azure Portal로 이동하여 'Log Analytics 워크 스페이스 - 개요'로 이동하면 됩니다. 예시:

![이미지](/TIL/assets/img/2024-07-12-HowtoQueryLogAnalyticsWorkspaceDataUsingPython_3.png)

![이미지](/TIL/assets/img/2024-07-12-HowtoQueryLogAnalyticsWorkspaceDataUsingPython_4.png)

```js
# 로그 분석 워크 스페이스 ID를 정의합니다
LA_WORKSPACE_ID = "<당신의-로그-분석-워크 스페이스-ID>"
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

## [4] 쿼리 정의

로그 분석 워크스페이스에서 데이터를 가져오는 쿼리는 Kusto Query Language (KQL) 형식으로 작성됩니다. 특정 예시에서는 Cosmos DB와 관련된 로그를 확인하고 있습니다:

```js
# 쿼리 정의 (Kusto Query Language)
query = """
CDBDataPlaneRequests 
| where AccountName == toupper('al-nosql')
| where TimeGenerated > ago(2h)
| take 10
"""
```

Azure 자원이 전송한 로그에 적합한 쿼리로 위의 쿼리를 자유롭게 수정해보세요. 대부분의 Azure 자원에 대해 동작하는 매우 일반적인 쿼리는 다음과 유사합니다:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
"""
AzureDiagnostics
| take 1
"""
```

## [5] 쿼리의 시간 범위를 정의하세요 (선택 사항)

쿼리의 시간 범위를 KQL 쿼리 내에서도 정의할 수 있는 옵션이 있음을 유의해주세요 (3단계에서 설명됨).

본 문서를 위해, 사용자의 쿼리가 너무 비싼 비용이 들지 않도록 고려하여 클라이언트를 초기화할 때 상대적으로 작은 시간 범위를 강제로 적용하도록 해둡니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```python
# 쿼리를 위한 시간 범위 정의 (위의 쿼리에서도 이를 정의할 수 있음)
start_time=datetime(2024,2,25, tzinfo=timezone.utc)
end_time=datetime(2024, 2, 26, tzinfo=timezone.utc)
```

## [6] Log Analytics 작업 영역에서 쿼리하세요!

이제 Log Analytics 작업 영역에서 모든 흥미로운 데이터를 가져오는 시간입니다.

아래 코드에 오류 처리가 추가되었음을 주목하고 Pandas 데이터프레임을 표시할 것임을 확인하세요.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
try:
    response = client.query_workspace(
        workspace_id=LA_WORKSPACE_ID,
        query=query,
        timespan=(start_time, end_time)
        )
    if response.status == LogsQueryStatus.PARTIAL:
        error = response.partial_error
        data = response.partial_data
        print(data)
    elif response.status == LogsQueryStatus.SUCCESS:
        data = response.tables
    for table in data:
        df = pd.DataFrame(data=table.rows, columns=table.columns)
        print(df)
except HttpResponseError as err:
    print(f"Encountered error: {err}")
```

하지만 많은 열이 있는 경우 인쇄된 데이터 프레임이 모든 내용을 표시하지 않을 수 있음을 알 수 있습니다. 더 나쁜 점은 즉각적인 분석을 위해 예쁘고 조직적으로 보이지 않는다는 것입니다.

아마도 CSV로 데이터 프레임을 보내보는 게 좋을 수 있습니다. : )

## [7] 데이터를 CSV 파일로 전송


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

CSV 파일을 사용하면 적어도 Microsoft Excel/Google Sheets 스프레드시트로 가져올 수 있는 등 재미있는 일을 할 수 있어요.

아래 코드 조각에서 CSV 파일 경로를 정의해주세요:

```js
# 데이터프레임을 csv로 내보내기
csv_filename = "<원하는-경로>/output.csv"
df.to_csv(csv_filename)
```

## [보너스] VS Code 확장 기능을 사용하여 멋진 형식의 테이블을 볼 수도 있어요!


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

좋은 소식은 몇 가지 변경만으로 Jupyter 노트북을 활용할 수 있다는 것입니다.

1. 우선, 스크립트 확장자를 ".ipynb"로 변경하세요:

![Change your script extension to ".ipynb"](https://yourwebsite.com/TIL/assets/img/2024-07-12-HowtoQueryLogAnalyticsWorkspaceDataUsingPython_5.png)

2. VS Code에서 Jupyter 노트북을 실행할 수 있도록 필요한 확장 프로그램/패키지를 설치하세요. 처음으로 노트북을 실행하려고 시도하면 아래 항목을 설치하라는 메시지가 자동으로 표시됩니다:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

- 파이썬 확장

- 주피터 확장

- ipykernel 패키지

![image](/TIL/assets/img/2024-07-12-HowtoQueryLogAnalyticsWorkspaceDataUsingPython_6.png)


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

VS Code를 설치한 후에는 VS Code를 다시 로드해주세요.

[3] 위의 모든 것들을 설치한 후에는 VS Code에서 Jupyter Notebook을 실행할 수 있어야 합니다! 그러나 실행하면 출력물이 잘못 서식이 지정된 것을 볼 수 있습니다 (아래 스크린샷이 잘린 상태로 표시됨):

![screenshot](/TIL/assets/img/2024-07-12-HowtoQueryLogAnalyticsWorkspaceDataUsingPython_7.png)

[4] Jupyter 노트북의 오른쪽 상단 어딘가에서 "Variables" 탭을 클릭하세요:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>


![이미지](/TIL/assets/img/2024-07-12-HowtoQueryLogAnalyticsWorkspaceDataUsingPython_8.png)

[5] 터미널에 새 탭이 생성됩니다. "JUPYTER: VARIABLES"라고 표시된 탭을 찾아 "df" 변수를 찾은 다음, 사각형 기호 위로 커서를 가져가면 "데이터 뷰어에 변수 표시"라는 메시지가 표시됩니다. 이것을 클릭하세요.

![이미지](/TIL/assets/img/2024-07-12-HowtoQueryLogAnalyticsWorkspaceDataUsingPython_9.png)

[6] 그러면 이전에 찾고 있던 완벽하게 표시된 결과를 보여주는 새 탭이 열립니다:



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 배운 점 👊

![image](/TIL/assets/img/2024-07-12-HowtoQueryLogAnalyticsWorkspaceDataUsingPython_10.png)

만약 지금까지 이 글을 주의 깊게 따라오셨다면 다음 개념들을 배우셨을 것입니다:

- Log Analytics 워크스페이스를 쿼리하는 데 필요한 필수 Python 라이브러리 파악
- 필요한 Python 클라이언트 파악
- KQL 및 효율적인 쿼리를 작성하는 데 최선의 방법에 대한 고수준 이해
- 무엇보다 중요한 것은 Python을 사용하여 Log Analytics 워크스페이스를 쿼리하고 VS Code에서 멋지게 표 형식으로 결과를 표시하는 방법


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 다음 스텝 🤔

![image](/TIL/assets/img/2024-07-12-HowtoQueryLogAnalyticsWorkspaceDataUsingPython_11.png)

이 글에 대한 궁금한 점이나 피드백이 있다면 댓글로 남겨주세요 (네, 댓글을 확인해요). 또한 쓸 주제에 대한 제안도 환영합니다.

제가 하는 일이 궁금하다면 아래 링크를 확인해보세요:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

- 내 개인 웹사이트
- LinkedIn에서 연락하세요
- 내 Fiverr 서비스를 확인하세요
- 커피 한 잔 사주세요

다음에 또 뵙겠습니다!

# 간단한 영어로 🚀

In Plain English 커뮤니티의 일원이 되어 주셔서 감사합니다! 떠나시기 전에:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

- 작가를 칭찬하고 팔로우하는 것 잊지 마세요! 👏️️
- 저희를 팔로우하세요: X | LinkedIn | YouTube | Discord | 뉴스레터
- 다른 플랫폼에서 더 많은 콘텐츠를 즐길 수 있어요: Stackademic | CoFeed | Venture | Cubed
- 더 많은 콘텐츠: PlainEnglish.io

파이썬을 사용하여 Log Analytics 작업 영역 데이터를 쿼리하는 방법

RAG 설정에서 기본 및 고급 검색 기능을 통해 Gemma 2B 종합 평가하기

이 기사에서는 Anthropics의 새로운 Claude V3 Opus 모델이 제시하는 질문에 대한 응답을 향상시키기 위해 함수 호출을 사용하는 방법을 보여드리겠습니다. 이를 위해서는 API 키를 받아와서 LLM의 API와 함께 사용해야 합니다.

API 키를 받는 방법과 API를 사용하는 방법에 대해 이전 기사에서 이야기했었는데, 아래 링크를 통해 확인할 수 있습니다.

이 기사를 더 효과적으로 활용하기 위해 먼저 그 기사를 읽는 것을 권장드립니다. API 키를 받는 세부사항에 대해서는 다시 다루지 않겠습니다. 왜냐하면 이 과정은 이미 상기한 기사에 자세히 안내되어 있기 때문입니다. 단, Claude에 대한 액세스를 업그레이드해야 하므로 해당 프로세스에는 비용이 발생한다는 점을 알아두셔야 합니다. Pay-As-You-Go 모델을 사용하면 상당히 저렴하게 이용할 수 있습니다. 저는 이미 꽤 사용해봤는데, 지금까지 약 $3 정도 비용이 들었습니다.

## 함수 호출 사용 방법


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

최선의 방법으로 코딩 작업을 수행하기 위해 별도의 코딩 환경을 설정해야 합니다. 저는 conda를 사용하지만 여러분에게 적합한 방법을 사용하시면 됩니다.

```bash
# 테스트 환경 작성
conda create -n opus_fc python=3.12 -y
```

환경이 생성되면 activate 명령을 사용하여 해당 환경으로 전환한 후 필요한 모든 라이브러리를 설치할 수 있습니다.

```bash
# 이제 활성화
conda activate opus_fc
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
# 필요한 라이브러리 설치
pip install anthropic
```

```js
# 주피터 설치
conda install jupyter -y
```

이제 명령 프롬프트에 'jupyter notebook'을 입력하세요. 브라우저에서 주피터 노트북이 열리는 것을 확인할 수 있습니다. 만약 자동으로 열리지 않는다면, 주피터 노트북 명령어 입력 후 정보가 화면에 표시될 것인데, 그 중간쯤에 브라우저에 복사하여 붙여넣어야 할 URL이 있을 것입니다. 

당신의 URL은 제 것과 다를 수 있지만, 다음과 같이 보일 것입니다:-  


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>


http://127.0.0.1:8888/tree?token=3b9f7bd07b6966b41b68e2350721b2d0b6f388d248cc69da


그럼, 코드 작업을 시작해봅시다. 섹션으로 나눠서 코드를 설명하는 주석을 추가할 거에요. 

우선, 함수 호출이 왜 필요한지 알아볼까요? 주요 이유 중 하나는 클로드가 최신 및/또는 실시간 정보에 액세스할 수 없기 때문이랍니다.

아래 예시를 봐봅시다. 에든버러(영국)의 현재 온도가 몇 도인지 클로드에게 물어봤을 때요.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
# 필수 라이브러리 가져오기
#
import anthropic
import os

# API 키 설정
#
os.environ["ANTHROPIC_API_KEY"]="YOUR_ANTHROPIC_API_KEY"

import anthropic

client = anthropic.Anthropic(
    
    api_key=os.environ.get("ANTHROPIC_API_KEY")
)

내_질문= {
    "role": "user", 
    "content": "에든버러의 현재 온도를 알려주세요"
}

message = client.messages.create(
    model="claude-3-opus-20240229",
    max_tokens=1000,
    temperature=0.0,
    messages=[
        내_질문
    ]
)
print(message.content[0].text)

>>
죄송합니다만, 저는 실시간 날씨 데이터에 접근할 수 없습니다. AI 언어 모델로써 
특정 위치의 현재 날씨 정보를 검색할 수 있는 능력이 없습니다. 그러나 
실시간 날씨 업데이트를 제공하는 날씨 앱이나 웹사이트를 사용하여 
에든버러의 현재 온도를 쉽게 확인할 수 있습니다. 인기 있는 옵션으로는 
메트 오피스, BBC 날씨, AcuWeather 등이 있습니다. 이 플랫폼에서 
"에든버러"를 검색하면 도시의 현재 온도와 관련된 기타 날씨 정보를 
찾을 수 있을 것입니다.
```

Claude가 특정 위치의 현재 온도를 모르는 것을 확인하실 수 있습니다. 이것이 함수 호출이 각자의 것으로 들어오는 곳입니다. 어떤 날씨 서버를 조사하고 특정 위치의 현재 온도를 얻을 수 있는 함수를 제공할 수 있다면 Claude가 그 함수를 호출하고 필요한 정보를 반환할 수 있습니다.

어떻게 할 수 있는지 살펴보겠습니다. 다른 LLM들이 하는 방식과 약간 다르며 조금 복잡하지만 프로세스의 각 단계는 꽤 간단합니다.

Anthropic은 용어인 도구(tool)와 함수를 서로 바꿔 사용하므로 먼저 특정 위치의 현재 온도를 가져오는 도구(함수)를 만들어야 합니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이를 위해, OpenWeatherMap의 API를 사용할 겁니다. 무료로 등록하여 API 키를 받을 수 있어요. 아래 링크를 클릭해주세요.

API 키를 사용할 수 있는데는 몇 시간 정도 소요될 수 있습니다. 따라서 처음에 코드를 시도할 때 "유효하지 않은 API 키"라는 메시지를 받으면, 1시간에서 2시간 정도 기다린 후 다시 시도해보신 후 지원팀에 문의해보세요.

```python
import requests

def get_temp(location):
    # 여기에 API 키를 입력해주세요
    API_KEY = "YOUR_WEATHERMAP_API_KEY"
    
    # url을 저장할 base_url 변수
    base_url = "http://api.openweathermap.org/data/2.5/weather?"
    
    # 여기서 변수를 API_KEY에서 api_key로 수정했습니다
    complete_url = base_url + "appid=" + API_KEY + "&q=" + location
    
    # requests 모듈의 get 메소드를 사용하여 응답 객체를 리턴합니다
    response = requests.get(complete_url)
    x = response.json()
    
    # "cod" 키의 값이 "404"와 같은 경우는 도시가 발견된 경우이며,
    # 그렇지 않으면 도시가 발견되지 않은 것입니다
    if x["cod"] != "404":
        y = x["main"]
        # 온도를 켈빈에서 섭씨로 변환하여 가독성을 높입니다
        temp_celsius = y["temp"] - 273.15
        return temp_celsius
    else:
        return None
```

일반적으로 이를 호출하려면,


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
temp = get_temp("Edinburgh")
print(f"The current temperature in Edinburgh is {temp} degrees celcius")

>>
The current temperature in Edinburgh is 4.410000000000025 degrees celcius
```

다음 단계는 이 함수를 Claude에서 사용하는 방법을 설명하는 것입니다. 이를 위해 일반적으로 YAML이나 JSON을 사용하는 대신 XML을 사용합니다.

```js
tool = """
<tool_description>
    <tool_name>get_temp</tool_name>
    <description>
        특정 위치의 현재 온도를 찾는 함수입니다.
    </description>
    <parameters>
        <parameter>
            <name>location</name>
            <type>str</type>
            <description>온도를 확인할 위치</description>
        </parameter>
    </parameters>
</tool_description>
"""
```

이제 우리의 시스템 프롬프트를 설정해야 합니다. 이 프롬프트는 Claude에게 이 추가 기능(함수 호출을 통해)이 사용 가능하다는 것을 알려줍니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
system_prompt = f"""
추가적인 하나 이상의 함수 세트에 액세스할 수 있습니다. 이 함수들을 사용하여 사용자의 질문에 답변할 수 있습니다.

다음과 같이 호출할 수 있습니다:
<function_calls>
    <invoke>
        <tool_name>$TOOL_NAME</tool_name>
        <parameters>
            <$PARAMETER_NAME>$PARAMETER_VALUE</$PARAMETER_NAME>
            ...
        </parameters>
    </invoke>
</function_calls>

다음과 같은 도구들을 사용할 수 있습니다:
<tools>{tool}</tools>
최종 답변은 '현재 <location>의 온도는 <temp>도입니다' 형식이어야 합니다.
"""
```

시스템 프롬프트가 정상적으로 작동하는지 Claude에게 전송하여 확인하세요. XML 형식의 함수 호출 세부 정보를 반환해야 합니다.

```js
client = anthropic.Anthropic(
    api_key=os.environ.get("ANTHROPIC_API_KEY")
)

# 클라이언트 메시지 설정
# 모델에 물어볼 내용 설정
message = client.messages.create(
    model="claude-3-opus-20240229"
    max_tokens=1024,
    temperature=0.0,
    system=system_prompt,
    messages=[
        {"role": "user", "content": "에든버러의 현재 온도는 무엇입니까?"}
    system=system_prompt
)

print(message)


>>

<function_calls>
    <invoke>
        <tool_name>get_temp</tool_name>
        <parameters>
            <location>Edinburgh</location>
        </parameters>
    </invoke>
</function_calls>
```

잘 보입니다. 이제 우리는 get_temp 도구에 전달해야 하는 매개변수를 얻기 위해 도구 설명의 XML을 구문 분석하는 헬퍼 함수가 필요합니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
import re
def extract_between_tags(tag: str, string: str, strip: bool = False) -> list[str]:
    ext_list = re.findall(f"<{tag}>(.+?)</{tag}>", string, re.DOTALL)
    if strip:
        ext_list = [e.strip() for e in ext_list]
    return ext_list

extracted_location = extract_between_tags("location", message, True)
extracted_tool_name = extract_between_tags("tool_name", message, True)

if extracted_location:
    first_param = extracted_location[0]
    function_to_call = extracted_tool_name[0]
    print(f"Extracted location: {first_param}")
    print(f"Extracted function to call: {function_to_call}")
    func = locals()[function_to_call]
    result = func(first_param)
else:
    print("No location found in the message.")


>>

추출된 위치: Edinburgh
호출할 함수: get_temp
```

다시 한 번, 그건 완벽해 보입니다. 이제 할 일은 최종 값으로 Claude에게 반환하는 것뿐입니다. 먼저, Claude가 예상하는 방식으로 형식을 지정하겠습니다. 즉, XML 형식으로.

```js
def construct_successful_function_run_injection_prompt(invoke_results):
    constructed_prompt = (
        "<function_results>\n"
        + '\n'.join(
            f"<result>\n<tool_name>{res['tool_name']}</tool_name>\n<stdout>\n{res['tool_result']}\n</stdout>\n</result>" 
            for res in invoke_results
        ) + "\n</function_results>"
    )
    
    return constructed_prompt

formatted_results = [{
    'tool_name': 'get_temp',
    'tool_result': result
}]

function_results = construct_successful_function_run_injection_prompt(formatted_results)
print(function_results)

>>

<function_results>
<result>
<tool_name>get_temp</tool_name>
<stdout>
4.81
</stdout>
</result>
</function_results>
```

다음으로, 원본 메시지, Claude가 함수를 호출한 부분까지의 부분 반환, 그리고 함수 결과를 결합하여 Claude에게 최종 출력을 생성하기 위한 프롬프트를 얻겠습니다. 이 작업을 용이하게 하기 위해 Assistant 역할에서 미리 작성된 메시지를 사용합니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>


partial_assistant_message = message + "</function_calls>" + function_results

final_message = client.messages.create(
    model="claude-3-opus-20240229",
    max_tokens=1024,
    messages=[
        my_message,
        {
            "role": "assistant",
            "content": partial_assistant_message
        }
    ],
    system=system_prompt,
    stop_sequences=["\n\nHuman:", "\n\nAssistant", "</function_calls>"]
).content[0].text

print(final_message)

>>


The tool returned that the current temperature in Edinburgh is 4.81 degrees 
Celsius. 

Therefore, the final message is:

The current temperature in Edinburgh is 4.81 degrees Celsius.


만약 이 내용이 마음에 드셨다면, 아래 관련 기사들도 흥미로울 수 있습니다.

Anthropic Claude V3 함수 호출 방법

![이미지](/TIL/assets/img/2024-07-12-5WaysPythonisDyingWillYourCodeBecomeWorthless_0.png)

정말이야. 아마도 온라인 포럼에서 봤을 그런 댓글들이나 늦은 밤에 마음속에 스며드는 의심들을 본 적이 있을 거야: '파이썬은 심각한 작업에는 너무 느리다', '그걸로 큰 것은 못 만든다', '진정한 프로그래머들은 자바를 사용해...' 조금 신경 쓰이는데, 그렇지 않니?

그건 정말 놓치지 않는데... 너는 시간을 낭비하고 있는 건 아닐까? 파이썬 기술이 플로피 디스크처럼 구시대적이 되기 전에 '미래를 대비한' 다른 것을 배우고 있어야 하나? 간단하게 말하면? 아니야.

## 왜 패닉은 잘못된 것인가?


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

앗, 그 비판들은 허공에서 나온 것이 아니에요. 파이썬에는 독특하고 한계가 있는 면이 있죠. 하지만 여기 봐주세요: 모든 언어가 그런 면이 있어요. 모두 도구라서, 어떤 것을 만드느냐에 따라 '최고'라고 할 수 있는 도구가 달라지죠. 파이썬의 강점은 뛰어난 다용성, 배우기 쉬운 경사, 그리고 혁신을 촉진하는 거대한 커뮤니티에 있어요.

## 그 '느린' 평판에 대해 이야기해보죠

파이썬이 C에 이길 수 있을까요? 아니에요. 하지만 대부분의 프로젝트를 생각해보세요: 순수한 파이썬 연산이 병목이 되는 걸까요, 아니면 데이터베이스나 사용자의 클릭을 기다리고 있나요? 파이썬의 강점은 다른 것들이 매끄럽게 함께 작동하게 하는 접착제죠. 그건 오케스트레이션, 뛰는 게 아니에요.

## '파이썬 다운' 방식의 힘


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

개발 속도는 실행 속도만큼 중요합니다. Python을 사용하면 생각을 빠르게 시도하고 몇 시간 안에 프로토 타입을 빌드할 수 있습니다. 이는 다른 언어들에서 며칠이 걸리는 작업을 한두시간 안에 끝낼 수 있음을 의미합니다. 이는 더 빨리 올바른 해결책을 찾을 수 있어서 장기적으로 더 많은 시간과 스트레스를 절약할 수 있다는 것을 의미합니다.

# 신화 #1: “Python은 실제 프로젝트에는 너무 느리다”

좋아요, 걱정은 버리고 직면해 봅시다. 만약 자율 주행 자동차의 저수준 이미지 처리를 구축한다면, 순수 Python은 여러분의 가장 친한 친구는 아닐 것입니다. Python을 낮추는 것이 아닙니다; 그것은 작업에 적합한 올바른 도구를 선택하는 것입니다.

## 하지만 여기에 중요한 것이 있습니다…


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

대부분의 앱을 생각해보세요: 웹 사이트, 데이터 분석 도구 및 게임 백엔드. 데이터베이스의 응답이나 사용자가 무언가를 클릭할 때 기다리는 시간이 얼마나 걸릴까요? 그것이 일반적인 병목 현상이지 Python 그 자체가 그런 것이 아닙니다. 그래서 기술 거물들이 Python을 사용하는 이유입니다 - 그들은 빠르게 움직이고 모든 조각들을 매끄럽게 연결해야 하는 언어가 필요합니다.

## 단순한 벽돌이 아닌 레고 블록을 생각하세요

거대한 성을 건설한다고 상상해보세요. 각 레고 블록을 배치하는 속도가 가장 중요한 것일까요? 아니면 다양한 조각들, 명확한 지침 및 디자인을 진행하면서 변경할 수 있는 능력이 중요한 것일까요? Python은 그런 면이 있습니다. 가장 빠른 단일 레고 블록이 아니더라도 빠르게 인상적인 것을 구축할 수 있게 해줍니다.

코드 예시 (설명적이며 성능 중심이 아님)


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```python
import requests

def get_weather_data(city):
    api_key = "YOUR_API_KEY"  
    url = f"https://api.openweathermap.org/data/2.5/weather?q={city}&appid={api_key}"

    response = requests.get(url)  # This is likely where you'll wait...
    data = response.json()
    return data
```

설명

requests.get에서 대부분의 '느림'이 발생할 수 있습니다 - 전 세계 서버를 기다리는 부분입니다. Python 코드는 빠르지만, 세계는 따라잡아야 합니다! Python은 이러한 것들을 최소한의 수고로 연결하는 능력에서 빛을 발합니다.

# 미신 #2: "Python은 확장되지 않는다"


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

한 번 "도구 탓하는 서투른 장인"이라는 속담을 들어보셨나요? 확장하는 것에 대해서도 같은 말이 적용됩니다. 때때로 언어가 실패하는 것이 아니라, 어떻게 구축했는지가 중요할 때가 많아요.

## 거인들과 함께 미신 깨기

일부 사실을 살펴보죠:

- 인스타그램: 세계 최대 규모의 사진 공유 앱 중 하나? 파이썬(특히 Django 프레임워크)으로 주로 구축되었습니다.
- 드롭박스: 대규모 파일 동기화 및 저장을 처리합니다. 파이썬은 그들의 인프라에서 중요한 역할을 합니다.
- 스포티파이: 우리 많은 사람들이 없어서는 안 될 음악 스트리밍 서비스. 그들의 백엔드 일부는 파이썬으로 구축되었습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이것들은 작은 부차적인 프로젝트가 아니에요 - Python이 영리하게 사용될 때 놀랍도록 큰 규모를 처리할 수 있다는 것을 증명하고 있거든.

## 심포니 비유

Python을 대규모 오케스트라의 훌륭한 지휘자로 생각해보세요. 목관악기 부문(빠른 멜로디에 좋음), 철관악기(큰 순간에 강력함) 및 타악기(갑작스런 폭발을 다루는)이 있어요. 각각이 전문적일 수 있지만 지휘자는 그들을 하나로 모아 조화를 이루도록 합니다.

## 파이썬의 확장 능력


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

파이썬의 확장 가능성을 강조하는 핵심 기능은 다른 기술과의 원활한 연동이죠. 가공성을 높이고자 한다면 NumPy나 Cython과 같은 라이브러리를 사용하여 C나 특수 하드웨어의 성능을 활용할 수 있습니다. 이 모든 것은 깔끔한 파이썬 로직으로 제어할 수 있어요. 데이터베이스 확장이 필요할 때도 작은 규모부터 산업용까지 모든 것에 파이썬 프레임워크가 잘 동작해요.

## 디자인으로 접근, 버리기가 아니죠

확장은 결국 원시 언어만큼 아키텍처에 대한 것이 중요합니다. 여기서 파이썬 개발자들이 유리한 점이 있는데요, 그들은 모듈화, 깔끔한 인터페이스, 시스템의 각 부분에 적합한 적절한 도구를 선택하는 데에 대해 생각하도록 장려받습니다.

# 신화 #3: “파이썬의 동적 타이핑은 재앙의 무덤일 뿐”


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

알겠어요. 변수의 유형을 미리 선언하는 언어에서 왔다면, Python의 자유로움은... 위험할 수 있죠. 이 변수가 숫자일까요? 문자열일까요? 말하는 바나나일까요? 누가 아나요? 이 모든 것 때문에 중괄호와 세미콜론이 그리울 수 있죠.

## 유연성의 장점

그렇지만 여기 한 가지를 생각해보세요: 동적 타입은 여러 용도로 사용할 수 있는 다목적 전원 도구가 가득한 작업실과 비슷해요. 특정 작업에 안전한 전용 톱은 있지만, 때로는 자르고, 드릴링하고, 그리고 갈아주는 도구가 필요할 때도 있죠. Python은 데이터 구조를 빌드하는 동안 변화하고 적응할 수 있게 해줘요. 프로토타이핑과 탐구에는 환상적인 기능이죠.

## 교정망, 통제 속에서 얽히지 않는거야


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

숨겨진 버그에 대한 두려움이 실제로 있어요! 그래서 Python은 예측 가능성을 높일 수 있는 옵션들을 제공해요:

- 테스트, 테스트, 테스트! 좋은 테스트 스위트는 사용자가 발견하기 전에 예상치 못한 문제를 잡아냅니다.
- 타입 힌트: 변수가 어떻게 되어야 하는지에 대한 작은 메모같은 것들이에요 (자신과 코드 편집기에 대한).
- 린터: 코드를 스캔하여 잠재적인 타입 관련 문제를 찾아내는 도구들이에요.

코드 예시

```js
def calculate_area(shape: str, dimensions: list) -> float:
    if shape == "rectangle":
        length = dimensions[0]
        width = dimensions[1]
        return length * width
    # ... 여기에 더 많은 모양을 처리할 수 있어요 ...
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

설명

type hints (: str, list, - float)?을 봤을 때요. 이것들은 Python을 엄격하게 만드는 건 아니지만 코드를 이해하는 데 도움이 되며, 많은 IDE에서 잘못된 것을 전달하면 경고를 보여줍니다. 이것은 중간 지점이에요.

## 올바른 마인드셋

Python의 동적 타이핑은 좋은 코드를 작성하는 데 신뢰하고 그를 지원하는 도구를 갖는 것입니다. 이것은 사고방식의 변화지만 받아들이면 놀랍게 해방됩니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 미신 #4: "파이썬은 그냥 장난감 언어일 뿐이야"

이건 좀 참을 수가 없는 거네요. 파이썬을 '장난감'이라고 말하는 사람은 분명히 그것으로 할 수 있는 멋진 일들을 제대로 살펴보지 않았을 겁니다:

- 과학 세력: 흑홀 데이터를 분석하는 천문학자? 유전자 코드를 모델링하는 생물학자? 파이썬은 숫자 계산과 시각화를 위한 필수품입니다. 이것이 우주의 의미를 풀어가는 방법이죠.
- 인공지능 혁명: 다음 세대 자율 주행 자동차나 언어 생성 AI를 개발하고 싶으신가요? 많은 경우 TensorFlow와 PyTorch와 같은 파이썬 라이브러리에 의존하고 있습니다.
- 웹 작동시키기: Django와 같은 파이썬 프레임워크는 거대한 웹사이트의 기반을 이룹니다. 이러한 플랫폼은 수백만 명의 사용자를 처리하는 데 사용됩니다. '장난감' 같진 않죠?

## 멋진 세계로의 '게이트웨이'


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

웃기는 점은 파이썬이 처음에 장난감처럼 느껴진다는 것이죠. 그 이유는 배우기 쉽고 즐겁게 놀 수 있기 때문입니다. 멋진 것을 만들어내는 그 느낌에 금방 빠지게 됩니다. 그런 다음, 파이썬이 프로그래밍에 빠지도록 속이면서, 진지한 문제에 대처하게 됩니다.

## 단순함이 효과 없음을 혼동하지 마세요

'진지한' 코드는 복잡하고 읽기 어려워야 한다는 생각이 있습니다. 파이썬은 이를 부정합니다. 가독성 있는 코드는 유지보수하기 쉽고 확장 가능한 코드입니다. 세계에서 가장 강력한 도구 중 일부는 초심자도 사용할 수 있는 것입니다.

# 미신 #5: "GIL 때문에 파이썬은 처신 없다"


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

알겠어요, 조금 철학적인 이야기를 해볼 시간이네요! GIL, 또는 Global Interpreter Lock은 파이썬의 기술적인 특징으로, 어떤 면에서 진정한 멀티스레딩을 제한하는 요소입니다. 이에 대해 우려하는 사람들은 파이썬이 특정 작업에 대해 성능적으로 우수하지 못할 것이라고 말합니다.

## 현실 성공 사례로 신화 파괴하기

여기서 주목할 점은: 한계를 이해하는 것과 한계에 제한되는 것은 다릅니다. 파이썬이 빛을 발하는 분야를 살펴봅시다.

- 웹 개발: 대부분의 경우, 서버는 네트워크 상황을 기다리고 중대한 계산을 수행하지 않습니다. GIL은 거의 장애물이 되지 않습니다.
- 데이터 과학/AI: NumPy와 같은 라이브러리는 숫자 연산을 수행할 때 GIL을 똑똑하게 해제하여 하드웨어의 전체 성능을 활용할 수 있습니다.
- "접착" 작업: 시스템 조정, 작업 스케줄링, 자동화 — 파이썬은 이러한 작업에서 뛰어납니다. GIL이 병목 현상이 되는 경우는 드뭅니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

## 동시성에 관한 것이지, 단순히 스레드만이 아닙니다

파이썬 개발자들은 GIL에도 병렬로 작업을 수행하는 동시성 마스터들입니다. 어떻게 할까요?

- 프로세스: 별도의 프로세스를 생성하여 GIL을 우회합니다.
- Asyncio: 대기하는 동안 재빠르게 작업을 처리할 수 있도록 해줍니다 (웹 작업에 적합합니다).

## 인간적인 면


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

GIL(전역 인터프리터 잠금)은 작은 마을의 한 줄 다리처럼 생각해보세요. 모두가 동시에 사용해야 할 때 교통 체증을 일으킬 수는 있지만, 대부분의 시간에는 교통이 원활하게 흐르며, 장거리 여행을 위해 우회로(프로세스, 최적화된 라이브러리 등)를 이용할 수 있습니다. 이것은 타협안이며, 결정적인 단점은 아닙니다.

# 결론: 파이썬의 미래는 밝다 (이미 현재여서)

명백하게 말하자면, 파이썬은 완벽하지 않습니다. 다른 언어가 더 잘 맞는 특정한 사용 사례들이 항상 존재할 것입니다. 그러나 파이썬을 완전히 배척하려고 하는 것은 계속해서 모두를 놀라게 하며 게임을 바꾸는 기지 개를 거두는 것과 같습니다.

## 커뮤니티와 접근성의 힘


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

파이썬의 강점은 그 코드뿐만이 아니라 가능성을 계속해서 확장하는 거대하고 환영받는 커뮤니티에 있습니다. 읽기 쉽고 배우기 쉬울 때문에 다른 언어를 포기했을 수도 있는 사람들에게 프로그래밍 세계를 열어줍니다.

## 파이썬 여정에 참여하세요

그렇다면 모든 파이썬 흥행에 맹목적으로 따라가야 할까요? 물론 그렇지 않습니다! 그 약점을 인지하여 그 주변에서 일할 수 있도록 하는 것이 중요하다면 그렇죠! 그러나 무엇보다도 파이썬이 특별하게 만드는 것들에 안기세요 — 창작의 기쁨, 문제 해결 정신, 그리고 무엇이든 구축할 수 있다는 느낌.

- 파이썬의 잠재력을 더 탐구하고 싶나요? 저를 Medium에서 팔로우하거나, 우리와 함께 공부하고 지내기 위해 내 Discord 커뮤니티에 가입하세요.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

- 이 기사가 여러분에게 몇 가지 파이썬 신화를 해체했나요? 박수로 지지를 표현해 주세요! 다른 사람들도 이 기사를 찾을 때 도움이 됩니다.

의심하는 사람들이 틀린 것을 계속 증명하고 함께 놀라운 일을 만들어봅시다.

# 쉽게 설명하기 🚀

In Plain English 커뮤니티의 일원이 되어 주셔서 감사합니다! 떠나시기 전에:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

- 반드시 소설가를 박수를 치고 팔로우 해주세요 👏️️
- 우리를 팔로우하세요: X | LinkedIn | YouTube | Discord | Newsletter
- 다른 플랫폼에서도 만나보세요: Stackademic | CoFeed | Venture | Cubed
- 더 많은 콘텐츠는 PlainEnglish.io 에서 확인하세요

파이썬의 종말 코드를 쓸모없게 만들 5가지 이유

<img src="/TIL/assets/img/2024-07-12-DataVisualisation3SecretTipsonPythontoMakeInteractiveGraphsandImpressYourBoss_0.png" />

해당 글과 함께, 그래프를 인터랙티브하게 만들어 보여줌으로써 Python의 가능성을 향상시킬 것이고, 당신의 상사를 감명시킬 것입니다. 이 팁들의 목표는 더 나은 인상을 주고 사용자/고객 경험을 향상하는 데 있습니다. 효과가 있습니다!

요약하자면, 3가지 목표는 다음과 같습니다:

- 1. 상호작용 (팁 #1, #2 및 #3)
- 2. 멋진 그래프 (팁 #3)
- 3. 상사를 감명시키기 (팁 #1, #2 및 #3)


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

3년간 데이터 과학자로 근무하고 2년간 헤지펀드 매니저로 일한 경험을 토대로 고객들 앞에서 얻은 세 가지 조언이에요. 다른 아이디어가 있으면 댓글로 자유롭게 공유해 주세요.

이 글에서는 1번과 2번 팁을 다룰 거예요.

시작해 보죠.

## 0. 준비 사항


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

시작하기 전에 Python3 버전과 다음 패키지들이 설치되어 있는지 확인해 주세요:

- Pandas
- Plotly
- Pandas DataReader

위의 패키지들이 설치되어 있는지 확인했다면, Pandas DataReader를 사용하여 시장 데이터를 가져올 것입니다. 이 경우, Tesla의 데이터를 가져올 것입니다.

만약 위의 패키지 중 어떤 것이 이미 설치되어 있지 않다면, 아래와 같이 pip 명령어를 사용할 수 있습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>


pip install pandas-datareader
pip install DateTime


더 많은 알고리즘 트레이딩 및 시장 데이터 획득에 대해 더 읽고 싶다면, 이 훌륭한 기사를 강력히 추천합니다.

읽기 귀찮다면, 아래 코드 라인을 찾을 수 있습니다:

테슬라에서 데이터를 업로드한 후, 다음과 같은 출력물 및 사용될 데이터세트는 다음과 같습니다:



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

<img src="/TIL/assets/img/2024-07-12-DataVisualisation3SecretTipsonPythontoMakeInteractiveGraphsandImpressYourBoss_1.png" />

이제 전제 조건이 해결되었으니, 첫 번째 팁부터 시작할 수 있어요.

## 팁 1: 범위 슬라이더 추가

나누고 싶은 첫 번째 팁은 범위 슬라이드 셀렉터입니다. 한 줄의 코드로 이미 그래프에 상당한 상호작용성을 불러올 수 있다는 사실에 믿음이 가시나요.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

아래와 같이 코드를 입력해보세요:


정적 그래프 대신 사용자가 특정 시간 범위를 선택하고 확대할 수 있습니다.

아래 예시에서는 재정 그래프를 기준으로 하겠지만, 시계열과 같은 데이터를 사용하면 언제든지 사용할 수 있습니다.

예를 들어, 마케팅에서는 시간에 따른 판매량을 플로팅하거나, 의료 공학에서 회복 진행 상황을 플로팅하는 데 사용할 수 있습니다. 다양한 분야를 모두 다룰 순 없지만, 응용 가능성에 대한 제 언급에 대해 이해하셨을 것입니다.

아래 코드를 입력해보죠:



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

아이디어가 인상적이지 않니?

위 그래프를 살펴보면 그래프에 범위 슬라이드 셀렉터가 추가되었음을 알 수 있어요. 이를 통해 사용자/클라이언트가 그래프의 특정 부분을 쉽게 확대 또는 축소할 수 있을 거예요.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

다른 예시로 여러 주식을 여러 개 가져올 수 있는 경우가 있습니다. 그리고 이러한 주식을 동일한 척도에 맞추어 인덱싱할 수도 있습니다 (출처 1). 아래는 결과입니다: 

![image](/TIL/assets/img/2024-07-12-DataVisualisation3SecretTipsonPythontoMakeInteractiveGraphsandImpressYourBoss_3.png)

## 팁 2: 대화형 버튼 추가하기

두 번째 팁은 대화형 필터링 버튼을 공유하고 싶습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

그러나, 이것에 대해 들어보신 적이 없을 것 같아요.

하지만, 제가 발견하고 나서, 제 삶은 급부상했어요.

상호 작용 필터링은 고객/사용자가 직관적으로 데이터를 필터링하거나 강조하려는 특정 시간이나 그래프 부분에 직접 확대하는 것을 도와줍니다.

![그래프 이미지](/TIL/assets/img/2024-07-12-DataVisualisation3SecretTipsonPythontoMakeInteractiveGraphsandImpressYourBoss_4.png)


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

다시 말씀드리지만 이 도표는 금융 데이터용으로 만들어졌지만 시계열 데이터의 모든 유형을 보여줄 수 있습니다.

위의 그래프를 만들기 위해 그래프에 추가해야 할 솔 코드의 라인은 다음과 같습니다:

```js
fig.update_layout(
    xaxis=dict(rangeselector=dict(
        buttons=list([
                dict(count=1, label="1 개월", step="month", stepmode="backward"),
                dict(count=6,label="6 개월", step="month", stepmode="backward"),
                dict(count=1,label="연간 데이터", step="year",stepmode="backward"),
                dict(count=1,label="1 년 데이터",step="year",stepmode="backward"),
                dict(step="all",label="전체 데이터")
            ]))))
```

조밀하게 보일 수 있지만 한 번 입력하면 이제 그래프에 모두 재사용할 수 있어 즐겁게 복사하여 붙여넣기만 하면 됩니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

한 번 코드 블록을 가지고 있으면 변경할 수 있는 변수는 다음과 같습니다:

![이미지](/TIL/assets/img/2024-07-12-DataVisualisation3SecretTipsonPythontoMakeInteractiveGraphsandImpressYourBoss_5.png)

심지어 첫 번째 팁과 함께 혼합하여 청중을 황홀하게 만들 수도 있어요.

아래 이미지에서는 원하는 기간에 맞게 이름을 맞추었고, 레인지 선택기와 결합된 최종 결과가 이와 유사하게 표시됩니다:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>


![image](https://miro.medium.com/v2/resize:fit:1200/1*KXVXwd9Y9XOvuauDPta1wQ.gif)

다음과 같은 코드 한 줄로 HTML로 내보낼 수도 있어요. 이렇게 하면 해당 파일을 고객이나 친구에게 보낼 수 있어요.

```js
fig.write_html("/Users/Desktop/MyGraph.html")
```

A부터 Z까지 직접 만드는 방법이 궁금하시면 다음 스텝별 영상을 따라해보세요. 실시간으로 확인하실 수 있어요:



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

질문이 있거나 데이터 시각화의 특정 부분을 다루길 원하시는 경우, 언제든지 Q&A에 댓글을 남겨주세요.

좋은 코딩 되세요

사지드 레살니

# 출처:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

Learn Algo Trading in One Day(Module 3):

[Python for Algorithmic Trading](https://www.udemy.com/course/python-for-algorithmic-trading)

Posts