스태킹 앙상블 기법 이해하고 활용하는 방법

PyTorch 입문  커스텀 데이터 사용 방법

파이썬에는 네 가지 복잡한 유형이 있습니다: 리스트, 튜플, 세트 및 사전이 있습니다. 각각에 대해 별도로 이야기하고 실제 예제를 제공하겠습니다.

무료로 읽으려면 다음 링크를 확인하십시오:

## 리스트:

- 리스트는 변경 가능한 요소입니다.
- 문자열, 문자, 정수 및 부동 소수점 숫자와 같은 서로 다른 유형의 항목을 포함 할 수 있습니다.
- 인덱스는 0부터 시작합니다.
- 순서가 있고 중복된 요소가 있습니다. append, remove 및 수정과 같은 연산이 가능합니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

아래 코드는 실제 예시입니다:


![image](/TIL/assets/img/2024-07-12-CompleteFreeCourseonPythonandDataEngineering_0.png)


# 튜플:

- 변경할 수 없는 데이터입니다.
- 변경할 수 없는 리스트로 사용될 수 있습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```python
tuple = (1, 2, 3, 4, 5, "b", "c", "d")
```

3. 필드의 컬렉션으로 사용될 수 있으며, 요소의 수가 고정되어 있고 순서가 중요합니다.

```python
city, year, pop, chg, area = ('Tokyo', 2003, 32_450, 0.66, 8014)
```

아래 코드는 실제 예시입니다:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>


![Course Image](/TIL/assets/img/2024-07-12-CompleteFreeCourseonPythonandDataEngineering_1.png)

# Sets:

- Mutable data.
- Elements are not ordered, nor duplicated.
- Sets are hashable so it’s highly optimized.
- Sets use a hashtable as its underlying data structure. This explains the O(1) membership checking, since looking up an item in a hashtable is an O(1) operation, on average.
- Operations between sets can be union, intersection, difference, or symmetric difference.

The code below is a practical example:



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>


![이미지](/TIL/assets/img/2024-07-12-CompleteFreeCourseonPythonandDataEngineering_2.png)

# 딕셔너리:

- 키-값 쌍이다.
- 키: 어떤 불변 유형이며 유일하다.
- 값: 불변 또는 가변 유형이 될 수 있다.
- 데이터를 효율적으로 조회한다.
- 키로 접근한다.
- 파이썬에서 딕셔너리는 해시 테이블로 구현된다.
- 키는 해시 가능한 객체여야 한다. 적절한 __hash__ 및 __eq__ 메서드를 구현해야 한다.
- 키에 의한 항목 접근은 매우 빠르다. 딕셔너리에 수백만 개의 키가 있을 수 있지만, 파이썬은 키의 해시 코드를 계산하고 해시 테이블에 대한 색인 오프셋을 파생하여 키를 직접 찾을 수 있으며 일치하는 항목을 찾기 위해 소수의 시도를 하게 된다.
- Python 3.7부터 dict 내장의 새로운 개선 사항은 다음과 같다: 사전 객체의 삽입 순서 보존 속성은 파이썬 언어 사양의 공식 부분으로 선언되었다. 이는 더 이상 OrderedDict가 필요하지 않다는 것을 의미한다. 거의 똑같다.

![이미지](/TIL/assets/img/2024-07-12-CompleteFreeCourseonPythonandDataEngineering_3.png)



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# NumPy Arrays:

- 동일한 유형의 객체로 구성된 다차원 배열이다.
- NumPy 배열은 List보다 우수하다:
- List보다 효율적으로 저장된다.
- 수학 연산을 벡터화할 수 있어, Python에서 List를 순회하는 것보다 성능이 높다.
- 연산:
- 숫자 연산: sin, cos, max, mean, variance, standard deviation, dot product.
- 비숫자 연산: 색인, 슬라이싱, 쌓기, 분할, 논리 연산.

# 참고 자료:

세트는 어떻게 구현되었나요?


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

Dict 대 OrderedDict

Dict은 파이썬의 해시 테이블입니다.

파이썬 공부 교재

# 감사 노트:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

각자의 시간을 내어 저의 글을 읽어 주셔서 감사의 말씀 전하고 싶습니다. 여러분의 지지와 참여는 저에게 너무나 소중하며, 이 멋진 청중과 제 생각과 통찰을 나눌 수 있는 기회에 진심으로 감사드립니다. 여러분의 팔로우는 저에게 가치 있는 내용을 만들기 위해 더 나은 자아를 추구하도록 영감을 줍니다. 오랜 구독자이든 새로 오신 독자이든, 여러분의 존재가 중요하며, 지지에 깊은 감사를 표합니다. 여러분과 공감되고 영감을 주는 고품질 글을 제공하기 위해 헌신할 것입니다. 여러분의 피드백과 댓글은 글쓰기에 대한 열정을 불어 넣어주고, 지속적인 성장을 동기부여합니다. 이 청중의 일원으로 함께해 주셔서 감사합니다. 여러분이 제 커뮤니티의 일원으로 있어 기쁘게 생각하며, 미래에도 여러분과 여러 새로운 아이디어를 공유하기를 기대합니다.

코드가 필요하시다면 구독하고 메시지 보내주세요.

감사합니다.

완전 무료 강좌 Python과 데이터 엔지니어링 완벽 가이드

Python으로 WhatsApp에서 AI를 사용하여 자신 복제하는 방법

플로렌스-2는 Microsoft의 고급 비전 기반 모델로, 프롬프트 기반 방식을 사용하여 다양한 비전 및 비전-언어 작업을 처리하기 위해 설계되었습니다. 로컬에서 플로렌스-2를 설정하고 실행하는 데 도움이 되는 시작 스크립트가 여기 있어요.

![이미지](/TIL/assets/img/2024-07-12-StartingwithFlorence2locally_0.png)

# 시작 스크립트

플로렌스-2를 실행하는 데 사용할 수 있는 시작 스크립트입니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```python
import os
from transformers import AutoProcessor, AutoModelForCausalLM  
from PIL import Image
import requests
from unittest.mock import patch
from transformers.dynamic_module_utils import get_imports

def run_example(task_prompt, text_input=None):
    if text_input is None:
        prompt = task_prompt
    else:
        prompt = task_prompt + text_input
    inputs = processor(text=prompt, images=image, return_tensors="pt")
    generated_ids = model.generate(
        input_ids=inputs["input_ids"].cuda(),
        pixel_values=inputs["pixel_values"].cuda(),
        max_new_tokens=1024,
        early_stopping=False,
        do_sample=False,
        num_beams=3,
    )
    generated_text = processor.batch_decode(generated_ids, skip_special_tokens=False)[0]
    parsed_answer = processor.post_process_generation(
        generated_text, 
        task=task_prompt, 
        image_size=(image.width, image.height),
    )
    return parsed_answer

# Example usage
fn = 'ray_ban_meta.jpeg'
image = Image.open(fn)
task_prompt = '<MORE_DETAILED_CAPTION>'
ret = run_example(task_prompt)
print(ret)
```

## 너무 괴롭히지 마세요

만약 지역에서 실행하는 모든 시도 끝에도 이 예외를 받게 된다면: `pip install flash_attn`를 실행해 보세요.

```python
File "C:\Users\alex_\aichat\florence2_vision\myenv\lib\site-packages\transformers\dynamic_module_utils.py", line 182, in check_imports
    raise ImportError(
ImportError: 이 모델링 파일은 환경에 없는 다음 패키지가 필요합니다: flash_attn. `pip install flash_attn`을 실행해 보세요.
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

상태 코드를 Markdown 형식으로 변경하십시오.

```js
File "C:\Users\alex_\aichat\florence2_vision\myenv\lib\site-packages\flash_attn\flash_attn_interface.py", line 10, in <module>
    import flash_attn_2_cuda as flash_attn_cuda
ImportError: DLL load failed while importing flash_attn_2_cuda: The specified procedure could not be found.
```

청소한 상태에서 Miniconda를 사용하여 시작해 보세요.

# 깔끔한 환경 설정


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

다음과 같이 새로운 conda 환경을 만들어 보세요:

```js
conda create -n florence2 python=3.11 -y
conda activate florence2
```

CUDA 설치 여부 확인:

CUDA가 설치되어 있는지 확인해주세요:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
nvcc --version

nvcc: NVIDIA (R) Cuda 컴파일러 드라이버
Copyright (c) 2005-2024 NVIDIA Corporation
2024년 4월 17일 수요일에 빌드됨
Cuda 컴파일 도구, 릴리즈 12.5, V12.5.40
빌드 cuda_12.5.r12.5/compiler.34177558_0
```

CUDA 경로 설정:

```js
set "CUDA_PATH=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.5"
set "CUDA_HOME=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.5"
```

PyTorch 및 종속성 설치하기:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
pip install transformers einops timm
```

# Flash 어텐션 불필요

transformers 의존성에서 요구되지도 않고 알려진 문제입니다.

이것이 해결책이에요:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
# With Python 3.11.7, transformers==4.36.2
import os
from unittest.mock import patch

from transformers import AutoModelForCausalLM
from transformers.dynamic_module_utils import get_imports


def fixed_get_imports(filename: str | os.PathLike) -> list[str]:
    """https://huggingface.co/microsoft/phi-1_5/discussions/72을 위한 해결책."""
    if not str(filename).endswith("/modeling_phi.py"):
        return get_imports(filename)
    imports = get_imports(filename)
    imports.remove("flash_attn")
    return imports


with patch("transformers.dynamic_module_utils.get_imports", fixed_get_imports):
    model = AutoModelForCausalLM.from_pretrained("microsoft/phi-1_5", trust_remote_code=True)
```

# OCR 테스트

## 입력 이미지

<img src="/TIL/assets/img/2024-07-12-StartingwithFlorence2locally_1.png" />



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

다음은 스크립트를 실행한 후의 업데이트 내용입니다:

```js
D:\DEV\MODELS\modules\transformers_modules\microsoft\Florence-2-large-ft\3112cd2e25c969cfdcb600a01489c56737d943d3\modeling_florence2.py:1209: UserWarning: 1Torch was not compiled with flash attention. (Triggered internally at ..\aten\src\ATen\native\transformers\cuda\sdp_utils.cpp:455.)
  attn_output = torch.nn.functional.scaled_dot_product_attention(
{'<OCR>': '2310Z8MOOWN - RW4008 6015IC 26243-4003RCID 2AYOA-403'}
```

잘 작동합니다! 좀 그렇지만요. 일부 숫자가 누락되었지만, 그건 다음에 다시 이야기할 주제입니다.

# 마지막으로


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이 단계를 따르면 어려움 없이 Florence-2를 로컬에서 실행할 수 있을 것입니다. 다른 문제가 발생하면 모든 의존성이 올바르게 설치되어 있는지, 환경이 올바르게 구성되어 있는지 확인해주세요.

# Hugging Face Spaces

환경을 로컬로 설정하기를 원치 않는다면 Hugging Face Spaces를 사용하여 Florence-2를 실행할 수도 있습니다. 이는 로컬 구성이 필요 없이 모델에 액세스할 수 있는 클라우드 기반 솔루션을 제공합니다. Hugging Face의 Florence-2 스페이스를 확인해보세요: Hugging Face Spaces

# 출처

로컬에서 Florence 2 시작하는 방법

![Screenshot](/TIL/assets/img/2024-07-12-HowtoAbstractYourReasoning_0.png)

고등학교 수학 학생에서 박사 후 수준의 최첨단 순수 수학 연구에 이르기까지 여정을 거친 개발자로서, 이러한 다른 교육 수준에서 뇌가 어떻게 작동하는지에 대한 한 가지 중요한 차이점을 강조하고 싶습니다.

고등학교 학생들은 수학을 연습할 때 일반적으로 특정 문제에 자신들의 교과지식을 적용하여 학습합니다. 이 문제들은 일반적으로 특정 값, 객체 또는 함수와 관련이 있습니다. 예를 들어, 고등학교 학생들은 보통 정수, 실수 또는 복소수, 또는 정수 다항식과 작업할 것입니다. 이로써 그들은 전문 수학자가 되기 위해 필요한 지식과 패턴인식을 향상시킵니다.

그러나 완전히 발전된 전문 수학자들은 최대한 일반화하고 추상화하여 생각하는 데 훈련 받습니다. 정수나 확립된 일상적인 숫자 구조와 작업하는 대신, 그들은 그룹, 환, 모듈 또는 체와 같은 추상 대수 구조와 작업합니다. 이는 많은 알려진 보다 구체적인 구조를 포괄하는데, 그 결과로 그들의 결과물은 더 강력해지며 보다 일반적인 구조와 문제에 적용할 수 있게 됩니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이 문장은 조금 추상적이에요. 웃음을 포함하기 위해 말장난을 쓰는 걸 용서해주세요. 수학적 통찰을 일반화하는 기회를 잡는다면 더 강력해질 수 있다는 간단한 예시를 보여드리겠어요. 이 옥스퍼드 수학 입학 시험 문제에서 고등학생은 특정 상황에 대해 결론을 내야 하죠. 그러나 접근법의 일반화를 발견하려는 순간에 훨씬 더 일반적인 결론을 내릴 수 있다는 것이 밝혀졌어요. 시험지에서의 문제로 시작해볼게요.

## 원본 MAT 문제 및 해답

![image](/TIL/assets/img/2024-07-12-HowtoAbstractYourReasoning_1.png)

미국 독자분들을 위해, '사탕'에 대한 미국식 단어는 '과자'입니다 😊


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

문제를 적혀 있는 그대로 해결해 보겠습니다. 그리고 우리의 해결책에 대해 일반화할 수 있는 부분이 있는지 살펴보겠습니다.

(i)부분에서 우리는 어떤 날이든 미리암이 이득을 얻는 것을 알 수 있습니다. 따라서 미리암은 여행 중 첫 15일이 맑은 날이 되도록 하여 이득을 극대화할 것입니다. 따라서 첫 15일 동안 이득을 한개씩 더 해가며, 총 15일 후에는 15개의 숫자의 합, 즉 ½ × 15 × 16 = 120개의 사탕을 얻을 것입니다. 그리고 나머지 15일 동안은 하루에 15개의 사탕을 받을 것이며, 이로써 추가로 15²= 225개의 사탕을 얻게 됩니다. 따라서 미리암의 가장 많은 사탕의 개수는 120 + 225 = 345개가 됩니다. (부모님은 이곳에서 수학을 한 결과에 확실히 경악할 것입니다)! 반대 경우는 미리암이 가장 적은 사탕의 수를 받는 경우입니다. 즉, 처음 15일이 비 오는 날이고 사탕을 전혀 받지 않으며, 마지막 15일이 맑은 날이고 각각 하나의 사탕을 받는 경우로, 이 경우 총 120개의 사탕을 받게 됩니다.

(ii)부분에서, 처음 15일이 맑은 날인 경우 아담은 이 날들에 사탕을 전혀 받지 않습니다. 그런 다음 16일차에 16개의 사탕을 받고, 17일차에 17개의 사탕을 받는 식으로 30번째 날에 30개의 사탕을 받게 됩니다. 따라서 아담이 받는 총 사탕의 수는 16부터 30까지의 모든 정수를 더한 것으로, 이는 미리암과 마찬가지로 345개가 됩니다. 처음 15일이 비 오는 날인 경우, 아담은 1일차에 1개의 사탕을 받고, 2일차에 2개의 사탕을 받는 식으로 15일차에는 15개의 사탕을 받습니다. 그 후에는 사탕을 받지 않습니다. 따라서 이 경우 아담이 받는 사탕 역시 처음 15개의 정수를 더한 값인 120개입니다.

(iii)부분에서, 우선 하루가 비 오는 날이고 다음 날이 맑은 날인 미리암의 경우를 살펴보겠습니다. 그리고 k를 이 비 오는 날을 포함하여 지난 휴가 중에 발생한 맑은 날의 수라고 가정합니다. 그러면 오늘이 미리암이 총 사탕을 받는 데에 k개에 기여할 것이고, 내일은 k+1개를 기여할 것입니다. 따라서 오늘과 내일 모두 미리암의 총 사탕에 2k+1개를 기여합니다. 이제 이 두 날을 바꿔 봅시다. 그러면 오늘이 미리암에게 k+1개의 사탕을 기여할 것이고, 내일 또한 k+1개를 기여하므로, 따라서 이 두 날은 미리암의 총 사탕에 2k+2개를 기여합니다. 이 교환이 다른 날들이 미리암의 총 사탕에 기여하는 데에 영향을 주지 않는다는 것에 유의하면, 이 교환은 미리암의 총 사탕을 한 개 더 늘어나게 합니다. 아담의 경우에도 동일한 방법을 사용하면, k일이 비 오는 날이라고 가정하고 그 다음 k+1일이 맑은 날인 경우를 생각해봅시다. 그러면 k일이 아담의 총 사탕에 k개를 기여하고 k+1일이 0을 기여하는데, 따라서 총 k개를 기여할 것입니다. 이들을 교환하면, k일이 0을 기여하고 k+1일이 k+1을 기여하므로, 총 기여하는 양은 k+1개가 됩니다. 따라서 아담의 경우에도 이 교환으로 인해 한 개의 사탕을 더 받습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

(iv) 부분에서는 실제로 지금까지 한 작업을 약간의 일반적화하도록 유도받았습니다. 처음 두 부분에서 알 수 있듯이 첫 15일이 비 오는 휴일과 다음 15일이 맑음인 경우, 아담과 미리암이 같은 양의 사탕을 먹는다는 것을 알았습니다. 그러나 여기서 중요한 깨달음은 — 이 시나리오로 시작한다면 — 우리는 점진적으로 인접한 비와 맑은 날을 교환하여 15일 간의 비와 맑은 날의 어떤 구성도 얻을 수 있다는 것입니다. 예를 들어, 주어진 구성에서 첫 맑은 날이 ` 16일인 경우, 우리는 초기 시나리오로 돌아가서 15일과 16일을 교환합니다. k가 15이면, 14일과 15일을 교환하고, 이렇게 반복하여 k에 첫 맑은 날을 배치합니다. 그런 다음 j ` k 위치에 다음 맑은 날을 배치하고, 이를 반복합니다. 이제 (iii)부분에서 어떤 교환 시리즈도 미리암과 아담의 합계에 동일한 영향을 준다는 것에 주목합니다. 따라서 그들은 같은 총 사탕 양으로 시작하며, 우리가 만드는 모든 인접한 교환은 그들의 총 사탕에 동일한 영향을 미치므로, 미리암과 아담이 같은 총 사탕 양을 가질 것이라고 결론지을 수 있습니다. 15일 동안 비와 맑은 날이 있는 휴일에 대해서도 마찬가지입니다. 그럼 이 내용으로 마칩니다.

## 여기서 멈추는 이유가 있을까요?

우리가 위에서 한 내용을 일반화하여, 휴일이 얼마나 길든 날씨가 어떻든 상관없이 미리암과 아담이 가질 사탕 양의 차이를 계산하는 데 기회를 발견했나요? 다시 한번 살펴보고, 이번에는 계산을 추상화해 봅시다!

휴일이 30일이고 15일 동안 비가 오고 15일 동안 맑은 날이라는 것 대신에, 휴일이 q일이라고 가정하고 k ≤ q인 비 오는 날이 k개이고 맑은 날이 q-k개인 경우를 생각해 봅시다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

위의 방법에서 알 수 있듯이, 우리는 k일 동안의 비가 내린 날이 모두 달의 시작부터인 것으로 가정할 수 있습니다. 인접한 비 오는 날과 맑은 날을 교환하는 일련의 작업으로 이를 통해 어떤 구성도 유도할 수 있고, 이것이 어린이들이 받는 사탕의 총 수를 변경하지 않음을 알 수 있습니다. 따라서 k일 동안 비가 내린 다음 q-k일 동안 맑은 날이 있는 이 초기 구성에서 사탕의 차이를 계산하는 것으로 충분합니다.

아담의 경우, 이 구성에서 그는 0개의 사탕에서 시작하여 처음 k일 동안 매일 추가로 한 개의 사탕을 받은 후 더 이상 사탕을 받지 않게 됩니다. 따라서 아담은 다음과 같은 수의 사탕을 받게 됩니다:

![image](/TIL/assets/img/2024-07-12-HowtoAbstractYourReasoning_2.png)

미리암의 경우, 처음 k일 동안은 사탕을 받지 않다가 k+1일에 한 개의 사탕을 받은 후 마지막 날(q일)까지 각각의 추가적인 날마다 한 개의 사탕을 받습니다. 따라서 미리암은 다음과 같은 수의 사탕을 받게 됩니다:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>


![Miriam and Adam sweets difference equation](/TIL/assets/img/2024-07-12-HowtoAbstractYourReasoning_3.png)

When we subtract these two and perform some algebraic simplification, we obtain a general expression for the difference in the number of sweets received by Miriam and Adam for any holiday lasting q days with k ≤ q rainy days:

![General expression for sweets difference](/TIL/assets/img/2024-07-12-HowtoAbstractYourReasoning_4.png)

It's clear from this equation that for holidays with an equal number of rainy and sunny days (i.e., q = 2k), the difference in sweets is zero, and both children will receive the same number of sweets. Furthermore, the number is positive when there are more sunny days than rainy days (favoring Miriam), and negative when there are more rainy days than sunny days (favoring Adam).



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

시험 문제의 이 추상화에 대해 어떻게 생각하셨나요? 자유롭게 의겢하여 주세요.

추론을 추상화하는 방법 이해를 돕는 구체적 사례 포함

![이미지](/TIL/assets/img/2024-07-12-Top5PythonDataVisualizationTechniquesYouProbablyArentUsing_0.png)

## 이 5가지 고급 시각화 차트를 마스터하세요

이 다섯 가지 고급 시각화 차트를 마스터하면 데이터 시각화가 쉬워집니다. 이 라이브러리들은 서로 보완하여 데이터 표현을 극대화합니다.

# 1. 화음도표


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

Chord Diagram(코드 다이어그램)은 데이터 포인트 간의 복잡한 관계를 창조적으로 보여줍니다. 노드들이 원 주위에 배열되어 아크로 연결됩니다. 아크의 길이는 연결 값을 반영하며 두께는 관계의 중요도를 나타냅니다. 색상은 데이터를 분류하여 비교를 쉽게 만듭니다. 유전자 데이터 시각화를 위해 특히 다양한 분야에서 널리 사용됩니다.

![Chord Diagram example](/TIL/assets/img/2024-07-12-Top5PythonDataVisualizationTechniquesYouProbablyArentUsing_1.png)

![Chord Diagram example 2](/TIL/assets/img/2024-07-12-Top5PythonDataVisualizationTechniquesYouProbablyArentUsing_2.png)

다음은 Holoviews 및 Bokeh를 사용하여 다섯 개국 간의 무역 관계를 보여주는 코드 다이어그램 예시입니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```python
import holoviews as hv
from holoviews import opts
import pandas as pd
import numpy as np
hv.extension('bokeh')

# 5개 국가 간의 수출량을 나타내는 표본 행렬
export_data = np.array([[0, 50, 30, 20, 10],   
                        [10, 0, 40, 30, 20],   
                        [20, 10, 0, 35, 25],   
                        [30, 20, 10, 0, 40],   
                        [25, 15, 30, 20, 0]]) 

labels = ['USA', 'China', 'Germany', 'Japan', 'India']

# 판다스 데이터프레임 생성
df = pd.DataFrame(export_data, index=labels, columns=labels)
df = df.stack().reset_index()

df.columns = ['source', 'target', 'value']

# Chord 객체 생성
chord = hv.Chord(df)

# Chord 다이어그램 스타일링
chord.opts(
    opts.Chord(
        cmap='Category20', edge_cmap='Category20', 
        labels='source', label_text_font_size='10pt',  
        edge_color='source', node_color='index', 
        width=700, height=700 
    )
).select(value=(5, None)) 

# 플롯 출력
chord
```

![Chord Diagram](/TIL/assets/img/2024-07-12-Top5PythonDataVisualizationTechniquesYouProbablyArentUsing_3.png)

- [Chord 호환성](https://holoviews.org/reference/elements/matplotlib/Chord.html)
- [pyCirclize GitHub](https://github.com/moshi4/pyCirclize)



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 2. 썬버스트 차트

썬버스트 차트는 계층적 데이터를 명확하게 표시하여 전통적인 원형 및 링 차트를 능가합니다. 각각 계층을 나타내는 동심원을 사용합니다. 중심은 루트이며 세그먼트는 노드를 나타냅니다. 각 세그먼트의 크기는 해당 값을 반영하여 데이터의 중요성을 직관적으로 이해하게 합니다. 파일 시스템 계층 구조, 사용자 탐색 경로, 시장 세분화 및 유전 데이터의 시각화에 유용합니다.

다음은 Plotly 라이브러리를 사용하여 썬버스트 차트를 만드는 예시입니다.

```js
import plotly.express as px
import numpy as np

df = px.data.gapminder().query("year == 2007")

fig = px.sunburst(df, path=['continent', 'country'], 
                  values='pop',
                  color='lifeExp', 
                  hover_data=['iso_alpha'],
                  color_continuous_scale='RdBu',
                  color_continuous_midpoint=np.average(df['lifeExp'], weights=df['pop']))
fig.show()
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>


[그림](https://plotly.com/python/sunburst-charts/)

# 3. Hexbin Plot

[그림](/TIL/assets/img/2024-07-12-Top5PythonDataVisualizationTechniquesYouProbablyArentUsing_5.png)



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

헥스빈 플롯 또는 육각형 바이닝은 데이터 점이 밀집되어 있을 때 특히 2D 데이터 분포를 시각화하는 데 효과적입니다. 데이터 공간을 육각형 바인으로 분할하며 색상은 각 바인 내의 점 수를 나타내어 데이터 분포를 명확하게 표현합니다.

Python과 Matplotlib을 사용하여 공기 품질 지수(AQI)와 병원 방문 간의 상관 관계를 시연한 헥스빈 플롯을 만드는 예제를 보여드릴게요.

```js
import numpy as np
import matplotlib.pyplot as plt
from mplhexbin import HexBin

# 시뮬레이션 데이터
np.random.seed(0)  # 재현성 확보
n_points = 10000
x = np.random.rand(n_points) * 100  # 공기 품질 지수(AQI) 범위: 0에서 100
y = 5 * np.sin(x * np.pi / 50) + np.random.randn(n_points) * 15  # 시뮬레이션된 병원 방문, AQI와 관련 있지만 잡음이 있음

# 새로운 그림 생성
fig, ax = plt.subplots(figsize=(10, 8))

# HexBin을 사용하여 육각형 바인 플롯 생성
hb = HexBin(ax, gridsize=20, cmap='viridis', extent=[0, 100, -30, 50])  # 그리드 크기, 색상 지도 및 범위 설정
hb.hexbin(x, y, mincnt=1)  # 육각형 바인 플롯 그리기, mincnt는 최소 카운트 임계값을 설정합니다

# 제목 및 축 레이블 추가
ax.set_title('공기 품질 지수(AQI)와 병원 방문 간의 관계')
ax.set_xlabel('공기 품질 지수(AQI)')
ax.set_ylabel('병원 방문')

# 그림 표시
plt.colorbar(hb.cmap, ax=ax, label='데이터 포인트 수')  # 컬러바 추가 및 레이블 설정
plt.show()
```

<img src="/TIL/assets/img/2024-07-12-Top5PythonDataVisualizationTechniquesYouProbablyArentUsing_6.png" />


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

https://matplotlib.org/stable/gallery/statistics/hexbin_demo.html

# 4. 샌키 다이어그램

샌키 다이어그램은 엔터프라이즈 시스템과 시계열 데이터의 흐름을 시각적으로 보여주는 차트입니다. 데이터의 유입과 유출을 보여주며 주로 에너지, 재료, 금융 데이터에 사용됩니다. 매튜 헨리 핀리어스 릴 샌키(Mattew Henry Phineas Riall Sankey)의 이름을 따와 만들어졌습니다. 다이어그램은 시스템의 단계들 간의 데이터 양을 바로 알 수 있게 해줍니다. 노드의 너비는 흐름의 양과 비례하기 때문에 데이터의 규모와 방향을 이해하기 쉽습니다.

<img src="/TIL/assets/img/2024-07-12-Top5PythonDataVisualizationTechniquesYouProbablyArentUsing_7.png" />


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

아래는 파이썬을 사용하여 생산원에서 작은 도시 소비자에게 에너지 흐름을 보여주는 샌키 다이어그램을 생성하는 예제입니다.

```python
import plotly.graph_objects as go

labels = ["Coal", "Solar", "Wind", "Nuclear", "Residential", "Industrial", "Commercial"]

source = [0, 1, 2, 3, 0, 1, 2, 3] 
target = [4, 4, 4, 4, 5, 5, 5, 5] 
value = [25, 10, 40, 20, 30, 15, 25, 35] 

# 샌키 다이어그램 객체 생성
fig = go.Figure(data=[go.Sankey(
    node=dict(
        pad=15,  
        thickness=20, 
        line=dict(color="black", width=0.5),
        label=labels 
    ),
    link=dict(
        source=source,  
        target=target, 
        value=value  
    ))])

fig.update_layout(title_text="모델 도시의 에너지 흐름", font_size=12)
fig.show()
```

[이미지 바로가기](/TIL/assets/img/2024-07-12-Top5PythonDataVisualizationTechniquesYouProbablyArentUsing_8.png)

[Plotly 샌키 다이어그램 자세히 보기](https://plotly.com/python/sankey-diagram/)


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 5. 스트림 그래프 (테마 리버)

스트림 그래프는 변화를 나타내는 강을 닮았습니다. 색상이 카테고리를 구분하며, "강"의 너비는 각 카테고리의 값으로 나타냅니다. 데이터 동태를 이해하기 쉽게 보여주며, 추세와 관계를 시각적으로 표현합니다.

![Stream Graph](/TIL/assets/img/2024-07-12-Top5PythonDataVisualizationTechniquesYouProbablyArentUsing_9.png)

여기에는 Altair 라이브러리를 사용하여 스트림 그래프를 만드는 예시가 있습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
import altair as alt
from vega_datasets import data

source = data.unemployment_across_industries.url

alt.Chart(source).mark_area().encode(
    alt.X('yearmonth(date):T',
        axis=alt.Axis(format='%Y', domain=False, tickSize=0)
    ),
    alt.Y('sum(count):Q', stack='center', axis=None),
    alt.Color('series:N',
        scale=alt.Scale(scheme='category20b')
    )
).interactive()
```

<img src="/TIL/assets/img/2024-07-12-Top5PythonDataVisualizationTechniquesYouProbablyArentUsing_10.png" />

https://altair-viz.github.io/gallery/streamgraph.html

최신 AI 이야기를 계속 읽으려면 Substack에서 저희와 함께하세요. 우리 함께 AI의 미래를 모습을 만들어 봅시다!



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

파이썬 이야기를 업데이트 받으려면 Substack에서 저희와 함께 연락하십시오. 함께 파이썬을 배워봐요!

아직 잘 알려지지 않은 5가지 파이썬 데이터 시각화 기법

수학적 프로그래밍으로 자산 저장 문제 해결하는 방법

<img src="/TIL/assets/img/2024-07-12-HomeAcceptanceTestforSmallLanguageModels_0.png" />

요즘 인공지능 커뮤니티에서 멋진 소식들이 있었어요. 모두가 작은 언어 모델과 낮은 계산 자원 가용성과 관련이 있어요.

예를 들면, 1.58비트(32비트 대신) 대규모 언어 모델을 실행하는 Transformer를 상상해봐요: 이를 위해 GPU가 필요하지 않아요.

지금으로선, 이것은 아직 가능한 미래에 해당해요. 현실은 새로운 작은 언어 모델이 챗봇 어시스턴트로 놀라운 성능을 발휘할 수 있다는 거죠.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

집에서 손쉽게 직접 테스트해보고 싶지 않으세요?

컴퓨터에 전용 GPU가 없는 경우에 대한 완벽한 직접 테스트 가이드를 제공해 드릴게요.

![이미지](/TIL/assets/img/2024-07-12-HomeAcceptanceTestforSmallLanguageModels_1.png)

# 전문적인 사전 설명


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

H2O.ai는 Apache-2 라이센스로 출시되었고 놀라운 SML을 제공합니다: h2oai/h2o-danube-1.8b-chat라고 불린답니다.

마찬가지로, MBZUAI(모하메드 빈 자이드 인공지능 대학교 - LaMini 모델의 창조자)의 사랑받는 친구들은 새로운 람가 무리를 발표했습니다. 최고 러너는 MobiLlama-1B-Chat입니다.

이제 다양한 Small AI가 제공되어 일상적인 작업에 파트너를 선택할 수 있습니다.

이 기사에서 제공하는 방법은 로컬 컴퓨터뿐만 아니라 동일한 네트워크에 연결된 친구나 동료와 공유할 수 있습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이 방법을 사용하면 Python 코드에서 변경해야 하는 유일한 부분은 페이지 제목입니다!

# Home Acceptance Test

이 용어는 계측 공학에서 상속 받은 것입니다. 공장 수락 테스트는 제조업체의 공장에서 수행하는 일련의 절차와 테스트로, 제조업체가 제공할 장비를 확인하는 것입니다. FAT(공장 수락 테스트) 중에 시스템이 요청한 요구사항을 준수하는지 확인해야 합니다.

우리의 Small Language Models에 대해 우리 중 누구도 기대를 갖고 있습니다. 이를 확인할 방법은 없는 것일까요?


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

저는 귀하의 GitHub Repo에 3가지 예제를 만들어서 귀하가 3분 안에 설정하고 수정하며 Hugging Face Hub의 거의 모든 모델과 페어링할 수 있도록 했습니다.

# 홈 랩 설정 방법

이 프로젝트를 가능한 한 호환성 있게 만들기 위해 최소한의:

- 파이썬 라이브러리 수
- 가장 쉬운 GGUF 추론 방법
- 그래픽 인터페이스의 쉬운 사용자 정의를 사용했습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

따라서 이 프로젝트를 위한 새 폴더를 만들고 가상 환경을 생성한 다음 활성화하세요 (여기서 제시된 지침은 Windows 사용자를 위한 것입니다).

저는 아직 Python 3.10을 사용 중이지만 3.11도 괜찮습니다. Sentencepiece를 사용하려면 3.12를 사용하지 마세요 (아직 지원되지 않음).

```js
mkdir HAT
cd HAT
python -m venv venv

venv\Scripts\activate
```

가상 환경이 활성화된 상태이므로 필요한 3개의 라이브러리만 설치해야 합니다:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
pip install llama-cpp-python[server]==0.2.53
pip install openai
pip install streamlit
```

라마-cpp-python 라이브러리는 CPU 만 사용하여 양자화된 모델을 실행할 수 있을뿐만 아니라 서버로서도 작동할 수 있습니다!

처음에는 놀랐어요. 한 줄의 명령어로 이게 다 가능하다니요!

로컬 모델을 호출하기 위해 openai Python 라이브러리가 필요합니다. 여기서의 차이점은 ChatGPT를 호출할 때와 동일한 방법으로 로컬 모델을 호출할 것이지만 인터넷 연결이 필요하지 않으며 API 키나 돈을 요청하지 않을 것입니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

그리고 웹 그래픽 인터페이스로 Streamlit을 사용할 것입니다.

마지막으로, 모델 파일을 잊지 말아야 합니다. 우리는 오직 CPU 자원을 사용할 계획이므로 모델의 양자화된 GGUF 형식을 사용하려고 합니다.

모델을 다운로드하여 모델 하위 폴더에 저장해주세요.

- https://huggingface.co/brittlewis12/h2o-danube-1.8b-chat-GGUF
- https://huggingface.co/asedmammad/gemma-2b-it-GGUF/tree/main
- https://huggingface.co/tsunemoto/cosmo-1b-GGUF/tree/main


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

여기 3개의 모델 링크를 제공해드리겠습니다 (danube-1.8B-chat Q5_K_M, Gemma-2B-it Q4_K_M, 그리고 Cosmo-1b Q4_K_M): 하지만 이 외에도 그 이상의 모델들을 사용할 수 있다는 것을 기억해 주세요.

이제 모든 설정이 완료되었습니다.

cosmo-1b.Q4_K_M.gguf, gemma-2b-it.q4_K_M.gguf, 그리고 h2o-danube-1.8b-chat.Q5_K_M.gguf의 모델 파일들은 model이라는 하위 폴더에 있어야 합니다.

![이미지](/TIL/assets/img/2024-07-12-HomeAcceptanceTestforSmallLanguageModels_2.png)


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# H2O Danube-1.8b-chat 테스트 벤치에서

파이썬 파일을 여기 리포지토리에서 다운로드할 수 있어요. 여기서 모델을 실행하고 사용자 정의하는 과정에 대해 설명할 거예요.

코드 워크스루를 원하신다면 아래 기사를 참고하세요:

모델을 API로 실행한 다음 streamlit을 실행하려면 두 개의 터미널 창이 필요해요: 하나는 FastAPI 서버를 시작하고, 또 다른 하나는 Streamlit GUI 서버 역할을 할 걘이에요. 두 터미널은 모두 venv를 활성화해야 해요.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

왼쪽 터미널에서 다음 명령으로 llama-cpp-server를 실행하십시오:

```js
python -m llama_cpp.server --host 0.0.0.0 --model model/h2o-danube-1.8b-chat.Q5_K_M.gguf --n_ctx 16384
```

오른쪽 터미널에서 다음 명령으로 Streamlit 서버를 시작하십시오:

```js
streamlit run .\Danube1.8-stChat_API.py
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

기본 브라우저를 열어 기본 챗봇 그래픽 인터페이스를 확인하세요.

![Chatbot Interface](/TIL/assets/img/2024-07-12-HomeAcceptanceTestforSmallLanguageModels_3.png)

바로 채팅을 시작할 수 있어요. 몇 가지 매개변수를 변경할 수 있어요 (예를 들어

- 온도
- 출력의 최대 토큰 수
- 어시스턴트와 사용자의 턴 수와 관련된 다른 유용한 매개변수는 버퍼 메모리에 유지할 대화의 수입니 12개의 작은 모델인 Cosmo-1B이 좋은 숫자입니다. 
- 대화 전체가 txt 로그 파일에 저장됩니다. (매우 유용함)
- '이전 대화 모두 삭제' 버튼을 클릭하면 이전 대화 내용이 모두 지워지고 처음부터 시작하게 됩니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>


![image](/TIL/assets/img/2024-07-12-HomeAcceptanceTestforSmallLanguageModels_4.png)

# 모든 마법이 일어나는 곳은 어디인가요?

실제로 동일한 Streamlit 파일을 다른 챗봇 모델과 함께 사용할 수 있는 사실은 llama-cpp-python의 힘 덕분입니다.

호환되는 openai-webserver는 기본적으로 우리에게 모델과 상호작용하는 표준 방식을 제공해줍니다(API의 힘입니다...).



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

서버에서 사용 가능한 옵션 전체 목록을 보려면 명령줄에 다음과 같이 입력하면 됩니다.

```js
python3 -m llama_cpp.server --help  # 리눅스/맥 용
python -m llama_cpp.server --help   # 윈도우 용
```

서버를 로드하는 명령줄에서 이전에 우리가 chat-format을 지정했다는 것을 알았을 것입니다. 편의를 위해, 명령줄에 전달되는 각 인수에 대해 새 줄을 추가할 것입니다.

```js
python -m llama_cpp.server 
--host 0.0.0.0 
--model model/gemma-2b-it.q4_K_M.gguf 
--chat_format gemma 
--n_ctx 8192
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

- --host 0.0.0.0: 이 argument는 서버의 노출된 IP 주소를 지정하는 데 사용됩니다. 0.0.0.0으로 설정하면 컴퓨터가 네트워크에 할당한 IP를 사용하도록 지정하는 것입니다.

- --model model/gemma-2b-it.q4_K_M.gguf: 이는 GGUF 파일의 위치를 제공하는 데 사용됩니다.

- --chat-format gemma: 이 argument는 채팅 템플릿에 책임이 있습니다. 각 LLM이 특정 형식의 스타일로 프롬프트를 받는 것을 기억해야 합니다. 여기서 llama-cpp가 이미 구축한 기존 채팅 템플릿을 지정합니다.

- --n_ctx 8192: 이는 모델이 계산할 수 있는 컨텍스트 창입니다. Gemma-2b는 8,192토큰, Danube-1.8b는 16,384토큰의 창을 가지고 있습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

놀라운 엔지니어링 작업이 여기 정확히 있습니다. Andrei aka abetlen은 채팅을 처리하는 매우 똑똑한 방법을 만들었습니다 (소스는 여기에 있습니다):

모델은 다음 우선 순위 순서로 메시지를 단일 프롬프트로 포맷팅합니다:

- 제공된 경우 chat_handler 사용
- 제공된 경우 chat_format 사용
- gguf 모델의 메타데이터에서 tokenizer.chat_template 사용 (대부분의 새로운 모델에 작동해야 함, 오래된 모델에는 없을 수 있음)
- 그렇지 않으면, llama-2 채팅 형식으로 대체

의미를 보여드리기 위해 다누브-1.8b-채팅 모델의 llama-cpp-server의 로딩 시퀀스를 살펴보겠습니다:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

GGUF 파일에는 모델 토크나이저가 포함되어 있습니다. 모델을 로드하는 동안 llama-cpp-python은 토크나이저.template을 구문 분석하여 우리가 사용할 수 있는 chat.template으로 변환합니다!

이는 터미널 창에서 추출한 내용입니다.

이제 다른 Streamlit 앱을 실행하지 않아도 채팅을 할 수 있습니다. Danube를 읽고 Gemma와 대화하는 것은 상당히 이상할 수 있지만 중요한 것은 챗봇이 임무를 제대로 수행하고 있다는 것입니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

<img src="https://miro.medium.com/v2/resize:fit:1400/1*2oMOmJlYp0LFWxzVycN90A.gif" />

## 그래서, Chat-formats이 뭔가요?

만약 명령줄에서 챗형식을 지정하려면, llama-cpp-python이 내장된 해결책으로 제공하는 옵션들은 다음과 같습니다:

```js
llama_cpp.llama_chat_format(valid formats: [
'llama-2', 'alpaca', 'qwen', 'vicuna', 'oasst_llama', 
'baichuan-2', 'baichuan', 'openbuddy', 'redpajama-incite', 
'snoozy', 'phind', 'intel', 'open-orca', 'mistrallite', 
'zephyr', 'pygmalion', 'chatml', 'mistral-instruct', 
'chatglm3', 'openchat', 'saiga', 'gemma', 'functionary', 
'functionary-v2', 'functionary-v1', 'chatml-function-calling'])
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 결론

이미 언급했듯이, 그리고 멈추지 않고 계속 말할 테니 매주 새로운 모델이 나오고 있습니다. 많은 사람들이 그 중 하나를 쫓아가느라 시간을 낭비하지 말라고 말할지도 모릅니다.

하지만 저는 그것에 반대합니다! 다른 사람들의 판단에 항상 의지해서는 안 됩니다. 게다가, 작은 언어 모델(30억 파라미터 미만)은 매우 유망하며 매우 적은 추론 시간으로 CPU에서 실행할 수 있습니다.

이러한 작은 모델들의 파라미터 조정은 결과를 극적으로 바꿀 수 있으며, 모든 주요 지표에서 높은 벤치마크 점수를 가질 수는 없지만 이는 전혀 좋지 않거나 특정 목적에 완벽하지 않다는 것을 의미하지 않습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

자신을 판단하는 최선의 방법은 당신 자신입니다. 홈 수용 테스트는 정말 좋은 해결책이죠!

만약 놓치셨다면, 다시 한번 GitHub Repo를 확인해보세요:

이 기사를 즐기셨기를 바랍니다. 이 이야기가 가치를 제공했고 조금이라도 지원을 표현하고 싶다면:

- 이 이야기에 대해 많이 박수를 보내세요.
- 기억해야 할 중요한 부분을 강조하세요(나중에 찾을 때 더 쉽고 더 나은 기사를 작성하는 데 도움이 됩니다).
- 자신만의 AI를 만드는 방법을 배우려면 이 무료 eBook을 다운로드하세요.
- 제 링크를 사용하여 Medium 멤버십 가입하기 ($5/월로 무제한 Medium 기사 읽기).
- Medium에서 제 팔로우하기.
- 제 최신 기사는 https://medium.com/@fabio.matricardi에서 읽을 수 있습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

다음은 몇 가지 더 자료입니다:

## 챗봇 구축을 위한 자원 및 참고 자료:

## 출력을 스트리밍하는 방법을 배우려면:

## 채팅 템플릿 유도


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# Stackademic 🎓

내용을 끝까지 읽어주셔서 감사합니다. 떠나기 전에:

- 작가를 클립하고 팔로우해주시면 감사하겠습니다! 👏
- 저희를 팔로우해 주세요: X | LinkedIn | YouTube | Discord
- 다른 플랫폼에서도 저희를 만나보세요: In Plain English | CoFeed | Venture | Cubed
- 더 많은 콘텐츠는 Stackademic.com에서 확인하세요.

소형 언어 모델의 가정 내 수용 테스트 방법

# 문제 😕

데이터는 새로운 석유입니다. 점점 더 많은 조직이 중요한 이유로 Azure 리소스 로그를 로그 분석 워크스페이스로 전송하기를 선택하고 있습니다:

- 로그 분석 워크스페이스의 보존 기간을 최대 12년까지 구성할 수 있습니다. 이는 감사와 같은 요구 사항을 보완합니다.
- Kusto 쿼리 언어 구문을 사용하여 강력한 쿼리를 실행할 수 있어 필요한 데이터만 좁혀 보거나 시각화하여 시가 차트 등을 사용할 수 있습니다.

로그 분석 워크스페이스로 전송되는 데이터 예시로는 Cosmos DB(NoSQL 데이터베이스)에서 활성화된 CDBDataPlaneRequests 테이블이 있습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

해당 테이블에서 어떤 유용한 데이터를 얻을 수 있을까요?

![Table Screenshot](/TIL/assets/img/2024-07-12-HowtoQueryLogAnalyticsWorkspaceDataUsingPython_0.png)

이는 전체 테이블 중 일부에 불과합니다. 실제로 Cosmos DB에서 사용할 수 있는 테이블은 더 많습니다. 더불어, 모든 Azure 리소스를 위한 가능한 모든 테이블을 상상해보세요!

일반적으로 Azure 리소스에서 로그를 전송할 수 있는 기능은 "진단 설정(diagnostic settings)"이며, 데이터는 테이블 형식으로 전송됩니다. 진단 설정에 대한 자세한 내용은 여기에서 확인해주세요.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

모든 그 귀중한 데이터를 활용할 수 있게 되면 아마도 즉시 분석을 수행할 수 있어서 설레일 것입니다. 다른 말로 하면, "데이터 과학".

로그 분석 워크스페이스에 프로그래밍 방식으로 액세스하면 데이터로 수행 가능한 작업은 무궁무진합니다. Python Jupyter 노트북에서 데이터를 쉽게 분석할 수도 있고요.

이것의 제한을 궁금해하시나요? 이 설명서를 즐겨찾기에 추가해주세요.

이제 세부 사항에 대해 깊이 파고들어볼까요?


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 사전 준비 사항 📚

![이미지](/TIL/assets/img/2024-07-12-HowtoQueryLogAnalyticsWorkspaceDataUsingPython_1.png)

이 글을 처음부터 끝까지 따라하고 싶다면 이 사항을 준비해주세요:

- Visual Studio Code (VS Code)를 사용하는 IDE (VS Code에 특화된 확장 프로그램을 사용할 것입니다)
- Python의 기본 지식
- azure-identity, azure-monitor-query, pandas 등의 비기본 라이브러리가 설치된 Python 환경
- 로그를 보내는 기존의 Log Analytics 워크스페이스
- [선택 사항] 가능하다면 진단 설정 로그를 Log Analytics 워크스페이스로 보내기 위한 Cosmos DB 계정이 있어야 합니다. 저의 스크립트는 이에 기반합니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

지금은 로그 분석 워크스페이스에서 데이터를 검색하는 Python 스크립트를 확인해 봅시다.

# 솔루션 💯

<img src="/TIL/assets/img/2024-07-12-HowtoQueryLogAnalyticsWorkspaceDataUsingPython_2.png" />

이 섹션에서는 샘플 Python 스크립트를 부분별로 분해합니다. 모든 부분을 이해한 후에 모두 조합해도 괜찮습니다(부분은 위에서 아래로 순서대로 나열되어 있습니다)!


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

## [1] 필요한 라이브러리 가져오기

이미 해당 Python 라이브러리들이 없는 경우에는 설치해야 할 수도 있습니다: azure-identity, azure-monitor-query, pandas

```js
import os
import pandas as pd
from datetime import datetime, timezone
from azure.monitor.query import LogsQueryClient, LogsQueryStatus
from azure.identity import DefaultAzureCredential
from azure.core.exceptions import HttpResponseError
```

## [2] 스크립트에 필요한 클라이언트 초기화하기


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

우리는이 스크립트를위한 두 개의 별개의 클라이언트를 시작해야합니다. 간단함을 위해 동기 클라이언트를 선택하겠습니다:

```js
# 필요한 클라이언트 생성 (동기, 공용 클라우드)
credential = DefaultAzureCredential()
client = LogsQueryClient(credential)
```

DefaultAzureCredential() 클래스를 이해하는 데 어려움이 있는 경우 이 설명서를 읽어보십시오.

## [3] Log Analytics 워크스페이스 ID 정의


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

Log Analytics 워크 스페이스 ID를 얻으려면 Azure Portal로 이동하여 'Log Analytics 워크 스페이스 - 개요'로 이동하면 됩니다. 예시:

![이미지](/TIL/assets/img/2024-07-12-HowtoQueryLogAnalyticsWorkspaceDataUsingPython_3.png)

![이미지](/TIL/assets/img/2024-07-12-HowtoQueryLogAnalyticsWorkspaceDataUsingPython_4.png)

```js
# 로그 분석 워크 스페이스 ID를 정의합니다
LA_WORKSPACE_ID = "<당신의-로그-분석-워크 스페이스-ID>"
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

## [4] 쿼리 정의

로그 분석 워크스페이스에서 데이터를 가져오는 쿼리는 Kusto Query Language (KQL) 형식으로 작성됩니다. 특정 예시에서는 Cosmos DB와 관련된 로그를 확인하고 있습니다:

```js
# 쿼리 정의 (Kusto Query Language)
query = """
CDBDataPlaneRequests 
| where AccountName == toupper('al-nosql')
| where TimeGenerated > ago(2h)
| take 10
"""
```

Azure 자원이 전송한 로그에 적합한 쿼리로 위의 쿼리를 자유롭게 수정해보세요. 대부분의 Azure 자원에 대해 동작하는 매우 일반적인 쿼리는 다음과 유사합니다:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
"""
AzureDiagnostics
| take 1
"""
```

## [5] 쿼리의 시간 범위를 정의하세요 (선택 사항)

쿼리의 시간 범위를 KQL 쿼리 내에서도 정의할 수 있는 옵션이 있음을 유의해주세요 (3단계에서 설명됨).

본 문서를 위해, 사용자의 쿼리가 너무 비싼 비용이 들지 않도록 고려하여 클라이언트를 초기화할 때 상대적으로 작은 시간 범위를 강제로 적용하도록 해둡니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```python
# 쿼리를 위한 시간 범위 정의 (위의 쿼리에서도 이를 정의할 수 있음)
start_time=datetime(2024,2,25, tzinfo=timezone.utc)
end_time=datetime(2024, 2, 26, tzinfo=timezone.utc)
```

## [6] Log Analytics 작업 영역에서 쿼리하세요!

이제 Log Analytics 작업 영역에서 모든 흥미로운 데이터를 가져오는 시간입니다.

아래 코드에 오류 처리가 추가되었음을 주목하고 Pandas 데이터프레임을 표시할 것임을 확인하세요.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
try:
    response = client.query_workspace(
        workspace_id=LA_WORKSPACE_ID,
        query=query,
        timespan=(start_time, end_time)
        )
    if response.status == LogsQueryStatus.PARTIAL:
        error = response.partial_error
        data = response.partial_data
        print(data)
    elif response.status == LogsQueryStatus.SUCCESS:
        data = response.tables
    for table in data:
        df = pd.DataFrame(data=table.rows, columns=table.columns)
        print(df)
except HttpResponseError as err:
    print(f"Encountered error: {err}")
```

하지만 많은 열이 있는 경우 인쇄된 데이터 프레임이 모든 내용을 표시하지 않을 수 있음을 알 수 있습니다. 더 나쁜 점은 즉각적인 분석을 위해 예쁘고 조직적으로 보이지 않는다는 것입니다.

아마도 CSV로 데이터 프레임을 보내보는 게 좋을 수 있습니다. : )

## [7] 데이터를 CSV 파일로 전송


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

CSV 파일을 사용하면 적어도 Microsoft Excel/Google Sheets 스프레드시트로 가져올 수 있는 등 재미있는 일을 할 수 있어요.

아래 코드 조각에서 CSV 파일 경로를 정의해주세요:

```js
# 데이터프레임을 csv로 내보내기
csv_filename = "<원하는-경로>/output.csv"
df.to_csv(csv_filename)
```

## [보너스] VS Code 확장 기능을 사용하여 멋진 형식의 테이블을 볼 수도 있어요!


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

좋은 소식은 몇 가지 변경만으로 Jupyter 노트북을 활용할 수 있다는 것입니다.

1. 우선, 스크립트 확장자를 ".ipynb"로 변경하세요:

![Change your script extension to ".ipynb"](https://yourwebsite.com/TIL/assets/img/2024-07-12-HowtoQueryLogAnalyticsWorkspaceDataUsingPython_5.png)

2. VS Code에서 Jupyter 노트북을 실행할 수 있도록 필요한 확장 프로그램/패키지를 설치하세요. 처음으로 노트북을 실행하려고 시도하면 아래 항목을 설치하라는 메시지가 자동으로 표시됩니다:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

- 파이썬 확장

- 주피터 확장

- ipykernel 패키지

![image](/TIL/assets/img/2024-07-12-HowtoQueryLogAnalyticsWorkspaceDataUsingPython_6.png)


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

VS Code를 설치한 후에는 VS Code를 다시 로드해주세요.

[3] 위의 모든 것들을 설치한 후에는 VS Code에서 Jupyter Notebook을 실행할 수 있어야 합니다! 그러나 실행하면 출력물이 잘못 서식이 지정된 것을 볼 수 있습니다 (아래 스크린샷이 잘린 상태로 표시됨):

![screenshot](/TIL/assets/img/2024-07-12-HowtoQueryLogAnalyticsWorkspaceDataUsingPython_7.png)

[4] Jupyter 노트북의 오른쪽 상단 어딘가에서 "Variables" 탭을 클릭하세요:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>


![이미지](/TIL/assets/img/2024-07-12-HowtoQueryLogAnalyticsWorkspaceDataUsingPython_8.png)

[5] 터미널에 새 탭이 생성됩니다. "JUPYTER: VARIABLES"라고 표시된 탭을 찾아 "df" 변수를 찾은 다음, 사각형 기호 위로 커서를 가져가면 "데이터 뷰어에 변수 표시"라는 메시지가 표시됩니다. 이것을 클릭하세요.

![이미지](/TIL/assets/img/2024-07-12-HowtoQueryLogAnalyticsWorkspaceDataUsingPython_9.png)

[6] 그러면 이전에 찾고 있던 완벽하게 표시된 결과를 보여주는 새 탭이 열립니다:



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 배운 점 👊

![image](/TIL/assets/img/2024-07-12-HowtoQueryLogAnalyticsWorkspaceDataUsingPython_10.png)

만약 지금까지 이 글을 주의 깊게 따라오셨다면 다음 개념들을 배우셨을 것입니다:

- Log Analytics 워크스페이스를 쿼리하는 데 필요한 필수 Python 라이브러리 파악
- 필요한 Python 클라이언트 파악
- KQL 및 효율적인 쿼리를 작성하는 데 최선의 방법에 대한 고수준 이해
- 무엇보다 중요한 것은 Python을 사용하여 Log Analytics 워크스페이스를 쿼리하고 VS Code에서 멋지게 표 형식으로 결과를 표시하는 방법


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 다음 스텝 🤔

![image](/TIL/assets/img/2024-07-12-HowtoQueryLogAnalyticsWorkspaceDataUsingPython_11.png)

이 글에 대한 궁금한 점이나 피드백이 있다면 댓글로 남겨주세요 (네, 댓글을 확인해요). 또한 쓸 주제에 대한 제안도 환영합니다.

제가 하는 일이 궁금하다면 아래 링크를 확인해보세요:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

- 내 개인 웹사이트
- LinkedIn에서 연락하세요
- 내 Fiverr 서비스를 확인하세요
- 커피 한 잔 사주세요

다음에 또 뵙겠습니다!

# 간단한 영어로 🚀

In Plain English 커뮤니티의 일원이 되어 주셔서 감사합니다! 떠나시기 전에:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

- 작가를 칭찬하고 팔로우하는 것 잊지 마세요! 👏️️
- 저희를 팔로우하세요: X | LinkedIn | YouTube | Discord | 뉴스레터
- 다른 플랫폼에서 더 많은 콘텐츠를 즐길 수 있어요: Stackademic | CoFeed | Venture | Cubed
- 더 많은 콘텐츠: PlainEnglish.io

Posts