빅 데이터는 인간의 행동과 상호 작용과 관련된 패턴, 동향 및 관련성을 밝히기 위해 계산적으로 분석할 수 있는 극도로 큰 데이터 세트를 가리킵니다. 네 가지 V - Volume, Velocity, Variety, 그리고 Veracity. 이러한 V는 빅 데이터를 특징 짓는데, 함께 간단하게 알아보도록 하죠:

- Volume: 매초 생성되는 데이터의 양은 엄청나게 많습니다. 소셜 미디어 업데이트부터 거래 기록까지 규모는 거대합니다.
- Velocity: 데이터는 이례적으로 빠른 속도로 생성되며, 실시간 또는 거의 실시간 처리가 요구됩니다.
- Variety: 데이터는 다양한 형식으로 제공됩니다 - 구조화된, 반구조화된 그리고 비구조화된 데이터 형식으로, 텍스트, 이미지, 비디오 등이 있습니다.
- Veracity: 데이터의 품질과 정확도는 매우 다양할 수 있으며, 신중한 데이터 관리 및 처리 기술이 필요합니다.

Python은 간단함과 데이터 처리 및 분석을 위한 강력한 라이브러리가 많이 제공되어 인기 있는 언어입니다. Python이 빅 데이터 기술과 어떻게 결합되는지 알아봅시다.

![Python을 위한 빅 데이터 이미지](/TIL/assets/img/2024-07-12-PythonforBigData_0.png)


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 대용량 데이터 처리를 위해 PySpark와 같은 라이브러리 사용하기

## PySpark 소개

PySpark는 대규모 데이터 처리를 위한 오픈 소스 통합 분석 엔진인 Apache Spark의 파이썬 API입니다. Spark는 암시적 데이터 병렬 처리와 오류 허용을 통해 전체 클러스터를 프로그래밍하는 인터페이스를 제공합니다.

## PySpark 설정하기


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

PySpark을 사용하려면 먼저 설치해야 합니다. PySpark는 다음과 같이 pip을 통해 설치할 수 있습니다:

```js
pip install pyspark
```

## PySpark을 사용한 기본 작업

PySpark를 사용하여 몇 가지 기본 작업을 살펴보겠습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

SparkSession을 초기화하는 방법:

```python
from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("BigDataWithPySpark") \
    .getOrCreate()
```

데이터 읽기:

다양한 소스에서 데이터를 읽을 수 있습니다. CSV 파일을 읽는 예제는 다음과 같습니다:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
df = spark.read.csv("파일경로/당신의/csv파일.csv", header=True, inferSchema=True)
```

데이터 변환 수행하기:

PySpark 데이터프레임은 강력한 데이터 처리 기능을 제공합니다. 여기에 일반적인 변환 작업 몇 가지가 있습니다:

```js
# 특정 열 선택
df_selected = df.select("column1", "column2")

# 행 필터링
df_filtered = df.filter(df["column1"] > 50)

# 그룹화 및 집계
df_grouped = df.groupBy("column2").agg({"column1": "mean"})
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

실행 중인 작업:

작업은 DataFrame에 대한 변환 실행을 트리거합니다:

```js
# DataFrame 표시
df.show()

# 결과를 로컬 리스트로 수집
data = df.collect()
```

예시: PySpark를 사용한 단어 카운트


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

큰 데이터 처리의 고전적인 예로 단어 수 세기 문제가 있습니다.

```python
# 텍스트 파일에서 RDD 생성
text_file = spark.sparkContext.textFile("경로/텍스트파일.txt")

# 단어 수 세기 수행
word_counts = text_file.flatMap(lambda line: line.split(" ")) \
    .map(lambda word: (word, 1)) \
    .reduceByKey(lambda a, b: a + b)

# 결과 수집
results = word_counts.collect()
for word, count in results:
    print(f"{word}: {count}")
```

## 파이썬을 하둡 및 다른 빅데이터 기술과 통합하기
### 하둡 및 HDFS


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

하둡은 대규모 데이터 집합의 분산 처리를 위해 컴퓨터 클러스터 간에 사용되는 프레임워크입니다. 하둡 분산 파일 시스템 (HDFS)은 방대한 양의 데이터를 저장하고 고 처리량 액세스를 제공하기 위해 설계되었습니다.

## PyArrow를 사용하여 HDFS에 액세스하기

PyArrow는 인메모리 데이터를 처리하기 위한 크로스-언어 개발 플랫폼입니다. 이를 사용하여 HDFS와 상호작용할 수 있습니다.

PyArrow 설치 방법:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
pip install pyarrow
```

HDFS와 상호 작용하기:

```js
import pyarrow.fs as fs

# HDFS에 연결하기
hdfs = fs.HadoopFileSystem('hdfs://your-hdfs-namenode:8020')

# HDFS 디렉토리의 파일 목록 가져오기
files = hdfs.get_file_info(fs.FileSelector('/path/in/hdfs'))

for file in files:
    print(file)
```

## Apache Hive 통합


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

Hive은 SQL을 사용하여 분산 저장소에 저장된 대규모 데이터 세트의 읽기, 쓰기 및 관리를 용이하게 하는 데이터 웨어하우스 소프트웨어입니다.

## PyHive를 사용하여 Hive에 연결하는 방법

PyHive 설치하기:

```js
pip install pyhive
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

파이썬에서 Hive 쿼리하기:

```js
from pyhive import hive

# Hive에 연결
conn = hive.Connection(host='your-hive-server', port=10000, username='your-username')

# 쿼리 실행
cursor = conn.cursor()
cursor.execute("SELECT * FROM your_table LIMIT 10")

# 결과 가져오기
results = cursor.fetchall()
for row in results:
    print(row)
```

## Apache Kafka와 통합

Kafka는 하루에 수조 건의 이벤트를 처리할 수 있는 분산 이벤트 스트리밍 플랫폼입니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

## Kafka 통합을 위한 Kafka-Python 사용하기

Kafka-Python 설치:

```js
pip install kafka-python
```

메시지 생성 및 소비:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```python
from kafka import KafkaProducer, KafkaConsumer

# Kafka 프로듀서 생성
producer = KafkaProducer(bootstrap_servers='your-kafka-broker:9092')
producer.send('your_topic', b'This is a test message')

# Kafka 컨슈머 생성
consumer = KafkaConsumer('your_topic', bootstrap_servers='your-kafka-broker:9092')
for message in consumer:
    print(message.value.decode('utf-8'))
```

## Python이 대용량 데이터 처리에 적합한 이유

다양한 생태계: Python은 복잡한 데이터 처리 작업을 간단하게 만드는 라이브러리와 프레임워크가 풍부한 생태계를 자랑합니다. 예를 들어, PySpark는 Apache Spark의 강력한 기능을 활용하여 대규모 데이터 처리를 쉽게 처리하고, PyArrow는 HDFS와의 원활한 상호작용을 용이하게 합니다.

학습과 사용의 용이성: Python의 문법은 깨끗하고 배우기 쉬워 초보자부터 숙련된 프로그래머까지 접근하기 쉽습니다. 이러한 사용의 용이성은 개발 프로세스를 가속화시켜 빠른 프로토타이핑과 반복을 가능하게 합니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

확장성: 파이썬은 하둡, 하이브, 카프카와 같은 강력한 빅데이터 기술과 통합되어 있어, 응용 프로그램이 대규모 데이터 세트의 요구를 충족하기 위해 확장 가능합니다. 이 확장성은 실시간으로 데이터를 처리하고 분석해야 하는 비즈니스에 중요합니다.

커뮤니티 지원: 파이썬 커뮤니티는 크고 활발하여 지속적으로 새로운 도구를 개발하고 기존 도구를 개선하고 있습니다. 이 활기찬 커뮤니티 지원은 파이썬이 빅데이터 기술 분야의 기술적 발전을 선도하고 있음을 의미합니다.

## 실용적인 응용분야

파이썬이 빅데이터 분야에서 활용되는 실용적인 응용분야는 매우 다양하고 광범위합니다. 각 산업의 기업들이 파이썬을 활용하여 데이터로부터 통찰을 얻고 있습니다:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

금융: 금융 기관은 부정 행위 감지, 리스크 관리 및 알고리즘 거래에 파이썬을 사용합니다. 거래 및 시장 데이터의 대량 데이터 세트를 처리하고 분석하여 패턴을 식별하고 신중한 결정을 내립니다.

건강 관리: 의료 분야에서는 예측 분석, 환자 데이터 관리 및 맞춤 의료에 파이썬을 사용합니다. 의료 기록과 연구 데이터의 대량을 분석하여 환자 결과를 개선하고 운영을 최적화합니다.

소매: 소매업체는 고객 행동을 분석하고 재고를 관리하며 마케팅을 맞춤화하는 데 파이썬을 사용합니다. 빅데이터 분석을 통해 구매 패턴을 이해하고 고객 경험을 향상시킵니다.

제조업: 제조업체는 예측 유지보수, 공급망 최적화 및 품질 관리를 위해 파이썬을 활용합니다. 센서 데이터와 생산 지표를 분석하여 효율성을 향상시키고 다운타임을 줄이는 데 도움을 줍니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

## 미래 전망

데이터 양이 기하급수적으로 증가함에 따라 효율적이고 확장 가능한 데이터 처리 솔루션이 더욱 중요해질 것입니다. Python은 계속해서 이러한 변화하는 환경에서 중심적인 역할을 하게 될 것입니다.

머신 러닝과 인공 지능: Python은 TensorFlow, Keras, scikit-learn과 같은 머신 러닝 라이브러리와의 통합을 통해 고급 분석 및 대용량 데이터로부터 학습하는 AI 모델의 개발을 가능케 합니다.

실시간 분석: 실시간 분석의 필요성이 더욱 두드러지게 되고 있습니다. Python은 Apache Kafka와 같은 스트리밍 데이터 플랫폼과 작업할 수 있는 능력을 통해 기업이 데이터가 도착하는 대로 신속하게 반응하여 적시에 통찰력과 조치를 제공할 수 있도록 합니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

데이터 프라이버시와 보안: 데이터 프라이버시와 보안에 대한 관심이 증가함에 따라, Python은 데이터 마스킹, 암호화 및 규정 준수 기능에 대한 능력이 더욱 중요해지고 있습니다. 데이터가 안전하게 처리되고 저장되는 동시에 규정 준수를 유지하는 것이 매우 중요합니다.

클라우드 통합: 데이터 저장 및 처리를 위한 클라우드 기반 솔루션으로의 이전이 계속해서 확대되고 있습니다. Python의 AWS, Azure, Google Cloud와 호환되는 특성은 확장 가능하고 비용 효율적인 빅 데이터 솔루션을 제공합니다.

요약하면, Python은 빅 데이터 분야에서 다양하고 지속적으로 확장되는 역할을 하고 있습니다. 견고한 생태계, 사용 편의성 및 강력한 통합을 통해 대규모 데이터 처리 작업에 대한 필수 언어가 되었습니다. 분산 컴퓨팅을 위한 PySpark, HDFS 상호작용을 위한 PyArrow, 대규모 데이터 쿼리를 위한 PyHive, 이벤트 스트림 처리를 위한 Kafka-Python을 통해 Python은 데이터 전문가가 방대한 데이터 집합에서 의미 있는 통찰을 얻을 수 있도록 도와줍니다.

산업이 빅 데이터의 파워를 활용할수록, Python은 데이터 분석의 중심요소로 남아 있을 것이며 혁신을 주도하고 더 스마트한 의사 결정을 가능하게 합니다. Python의 새로운 기술과 트렌드에 대한 적응력은 빅 데이터 분석 분야에서 매우 중요한 도구로 남을 것을 보장합니다. 빅 데이터를 위해 Python을 수용함으로써 현재의 데이터 문제를 해결할뿐만 아니라 미래 기술 발전을 이용해 지속적인 성장과 경쟁 우위를 확보할 수 있도록 조직을 준비시킬 수 있습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

귀하는 소중한 지원을 해주셨습니다. 만약 이 글이 유익하거나 통찰력을 준다면 박수를 부탁드리겠습니다. 제 작품을 계속해서 업데이트하려면 저를 Medium에서 팔로우해주세요. 읽어주시고 글에 참여해주셔서 감사드립니다!

빅데이터 처리를 위한 Python 사용 방법

<img src="/TIL/assets/img/2024-07-12-QuantizedMistral7BvsTinyLlamaforResource-ConstrainedSystems_0.png" />

프랑스 스타트업인 Mistral이 공개한 오픈 소스 언어 모델 Mistral 7B를 소개하면서 ChatGPT나 claude.ai와 같은 전용 모델이 보여준 놀라운 성능이 오픈 소스 커뮤니티에서도 이용 가능해졌습니다. 이 모델을 리소스가 제한된 시스템에서 사용할 수 있는 가능성을 탐색하기 위해 양자화된 버전은 훌륭한 성능을 유지했습니다.

이전 연구에서 2비트 양자화된 Mistral 7B 모델이 정확성 테스트를 훌륭히 통과했지만, 맥에서 질문에 대한 평균 응답 시간이 약 2분이 걸리는 문제가 있었습니다. 그래서 Llama 2와 동일한 아키텍처와 토크나이저를 사용한 3조 토큰으로 사전학습된 1.1B 언어 모델인 TinyLlama[1]이 출시되었습니다. 이 모델은 더 많은 리소스가 제한된 환경을 위해 고안되었습니다.

이 기사에서는 양자화된 Mistral 7B와 양자화된 TinyLlama 1.1B의 질문-응답 능력의 정확성과 응답 시간 성능을 앙상블 검색 증강 생성 (RAG) 설정에서 비교할 것입니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

목차
- 활성화 기술
- 시스템 아키텍처
- 환경 설정
- 구현
- 결과 및 토론
- 최종 생각

## 활성화 기술

이 테스트는 8GB RAM을 장착한 MacBook Air M1에서 수행됩니다. 계산 및 메모리 자원이 제한되어 있기 때문에 우리는 이 LLM들의 양자화된 버전들을 채택하고 있습니다. 본질적으로 양자화란 모델의 매개변수를 더 적은 비트로 표현하는 것을 의미하며, 이는 모델을 압축하는 효과를 냅니다. 이 압축은 메모리 사용량을 줄이고 더 빠른 실행 시간 및 증가된 에너지 효율성을 가져오지만 정확도를 희생해야 합니다. 이 연구에서는 2비트 양자화된 Mistral 7B Instruct 및 5비트 양자화된 TinyLlama 1.1B Chat 모델을 GGUF 형식으로 사용할 것입니다. GGUF는 모델의 빠른 로딩과 저장을 위해 설계된 이진 형식입니다. 이러한 GGUF 모델을 로드하기 위해 llama-cpp-python 라이브러리를 사용할 것입니다. llama-cpp-python은 llama.cpp 라이브러리에 대한 Python 바인딩입니다.

검색 증가 생성 (RAG)은 LLM의 출력을 향상시키는 과정으로, 응답 생성 이전에 교육 데이터 소스 외부의 신뢰할 수 있는 지식 베이스를 참조하는 것입니다. RAG 응용 프로그램은 문헌에서 관련 문서 조각을 검색하기 위한 검색기 시스템과, 검색된 조각을 컨텍스트로 사용하여 응답을 생성하는 LLM으로 구성됩니다. 검색기는 RAG의 주요 요소이며, 전체 질문-답변 (QA) 시스템의 성능에 상당한 영향을 미칩니다. LLM과 함께 작업할 수 있는 강력한 프레임워크 라이브러리인 LangChain은 재견러(EnsembleRetriever)를 포함하고 있습니다. 재견러는 입력으로 검색기 목록을 받아 상호 순위 조합 알고리즘을 기반으로 결과를 조합하고 재정렬합니다. 서로 다른 알고리즘의 장점을 활용함으로써, 과거에 더 높은 정확도를 달성했다는 것을 보여주었습니다. 본 문서에서 우리는 앙상블을 위해 BM25 검색기와 FAISS 검색기를 0.3:0.7 비율로 결합할 것입니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이러한 지원 요소를 모두 함께 가져오기 위해 시스템 아키텍처를 살펴보겠습니다.

# 시스템 아키텍처

이전 글에서 소개한 모듈식 아키텍처를 재사용할 것입니다. 아래와 같이: 

![아키텍처 이미지](/TIL/assets/img/2024-07-12-QuantizedMistral7BvsTinyLlamaforResource-ConstrainedSystems_1.png)


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이 QA 시스템에는 세 가지 모듈이 있습니다:

- 첫 번째 모듈은 온라인 PDF 문서를 로드하고 벡터화하는 작업을 포함합니다.
- 두 번째 모듈은 양자화된 LLM을 로드하고 FAISS 리트리버를 인스턴스화하며 FAISS와 BM25 리트리버로 구성된 앙상블 리트리버 인스턴스를 만드는 작업을 포함합니다. 이후 LLM, 앙상블 및 사용자 정의 프롬프트를 포함하는 리트리버 체인을 생성합니다.
- 세 번째 모듈은 이 RAG를 위한 도우미 모듈로 작동합니다. 이 모듈은 코사인 유사도 및 모델 응답 시간을 계산하여 질문 세트 전체에서 LLM 성능을客客하게하게 합니다.

구현을 살펴보기 전에, 환경 설정을 먼저 해보겠습니다.

# 환경 설정


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

여기서 사용하는 Python 버전은 3.10.5입니다. 이 프로젝트를 관리하기 위해 가상 환경을 생성할 거에요. 환경을 생성하고 활성화하기 위해 다음 단계를 따라봐요:

```bash
python3.10 -m venv mychat
source mychat/bin/activate
```

이제 모든 필요한 라이브러리를 설치하러 가볼까요? (의존 라이브러리도 함께 설치됩니다):

```bash
pip install langchain==0.0.259
pip install faiss-cpu
pip install rank_bm25
pip install sentence_transformers
CMAKE_ARGS="-DLLAMA_METAL=on" FORCE_CMAKE=1 pip install --upgrade --force-reinstall llama-cpp-python --no-cache-dir
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

최근에 langchain이 리팩토링되었기 때문에 코드에 사용된 특정 버전이 위에 표시되어 있습니다. M1 프로세서에서 하드웨어 가속화를 사용하여 llama-cpp-python 라이브러리를 사용하려면 위의 마지막 설치 명령어는 Metal 지원을 활성화합니다. Metal을 사용하면 연산이 GPU에서 실행됩니다.

faiss-cpu는 GPU가 아닌 CPU를 사용하여 밀도가 높은 벡터의 유사성 검색 및 클러스터링을 위한 효율적인 라이브러리입니다. Okapi BM25로도 알려진 rank_bm25는 문서가 주어진 검색 쿼리와 얼마나 관련되는지를 추정하는 랭킹 함수입니다. sentence-transformers는 문장 및 기타 것들의 임베딩을 계산하는 간단한 방법을 제공합니다.

이제 코드를 살펴볼 준비가 되었습니다.

# 구현


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

저희 시스템 아키텍처에 따르면 LoadVectorize, LLMPerfMonitor 및 주요 모듈이 총 3개의 모듈이 있습니다. 처음 두 모듈은 수정 없이 이전 연구에서 재사용되었습니다. 첫 번째 모듈에서 로드된 샘플 문서는 최근 출시된 600페이지 이상의 가속화 장치 가이드인 SteelHead입니다.

LLM을 로드하기 위해 LlamaCpp 인스턴스를 일반적인 모델 매개변수로 인스턴스화할 것입니다. 모델 GGUF 파일은 이미 미리 다운로드되어 특정 디렉토리에 저장되어 있습니다. Mistral 7B Instruct 또는 TinyLlama Chat 모델을 로드하려면 LlamaCpp 인스턴스의 model_path 속성에 다른 값이 지정되어야 합니다. 그런 다음 FAISS와 BM25 리트리버가 함께 하는 EnsembleRetriever 인스턴스를 생성할 것입니다. 마지막으로 LLamaCpp 인스턴스, EnsembleRetriever 및 프롬프트로 RetrievalQA 체인을 생성할 것입니다.

Mistral 프롬프트는 다음 템플릿을 따릅니다:

`s`[INST] 'context' [/INST]`/s`'question'


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

TinyLlama 프롬프트는 다음과 같습니다:


|system| 'context' </s> |user| 'question' </s> |assistant|


따라서, 아래 코드 목록은 TinyLlama 애플리케이션의 메인 모듈을 나타냅니다.

```python
# main.py
from langchain.retrievers import EnsembleRetriever
from langchain.chains import RetrievalQA
from langchain.prompts import PromptTemplate
from langchain.llms import LlamaCpp
import LoadVectorize
import LLMPerfMonitor
import timeit

# Prompt template 
qa_template = """<|system|>
You are a friendly chatbot who always responds in a precise manner. If answer is 
unknown to you, you will politely say so.
Use the following context to answer the question below:
{context}</s>
<|user|>
{question}</s>
<|assistant|>
"""

# Create a prompt instance 
QA_PROMPT = PromptTemplate.from_template(qa_template)

llm = LlamaCpp(
    model_path="../models/tinyllama_gguf/tinyllama-1.1b-chat-v1.0.Q5_K_M.gguf",
    temperature=0.01,
    max_tokens=2000,
    top_p=1,
    verbose=False,
    n_ctx=2048
)
# load doc, vectorize and create retrievers
db,bm25_r = LoadVectorize.load_db()
faiss_retriever = db.as_retriever(search_type="mmr", search_kwargs={'fetch_k': 3}, max_tokens_limit=1000)
r = 0.3 # ensemble ratio
ensemble_retriever = EnsembleRetriever(retrievers=[bm25_r,faiss_retriever],weights=[r,1-r])
# Custom QA Chain 
qa_chain = RetrievalQA.from_chain_type(
    llm,
    retriever=ensemble_retriever,
    chain_type_kwargs={"prompt": QA_PROMPT}
)

# List of questions 
qa_list = LLMPerfMonitor_EN.get_questions_answers()
print('model;question;cosine;resp_time')
for i,query in enumerate(qa_list[::2]):
   start = timeit.default_timer()
   result = qa_chain({"query": query})
   cos_sim = LLMPerfMonitor_EN.calc_similarity(qa_list[i*2+1],result["result"])
   time = timeit.default_timer() - start # seconds
   print(f'bm25-{r:.1f}_f-{1-r:.1f};Q{i+1};{cos_sim:.5};{time:.2f}')
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 결과 및 토의

응답의 정확성을 이해하기 위해 모델 응답과 전문가의 샘플 답변 사이의 코사인 유사도를 계산했습니다. 예를 들어, 다음은 두 모델에 대해 질문을 제시한 것입니다:

이 질문에 대한 답변은 SteelHead RiOS v9.7입니다. 각 모델의 응답은 아래와 같습니다.

두 LLM이 올바른 코드 버전을 식별할 수 있었습니다. 그러나 둘 다 추가 세부 정보를 포함한 응답이 완전히 정확하지는 않습니다. 특히 TinyLlama에 대해서는 좋은 결과입니다. 10개의 질문에 대한 정확도는 도형 2에 트리맵 차트로 나타냈습니다. Treemap은 내재적 분류 체계를 사용하여 데이터를 효과적으로 표현할 수 있으며 선택한 측정 항목의 크기와 색상 음영을 사용하여 구분할 수 있습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

아래 표는 마크다운 형식으로 변환해 주세요.

이미지는 래이블을 명시해 볼 수는 있지만, Markdown은 이미 HTML인 요소보다 더 적합하고, 깨끗한 마크업을 보여주는 방법입니다. 역할에 따라 Markdown의 사용은 더 효과적일 수 있습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

선택한 질문에 대한 결과를 기반으로 보면, TinyLlama는 정확성 측면에서 꽤 잘 수행했습니다. 더 중요한 점은 더 정확한 Mistral 7B 모델보다 훨씬 더 빠르게 응답할 수 있었습니다. 주장대로라면, TinyLlama는 자원이 제한된 시스템에서 좋은 성능을 보이는 모델로 보입니다.

#최종 생각

몇 달 전 Mistral 7B 모델이 소개된 이후, 오픈 소스 LLM은 정확도에서 큰 발전을 이루었습니다. 내부 문서에서 이 모델이 훈련되지 않았더라도, 우리는 검색 보감 생성(RAG) 설정에서 이 능력을 활용할 수 있습니다. 그러나 이러한 대형 모델을 자원이 제한된 환경에서 실행하는 것은 완전히 현실적이지는 않습니다. 이 곳에서 양자화는 모델의 매개변수에 사용된 비트 수를 줄이는 데 도움이 됩니다. 게다가, 자원 풋프린트가 작은 모델들이 이러한 제한된 환경을 위해 소개되었고, TinyLlama가 그러한 모델 중 하나입니다.

이 기사에서 우리는 정량화된 Mistral 7B Instruct와 TinyLlama 1.1B Chat의 정확성과 질문 응답 시간을 비교했습니다. 정확성 측면에서 큰 모델 Mistral 7B가 TinyLlama보다 여전히 우수하지만, 응답 시간 측면에서 TinyLlama의 응답이 Mistral 7B보다 훨씬 빨랐습니다. 한 예에서 TinyLlama의 응답 시간이 Mistral 7B보다 17배 빨랐습니다. 따라서 정확도에 약간의 하락이 허용되는 애플리케이션의 경우, TinyLlama는 자원이 제한된 시스템에 완벽하게 적합합니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

안녕하세요!

# 참고 자료

[1] https://huggingface.co/TinyLlama/TinyLlama-1.1B-Chat-v1.0
[2] https://python.langchain.com/docs/modules/data_connection/retrievers/ensemble
[3] Mistral 7B를 사용하여 앙상블 리트리버의 컨텍스트와 함께 내부 문서 조사하기

리소스가 제한된 시스템을 위한 Quantized Mistral 7B vs TinyLlama 비교분석

<img src="/TIL/assets/img/2024-07-12-PandasLoadingdataintoaDataFrame_0.png" />

판다스는 파이썬 데이터 라이브러리 중 주축에 서 있으며, 데이터 조작을 위한 다양한 함수 보물 묶음을 제공합니다. 핵심은 데이터프레임(DataFrame)으로, 이를 사용하여 테이블 형식의 데이터를 쉽게 저장하고 조작할 수 있습니다.

## 타이타닉 데이터셋 불러오기

다음은 캐글(Kaggle)에서 다운로드할 수 있는 데이터셋 링크입니다. [링크 바로가기](https://www.kaggle.com/competitions/titanic/data?select=train.csv)


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>


![Pandas Loading Data into a DataFrame](/TIL/assets/img/2024-07-12-PandasLoadingdataintoaDataFrame_1.png)

타이타닉 데이터셋은 카글에서 제공하는 클래식한 챌린지로, 비극적인 타이타닉 호에 탑승한 승객들에 대한 데이터를 제공합니다. 이 데이터셋을 Pandas DataFrame으로 로드해보겠습니다:

```python
import pandas as pd
# 타이타닉 데이터셋 로드
titanic_df = pd.read_csv('train.csv')
# 처음 몇 행 확인
print(titanic_df.head())
```

이 코드 조각은 타이타닉 CSV 파일을 DataFrame으로 읽어와 우리가 분석할 데이터를 엿볼 수 있도록 해줍니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

더 깊게 파기

이제, 판다스를 사용하여 타이타닉 데이터셋에서 수행할 수 있는 몇 가지 더 많은 작업을 살펴봅시다:

생존율 분석

타이타닉에 관한 가장 감동적인 질문 중 하나는 생존과 관련이 있습니다. 우리는 판다스를 사용하여 다양한 기능에 기반한 생존율을 분석할 수 있습니다:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
# 클래스별 생존률 계산
생존률 = titanic_df.groupby('Pclass')['Survived'].mean()
print(생존률)
```

이 코드는 승객 클래스별로 데이터를 그룹화하고 각 클래스의 평균 생존률을 계산합니다.

기능 엔지니어링: 가족 규모 열 생성

기존 데이터에서 새로운 기능을 만들어 추가 정보를 얻을 수 있습니다. 예를 들어 'FamilySize' 열을 만들어보겠습니다:



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
# Create a new column for family size
titanic_df['FamilySize'] = titanic_df['SibSp'] + titanic_df['Parch'] + 1
# Analyze survival rates by family size
family_survival = titanic_df.groupby('FamilySize')['Survived'].mean()
print(family_survival)
```

이 코드 블록은 DataFrame에 새 열을 추가하고, 그런 다음 가족 규모별로 데이터를 그룹화하여 생존율에 영향을 미쳤는지 확인합니다.

로딩 매개변수 조정

데이터를 로드하는 방식을 더 세밀하게 조정해야 할 때가 있습니다. Pandas는 이 과정을 세밀하게 조정할 수 있는 많은 매개변수를 제공합니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
# 행을 건너뛰고 누락된 값 설정 및 열 제한을 위한 매개변수 조정
df = pd.read_csv('train.csv', skiprows=4, na_values=['?'], usecols=['Name', 'Sex', 'Age'])
```

여러분은 행을 건너뛰고 누락된 값 처리를 할 수 있으며 특정 열만을 선택하여 로드할 수 있습니다.

DataFrame 미리보기

로드된 후에는 모든 것이 올바르게 보이는지 확인하기 위해 DataFrame을 미리보는 것이 좋습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```python
# DataFrame의 첫 몇 행 미리보기
print(df.head())
# DataFrame의 마지막 몇 행 미리보기
print(df.tail())
```

이러한 방법들은 데이터를 로드한 후 빠르게 데이터의 개요를 제공해줍니다.

요약 통계량 사용하기

판다스는 요약 통계량을 통해 데이터의 포괄적인 개요를 제공하는 데 뛰어납니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>


# Get summary statistics for numerical columns
print(df.describe())
# Get summary statistics for all columns including categorical
print(df.describe(include='all'))


이 명령어들은 데이터셋의 중심 경향성, 분산 및 형태를 요약하는 기술통계를 생성합니다.

# 동물원 프로젝트의 더 많은 예제

배운 내용을 더 실용적으로 적용해 보겠습니다 — 동물원 프로젝트입니다. 데이터를 로드하고 정리한 다음, 각 동물 종에 대한 평균 식량 필요량을 계산해 봅시다:



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
# 동물원 데이터 분석
zoo_df = pd.read_csv('zoo_data.csv')
# 데이터 정제
zoo_df.dropna(inplace=True)
# 종 별 평균 사료 소비량 계산
average_food = zoo_df.groupby('species')['food_per_day'].mean()
print(average_food)
```

메소드 체이닝: 코드를 더 깔끔하게 작성하는 방법

판다스의 메소드 체이닝을 사용하면 한 줄 안에 여러 작업을 쉽게 수행할 수 있습니다. 각 메소드가 다음으로 자연스럽게 이어지는 책의 장이라고 생각해보세요.

```js
import pandas as pd
# 샘플 동물원 데이터
data = {
    'Animal': ['사자', '호랑이', '곰', '얼룩말'],
    '이름': ['레오', '줄무늬', '발루', '자라'],
    '나이': [5, 7, 3, 4],
    '무게': [250, 220, 350, 380]
}
zoo_df = pd.DataFrame(data)
# 메소드 체이닝 예시
zoo_df.assign(월령=lambda x: x['나이'] * 12).sort_values(by='나이')
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

위의 예에서 우리는 먼저 나이를 월로 변환한 다음 나이를 기준으로 DataFrame을 정렬합니다. 이 모든 작업을 한 표현식으로 처리합니다. 이렇게 하면 코드가 더 깔끔해지고 더 효율적으로 됩니다. 

```js
결과
  동물 이름   나이   무게  월 단위 나이
2 Bear   Baloo   3   350       36
3 Zebra  Zara    4   380       48
0 Lion   Leo     5   250       60
1 Tiger  Stripes 7   220       84
```

데이터 정렬 및 순위 매기기: 데이터 조직화

데이터를 정렬하는 것은 가장 중요한 항목이나 덜 중요한 항목을 분석할 때 중요합니다. 판다스는 이러한 작업을 위해 sort_values() 및 sort_index()를 제공합니다. 반면에 순위 매기기는 데이터에 순위를 할당하여 리더보드와 유사하게 만듭니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
# 체중순으로 정렬
sorted_zoo = zoo_df.sort_values(by='Weight', ascending=False)
# 나이순으로 동물 순위 매기기
zoo_df['Age_rank'] = zoo_df['Age'].rank(method='min', ascending=False)
```

데이터 걸러내기 및 그룹화: 데이터 살펴보기

필터링을 통해 특정 기준을 충족하는 데이터만 볼 수 있습니다. groupby()와 함께 사용되는 그룹화로 카테고리화된 데이터에 대한 작업을 수행할 수 있습니다.

```js
# 300 파운드 이상의 동물 필터링
heavy_animals = zoo_df[zoo_df['Weight'] > 300]
# 동물 종류별로 그룹핑하여 평균 체중 계산
avg_weight_by_animal = zoo_df.groupby('Animal')['Weight'].mean()
우리의 동물 데이터셋에 대한 통찰을 제공하기 위해 동물공원 프로젝트를 위한 복잡한 코드 예제를 함께 구성해 보겠습니다. 동물원 주민을 필터링, 정렬, 순위 매기는 메소드를 연쇄적으로 적용하여 데이터를 처리할 것입니다.
# 동물원 프로젝트를 위한 복잡한 메소드 체이닝
(zoo_df
  .query('Weight >= 200')
  .assign(Age_in_months=lambda x: x['Age'] * 12)
  .sort_values(by=['Animal', 'Age_in_months'], ascending=[True, False])
  .groupby('Animal')
  .agg({'Name': 'first', 'Age_in_months': 'max', 'Weight': 'mean'})
  .rename(columns={'Name': 'Oldest_Animal', 'Age_in_months': 'Oldest_Age', 'Weight': 'Avg_Weight'})
  .reset_index()
)
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
결과
    동물      가장 나이 많은 동물    가장 나이     평균 무게
0    곰       발루           36            50.0
1    사자      레오           60           250.0
2    호랑이    스트라이프     84           220.0
3    얼룩말    자라           48           380.0
```

이 블록에서는 200 파운드보다 무겁지 않은 동물을 걸러내고, 나이를 개월로 변환하며, 동물 유형과 나이순으로 정렬하여 동물 유형별로 그룹화한 다음, 가장 나이 많은 동물과 평균 무게를 찾기 위해 집계합니다. 이를 통해 데이터를 명확하고 조직적으로 볼 수 있으며, 추가 분석이나 보고에 이상적입니다.

계속해서 찾아주시기 바랍니다 (-̀ᴗ-́ )و

이전 포스트: `- Pandas: 파이썬에서 데이터 분석의 중추`


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

다음 - Pandas: 데이터 정리 및 변형

Pandas DataFrame에 데이터 로드하는 방법

<img src="/TIL/assets/img/2024-07-12-ICreatedAPythonPackageToPrintBinaryTreesForFun_0.png" />

이번에 이진 트리와 힙을 다루다가, 나만의 트리를 빠르고 쉽게 표시하고 시각화하는 방법이 필요했어요.

그래서 온라인에서 Python 패키지를 검색해보니 몇 개가 그 역할을 해줄 수 있었어요. 그래도 사용하기가 귀찮은 경우가 많았어요.

기존 솔루션을 사용하고 코드를 약간 더 써가며 내 시간을 낭비하는 대신, 개발자들이 흔히 하는 것처럼, 몇 일을 허비해서 처음부터 내가 직접 패키지를 만들기로 결정했죠.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 내 패키지 — print-btree

내 패키지를 설치하는 방법:

```js
pip install print-btree
```

Github: https://github.com/zlliu246/print_btree


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 기본 사용 방법

```js
from print_btree import print_btree

class Node:
    def __init__(self, val):
        self.val = val
        self.left = None
        self.right = None

# 이진 트리를 만드세요
root = Node(1)
root.left = Node(2)
root.right = Node(3)
root.left.left = Node(4)
root.left.right = Node(5)

print_btree(root)

'''

 __1__
 |   |
_2_  3 
| |    
4 5   

'''
```

만약 이진 트리 Node가 .val .left 및 .right를 사용한다면, print_btree 함수를 간단히 가져와 트리를 출력할 수 있습니다

# 노드가 다른 이름을 사용하는 경우 어떻게 하나요?


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
from print_btree import print_btree

class BNode:
    def __init__(self, value):
        self.value = value
        self.left_node = None
        self.right_node = None

root = BNode(1)
root.left_node = BNode(2)
root.right_node = BNode(3)
root.left_node.left_node = BNode(4)
root.left_node.right_node = BNode(5)
root.right_node.right_node = BNode(100)

# we pass in the names here
print_btree(root, 
            val='value',
            left='left_node',
            right='right_node')

'''

 __1__
 |   |
_2_  3__
| |    |
4 5   100

'''
```

저희 클래스는 다음과 같이 사용합니다:

- 노드 대신 BNode
- .val 대신 .value
- .left 대신 .left_node
- .right 대신 .right_node

문제없이 이 이름들을 print_btree에 전달할 수 있습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 일부로 매우 긴 값 이름을 지원합니다

```js
from print_btree import print_btree

class Node:
    def __init__(self, val):
        self.val = val
        self.left = None
        self.right = None

root = Node('apple')
root.left = Node('pie')
root.right = Node('juice')
root.left.left = Node('pear')
root.left.right = Node('pineapplejuice')
root.right.right = Node('durian')

print_btree(root)

'''
       ________apple________
       |                   |
 _____pie_____           juice_
 |           |                |
pear   pineapplejuice       durian

'''
```

물론, Node(`appleorangepearwithcherriesontop`) 같은 값이 들어있는 경우, 출력된 이진 트리 모양은 여전히 잘못 보일 수 있어요

# 빠른 논리 요약


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

가정하에 이진 트리를 출력해야 한다고 가정합시다.

```python
class Node:
    def __init__(self, val):
        self.val = val
        self.left = None
        self.right = None

root = Node('apple')
root.left = Node('pie')
root.right = Node('juice')
root.left.left = Node('pear')
root.left.right = Node('pineapplejuice')
root.right.right = Node('durian')

'''
       ________apple________
       |                   |
 _____pie_____           juice_
 |           |                |
pear   pineapplejuice       durian
'''
```

단계 1) 이진 트리를 2D 리스트로 변환하세요.

```python
# 입력
root

# 출력
[
    ['apple'],
    ['pie', 'juice'],
    ['pear', 'pineapplejuice', None, 'durian']
]

# 참고: None 값은 순서를 유지하기 위해 유지됩니다.
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

테이블 태그를 마크다운 형식으로 변경해주세요.

Step 2) 가장 아래에 있는 목록에서 문자열 생성하기

```js
['pear', 'pineapplejuice', None, 'durian']

# 다음과 같은 형태로 변환

'pear   pineapplejuice  ?   durian'

# None 값은 ?으로 변환됩니다
```

Step 3) 이전 문자열에서 값과 일치하는 파이프 |를 포함하는 문자열 생성하기

```js
# 다음과 같은 문자열에서
'pear   pineapplejuice  ?   durian'

# 다음을 생성
' |           |          |    |'


# 현재는 트리의 기초만 갖추어져 있습니다
'''
 |           |         |     |
pear   pineapplejuice  ?   durian
'''
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

"4단계) 다음으로 아래에 있는 목록에서 문자열 생성하기

```js
# from 
['pie', 'juice']    # 그리고
' |        |      |      |  '

# generate
' _____pie_____           juice_'


# 현재 우리가 가지고 있는 것
'''
 _____pie_____          _juice_
 |           |          |     |
pear   pineapplejuice   ?   durian
'''
```

5단계) 루트에 도달할 때까지 단계 3과 4 반복하기

```js
'''
 _____pie_____          _juice_
 |           |          |     |
pear   pineapplejuice   ?   durian
'''

# 다음으로

'''
       |                   |
 _____pie_____          _juice_
 |           |          |     |
pear   pineapplejuice   ?   durian
'''

# 그리고 아래처럼 변환됩니다

'''
       ________apple________
       |                   |
 _____pie_____          _juice_
 |           |          |     |
pear   pineapplejuice   ?   durian
'''


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 결론

이 작은 프로젝트가 이진 트리와 힙 등을 다룰 때 조금이나마 도움이 되었으면 좋겠어요.

만약 버그를 발견하거나 이 패키지에 대한 제안이 있으시다면 언제든지 알려주세요!

응원합니다


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 만약 제가 만든 작품을 지원하고 싶다면

- 제 책을 구입해주세요! — 101가지 파이썬에 대해 몰랐던 것들
- 구입처: [여기를 클릭하세요](https://payhip.com/b/vywcf)
- 이 이야기에 박수를 50번 치십시오
- 여러분의 생각을 댓글로 나누어 주세요
- 이야기 중에서 가장 좋아하는 부분을 강조해 주세요

감사합니다! 이런 작은 동작들이 큰 도움이 되고, 저는 정말로 감사하게 생각합니다!

YouTube: [여기를 클릭하세요](https://www.youtube.com/@zlliu246)


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

LinkedIn: [https://www.linkedin.com/in/zlliu/](https://www.linkedin.com/in/zlliu/)

이진 트리 출력용 파이썬 패키지 제작기 재미로 했어요

파이썬으로 AI를 사용해 과학 지식 자동으로 가져오는 방법

## 파이썬 기술

요즘에는 Python이 복잡한 기능을 달성하기 위해 더 적은 코드를 작성할 수 있도록 해서 인기를 얻었습니다. Python 개발자 커뮤니티는 복잡한 구현을 캡슐화하면서도 사용자 친화적인 도구를 환영합니다.

그러나 Python의 단순함은 여기서 끝나지 않습니다. 아무 코드도 작성하지 않고 Python을 사용할 수 있다고 믿을 수 있나요? 다음 기사에서는 코드를 작성하지 않고 Python의 내장 기능을 사용하는 다섯 가지 예제를 소개하겠습니다.

# Python CLI "-m" 매개변수


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

파이썬 CLI (명령줄 인터페이스)로 시작해봅시다. 나중에 언급할 기능들을 사용하기 위해 코드를 작성할 필요는 없지만, 파이썬이 우리가 무엇을 하고 싶은지 알 수 있도록 파이썬 명령줄을 사용해야 합니다.

컴퓨터에 파이썬이 설치되어 있다면, 파이썬 명령줄에 `python --help`를 입력하여 지원되는 모든 매개변수를 표시할 수 있습니다.

![이미지](/TIL/assets/img/2024-07-12-5PracticalPythonTipsNoCodingRequiredReadytoUse_0.png)

출력이 길기 때문에 위 이미지는 일부만 보여줍니다. 여기서 강조하고 싶은 것은 `-m mod` 매개변수인데, 이는 파이썬 모듈을 스크립트로 실행합니다. 모듈이 명령줄 작업을 지원한다면, 해당 모듈을 명령줄에서 바로 사용할 수 있습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 서버 포트 테스트

가끔은 IP 포트의 아웃바운드 네트워크 트래픽을 테스트하고 싶을 때가 있습니다. 보통 telnet 명령어를 사용하는 것이 좋습니다. Windows에서는 telnet이 기본적으로 설치되어 있지 않아 수동으로 설치해야 합니다. 간단한 테스트를 위해서 telnet을 설치하는 것은 자원의 낭비일 수도 있습니다.

하지만 Python이 설치되어 있다면 별도로 telnet을 설치할 필요가 없습니다. Python에 내장된 모듈이 있기 때문입니다. Google 검색 사이트의 443 포트를 테스트할 수 있습니다.

```js
python -m telnetlib -d 142.250.70.174 443
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 로컬 웹 서버 시작하기

많은 Python 사용자들은 처음에 이 소식을 듣고 놀랍습니다. 네, Python을 사용하여 어떤 코드도 작성하지 않고도 웹 서버를 시작할 수 있습니다. 명령줄에서 다음 명령을 실행하기만 하면 됩니다.

```js
python -m http.server
```

실행한 후에는 서비스가 로컬 8000 포트에서 수신 대기합니다. 그런 다음 브라우저에서 http://localhost:8000/을 통해 접속할 수 있습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>


![2024-07-12-5PracticalPythonTipsNoCodingRequiredReadytoUse_1](/TIL/assets/img/2024-07-12-5PracticalPythonTipsNoCodingRequiredReadytoUse_1.png)

이 웹 서버는 로컬 파일 시스템을 명령 시작 경로의 루트 디렉토리로 표시합니다. 다시 말해서 우리는 그의 상위 디렉토리에 액세스할 수 없습니다.

이 기능의 사용처는 무엇인가요? 예를 들어, 컴퓨터의 디렉토리에서 많은 텍스트/PDF/이미지 파일/하위 디렉토리를 친구들과 공유하려고 한다면, 이 방법을 사용하면 쉽습니다.

![2024-07-12-5PracticalPythonTipsNoCodingRequiredReadytoUse_2](/TIL/assets/img/2024-07-12-5PracticalPythonTipsNoCodingRequiredReadytoUse_2.png)



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# JSON 문자열 확인 및 서식 지정

JSON 문자열이 매우 길고 서식이 지정되지 않았다면, 읽기가 어려울 수 있습니다. 보통 저는 Sublime이나 VS Code와 같은 JSON 플러그인이 있는 텍스트 편집기를 사용하여 JSON 문자열을 서식 지정합니다. 하지만 이러한 도구를 사용할 수 없는 경우, Python이 일시적인 해결책이 될 수 있습니다. 아래는 짧은 JSON 문자열을 사용한 예제입니다.

```js
echo '{"name": {"first_name":"Chris", "last_name":"Tao"} "age":33}'
```

위 명령줄 도구로는 원래의 형식으로 표시되지만, Python의 `json.tool` 도구를 사용하면 JSON 문자열이 잘 서식이 지정됩니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

죄송합니다! JSON 문자열이 잘못되었네요. `json.tool`을 사용하면 문제를 파악할 수 있어요. "name" 객체 뒤에 쉼표를 빠뜨렸네요. 쉼표를 추가하면 JSON이 올바르게 됩니다.

이제 JSON 문자열은 완벽히 들여쓰기된 형식으로 출력되어 가독성이 좋아졌어요.

# 텍스트 에디터 만들기

맞아요, Python을 사용하여 텍스트 에디터를 "만들" 수 있어요. 물론 기능이 제한적이지만, 더 나은 옵션이 없을 때 유용해요. Vim이나 Nano와 기능 면에서 비교할 수 없지만, 명령줄 텍스트 에디터가 아닌 UI 에디터에요. 이 에디터는 Tkinter를 기반으로 한 `idlelib` 모듈에 의해 만들어졌기 때문에 크로스 플랫폼이에요.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

간단한 Python 프로그램을 작성하여 현재 시간을 표시하려고 합니다. 큰 코드 편집기를 다운로드하고 설치하지 않고 빠르게 코드를 작성하려면 다음 명령을 실행해 봅시다.

```js
mkdir get_time_app
python -m idlelib get_time_app/print_time.py
```

파일 디렉토리가 존재하지 않으면 `idlelib`가 생성할 수 없으므로 필요한 경우 직접 만들어야 합니다. 명령을 실행한 후 `print_time.py` 파일은 저장되어 로컬에만 생성됩니다. 이제 편집기가 나타나며 구문 강조 기능이 있는 코드를 작성할 수 있습니다.

![Image](/TIL/assets/img/2024-07-12-5PracticalPythonTipsNoCodingRequiredReadytoUse_3.png)


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>


`ctrl+s`를 사용하여 코드를 저장하고 편집기를 닫으세요. 명령줄에서 편집된 코드 파일을 확인하고 문제가 없어야 합니다.

```js
cat get_time_app/print_time.py
```

# 실행 가능한 애플리케이션 만들기

현재 시간을 가져오는 간단한 애플리케이션을 만들고 싶다면, PyInstaller와 같은 서드파티 도구가 필요하지 않습니다. Python의 내장 Zipapp을 사용할 수 있습니다. "현재 시간 가져오기" 애플리케이션으로 패키지하려면, 명령줄에서 다음 명령을 실행하세요.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>


python -m zipapp get_time_app -m "print_time:main"


우리는 `zipapp` 이름을 `get_time_app`으로 설정하고, 파이썬 프로그램의 진입 파일과 진입 함수를 지정하기만 하면 됩니다. `.pyz` 확장자를 가진 파일이 우리가 만든 애플리케이션입니다. 이 프로젝트를 폴더가 아닌 단일 파일로 배포할 수 있습니다.

![image](/TIL/assets/img/2024-07-12-5PracticalPythonTipsNoCodingRequiredReadytoUse_4.png)

프로그램을 실행하는 것은 간단합니다. Python을 사용하여 직접 호출하면 됩니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
python get_time_app.pyz
```

안녕하세요! 제가 "Medium에서 빠르게 팔로워를 얻는 방법"에 관한 이북을 쓰고 있습니다. 저는 최고의 증거이기 때문에 말이죠. 딱 한 달 만에 5,000명 이상의 팔로워를 얻었습니다. 계속해서 소식을 지켜봐 주세요!

저는 Substack에서 "GPT 소개" 시리즈를 쓰고 있어요. 관심이 있으시면 팔로우 해주세요!

총 10편의 글 중 8번째 글이 이미 완료되었습니다!


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

위의 글을 읽어 주셔서 감사합니다!📖 형광펜으로 강조해 주시고🖍️ 박수를 보내 주시고👏 댓글을 남겨 주시고💬 공유해 주셔서 감사합니다🗣️. "미디엄의 친구"로서 매일 열심히 노력하고 있습니다.

또한, 뉴스레터를 구독하여 제가 위와 같은 멋진 콘텐츠를 게시할 때마다 알림을 받을 수 있습니다📰. 고맙습니다, 친애하는 챔프!🤓

최신 Python 이야기를 따르려면 Substack에서 저희와 연락하십시오. 함께 Python의 미래를 함께 만들어 봅시다!

# 즐기세요

코딩 없이 바로 사용할 수 있는 실용적인 파이썬 팁 5가지

형태학적 이미지 처리 실용 가이드

<img src="/TIL/assets/img/2024-07-12-EssentialforLazyDevelopersFiveEfficientPythonDecorators_0.png" />

파이썬은 가독성이 뛰어나고 데이터 분석 및 웹 개발과 같은 여러 분야에서 강력한 응용 프로그램을 제공하여 개인적으로 가장 좋아하는 프로그래밍 언어입니다.

하지만, 충분한 코드를 작성하고 있음에도 불구하고, 제가 절대적으로 필요한 경우가 아닌 한 @staticmethod를 사용하여 클래스 내의 정적 메서드를 꾸미는 데코레이터를 거의 사용하지 않습니다.

그러나 코드 리뷰 중에 코드에 소개된 예외 처리 데코레이터를 발견했는데, 이는 제 생각을 바꾸어 코드를 더 읽기 쉽게 만들었으며 간결한 형태로 강력한 기능을 제공했습니다. 이것이 나의 호기심을 자극하여 데코레이터의 다른 기능을 탐구하게 만들었으므로, 이 글에서는 데코레이터의 개념을 깊이 탐구하고 우리의 파이썬 코드를 개선하는 데 도움이 되는 다섯 가지 실용적인 데코레이터를 소개하겠습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 데코레이터란

![image](/TIL/assets/img/2024-07-12-EssentialforLazyDevelopersFiveEfficientPythonDecorators_1.png)

데코레이터는 파이썬의 강력한 언어 기능으로, 원본 함수 코드를 수정하지 않고도 기능을 동적으로 추가하거나 함수 동작을 수정할 수 있게 해줍니다. 데코레이터는 다른 함수나 클래스를 매개변수로 받아 새로운 함수나 클래스를 반환하는 함수입니다.

데코레이터는 함수를 수정, 확장 또는 래핑하여 코드를 보다 가독성 있고 유지보수하기 쉽게 만드는 간결하고 우아한 방법을 제공합니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

데코레이터는 일반적으로 다음과 같은 시나리오에서 사용됩니다:

- 추가 기능 또는 로직 추가, 로깅, 성능 분석, 입력 유효성 검사 등;
- 함수의 동작 수정, 결과 캐싱, 재시도 메커니즘 추가 또는 입력 매개변수를 가로채서 매개변수를 확인하고 많은 assert 문을 사용하는 대신;
- 관심을 분리하고 자르로 자르로 사용되는 관심사항을 핵심 비즈니스 로직과 분리합니다.

# 5 매우 간단하지만 유용한 데코레이터

## 01 타이머: 함수 실행 시간 측정


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

코드 성능 최적화는 매우 중요합니다. 이 데코레이터는 특정 함수의 실행 시간을 추적하고 경과 시간을 출력하는 데 도움을 줍니다. 이 데코레이터로 함수를 감싸면 병목 현상을 신속하게 식별하고 코드의 핵심 부분을 최적화할 수 있습니다.

```js
import time

def timer(func):
    def wrapper(*args, **kwargs):
        # 타이머 시작
        start_time = time.time()
        # 데코레이트된 함수 호출
        result = func(*args, **kwargs)
        # 시간 다시 측정
        end_time = time.time()
        # 경과 시간 계산 및 출력
        execution_time = end_time - start_time
        print(f"실행 시간: {execution_time} 초")
        # 데코레이트된 함수 실행 결과 반환
        return result
    # wrapper 함수에 대한 참조 반환
    return wrapper
```

파이썬에서 데코레이터를 만들려면 timer라는 함수를 정의해야 합니다. 이 함수는 데코레이터 함수임을 나타내는 func라는 매개변수를 받습니다. timer 함수 내부에서는 원하는 함수를 데코레이트하기 위해 매개변수를 일반적으로 전달하는 wrapper라는 다른 함수를 정의합니다.

wrapper 함수 내에서는 제공된 인수를 사용하여 필요한 함수를 호출합니다. 이렇게 할 수 있습니다: result = func(*args, **kwargs).


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

마지막으로, 래퍼 함수는 장식된 함수의 실행 결과를 반환합니다. 데코레이터 함수는 방금 만든 래퍼 함수에 대한 참조를 반환해야 합니다.

데코레이터를 활용하기 위해서는 원하는 함수에 @ 기호를 사용하여 적용하면 됩니다.

```js
@timer
def train_model():
    print("Starting the model training function...")
    # 프로그램을 5초간 일시 중지하여 함수 실행을 시뮬레이션합니다
    print("Model training completed!")

train_model()
```

## 02 debugger: Make Debug Easier


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

유용한 추가 래퍼 함수를 만들어 디버깅을 용이하게 할 수 있습니다. 각 함수의 입력 및 출력을 출력하여 실행 흐름을 확인할 수 있습니다. 이 방법을 통해 복수의 print 문으로 애플리케이션을 혼란스럽게 만들 필요가 없습니다.

```python
def debugger(func):
    def wrapper(*args, **kwargs):
        # 함수 이름과 인수 출력
        print(f"Calling {func.__name__} with args: {args} kwargs: {kwargs}")
        # 함수 호출
        result = func(*args, **kwargs)
        # 결과 출력
        print(f"{func.__name__} returned: {result}")
        return result
    return wrapper
```

호출된 함수의 이름을 가져오기 위해 __name__ 매개변수를 사용할 수 있으며, args와 kwargs 매개변수를 사용하여 전달된 내용을 출력할 수 있습니다.

```python
@debugger
def add_numbers(x, y):
    return x + y
add_numbers(7, y=5)  
# 출력: Calling add_numbers with args: (7,) kwargs: {'y': 5}
# add_numbers returned: 12
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

## 03 memoize: 반환 결과 캐시

우리는 코드 베이스에서 특정 코드 조각들의 동작을 거의 변경하지 않습니다. 그러나 이러한 코드들의 반복 실행은 상당한 컴퓨팅 자원을 소비할 수 있습니다. 이 경우 memoize 데코레이터를 사용하여 함수 호출을 캐시할 수 있습니다.

이 시점에서 입력이 동일하면 함수는 한 번만 실행됩니다. 각 후속 실행에서는 결과가 캐시에서 가져옵니다. 따라서 비용이 많이 드는 계산을 항상 수행할 필요가 없습니다.

```js
def memoize(func):
    cache = {}
    def wrapper(*args):
        if args in cache:
            return cache[args]
        else:
            result = func(*args)
            cache[args] = result
            return result
    return wrapper
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

데코레이터는 함수 매개변수와 반환 값을 저장하는 사전(dictionary)을 사용합니다. 이 함수를 실행할 때, 데코레이터는 이전 결과 사전을 확인합니다. 저장된 값이 없을 때만 실제 함수가 호출됩니다.

아래는 피보나치 수 계산 함수입니다. 이 함수는 재귀적으로 작동하므로 동일한 함수가 여러 번 실행됩니다. 그러나 캐싱을 사용하면 이 과정을 빠르게 만들 수 있습니다.

```js
@memoize
def fibonacci(n):
    if n <= 1:
        return n
    else:
        return fibonacci(n-1) + fibonacci(n-2)
```

이 함수의 실행 시간을 캐시를 사용하거나 사용하지 않을 때 각각 측정한 결과입니다. 캐시된 버전은 실행에 몇 밀리초만 소요되지만, 캐시되지 않은 버전은 거의 1분이 소요됩니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이전 실행 결과를 저장할 때 사전을 사용하는 것은 간단하고 직관적인 방법입니다. 더 강력한 기능을 제공하기 위해 데이터를 캐시하는 인메모리 데이터베이스인 Redis나 Memcache와 같은 것을 사용할 수 있습니다.

## 04 재시도: 실행 재시도

데이터 과학과 소프트웨어 개발에서는 종종 외부 시스템에 의존하지만 모든 외부 시스템이 신뢰성있는 것은 아닙니다.

예기치 않은 이벤트가 발생할 때 코드가 일정 시간을 기다려 외부 시스템이 복구되기를 기다리고 다시 시도할 수 있기를 원할 수 있습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

그런 retry 로직을 Python 데코레이터로 구현하는 것이 좋습니다. 이렇게 하면 재시도 동작을 어떤 함수에든 적용할 수 있어요.

```python
import time

def retry(max_attempts, delay=1):
    def decorator(func):
        def wrapper(*args, **kwargs):
            attempts = 0
            while attempts < max_attempts:
                try:
                    return func(*args, **kwargs)
                except Exception as e:
                    attempts += 1
                    print(f"Attempt {attempts} failed: {e}")
                    time.sleep(delay)
            print(f"Function failed after {max_attempts} attempts")
        return wrapper
    return decorator
```

우리는 데코레이터에 대한 다른 래퍼 함수를 정의할 수 있어요. 이전 예제와 유사하게 구현해요. 그러나 이번에는 검증 함수를 입력 변수로 전달하는 대신 max_attempts와 delay와 같은 특정 매개변수를 전달해요.

데코레이터 함수가 호출되면 wrapper 함수가 호출돼요. 이 함수는 시도 횟수(0부터 시작)를 기록하고 while 루프에 진입해요. 루프는 장식된 함수를 실행하려고 시도하고, 성공하면 결과를 즉시 반환해요. 그러나 예외가 발생하면 시도 횟수를 증가시키고, 시도 횟수와 발생한 특정 예외를 나타내는 오류 메시지를 출력해요. 지정된 지연 시간 동안 함수를 다시 시도하기 전에 time.sleep을 사용해요.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이 함수를 호출하려면 각 함수 호출 사이의 최대 시도 횟수와 시간 간격(초)을 지정할 수 있습니다.

```js
@retry(max_attempts=3, delay=2)
def fetch_data(url):
    print("데이터를 가져오는 중..")
    # 서버 응답 없음을 모의하기 위해 시간 초과 오류 발생..
    raise TimeoutError("서버가 응답하지 않습니다.")
fetch_data("https://example.com/data")  
# 시도 간격이 2초인 3번 재시도
```

## 05 exception_handler: Graceful Exception Handling

exception_handler는 함수에서 발생한 모든 예외를 잡아 적절히 처리할 수 있습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

요구 사항에 맞게 래퍼 함수에서 예외 처리를 사용자 정의할 수 있습니다. 예를 들어 예외를 로깅하거나 추가 오류 처리 단계를 수행할 수 있습니다.

```js
def exception_handler(func):
    def wrapper(*args, **kwargs):
        try:
            return func(*args, **kwargs)
        except Exception as e:
            # 예외 처리
            print(f"예외가 발생했습니다: {str(e)}")
            # 선택적으로 추가 오류 처리 또는 로깅 수행
            # 필요한 경우 예외를 다시 발생시킵니다.
    return wrapper
```

이것은 우리의 코드를 간소화하고 예외 처리 및 오류 로깅을 처리하는 통합된 절차를 수립하는 데 매우 유용합니다.

```js
@exception_handler
def divide(x, y):
    result = x / y
    return result
divide(10, 0)  
# 출력: 예외가 발생했습니다: division by zero
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 요약

![이미지](/TIL/assets/img/2024-07-12-EssentialforLazyDevelopersFiveEfficientPythonDecorators_2.png)

데코레이터는 함수에 새로운 동작을 쉽게 적용할 수 있는 매우 편리한 방법입니다. 래퍼(wrapper)를 사용하여 복잡한 작업을 간소화하고 코드 가독성을 높이며 생산성을 향상시킬 수 있습니다.

![이미지](/TIL/assets/img/2024-07-12-EssentialforLazyDevelopersFiveEfficientPythonDecorators_3.png)


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

## 👋 만약 이 게시물이 도움이 된다면, 작가를 지원하는 의미로 아래 👏 버튼을 클릭해 주세요 

## 🚀 FAUN 개발자 커뮤니티에 가입하고 매주 이메일로 유사한 이야기를 받아보세요

게으른 개발자를 위한 필수 효율적인 파이썬 데코레이터 5가지

위성으로 보이지 않는 용암 흐름과 활활 타오르는 산불을 어떻게 포착할 수 있을까 Python 사용법

Polars, 현대적인 Python DataFrame 라이브러리를 개발한 분들께 축하드립니다! 최근에 제품의 1.0 버전을 출시했군요. 이 릴리스로 Polars는 이제 공식적으로 프로덕션에 준비되었으며 시스템 전반에 자유롭게 사용할 수 있습니다.

릴리스를 발표한 블로그 포스트에서 Polars 팀은 앞으로의 로드맵에 대한 몇 가지 힌트를 주었습니다.

## 스트리밍 엔진 재디자인

이 혁신적인 디자인은 morsel-driven 병렬성을 Rust의 비동기 상태 머신과 융합하여 하이브리드 푸시/풀 엔진을 만들었습니다. 이 엔진은 morsel-driven 병렬성의 캐시 지역성, 병렬성 및 NUMA 인식을 활용하면서, 유연한 연산자 디자인을 사용하여 러스트로 관리되는 상태 머신으로 컴파일되어 복잡성을 관리합니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

스트리밍은 많은 작업 부하에 대해 매우 빠르고 메모리를 효율적으로 사용하지만 특정 시계열 작업에 대해 최적으로 작동하지 않을 수 있습니다. 롤링 윈도우 및 윈도우 함수와 같은 작업은 스트리밍 중에 동기화가 더 많이 필요하며 그에 비해 메모리에서 실행할 때보다 더 많은 동기화가 필요합니다. 이러한 함수의 경우, Polars는 모든 작업 부하에 최적의 성능을 보장하기 위해 그것의 메모리 엔진으로 되돌아갑니다.

## NVIDIA RAPIDS를 사용한 GPU 가속화

또 다른 흥미로운 발전은 Polars에 GPU 가속화를 추가한 것입니다. 이 분야에서 상당한 진전이 이루어지고 이미 Polars 테스트 스위트의 상당 부분이 GPU에서 실행됩니다. GPU 가속화를 Polars 옵티마이저와 결합하면 최적의 성능과 GPU에 대한 메모리 압력이 줄어듭니다. GPU는 병렬성을 처리하고 옵티마이저는 실행되는 최소한의 작업량을 보장합니다.

## Polars 클라우드


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

Polars Cloud를 사용하면 조직이 Polars를 호스팅하고 확장하는 복잡성을 줄일 수 있는 관리 서비스를 제공하는 것을 목표로 합니다. Polars Cloud의 개발은 꾸준히 진행 중이며, 올해 초기 베타 테스트를 시작할 준비가 되어 있습니다. Polars Cloud의 많은 요구 사항은 오픈 소스 프로젝트의 개선으로 직접 이어지고 있습니다. 예를 들어, 새로운 1.0 릴리스는 하이브 파티션 데이터셋의 스캔을 지원하고 클라우드 파일 캐싱 및 다양한 형식에 대한 클라우드 지원 확장을 가져 왔습니다. 우리는 관리 서비스에서 Polars 오픈 소스 엔진을 사용하여 개선 사항이 Polars Cloud 사용자뿐만 아니라 오픈 소스 사용자에게도 이점을 제공하도록 하겠습니다.

## 다른 주목할 만한 목표

단기 로드맵에 포함된 다른 계획에는 right joins, non-equi joins, 확장된 메타데이터 지원, 조인 재정렬 최적화, 그리고 확장된 SQL 지원이 포함되어 있습니다.

Polars의 미래 방향에 관심이 많습니다. 함께 많은 일을 이루어나갈 Polars 팀을 기대하고 있어요.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

Polars에 대해 더 자세히 알고 싶다면, 그들의 웹사이트를 확인해보세요.

만약 이 콘텐츠가 마음에 들었다면, 여기에 다른 관련 기사들이 있습니다. 함께 읽어보세요.

Posts