<table>
    <tr>
        <td><img src="/TIL/assets/img/2024-07-13-PythonforDataScience_0.png" /></td>
    </tr>
</table>

데이터 과학 분야에서 Python이 인기 있는 이유를 살펴보겠습니다. Python은 그 간결함과 강력한 라이브러리로 인해 데이터 과학 분야에서 가장 많이 사용되는 언어 중 하나가 되었습니다.

# 데이터 과학을 위한 Python의 장점

- 학습 용이성: Python의 문법은 간단하고 가독성이 좋아 초심자부터 숙련된 프로그래머까지 모두 사용할 수 있습니다.
- 다양한 라이브러리: 데이터 과학을 위해 특별히 설계된 다양한 라이브러리가 존재합니다.
- 커뮤니티 지원: 큰 활성화된 커뮤니티가 많은 자료, 튜토리얼, 문제 해결 및 새로운 기술 습득을 지원해줍니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 데이터 과학을 위한 주요 라이브러리

- NumPy: 대규모 다차원 배열과 행렬을 지원하며, 이러한 배열에 작용하는 수학 함수 모음을 제공합니다.

```python
import numpy as np
arr = np.array([1, 2, 3, 4])
```

- Pandas: 데이터 조작과 분석에 꼭 필요한 DataFrames와 같은 데이터 구조를 제공하여 탭 형식의 데이터를 처리합니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```python
import pandas as pd
df = pd.read_csv('data.csv')
```

3. Matplotlib: 정적, 대화식 및 애니메이션 시각화를 생성하는 데 사용되는 도표 라이브러리입니다.

```python
import matplotlib.pyplot as plt
plt.plot([1, 2, 3, 4])
plt.show()
```

4. Seaborn: Matplotlib을 기반으로 한 Seaborn은 매력적인 통계 그래픽을 그리기 위한 고수준 인터페이스를 제공합니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
import seaborn as sns
sns.set(style="darkgrid")
```

5. SciPy: 과학 및 기술 계산에 사용되며 NumPy의 기능을 확장합니다.

```js
from scipy import stats
```

6. Scikit-Learn: 데이터 마이닝 및 데이터 분석에 유용한 간단하고 효율적인 도구를 제공하는 머신러닝 라이브러리입니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
from sklearn.ensemble import RandomForestClassifier
```

# 예시 워크플로우

파이썬에서의 전형적인 데이터 과학 워크플로우는 다음과 같은 단계를 포함할 수 있습니다:

- 데이터 수집: Pandas를 사용하여 CSV, 데이터베이스 또는 API에서 데이터를 읽기
- 데이터 정제: Pandas를 사용하여 결측값 및 중복 처리 및 데이터 변환
- 탐색적 데이터 분석 (EDA): Pandas, Matplotlib 및 Seaborn을 사용하여 데이터 시각화 및 요약
- 모델 구축: Scikit-Learn을 사용하여 머신러닝 알고리즘 적용
- 평가: Scikit-Learn에서 제공하는 메트릭을 사용하여 모델 성능 평가



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 결론

파이썬은 가독성, 라이브러리 다양성 및 강력한 커뮤니티 지원이 결합되어 데이터 과학에 이상적인 선택지입니다. 처음 시작하거나 경험 많은 데이터 과학자이든, 파이썬은 다양한 데이터 관련 문제에 대처할 도구와 유연성을 제공합니다.

데이터 과학을 위한 Python 완벽 가이드

<img src="/TIL/assets/img/2024-07-13-12EssentialTipsforMasteringPythonConcurrency_0.png" />

## 파이썬 동시성이 프로그래밍 병목 현상을 해결하는 방법

오늘은 파이썬에서 동시성을 탐색할 거에요 — 프로그램을 더 빠르게 실행할 수 있는 마법 같은 열쇠!

걱정하지 마세요, 초심자라도 동시성을 마스터할 수 있도록 단계별로 안내할게요.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 1. 스레딩 소개: 멀티 스레딩 기초

카페에서 이메일 처리, 채팅 및 코딩을 동시에 하는 상황을 상상해보세요 — 그것이 멀티 스레딩입니다.

Python에서는 `threading` 모듈이 여러분의 유용한 도우미입니다.

```python
import threading
import time

def say_hello(name):
    print(f"Hello, {name}!")
    time.sleep(2)  # 시간이 오래 걸리는 작업을 모방

# 스레드 생성
thread1 = threading.Thread(target=say_hello, args=("World",))
thread2 = threading.Thread(target=say_hello, args=("Python",))

# 스레드 시작
thread1.start()
thread2.start()

# 모든 스레드가 완료될 때까지 대기
thread1.join()
thread2.join()

print("모든 작업 완료.")
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이 코드는 서로 다른 인사말을 인쇄하는 두 개의 스레드를 만들고, 그들이 완료될 때까지 기다립니다. `join()`을 기억하세요, 스레드가 완료될 때까지 기다립니다.

# 2. 동시성 함정: 전역 인터프리터 잠금(GIL)

멀티스레딩을 논의할 때, 파이썬의 GIL에 대해 언급해야 합니다. CPU 코어가 파이썬 바이트코드를 실행하는 것에 차례를 가져가도록 하는 것인데, 이는 CPU 바운드 작업에 대해 멀티스레딩이 항상 더 빠르지는 않다는 의미입니다. 하지만 걱정하지 마세요, I/O 바운드 작업의 경우에는 멀티스레딩이 여전히 유용합니다!

# 3. 병렬 처리: GIL 우회


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

다중 코어 CPU를 최대한 활용하려면 `multiprocessing` 모듈을 사용하세요. 이 모듈은 각 프로세스에 대해 별도의 Python 해석기를 생성하여 GIL을 우회합니다.

```python
from multiprocessing import Process
import time

def worker(num):
    print(f'Worker: {num}')
    time.sleep(2)

if __name__ == '__main__':
    processes = []
    for i in range(4):
        p = Process(target=worker, args=(i,))
        processes.append(p)
        p.start()
```

각 `Process`는 GIL과 독립적으로 실행됩니다.

# 4. 동시성이 모든 문제를 해결해 주지는 않습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

동시성은 데이터 동기화 문제와 함께 복잡할 수 있습니다. 자원 충돌을 피하기 위해 잠금을 사용하면 마치 주방에서 하나의 전자 레인지를 공유하는 것처럼 자원 충돌을 피할 수 있습니다.

```python
from threading import Lock

lock = Lock()

def safe_print(number):
    with lock:
        print(f'Safe print: {number}')

safe_print(1)
safe_print(2)
```

`with`를 사용하면 잠금을 자동으로 관리하여 안전을 보장합니다.

# 5. 큐의 지혜: `queue.Queue`


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

편리하게 생각해보면 공장 조립 라인과 비슷한데, `Queue`는 스레드/프로세스 간 데이터 교환을 조율하는 조정자입니다.

```python
from queue import Queue
from threading import Thread

def producer(queue):
    queue.put('Product')

def consumer(queue):
    print(queue.get())

q = Queue()
producer_thread = Thread(target=producer, args=(q,))
consumer_thread = Thread(target=consumer, args=(q,))

producer_thread.start()
consumer_thread.start()

producer_thread.join()
consumer_thread.join()
```

큐는 혼란을 방지하고 안전한 데이터 전송을 보장합니다.

# 6. 비동기의 마법: `asyncio`


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

기다리기 싫어요? `asyncio`가 `async`/`await`으로 비동기 프로그래밍 세계로 안내합니다. 당신의 코드를 날아다니게 만들어줍니다.

```python
import asyncio

async def hello(i):
    print(f'Hello {i}')
    await asyncio.sleep(1)  # 비동기 대기

async def main():
    tasks = [hello(i) for i in range(3)]
    await asyncio.gather(*tasks)

# Python 3.7+
asyncio.run(main())
```

비동기 대기를 통해 다른 작업을 수행하면서 대기할 수 있어 효율성을 향상시킬 수 있어요.

# 7. 비동기 프로그래밍에 대한 오해


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

`asyncio`는 강력하지만 하드웨어와 직접 상호 작용하는 저수준 API와 같은 모든 함수를 비동기적으로 실행할 수 없습니다. 올바른 방법을 선택하고 강제로 async를 적용하지 마세요.

# 8. `concurrent.futures`: 간편한 Future 처리

간단한 동시 작업의 경우, 동기적 또는 비동기적으로, `concurrent.futures`를 활용하세요.

```js
from concurrent.futures import ThreadPoolExecutor

def worker(n):
    return n * n

with ThreadPoolExecutor() as executor:
    results = executor.map(worker, range(5))
    print(list(results))  # 제곱 출력
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

 ThreadPoolExecutor를 사용하여 스레드 풀을 쉽게 관리할 수 있습니다. 이를 통해 작업 실행이 음식 주문하는 것만큼 간단해집니다.

# 9. 오류 처리의 기술: 예외 gracefully 처리하기

동시성에서 오류 처리는 중요합니다. 코드를 보호하기 위해 `try-except`를 사용하여 한 작업의 실패가 전체 프로그램에 영향을 미치지 않도록합니다.

```js
try:
    # 실패할 수도 있는 동시성 코드
except Exception as e:
    print(f"예외를 잡았습니다: {e}")
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

침착하게 유지하고 오류를 세련되게 처리하여 견고한 프로그램을 만들어봐요.

# 10. 리소스 관리: 컨텍스트 관리자와 `with`

`with` 문은 파일, 락과 같은 리소스가 올바르게 해제되어 경쟁 상태에서 리소스 누출을 방지해줘요.

```js
with Lock():
    # 공유 리소스를 안전하게 조작해요
```  


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

표 태그를 마크다운 형식으로 변경해 드릴게요.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

실제 예시를 통해 동시에 이미지를 다운로드하여 동시성의 힘을 느껴보는 연습을 해보세요.

```python
import os
import requests
from threading import Thread

def download_image(url, filename):
    response = requests.get(url)
    with open(filename, 'wb') as f:
        f.write(response.content)
    print(f'{filename} 다운로드 완료.')

urls = ['img_url1', 'img_url2']  # 예시 URL
threads = []

for url in urls:
    t = Thread(target=download_image, args=(url, os.path.basename(url)))
    threads.append(t)
    t.start()

for t in threads:
    t.join()

print('모든 이미지 다운로드 완료.')
```

동시 다운로드는 프로세스를 크게 가속시킵니다!

이 12가지 실용적인 팁으로 파이썬 동시성 능력을 향상시켰습니다. 진실을 확인하기 위해 연습해보세요. 프로그램을 실행시켜 빠르게 동작시켜 보세요!


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

Substack에서 최신 AI 이야기를 따라가며 연락을 유지해보세요. 함께 AI의 미래를 함께 만들어요!

Substack에서 Python 이야기를 최신 상태로 유지하기 위해 연락을 유지해보세요. 함께 Python을 배워봐요!

파이썬 동시성 완벽 정복을 위한 12가지 필수 팁

Python을 사용한 리스크 온 vs 리스크 오프 주식 시장 대시보드 만들기 - Part IV 동적 시간 왜곡 Dynamic Time Warping 방법

<img src="/TIL/assets/img/2024-07-13-FindHiddenLawsWithinYourDatawithSymbolicRegression_0.png" />

기계 학습 전문가로서, 보통 데이터셋(X, y)을 갖고 있고, M이라고도 불리는 함수를 찾고 싶어합니다. M(X) ≈ y를 만족하는 함수입니다. 보통, 우리는 M의 함수 형태에 크게 신경 쓰지 않습니다. 우리 관점에서는, 모델이 신경망, 트리 기반 알고리즘 또는 완전히 다른 것이든 간에 테스트 세트에서 좋은 성능을 보이면 만족합니다.

하지만, 이러한 복잡한 모델을 사용하면 흥미로운 패턴이나 때로는 데이터 내에 잠재된 물리학이나 경제법칙을 놓칠 수 있습니다. 더 나은 결과를 얻기 위해, Symbolic Regression을 사용하여 모델을 구축하는 방법을 보여드리겠습니다. 이러한 모델은 소수의 항만으로 구성되어 어디서든 쉽게 구현할 수 있습니다. 이것이 무엇인지 살펴볼까요?

# 물리학 실험


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

실험 물리학자로서 지정한 높이 h에서 물체를 떨어뜨렸을 때 땅에 도달하는 데 얼마나 걸리는지 알아보고 싶습니다. 예를 들어, h = 1.5m의 높이에서 (공기 저항에 영향받지 않을만큼 충분히 무거운) 물체를 떨어뜨린다면, 땅에 도달하는 데 약 0.55초가 걸립니다. 한 번 시도해보세요!

그러나 이는 지구나 중력 가속도가 9.8067m/s²인 다른 천체에만 해당됩니다. 예를 들어, 달은 1.625m/s²의 중력 가속도를 갖고 있어 같은 물체를 1.5m에서 떨어뜨리면 약 1.36초가 더 걸립니다. 영화에서 보던 것과 일치할 것입니다.

이제, 우리의 작업은 땅에 도달하는 데 필요한 시간을 알려주는 일반적인 공식 t(h, g)를 찾는 것입니다. 이는 단순히 높이 h와 중력 가속도 g 값을 가져와 시간 t를 예측하는 모델을 만드는 것에 불과합니다. 나에게 참아주십시오, 친애하는 물리학자분들. 😃

## 데이터 수집 및 모델 훈련


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

우주선을 타고 날아다닌 다음 다양한 높이와 행성에서 몇 가지 물건을 떨어뜨렸고, 항상 땅에 도달하는 데 걸리는 시간을 측정했다고 가정해 봅시다. 측정값의 첫 번째 행들은 다음과 같습니다:

| 높이 (h) | 중력 (g) | 시간 (t) |
| ------- | ------- | ------- |
| 10      | 9.81    | 1.43    |
| 20      | 9.81    | 2.01    |
| 30      | 3.72    | 2.67    |

이제 이를 훈련 세트와 테스트 세트로 나누어 표준 기계 학습 모델을 훈련시켜 볼 수 있습니다.

```python
import pandas as pd
from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import train_test_split

data = pd.read_csv("https://raw.githubusercontent.com/Garve/towards_data_science/main/Symbolic%20Regression/free_fall.csv")
X = data[["h", "g"]]
y = data["t"]
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=123)

rf = RandomForestRegressor(random_state=123).fit(X_train, y_train)
print(rf.score(X_test, y_test))

# 출력:
# 0.9874788707086176
```

언제든지 궁금한 점이 있으면 물어봐 주세요!


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

좋아요, 매우 잘 숨겨진 패턴을 학습하는 모델을 만들었네요. 근데... 그 패턴이 뭘까요?

## 모델 해석

실제로 모델 내부에 존재하는 복잡한 공식 때문에 알아내기 어렵습니다. Shapley 값들을 사용하여 모델이 무엇을 배웠는지 살펴볼 수 있습니다. 이 기사에서는 그들이 무엇인지 정말로 알 필요는 없지만, 여전히 관심이 있다면 제 다른 글을 확인하는 것을 추천합니다:

기본적으로, 다양한 특징이 모델의 결과에 어떤 영향을 미치는지를 결정할 수 있게 해줍니다. 멋진 shap 라이브러리를 사용하여 다음을 할 수 있어요:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
# !pip install shap
import shap

te = shap.TreeExplainer(rf, feature_names=["h", "g"])
shapley_values = te(X)
shap.plots.scatter(shap_values=shapley_values)
```

![FindHiddenLawsWithinYourDatawithSymbolicRegression_2](/TIL/assets/img/2024-07-13-FindHiddenLawsWithinYourDatawithSymbolicRegression_2.png)

왼쪽에서는 높은 h 값이 더 높은 모델 출력, 즉 더 높은 t 값을 초래한다는 것을 볼 수 있습니다. 오른쪽에서는 g 값이 낮을수록 모델에 따르면 더 높은 t 값을 얻는 것을 볼 수 있습니다. 두 관측 결과는 모두 이해하기 쉽습니다: 높은 곳에서 물체를 떨어뜨리면 땅에 닿을 때까지 더 오래 걸립니다. 그리고 지면 쪽으로 강한 힘으로 끌려오게 되면 그것은 더 빨리 땅에 닿을 것입니다.

보통 이러한 결과가 나오면 만족하고 모델을 배포할 수 있습니다. 그럼에도 불구하고, 이 접근 방식에는 몇 가지 문제가 있다고 주장할 수도 있습니다:



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

- 모델이 꽤 복잡하므로 이론적 통찰이 전혀 없습니다.
- 그래서 우리는 scikit-learn 모델로 배포해야 하는데, 우리의 배포 서비스가 scikit-learn 모델을 좋아하지 않을 때 쉽게 다시 구현할 수 없습니다.

이 두 문제를 해결하는 다른 모델을 어떻게 구축할 수 있는지 살펴봅시다.

# 기호 회귀

기호 회귀라는 기술을 활용할 수 있습니다. 이 기술은 데이터를 설명하는 간단한 대수적 표현을 찾으려고 합니다. 예를 들어, 특성 x₁, x₂ 및 x₃ 및 타겟 y로 구성된 데이터 세트에서 모델 학습 결과는 y = √x₁ + sin(x₂/(x₃+1)) 또는 y = exp(x₁²) - x₂ 와 같을 수 있습니다. "자유 낙하" 데이터 세트에서 이 모델이 어떻게 수행되는지 확인해봅시다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

심볼릭 회귀를 위한 많은 패키지가 있습니다. 예를 들어 gplearn과 PySR이 있어요. 여기서는 gplearn을 사용할 거에요. 살짝 더 쉽게 사용할 수 있어서요. 하지만 안타깝게도 2년 동안 업데이트되지 않았어요. PySR은 활발히 개발 중이지만 밑바닥에는 Julia를 사용하기 때문에 또 다른 종속성이 생기는 거에요.

## 심볼릭 회귀 맞춤

먼저 gplearn을 설치해볼게요. pip install gplearn을 통해 간단하게 설치할 수 있어요. 그리고 SymbolicRegressor를 정의하고, 덧셈이나 로그 취하기와 같은 연산을 공식 내에서 사용할 수 있도록 설정해보아요.

```python
from gplearn.genetic import SymbolicRegressor

sr = SymbolicRegressor(
    function_set=(
        "add",
        "sub",
        "mul",
        "div",
        "sqrt",
        "log",
        "abs",
        "neg",
    ),
    random_state=0,
)

sr.fit(X_train, y_train)
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

지금 모델은 다음과 같은 공식을 찾으려고 노력합니다:

- 간단하면서도
- 데이터를 잘 설명하는 즉, 손실이 적은 공식

제 경우에는 다음과 같은 결과가 나왔어요:

![이미지](/TIL/assets/img/2024-07-13-FindHiddenLawsWithinYourDatawithSymbolicRegression_3.png)


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

아래는


![Physical laws rediscovered by PySR authors](/TIL/assets/img/2024-07-13-FindHiddenLawsWithinYourDatawithSymbolicRegression_4.png)

since x₀ = h and x₁ = g. Apart from having a test r² of over 0.999, this is actually the correct physics formula that describes falling objects without air resistance! You might also find the equivalent formula h = 0.5 · g · t² in literature.

And don’t only take it from me. The authors of PySR published a paper in which they show how many more physical laws could be rediscovered. On page 16, you can see this table:



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

표 태그를 Markdown 형식으로 변경하세요.

열을 보면 심볼릭 회귀 라이브러리들이 나와 있어요. 왼쪽에는 물리 법칙이 있구요. 셀 안의 분수는 올바른 표현을 찾은 횟수를 전체 시도 횟수로 나눈 것이에요. 다음은 수식들이에요:

Planck의 법칙과 Rydberg 공식은 어떤 라이브러리도 발견하기 어려웠어요. 그래도 PySR만 다른 경우에 잘하고 있었어요. gnlearn은 비교 대상이 아니었어요.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

## 어떻게 이 마법이 작동할까요?

우리 모델의 기능 형태는 완전히 미친 것일 수 있습니다. 이는 신경망에서 일어나는 일과 근본적으로 다릅니다. 신경망에서는 공식 자체가 고정되어 있고 매개변수만 조정됩니다. 또는 그라디언트 부스팅과 같은 트리 기반 알고리즘에서는 결과가 언제나 조각별 상수 함수가 됩니다.

길게 말하면, 이 기사에서 다루기에는 너무 길 것인 내재하는 진화 알고리즘을 사용합니다. 이들은 매우 무작위하고 휴리스틱한 프로세스이며, 극도로 분석하기 어렵습니다. 그래도 실전에서는 상당히 잘 작동할 수 있습니다. 만약 진화 알고리즘에 대해 초보자를 위한 기사를 읽고 싶다면, 제 다른 기사를 확인해 보세요:

지금 읽기 싫다면, 현재 사용 사례에 대한 핵심 아이디어는 여기에 있습니다:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

- 간단한 무작위 수식들로 시작해보세요, 예를 들어 t = h, t = g², t = g + h, t = √h, ...
- 평가 지표로 예를 들어 평균 제곱 오차를 사용해 그들이 얼마나 좋은지 확인해보세요.
- 가장 좋은 수식들을 선택하여 결합해보세요, 예를 들어 t = h와 t = g²를 결합하면 t = h + g²가 될 수 있습니다. 또는 t = √h와 t = h · g를 결합하면 t = √(h · g)가 될 수 있습니다.
- 그들을 변형할 수도 있습니다. 예를 들어, t = √(h·g)를 약간 변경하여 t = √(h + g)로 변형할 수 있습니다.
- 이제 새로운 수식 집합이 있으므로 다시 1단계로 돌아갈 수 있습니다. 또는 이미 아주 좋은 수식을 찾은 경우 중단할 수도 있습니다.

이러한 절차를 구현하는 방법은 사용하는 라이브러리에 따라 다를 수 있습니다. 이러한 알고리즘을 작성하는 것이 정말 재미있는 일이 될 수 있도록 이러한 단계를 설계하는 데 많은 자유가 주어집니다. PySR 저자들은 논문에서 그들만의 진화 알고리즘 특정 버전을 설명하고 있습니다.

# 결론

이 글에서는 의미 있는 수식으로 모델을 구축하는 것이 얼마나 쉬운지 살펴보았습니다. 예를 들어, 우리의 예제에서는 테스트 세트의 성능뿐만 아니라, 더 나았습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

예를 들어, SQL로 이동하여 다음과 같이 작성할 수 있어요:

```js
SELECT
  h,
  g,
  SQRT(2 * h / g) AS t_pred
FROM
  your_table
```

그럼 이제 시작해봅시다! 이 공식을 선택하는 어떤 프로그래밍 언어에서도 쉽게 다시 구현할 수 있어요.

물론 공식이 항상 간단하거나 데이터를 잘 설명하지는 않을 수 있어요. 이 경우에는 항상 사인, 지수 함수와 같은 다른 연산을 추가하거나, 자체 작은 빌딩 블록을 만들 수 있어요. 이것은 다시 명확한 공식을 만드는 데 도움이 될 수 있어요.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

오늘 새롭고 흥미로운, 가치있는 것을 배우셨기를 바랍니다. 읽어 주셔서 감사합니다!

그리고 알고리즘의 세계로 더 깊이 파고들고 싶다면, 제 새로운 출간물 '알고리즘에 관한 모든 것'을 한 번 살펴보세요! 아직 작가를 모집 중입니다!

심볼릭 회귀로 데이터 속 숨겨진 법칙 찾는 방법

Python과 OpenCV, FER을 사용한 실시간 감정 인식 방법

퀀트 트레이딩에 뛰어들기 전에 꼭 알아야 할 데이터 과학 분석의 비법

6단계로 그래프 기반 이상 탐지 신경망 만드는 방법

![Python Coding Make For Loops 10x Faster with Multithreading](/TIL/assets/img/2024-07-13-PythonCodingMakeForLoops10xFasterwithMultithreading_0.png)

For loops are essential in programming. They allow us to iterate over sequences efficiently. However, for time-consuming tasks, using threads can be more efficient. Learn when and how to use threads to optimize performance. You can check out code examples in my GIT repo. The link is in the footer.

Let's look at an example. We will simulate a time-consuming task by squaring numbers using a Python script with a for loop:

```python
import time

# List of numbers to process
numbers = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]

# Function to square a number
def square_number(number):
    time.sleep(1)  # Simulate a time-consuming task
    return number * number

# Using a for loop to process each number
squared_numbers = []
start_time = time.time()
for number in numbers:
    squared_numbers.append(square_number(number))

end_time = time.time()

print("Squared numbers:", squared_numbers)
print("Time taken:", end_time - start_time, "seconds")
# Time taken: 10.082990884780884 seconds
```



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이 스크립트는 square_number 함수 내의 time.sleep(1) 호출로 인해 각 숫자를 순차적으로 처리합니다. 전체 실행에는 10.1초가 소요됩니다.

## 멀티스레딩으로 최적화

다음으로, 처리 시간을 개선하기 위해 멀티스레딩 접근 방식으로 최적화할 것입니다. 멀티스레딩을 사용하여 위 예제를 최적화하려면 Python의 concurrent.futures 모듈을 사용할 수 있습니다. 이 모듈은 콜러블을 비동기적으로 실행하기 위한 고수준 인터페이스를 제공합니다.

다음은 스크립트를 멀티스레딩을 사용하도록 수정하는 방법입니다:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
import time
from concurrent.futures import ThreadPoolExecutor

# 처리할 숫자의 목록
numbers = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]

# 숫자를 제곱하는 함수
def square_number(number):
    time.sleep(1)  # 시간이 많이 소요되는 작업을 모방
    return number * number

# 멀티스레딩을 위해 ThreadPoolExecutor 사용
squared_numbers = []
start_time = time.time()

with ThreadPoolExecutor(max_workers=10) as executor:
    results = executor.map(square_number, numbers)

# 결과 수집
squared_numbers = list(results)

end_time = time.time()

print("제곱된 숫자:", squared_numbers)
print("소요 시간:", end_time - start_time, "초")
# 소요 시간: 2.0257720947265625 초
```

이 최적화된 스크립트에서 우리는 ThreadPoolExecutor를 사용해 스레드 풀을 생성합니다. executor.map 함수는 숫자를 병렬로 처리하는 스레드에 square_number 함수를 분배합니다. max_workers를 5로 설정하여 최대 5개의 스레드가 동시에 실행되도록 하여 총 처리 시간을 크게 줄일 수 있습니다.

특정 사용 사례에 최적인 스레드 수를 찾으려면 max_workers 매개변수를 조정해보세요.

# 멀티스레딩 사용 시기



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

다중 스레딩은 다양한 시나리오에서 상당한 속도 향상을 제공할 수 있다는 것을 보셨을 것입니다. 그러나 모든 작업에 적합한 것은 아닙니다. 다음은 다중 스레딩이 특히 유익한 일반적인 사용 사례 몇 가지입니다:

## 1. I/O-바운드 작업:

- 파일 I/O: 파일 읽기 및 쓰기, 특히 크거나 많은 파일을 다룰 때.
- 네트워크 I/O: 여러 네트워크 연결을 동시에 처리하는 경우, 예를 들어 웹 스크래핑, 파일 다운로드 또는 웹 서버의 요청 처리.
- 데이터베이스 작업: I/O 바운드인 데이터베이스 쿼리 수행, 대용량 데이터 세트를 가져오거나 업데이트하는 작업 등.

## 2. 동시 작업:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

- 실시간 데이터 처리: 여러 센서 또는 스트림에서 데이터를 실시간으로 처리하며, IoT 응용 프로그램에서 사용됩니다.
- GUI 어플리케이션: 사용자 인터페이스를 반응적으로 유지하기 위해 시간이 많이 소요되는 작업을 백그라운드에서 실행합니다.

## 3. 독립적인 작업의 병렬 처리:

- 일괄 처리: 이미지 처리 또는 데이터 변환 작업과 같이 병렬로 실행할 수 있는 많은 독립적인 작업을 처리합니다.
- 시뮬레이션: 여러 시뮬레이션 또는 몬테카를로 실험을 동시에 실행합니다.

# 멀티스레딩을 사용하지 말아야 할 때:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

멀티스레딩은 상당한 속도 향상을 제공할 수 있지만 항상 모든 문제에 대한 최적의 해결책은 아닙니다. 멀티스레딩이 적합하지 않을 수 있는 몇 가지 시나리오는 다음과 같습니다:

- CPU 바운드 작업: 작업이 CPU에 많은 부하를 주고 순수한 수학 계산처럼 대기 시간이 거의 없는 경우, 별도의 프로세스를 생성하기 위해 multiprocessing 모듈을 사용하는 것이 더 효과적일 수 있습니다.
- 전역 인터프리터 잠금 (GIL): CPython에서 전역 인터프리터 잠금은 CPU 바운드 작업에 대한 멀티스레딩의 성능 향상을 제한할 수 있습니다. 이러한 경우에는 multiprocessing을 사용하거나 Jython이나 IronPython과 같은 GIL이 없는 구현을 사용하는 것이 효과적일 수 있습니다.
- 복잡한 공유 상태: 여러 스레드간의 복잡한 공유 상태를 관리하는 것은 경합 조건, 데드락 및 스레드 안전성과 관련된 문제와 버그를 도입할 수 있습니다.

작업의 성격과 잠재적인 병목 현상을 이해함으로써 멀티스레딩이 응용 프로그램에 적합한 해결책인지 결정할 수 있습니다.

# 전문 팁 - 데코레이터 사용하기


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

데코레이터는 함수에 멀티스레딩을 더 우아하고 재사용 가능한 방식으로 추가할 수 있습니다. 데코레이터는 다른 함수를 받아들이고 그 동작을 명시적으로 수정하지 않고 확장하는 함수입니다.

```python
import time
from concurrent.futures import ThreadPoolExecutor, as_completed

# 멀티스레딩을 추가하는 데코레이터
def multithreaded(max_workers=5):
    def decorator(func):
        def wrapper(*args, **kwargs):
            with ThreadPoolExecutor(max_workers=max_workers) as executor:
                future_to_args = {executor.submit(func, arg): arg for arg in args[0]}
                results = []
                for future in as_completed(future_to_args):
                    arg = future_to_args[future]
                    try:
                        result = future.result()
                    except Exception as exc:
                        print(f'{arg}에서 예외가 발생했습니다: {exc}')
                    else:
                        results.append(result)
                return results
        return wrapper
    return decorator

# 숫자를 제곱하는 함수
@multithreaded(max_workers=5)
def square_number(number):
    time.sleep(1)  # 시간이 오래 걸리는 작업 시뮬레이션
    return number * number

# 처리할 숫자 목록
numbers = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]

# 데코레이터를 사용한 함수 실행
start_time = time.time()
squared_numbers = square_number(numbers)
end_time = time.time()

print("제곱된 숫자:", squared_numbers)
print("소요 시간:", end_time - start_time, "초")
```

데코레이터를 사용하여 멀티스레딩을 처리하면 코드가 단순해지는 것뿐만 아니라 재사용성이 높아지고 코드가 더 깔끔해집니다. @multithreaded 데코레이터를 쉽게 적용하여 Python 코드를 최적화하는 유연하고 강력한 방법을 제공하여 병렬로 실행해야 하는 모든 함수에 데코레이터를 쉽게 적용할 수 있습니다.

# 결론


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

멀티스레딩은 Python에서 루프를 최적화하는 강력한 도구입니다, 특히 I/O 바운드 및 동시성 작업에 대해. concurrent.futures 모듈을 활용하여 프로세스 시간을 크게 단축하고 프로그램의 효율성을 향상시킬 수 있습니다. 그러나 CPU 바운드 작업이나 복잡한 공유 상태를 다룰 때에는 멀티스레딩이 최선의 방법인지를 판단하기 위해 특정 사용 사례를 신중하게 평가하는 것이 중요합니다. 신중한 고려와 구현으로 멀티스레딩은 응용 프로그램의 성능을 크게 향상시킬 수 있습니다.

# 연락하고 싶으시다구요?

읽어 주셔서 감사합니다. 즐겁게 보셨기를 바라며 이 글에서 무언가를 얻을 수 있기를 바랍니다.

- 만약 이 글이 마음에 드셨다면 아래에서 박수를 부탁드려요 👏👏👏...
- 더 많은 AI 정보를 얻기 위해 팔로우해 주세요 🤖🤖🤖...
- LinkedIn에서 저를 찾아보세요
- GitHub에서 코드를 확인해 보세요


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

언제나 궁금한 점이나 아이디어, 추천 사항이 있으시면 언제든지 댓글로 질문해주세요.

Posts