매수 분석가 또는 분석가로 활동할 때 효과적인 데이터 분석과 통찰을 얻기 위해서는 고급 코딩 기술을 배우는 것이 중요합니다. 이 게시물에서는 타이타닉 데이터셋을 중심으로 15가지 고급 Python 코드 조각을 살펴보겠습니다. 데이터 조작, 시각화, 머신러닝과 같은 분석 능력을 향상시키는데 도움이 될 것입니다.

![Image](/TIL/assets/img/2024-07-09-Free10AdvancedCodeSnippetsforPythonDataScientistsandDataAnalysts_0.png)

## 1. 타이타닉 데이터셋 불러오기

먼저, Seaborn 라이브러리를 사용하여 타이타닉 데이터셋을 불러오고 데이터셋의 처음 몇 줄을 보여줍시다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
import seaborn as sns

# 타이타닉 데이터셋을 불러옵니다
titanic = sns.load_dataset('titanic')

# 데이터셋의 처음 몇 행을 출력합니다
print(titanic.head())
```

이 코드 조각은 타이타닉 데이터셋을 판다스 DataFrame으로 불러와서 처음 몇 행을 출력하여 데이터의 구조를 살펴볼 수 있게 해줍니다.

# 2. 누락된 값 처리

누락된 값을 처리하는 것은 데이터 분석에서 흔한 작업입니다. 'age' 열의 누락된 값을 중앙값으로 채워봅시다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
# 'age' 열의 누락된 값을 중위 연령으로 채우기
titanic['age'].fillna(titanic['age'].median(), inplace=True)
```

이 코드 스니펫은 'age' 열의 누락된 값을 탑승객들의 중위 연령으로 대체하여 데이터를 완전하게 유지하여 추가 분석을 수행합니다.

# 3. Feature Engineering

피처 엔지니어링은 모델 성능을 향상시키기 위해 새로운 피처를 생성하거나 기존 피처를 변환하는 작업을 포함합니다. 승객이 어린이인지 성인인지를 나타내는 새로운 피처를 만들어 보겠습니다:



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
# 새로운 기능 'is_child'를 생성합니다
titanic['is_child'] = titanic['age'] < 18
```

이 스니펫은 데이터셋에 새로운 이진 기능 'is_child'를 추가합니다. 이 기능은 승객이 어린이인지(나이 < 18) 성인인지를 나타냅니다.

# 4. Seaborn을 활용한 데이터 시각화

Seaborn은 Python에서 데이터 시각화를 위한 강력한 라이브러리입니다. 승객 클래스의 분포를 시각화하기 위해 카운트 플롯을 생성해봅시다:



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
import matplotlib.pyplot as plt

# 승객 클래스에 대한 카운트 플롯
plt.figure(figsize=(8, 5))
sns.countplot(x='pclass', data=titanic, color='skyblue')
plt.title('승객 클래스 분포')
plt.xlabel('클래스')
plt.ylabel('카운트')
plt.show()
```

이 코드 스니펫은 승객 클래스의 분포를 보여주는 카운트 플롯을 생성하며, 아름다움을 위해 하늘색을 사용했습니다.

<img src="/TIL/assets/img/2024-07-09-Free10AdvancedCodeSnippetsforPythonDataScientistsandDataAnalysts_1.png" />

# 5. 상관 분석



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

변수 간의 관계를 이해하는 것은 데이터 분석에서 중요합니다. 수치형 특성에 대한 상관 행렬을 계산하고 시각화해 보겠습니다:

```js
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

# 범주형 열을 원-핫 인코딩을 사용하여 수치형으로 변환합니다
titanic_numeric = pd.get_dummies(titanic, drop_first=True)

# 상관 행렬을 계산합니다
correlation_matrix = titanic_numeric.corr()

# Matplotlib 피겨 설정
plt.figure(figsize=(12, 10))

# 적절한 가시성과 비율로 heatmap을 그립니다
sns.heatmap(correlation_matrix, annot=True, fmt=".2f", cmap="coolwarm", vmin=-1, vmax=1, linewidths=.5, annot_kws={"size": 7})

# 플롯 스타일을 조정합니다
plt.xticks(rotation=45, ha='right', fontsize=8)
plt.yticks(fontsize=8)
plt.title('상관 행렬', fontsize=15)
plt.tight_layout()

# 플롯을 보여줍니다
plt.show()
```

이 코드 스니펫은 상관 행렬을 계산하고, 수치형 특성 간의 상관 관계를 시각화하는 heatmap을 생성합니다. 쿨 웜 컬러를 사용하며, 빨간색은 양의 상관 관계를 나타냅니다.

<img src="/TIL/assets/img/2024-07-09-Free10AdvancedCodeSnippetsforPythonDataScientistsandDataAnalysts_2.png" />



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 6. 각 클래스별 운임 분포를 시각화하는 상자 그림

여기 각 승객 클래스별 운임 분포를 시각화하기 위한 상자 그림을 만들어봅시다:

```js
# 클래스별 운임 분포를 위한 상자 그림
plt.figure(figsize=(8, 6))
sns.boxplot(x='pclass', y='fare', data=titanic, color='green')
plt.title('클래스별 운임 분포')
plt.xlabel('클래스')
plt.ylabel('운임')
plt.show()
```

이 코드 스니펫은 서로 다른 승객 클래스 간의 운임 분포를 보여주는 상자 그림을 생성합니다. 여기서는 미적 요소로 녹색 색상을 사용했습니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

![image](/TIL/assets/img/2024-07-09-Free10AdvancedCodeSnippetsforPythonDataScientistsandDataAnalysts_3.png)

# 7. Distribution of Age by Survival Status

생존자와 비생존자의 연령 분포를 시각화하면 연령이 생존에 미치는 영향에 대한 통찰력을 얻을 수 있습니다:

```js
# 생존 상태별 연령 분포
plt.figure(figsize=(8, 6))
sns.histplot(x='age', hue='survived', data=titanic, multiple='stack', palette='Set2')
plt.title('Distribution of Age by Survival Status')
plt.xlabel('Age')
plt.ylabel('Count')
plt.show()
```



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이 코드 스니펫은 생존자와 비생존자의 연령 분포를 보여주는 히스토그램을 생성하며, 서바이벌 상태를 나타내는 다른 색상을 사용합니다.

| Age | Survived |
| --- | -------- |
| 22  | 1        |
| 30  | 0        |
| 25  | 1        |
| 40  | 0        |
| 35  | 1        |

# 8. Fare vs. Age에 대한 산점도 그래프

요금과 연령 간의 관계를 시각화하기 위해 산점도 그래프를 생성해 봅시다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```python
# 요금 대 나이 산점도
plt.figure(figsize=(8, 6))
sns.scatterplot(x='나이', y='요금', data=타이타닉, color='green')
plt.title('요금 대 나이')
plt.xlabel('나이')
plt.ylabel('요금')
plt.show()
```

이 코드 조각은 나이와 요금 사이의 관계를 보여주는 산점도를 생성하며, 시각적으로 녹색을 사용합니다.

<img src="/TIL/assets/img/2024-07-09-Free10AdvancedCodeSnippetsforPythonDataScientistsandDataAnalysts_5.png" />

# 9. 클래스별 생존율 막대 그래프



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

생존율을 각 클래스별로 시각화하면 클래스에 따른 생존 가능성에 대한 통찰을 제공할 수 있습니다.

```js
# 클래스별 생존율 막대 그래프
plt.figure(figsize=(8, 6))
sns.barplot(x='pclass', y='survived', data=titanic, ci=None, color='하늘색')
plt.title('클래스별 생존율')
plt.xlabel('클래스')
plt.ylabel('생존율')
plt.show()
```

이 코드 조각은 각 승객 클래스의 생존율을 보여주는 막대 그래프를 생성하며, 아름다운 하늘색을 사용했습니다.

![생존율](/TIL/assets/img/2024-07-09-Free10AdvancedCodeSnippetsforPythonDataScientistsandDataAnalysts_6.png)



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 10. 숫자 변수에 대한 쌍 플롯

쌍 플롯을 사용하면 데이터셋의 숫자 변수 쌍 간의 관계를 시각화할 수 있습니다:

```js
# 숫자 변수에 대한 쌍 플롯
sns.pairplot(titanic[['age', 'fare', 'pclass']], diag_kind='kde', palette='Set3')
plt.title('숫자 변수에 대한 쌍 플롯')
plt.show()
```

이 코드 조각은 'age', 'fare', 'pclass' 변수에 대한 쌍 플롯을 생성하며, 대각선에 커널 밀도 추정(KDE) 플롯이 포함되어 있습니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

![image](/TIL/assets/img/2024-07-09-Free10AdvancedCodeSnippetsforPythonDataScientistsandDataAnalysts_7.png)

# 11. 승선 도시 분포를 위한 막대 그래프

승선 도시에 따른 승객 분포를 시각화해보겠습니다. 다음은 막대 그래프를 사용한 코드입니다:

```python
# 승선 도시 분포를 위한 막대 그래프
plt.figure(figsize=(8, 6))
sns.countplot(x='embark_town', data=titanic, color='skyblue')
plt.title('승선 도시별 승객 분포')
plt.xlabel('승선 도시')
plt.ylabel('인원 수')
plt.show()
```



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이 코드 스니펫은 승선한 마을별 승객 분포를 보여주는 막대 플롯을 만듭니다. 시각적인 아름다움을 위해 하늘색이 사용되었습니다.

![Distribution of passengers by embarked town](/TIL/assets/img/2024-07-09-Free10AdvancedCodeSnippetsforPythonDataScientistsandDataAnalysts_8.png)

# 12. 함께 탑승한 형제/배우자의 분포

함께 탑승한 형제/배우자의 분포를 시각화하면 승객들 사이의 가족 구성원 크기에 대한 통찰을 얻을 수 있습니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 함께 탑승한 형제자매/배우자 분포

plt.figure(figsize=(8, 6))
sns.histplot(x='sibsp', data=titanic, bins=range(0, 9), color='skyblue', discrete=True)
plt.title('함께 탑승한 형제자매/배우자 분포')
plt.xlabel('형제자매/배우자 수')
plt.ylabel('수량')
plt.show()

이 코드 스니펫은 함께 탑승한 형제자매/배우자 수에 대한 분포를 보여주는 히스토그램을 생성합니다. 아름다운 목적으로 하늘색을 사용했어요.

<img src="/TIL/assets/img/2024-07-09-Free10AdvancedCodeSnippetsforPythonDataScientistsandDataAnalysts_9.png" />

# 13. 성별 분포를 보여주는 파이 차트



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

여행객의 성별 분포를 파이 차트로 시각화해보세요:

```js
# 성별 분포 파이 차트
gender_counts = titanic['sex'].value_counts()
plt.figure(figsize=(6, 6))
plt.pie(gender_counts, labels=gender_counts.index, colors=['#66c2a5', '#fc8d62'], autopct='%1.1f%%', startangle=140)
plt.title('Gender Distribution')
plt.show()
```

이 코드 스니펫은 성별에 따른 탑승객 분포를 보여주는 파이 차트를 생성하며, 남성과 여성을 나타내기 위해 서로 다른 색상을 사용합니다.

<img src="/TIL/assets/img/2024-07-09-Free10AdvancedCodeSnippetsforPythonDataScientistsandDataAnalysts_10.png" />



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 14. 성별에 따른 연령 분포를 시각화하는 스왐 플롯

스왐 플롯은 성별에 따른 연령 분포를 시각화하는 데 사용될 수 있습니다:

```js
# 성별에 따른 연령 분포를 나타내는 스왐 플롯
plt.figure(figsize=(10, 6))
sns.swarmplot(x='sex', y='age', data=titanic, color='skyblue')
plt.title('성별에 따른 연령 분포')
plt.xlabel('성별')
plt.ylabel('연령')
plt.show()
```

이 코드 조각은 남성과 여성 승객의 연령 분포를 보여주는 스왐 플롯을 생성하며, 시각적으로 아름다운 하늘색을 사용합니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

![이미지](/TIL/assets/img/2024-07-09-Free10AdvancedCodeSnippetsforPythonDataScientistsandDataAnalysts_11.png)

# 15. 클래스 및 성별별 요금 분포에 대한 바이올린 플롯

승객 클래스 및 성별에 따른 요금 분포를 시각화하기 위해 바이올린 플롯을 만들어봅시다:

```python
# 클래스 및 성별에 따른 요금 분포에 대한 바이올린 플롯
plt.figure(figsize=(10, 6))
sns.violinplot(x='pclass', y='fare', hue='sex', data=titanic, split=True, palette='Greens')
plt.title('클래스 및 성별별 요금 분포')
plt.xlabel('클래스')
plt.ylabel('요금')
plt.show()
```



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이 코드 스니펫은 각 승객 클래스별로 성별로 나누어 지불요금의 분포를 보여주는 바이올린 플롯을 생성합니다. 이 때, 시각적으로 녹색 색상을 사용합니다.

![Violin Plot](/TIL/assets/img/2024-07-09-Free10AdvancedCodeSnippetsforPythonDataScientistsandDataAnalysts_12.png)

이러한 고급 코드 스니펫은 파이썬을 사용한 데이터 조작, 시각화 및 분석의 다양한 측면을 다룹니다. 이 기술들을 숙달함으로써 우리는 복잡한 데이터셋을 처리하고 데이터에서 의미 있는 통찰을 얻는 데 더 잘 대비할 수 있습니다.

데이터 과학자와 데이터 분석가를 위한 10개의 고급 파이썬 코드 조각 모음

![포트 스캐너](/TIL/assets/img/2024-07-09-Asimplepythonportscanner_0.png)

포트 스캐너는 시스템의 네트워크 보안을 분석하기 위해 사용되는 도구로, 열린 포트를 스캔하여 확인합니다. 포트는 컴퓨터의 문과 같이 다양한 유형의 통신을 허용합니다. 포트 스캐너는 대상 시스템에서 열린 포트, 닫힌 포트 또는 필터링된 포트를 식별할 수 있어 잠재적인 취약점을 평가하고 네트워크를 보호하는 데 도움이 됩니다.

코드를 시작하기 전에 시스템에 Python이 설치되어 있는지 확인하세요. 공식 Python 웹사이트(https://www.python.org/downloads/)에서 다운로드할 수 있습니다.

선호하는 편집기를 사용하여 코드를 작성할 수 있습니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

제가 선호하는 것은 PyCharm입니다 :)

## 이제 중요한 라이브러리를 가져와 봅시다

```js
import sys
import socket
from datetime import datetime
```

## 이제 대상을 정의해 봅시다



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

부분 1

```js
if len(sys.argv) == 2:
    target = socket.gethostbyname(sys.argv[1])
else:
       print("인수의 수가 올바르지 않습니다.")
       print("구문: python3 scanner.py ,ip.")
```

이 내용은 호스트 이름을 IPv4로 변환할 것입니다......

이제 예쁜 배너를 추가해 봅시다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```python
print("*" * 50)
print("scanning target: "+target)
print("time started: "+str(datetime.now()))
print("*" * 50)
```

포트 스캔을 위한 for 루프

파트 2

```python
try:
    for port in range(50,85):
        s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
        socket.setdefaulttimeout(1)
        # 1초 이내에 응답이 없으면 넘어감
        result = s.connect_ex((target,port))
        if result == 0:
            print(f"port {port} is open ")
```



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
s.close();
```

마지막으로

```js
except KeyboardInterrupt:
    print("\n프로그램을 종료합니다")
    sys.exit()
#Ctrl+C를 눌렀을 때
except socket.gaierror:
    print("호스트 이름을 해석할 수 없습니다")
    sys.exit()
```

```js
except socket.error:
    print("서버에 연결할 수 없습니다")
    sys.exit()
#서버가 응답하지 않을 때
```



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 파트1

```js
우리는 길이의 방법을 사용했고 sys.argv(우리가 주는 인수의 양입니다)라고 말했습니다.
```

```js
그래서 2개의 인수가 필요합니다... 3개가 있으면 오류가 발생합니다... 1개가 있으면 오류가 발생합니다.
마치 이렇게 말하고 있는 것처럼 :
python 3 scanner.py 192.168.1.10 4444
오류가 발생합니다
길이를 만족하지 않는 경우 우리는 target = socket.gethostbyname(sys.argv[1])로 우리의 대상을 설정할 것입니다... 그리고 [1]은 ip 주소의 인수입니다
```

# 파트2



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
50부터 85까지 포트에 대한 for 루프를 실행했습니다.
```

```js
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM) 변수를 설정했습니다.
AF_INET을 통해 ipv4를 수집했는데, 이는 ipv4에 해당합니다.
그리고 우리가 연결할 포트는 socket.SOCK_STREAM을 통해 얻었습니다.
타겟은 우리가 제공하고 포트는 50-85 범위 내에서 제공될 것입니다.
만약 포트가 열려있으면 결과는 0입니다.
포트가 열려있지 않으면 소켓 연결이 닫히고 루프로 돌아갑니다.
```

간단한 파이썬 포트 스캐너 사용법

효율적이고 유지보수가 용이한 파이썬 함수를 작성하는 것은 고품질 코드를 만들기 위한 중요한 요소입니다. 이 문서는 파이썬 함수를 개선하고 코드 가독성, 유지보수성, 견고성을 향상시키는 데 도움이 되는 5가지 필수 팁을 제시합니다.

먼저, 각 함수가 단 하나의 작업만을 수행하도록 하는 단일 책임 원칙을 준수하는 것이 강조됩니다. 다음으로, 코드 가독성과 장기적인 유지보수성을 향상시키는 타입 힌트의 장점에 대해 논의됩니다.

이 문서에서는 키워드 전용 인수의 사용도 탐구되는데, 이는 명시적으로 인수 이름의 사용을 강제함으로써 오류를 최소화할 수 있는 파이썬 기능입니다. 또 다른 권장 사항은 함수에 필요한 인수만 사용하여 복잡성과 잠재적인 버그를 줄이는 것입니다.

마지막으로, 제너레이터의 사용을 옹호하는데, 이는 전체 목록을 구성하고 반환하는 대신 반복 가능한 데이터를 반환하는 메모리 효율적인 기술입니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이 5가지 팁을 적용함으로써 파이썬 개발자들은 더 효율적이고 가독성이 좋으며 유지보수가 용이한 함수를 작성할 수 있습니다. 이는 결국 더 높은 품질의 코드와 개발자 생산성 향상으로 이어집니다.

![image](/TIL/assets/img/2024-07-09-5TipstoWriteEfficientPythonFunctions_0.png)

## 목차:

효율적인 Python 함수를 작성하기 위한 5가지 팁

DLT, Postgres 및 Python을 사용합니다.

![이미지](/TIL/assets/img/2024-07-09-IntegrateAPIDatatoaDatabase_0.png)

오늘의 블로그 포스트에서는 데이터 원본으로서 API(Application Programming Interface)를 사용하는 방법을 살펴보겠습니다. 우리의 데이터 중심 세계에서는 다양한 소스에서 데이터를 통합하는 것이 정보 기반 의사결정에 중요합니다. 이 중요한 데이터 소스 중 하나는 환율 정보 API인데, 이는 금융 분석과 보고서 작성에 중요합니다. ExchangeRate-API.com에서 환율 데이터를 가져와 PostgreSQL 데이터베이스에 통합하는 방법을 설명하겠습니다.

이 튜토리얼을 통해 다음을 완료할 수 있습니다:



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

- Postgres 데이터베이스에 API 데이터를 통합합니다.
- Python을 사용하여 DLT 데이터 파이프라인을 생성합니다.
- JSON 데이터를 DLT 호환 데이터 세트로 변환합니다.
- 코드 전체는 GitHub에서 확인할 수 있습니다. 동반되는 비디오 튜토리얼은 YouTube에서 제공됩니다.

# 개요

ExchangeRate-API.com을 사용합니다. 이 사이트는 JSON 형식으로 환율 정보를 제공합니다. 우리의 작업은 이 JSON 데이터를 데이터베이스 투입에 적합한 형식으로 변환하여 Data Load Tool (DLT)을 사용하여 PostgreSQL 데이터베이스에 로드하는 것입니다. 시작해봅시다!

# 필수사항



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

- DLT 라이브러리: DLT 라이브러리를 설치하고 구성하는 것을 잊지 마세요. 자세한 안내는 여기 링크된 비디오를 참조해주세요.
- PostgreSQL: 데이터를 영구적으로 저장하기 위해 PostgreSQL을 설정하거나 다른 방법으로 데이터를 파일로 저장할 수 있습니다.

# 단계별 구현

# 환경 설정

먼저, 선호하는 코드 편집기(예: VS Code)에서 새로운 Python 파일을 열고 필요한 라이브러리를 가져오세요.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
import dlt
from dlt.sources.helpers import requests
import requests
import pandas as pd
import json
from datetime import date
from datetime import datetime
from uuid import uuid4
```

# API Interaction

환율 API와 상호 작용하려면 API 키가 필요합니다. 가입하여 무료 API 키를 생성하세요. 키를 가지고 있으면 API 키로 URL을 작성하고 기본 통화를 USD로 설정하세요. 요청 라이브러리를 사용하여 API를 호출하고 JSON 응답을 구문 분석하세요.

```js
key = 'Your-API-Key'
# API 호출
url = f'https://v6.exchangerate-api.com/v6/{key}/latest/USD'
# 요청 보내기
response = requests.get(url)
data = response.json()
```



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 데이터 변환

데이터베이스로 데이터를 로드하기 전에 적절한 형식으로 변환하세요. JSON 데이터를 DLT가 쉽게 수용할 수 있는 딕셔너리 형식으로 변환하세요.

- 변환율 추출:

```js
df = pd.json_normalize(data["conversion_rates"]);
df = df.melt().reset_index();
```



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

2. 로드 날짜 열을 추가해주세요:

```js
df["index"] += 1;
df["date"] = date.today();
df = df.rename((columns = { index: "id", variable: "currencycode", value: "fxrate" }));
```

3. DLT를 위한 데이터프레임을 준비해주세요:

```js
# DLT 형식을 위해 API 데이터 변환
records = df.to_dict(orient="records")
```



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# DLT를 사용한 데이터 수집

DLT를 사용하여 데이터셋을 처리하고 PostgreSQL 데이터베이스에로드하는 파이프라인을 생성합니다.

- 파이프라인 생성:

```js
pipeline = dlt.pipeline(
  (pipeline_name = "fxrate_pipeline"),
  (destination = "postgres"),
  (dataset_name = "incremental")
);
```



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

2. 파이프라인 실행하기:

```js
# 파이프라인 실행
load_info = pipeline.run(
        records,
        write_disposition="merge",
        primary_key=("currencycode", "date"),
        table_name="fxrates")
```

# 파이프라인 실행하기

스크립트를 저장하고 실행하세요. 모든 설정이 올바르게 완료되었다면, 파이프라인이 성공적으로 실행되고 환율 데이터가 PostgreSQL 데이터베이스에 로드될 것입니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 데이터 확인하기

PostgreSQL 데이터베이스를 열고 대상 스키마를 확장하여 fx_rates 테이블을 찾으세요. 테이블을 쿼리하여 환율 데이터가 포함되어 있는지 확인하세요. API 소스와 데이터를 확인하여 로직의 정확성을 확인하세요.

```js
SELECT * FROM fxrates;
```

# 결론



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이 블로그 포스트에서는 API를 데이터 소스로 통합하고 데이터를 변환하여 DLT를 사용하여 PostgreSQL 데이터베이스에 로드하는 방법을 보여드렸습니다. 이 방법을 사용하면 중요한 데이터 소스를 시스템에 원활하게 통합하여 더 많은 정보를 바탕으로 결정을 내릴 수 있습니다. 제공된 스크립트와 방법을 사용하여 귀하의 특정 요구 사항과 도구에 맞게 적응시키십시오.

데이터 통합 및 자동화에 관한 더 많은 자습서 및 통찰력을 기대해 주세요!

# 쉽게 설명하기 🚀

In Plain English 커뮤니티의 일원으로 함께 해 주셔서 감사합니다! 떠나시기 전에:



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

- 작가를 박수로 격려하고 팔로우 해주세요! 👏️️
- 저희를 팔로우해주세요: X | LinkedIn | YouTube | Discord | 뉴스레터
- 다른 플랫폼 방문하기: CoFeed | Differ
- 더 많은 콘텐츠: PlainEnglish.io

API 데이터를 데이터베이스에 통합하는 방법

![이미지](/TIL/assets/img/2024-07-09-PyConUS2024InsightsLearningsandCommunity_0.png)

파이썬 프로그래밍 언어가 크리스마스 휴가동안의 취미 프로젝트로 출생했다는 사실을 아셨나요? 그러니까 이제 제가 크리스마스 휴가에 사용하는 것에 대해 의문을 품게 되네요 🤭😂.

올해 2024년 5월 15일부터 5월 23일까지 피츠버그, 펜실베이니아의 데이비드 L. 로렌스 컨벤션 센터에서 PyCon US(파이선 레이디스 주관)에 참석했습니다.

이 글에서는 아래와 같은 내용을 강조할 것입니다:



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

- 소개
- 이벤트 전 준비
- 행사 중
- 행사 후(알림)
- 마무리
- 개인 팁
- 자원

## 소개

PyCon US는 교육, 문서 및 기타 다양한 행사들(교육, 문서 등)인 써밋, 오픈 스페이스, PyLadies 경매(경험해볼 가치가 있습니다), 엑스포 쇼케이스, 랩 이벤트, 취업 박람회, 부가 행사 등 다양한 행사로 구성된 컨퍼런스입니다. 이 이벤트는 전 세계의 파이썬 개발자들이 모여 함께 공부하고 공유하며 네트워킹을 하며 즐거운 시간을 보낼 수 있도록 합니다.

## 이벤트 전 준비



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이벤트 시작 전에 조금 일찍 도착해서 마스크를 쓰고 현장에서 친구들을 만났어요. 자가 체크인을 위해 등록 부스를 지나가서 라너드와 태그를 받았죠. 세팅이 진행 중이던 엑스포홀을 구경했어요.

참고: 마스크 착용 의무

PSF 부스 셀피 월 세팅을 도와서 멋지게 마무리했어요. 그리고 나서, Black Python Devs와 PyLadies 부스를 방문해서 지원하기로 결정했어요.

## 이벤트 중간에



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이벤트 기간 동안 PyCon US 앱을 통해 선보인 훌륭한 강연(주제별 강연, 워크샵, 튜토리얼), 정상회의 및 활동 등이 모두 있었어요.

이 링크에서 컨퍼런스 이벤트 일정을 확인해보세요: https://us.pycon.org/2024/schedule/

저는 Black Python Devs와 PyLadies 부스에서 봉사했고, 정상회의에 참석하며 엑스포홀의 모든 부스를 방문했어요. Ansys PyGeometry Lab, MongoDB 퀴즈 등의 랩 및 퀴즈에 참여했으며, 다양한 기관의 대표자들과 소통했어요.

또한, Black Python Devs는 제트브레인즈 부스에서 첫 번째 생일을 축하했어요! 🎉🚀



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

또한, Jay Miller의 키노트를 듣고 Black Python Devs 웹사이트를 확인해보세요: [링크](https://www.youtube.com/watch?v=jYZBpoYjxLo)

![이미지 1](/TIL/assets/img/2024-07-09-PyConUS2024InsightsLearningsandCommunity_1.png)

PyLadies 경매
이곳은 실제 경매장에 처음 와본 적이 있어서 즐거웠고 재미난 경험이었습니다. 다음 PyCon US에 참석한다면 이 행사에 참가하는 것을 추천합니다.

![이미지 2](/TIL/assets/img/2024-07-09-PyConUS2024InsightsLearningsandCommunity_2.png)



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

## 행사 후기

컨퍼런스 마지막 날에는 폐막식이 열렸고 최종 작별을 나눴습니다. 본 행사 이후로는 월요일부터 목요일까지 이어지는 스프린트가 있었는데, 이는 오픈 소스 저장소에 기여할 수 있는 기회입니다.

나는 알지 못했던 사람들과 예기치 못한 훌륭한 경험을 했고, 이 모든 일들이 일어나야 했다고 느꼈습니다. 특히, Jim, Victor, Velda에게 감사드립니다 — 산만한 상황 속에서도 너희들과 함께한 최고의 시간 소중했어; 너희들 진짜 최고야 ❤️

저와 상호작용하거나 재연락을 취한 모든 분들, 봉사하거나 질문에 답변하거나 문제해결을 제공하거나 퀴즈/실습 과제에 개선 제안을 해주신 분들, 전시장에서 제품에 대해 이야기를 해주신 분들 그리고 기타 다른 분들께 진심으로 감사드립니다. 다시 만날 수 있기를 소망합니다. 항상 좋은 일만 가득하길 기원합니다 🫶🏾



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

## 스프린트

컨퍼런스가 끝난 후, 처음으로 Sprints 세션에 참여했습니다. 거기서 Beeware 및 CPython 저장소를 로컬에 설정하고 BeeWare에 오픈 소스 기여를 했습니다(Russell, 감사합니다-당신은 멋져요 ✨).

Velda와 저는 CPython 내부를 이해하기 위한 여정을 시작했고, Anthony Shaw의 CPython Internals 책을 구해서 여정을 시작했습니다.

## 흥미로운 발표들



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

아비게일 M. 독베가 우수한 PyLady로 선정되었고, 벨다 키아리는 파이썬 스티어링 콘솔에 제안을 받았어요 🎉

BPD 회원들이 높은 수준에 도달하고 자신들의 업적을 인정받는 것을 보는 것이 멋있어요.

## 요약

되돌아보면, 전체적으로 멋진 경험이었어요. 더 많이 배우게 되었고, 새로운 멋진 사람들을 만나고, 오랜만에 다시 만나는 다른 파이썬 개발자들과 연결되어 톡톡 튀는 대화를 나누었으며, 파이썬 및 기술 도구의 업데이트를 접하며 더 깊은 커뮤니티 의식을 키울 수 있었어요.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

<img src="/TIL/assets/img/2024-07-09-PyConUS2024InsightsLearningsandCommunity_3.png" />

## 개인 팁

다음 PyCon을 위해 추천하는 몇 가지 팁입니다:

- 컨퍼런스는 압도적일 수 있으므로 일정을 확인하고 계속 확인해야 합니다. 일정이 변경될 수 있기 때문이죠.
- 행사 등록은 조기에 대시 보드에서 진행해 주세요. 매진되기 전에 미리 등록해 두세요.
- 정상에 참석하도록 노력해주세요. 녹화되지 않은 정보가 많기 때문에 참석하지 않으면 많은 것을 놓칠 수 있습니다.
- 메일링 리스트를 유심히 지켜보세요.
- 당당하게 나가세요. 도움을 받을 수 있는 친절한 사람들을 만나거나 다시 만날 수 있습니다. 그것이 최고의 경험이었죠.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

## 자료

PyCon US에 대한 더 많은 정보를 얻을 수 있는 멋진 자료들이 있어요:

- Kati의 포스트 (Katherine Michael): [여기](https://katherinemichel.github.io/portfolio/pycon-us-2024-recap.html)
- Hugo가 여기에 목록을 만들었어요: [여기](https://dev.to/hugovk/pycon-us-2024-a-roundup-of-writeups-26hj)

시간이 좀 걸렸지만, 제 경험의 하이라이트를 즐겨주셨으면 좋겠어요 :)



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

가장 좋은 일만 있길 바래요.

#Python PyConUS #Tech

PyCon US 2024 인사이트, 배움, 그리고 커뮤니티

![image](/TIL/assets/img/2024-07-09-InterviewQnMatchingStringsa3eWithapple_0.png)

함수 match(string, pattern)을 작성하세요. 이 함수는 2개의 문자열을 입력받고, 문자열이 값과 일치하면 True를 반환하고 그렇지 않으면 False를 반환합니다.

- string은 사과(apple) 오렌지(orange)와 같은 문자만 포함하는 일반 문자열입니다.
- pattern은 a3e와 같은 문자와 숫자를 포함하는 문자열입니다.

일부 예시:



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

- a3e은 apple과 일치합니다. 3은 ppl 3자리와 일치합니다.
- a4e는 apple과 일치하지 않습니다. apple에서 a와 e 사이에 4개의 문자가 아닌 3개의 문자가 있기 때문입니다.
- a2e는 apple과 일치하지 않습니다. apple에서 a와 e 사이에 2개의 문자가 아닌 3개의 문자가 있기 때문입니다.

```js
def match(string: str, pattern: str) -> bool:
    """
    string: 문자열 예: 'apple', 'orange'
    pattern: 예: 'a2e', 'a3e'
    """
    # 할 일

testcases = [
    ('apple', 'a3e', True),
    ('apple', '4e', True),
    ('apple', 'a1p1e', True),
    ('apple', '5', True),
    ('apple', 'a4e', False),
    ('apple', 'a2x', False),
    ('apple', '4', False),
    ('apple', '6', False),
    ('appleorangepear', '15', True),
    ('appleorangepear', 'a12ar', True),
    ('appleorangepear', 'a13r', True),
    ('appleorangepear', '14r', True),
    ('appleorangepear', 'a13ar', False),
    ('appleorangepear', '16'…
```

인터뷰 질문 apple과 a3e 문자열 매칭 방법

# 소개

LoRa (Long Range) 변조는 저전력 소비로 장거리 데이터 전송이 가능하게 하는 무선 통신 기술로, 사물 인터넷(IoT) 응용 프로그램에 이상적입니다. 치르프 스프레드 스펙트럼(CSS) 기술을 활용하여, LoRa 변조는 신호를 넓은 주파수 범위에 퍼뜨려 간섭에 대한 저항성을 향상시키고 데이터 전송의 견고성을 향상시킵니다. 이 변조 방법은 다른 통신 기술이 장애물이나 소음으로 인해 어려움을 겪는 환경에서 특히 효과적입니다. 멀리 떨어진 네트워크를 구축하고 확장 가능한 IoT 네트워크를 지원하기 위해 장거리 기능과 최소한의 에너지 요구 사항을 결합한 LoRa 변조는 스마트 시티, 농업 모니터링 및 산업 자동화와 같은 응용 프로그램을 용이하게합니다.

# 매개변수 정의

코드의 첫 번째 섹션은 LoRa 조작에 사용되는 매개변수를 정의합니다. 대역폭 B는 125 kHz (125e3)로 설정되고 샘플링 주기 T는 대역폭의 역수로 계산됩니다. 즉, T = 1 / B 입니다. 확산 계수(SF)는 7로 정의되어 있으며 LoRa 변조를 위한 전형적인 값으로 7에서 12 사이의 값으로 변할 수 있습니다. 이 계수는 심볼 주기 T_s를 결정하며, T_s = (2\*_SF) _ T로 계산됩니다. 이러한 매개변수는 LoRa 시스템에서 심볼의 시간적 행동과 전송 속도를 정의하는 데 필수적입니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```python
import numpy as np
import matplotlib.pyplot as plt

# Parameters
B = 125e3  # (125 kHz) bandwidth
T = 1 / B  # sampling period
SF = 7  # spreading factor {7,8,9,10,11,12}
T_s = (2**SF) * T  # symbol period
```

# 심볼 계산

이 코드 부분에서, 일곱 개 요소로 구성된 비트 벡터 w가 Spreading Factor (SF) 값에 해당하는 값으로 정의됩니다. 그런 다음 벡터 w는 10진수 값으로 변환됩니다. 먼저 변수 symbol이 0으로 설정됩니다. 그런 다음, for 루프는 w 벡터의 각 비트를 반복하며, 각 비트를 해당하는 `2**h` 값(여기서 h는 비트 인덱스)으로 곱한 다음 결과를 symbol 변수에 추가합니다. 이 프로세스는 이진 벡터를 변조할 심볼을 나타내는 10진수 값으로 변환합니다. 이 계산은 LoRa 변조에 있어서 중요하며, 디지털 정보를 전송에 적합한 형식으로 변환합니다.

```python
w = [1, 1, 0, 1, 0, 1, 1]

symbol = 0

for h in range(SF):
    symbol += w[h] * (2**h)
```



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 시간 및 시간 인덱스 벡터 생성 및 Chirp 계산하기

코드의 세 번째 부분은 Chirp 신호를 생성하는 데 필요한 시간 벡터를 만듭니다. t 벡터는 np.linspace 함수를 사용하여 생성되며, 이 함수는 0부터 T_s까지 num 개의 동일 간격으로 나누어진 점을 생성합니다. 점의 개수 num은 int(T_s / T)로 계산되어 샘플링 주기 T에 따라 점이 적절히 간격을 두고 생성됩니다. 그다음, k 벡터는 np.arange를 사용하여 생성되는데, len(t)까지 0.01의 간격으로 동일하게 나뉜 값을 생성합니다. 그리고 Chirp 신호는 chirp = np.exp(1j _ 2 _ np.pi _ ((symbol + k) % (2**SF)) / (2**SF) _ k) 공식을 사용하여 계산됩니다. 여기서, 1j는 허수 단위를 나타냅니다.

```js
t = np.linspace(start=0, stop=T_s, num=int(T_s / T))

k = np.arange(start=0, stop=len(t), step=0.01)

# Chirp 공식
chirp = np.exp(1j * 2 * np.pi * ((symbol + k) % (2**SF)) / (2**SF) * k)
```

# Chirp 신호들의 플로팅



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

코드의 마지막 부분은 생성된 Chirp 신호를 시각화하는 부분입니다. 새로운 그림이 plt.figure(figsize=(10, 6))를 사용하여 10x6 인치 크기로 만들어집니다. Chirp 신호는 두 개의 서브플롯에 플로팅됩니다. 첫 번째 서브플롯(plt.subplot(2, 1, 1))은 plt.plot(k, chirp.real, label='실수부', color='blue') 함수를 사용하여 Chirp 신호의 실수부를 플로팅합니다. 제목, 축 레이블, 그리드 및 범례가 플롯에 추가되어 가독성과 데이터 해석이 향상됩니다. 두 번째 서브플롯(plt.subplot(2, 1, 2))은 plt.plot(k, chirp.imag, label='허수부', color='orange') 함수를 사용하여 Chirp 신호의 허수부를 플로팅하며, 마찬가지로 제목, 레이블, 그리드, 범례가 추가됩니다. 마지막으로 plt.tight_layout()은 서브플롯을 자동으로 조절하여 그림에 맞게 조절하고, plt.show()는 그림을 표시합니다. 이 시각화를 통해 Chirp 신호의 특성을 분석할 수 있습니다. 실수 및 허수부 모두를 통해 변조된 신호에 대한 완전한 이해를 제공합니다.

```js
# Chirp 신호 플로팅
plt.figure(figsize=(10, 6))

# Chirp 실수부 플로팅
plt.subplot(2, 1, 1)
plt.plot(k, chirp.real, label='실수부', color='blue')
plt.title('LoRa 신호 - s(t)의 실수부')
plt.xlabel('시간 색인 [k]')
plt.ylabel('진폭 [mW]')
plt.grid(True)
plt.legend()

# Chirp 허수부 플로팅
plt.subplot(2, 1, 2)
plt.plot(k, chirp.imag, label='허수부', color='orange')
plt.title('LoRa 신호 - s(t)의 허수부')
plt.xlabel('시간 색인 [k]')
plt.ylabel('진폭 [mW]')
plt.grid(True)
plt.legend()

plt.tight_layout()
plt.show()
```

<img src="/TIL/assets/img/2024-07-09-HowtoSimulateLoRaModulationWithPython_0.png" />

의견과 피드백은 댓글에서 환영합니다. 여기 테스트 용 전체 코드가 있습니다:



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
import numpy as np
import matplotlib.pyplot as plt

# Parameters
B = 125e3  # (125 kHz) 대역폭
T = 1 / B  # 샘플링 주기
SF = 7  # 확산 계수 {7,8,9,10,11,12}
T_s = (2**SF) * T  # 심볼 주기

w = [1, 1, 0, 1, 0, 1, 1]

symbol = 0

for h in range(SF):
    symbol += w[h] * (2**h)

t = np.linspace(start=0, stop=T_s, num=int(T_s / T))

k = np.arange(start=0, stop=len(t), step=0.01)

# 칩 신호 공식
chirp = np.exp(1j * 2 * np.pi * ((symbol + k) % (2**SF)) / (2**SF) * k)

# 칩 신호 플롯
plt.figure(figsize=(10, 6))

# 칩의 실수부 플롯
plt.subplot(2, 1, 1)
plt.plot(k, chirp.real, label='실수부', color='blue')
plt.title('LoRa 신호 - s(t)의 실수부')
plt.xlabel('시간 인덱스 [k]')
plt.ylabel('진폭 [mW]')
plt.grid(True)
plt.legend()

# 칩의 허수부 플롯
plt.subplot(2, 1, 2)
plt.plot(k, chirp.imag, label='허수부', color='orange')
plt.title('LoRa 신호 - s(t)의 허수부')
plt.xlabel('시간 인덱스 [k]')
plt.ylabel('진폭 [mW]')
plt.grid(True)
plt.legend()

plt.tight_layout()
plt.show()
```

# 참고 자료

VANGELISTA, Lorenzo. Frequency shift chirp modulation: The LoRa modulation. IEEE signal processing letters, v. 24, n. 12, p. 1818–1821, 2017.

Python으로 LoRa 모듈레이션 시뮬레이션 하는 방법

![Garman-Klass volatility estimator](/TIL/assets/img/2024-07-09-MeasureTimeSeriesVolatilityUsingGarman-Klass_0.png)

가만-클라스(Grarman-Klass) 변동성 추정기는 고가, 저가, 시가 및 종가를 사용하여 금융 자산의 변동성을 추정하는 방법입니다. 이 방법은 종가만 사용하는 기존 방법보다 변동성을 더 정확하게 추정하는 데 설계되었습니다.

이 기사에서는 이 변동성 측정 방법을 자세히 설명하고 Python을 사용하여 시계열에 대한 롤링 계산을 코드화하는 방법을 보여줍니다.

# 가만-클라스(Grarman-Klass) 변동성 이해하기



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

복잡한 변동성 모델을 논의하기 전에, 먼저 기본적인 변동성 모델(또는 계산)인 역사적 표준 편차에 대해 완벽히 이해하는 것이 좋습니다. 역사적 방법을 사용한 표준 편차는 과거 가격 데이터를 기반으로 금융 상품의 변동성을 측정하는 일반적인 방법입니다.

이는 값들의 변동이나 분산의 양을 측정합니다. 금융 분야에서는 보통 일일 수익률의 평균 주변의 분산을 측정합니다. 표준 편차를 계산하려면 다음 단계를 따르세요:

- 차분(첫 번째 함수) 또는 로그 방법(두 번째 함수)을 사용하여 수익을 계산합니다.

Garman-Klass를 사용해 시계열 변동성 측정하는 방법

# 개요

Extract, Transform, and Load (ETL)은 다양한 소스에서 데이터를 추출하고 적절한 형식으로 변환한 다음 추가적인 분석을 위해 목적지 데이터베이스나 데이터 웨어하우스에로드하는 작업을 의미합니다. 이 블로그 포스트에서는 Python을 사용하여 실무 ETL 프로젝트를 수행하는 과정에 대해 알아보겠습니다.

![Hands-on ETL Project with Python](/TIL/assets/img/2024-07-09-Hands-onSimpleETLProjectwithPython_0.png)

# 단계 1: 필요한 라이브러리 가져오기



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

아래는 Markdown 형식으로 변경한 내용입니다.

![Step 2: Get File Using Url](/TIL/assets/img/2024-07-09-Hands-onSimpleETLProjectwithPython_1.png)

![Step 3: Extract Data from Files](/TIL/assets/img/2024-07-09-Hands-onSimpleETLProjectwithPython_2.png)



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

저희 ETL 파이프라인의 첫 번째 단계는 데이터가 포함된 파일에서 데이터를 추출하는 것입니다. 우리는 pandas 라이브러리를 사용하여 파일을 DataFrame으로 읽을 것입니다.

![이미지](/TIL/assets/img/2024-07-09-Hands-onSimpleETLProjectwithPython_3.png)

![이미지](/TIL/assets/img/2024-07-09-Hands-onSimpleETLProjectwithPython_4.png)

# 단계 4: 데이터 변환



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

다음 단계는 추출된 데이터를 대상 파일로로드하기 위한 원하는 형식으로 변환하는 것입니다. 이는 데이터 정리, 누락된 값 처리 및 데이터 유형 변환을 포함할 수 있습니다.

![image](/TIL/assets/img/2024-07-09-Hands-onSimpleETLProjectwithPython_5.png)

# 단계 4: 데이터 로드

마지막 단계는 변환된 데이터를 대상 파일로로드하는 것입니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

![Hands-on Simple ETL Project with Python](/TIL/assets/img/2024-07-09-Hands-onSimpleETLProjectwithPython_6.png)

# 결론:

이 프로젝트의 주요 목표는 간단한 ETL 파이프라인을 만들고 자동화하는 실용적인 가이드를 제공하는 것입니다. 이를 통해 이 프로젝트는 데이터 엔지니어링 스킬을 향상시키는 실용적인 방법을 제공하는 데 기대합니다.

하지만 여기서 모험이 끝나는 건 아닙니다. 데이터는 다양한 분석 목적으로 사용될 수 있으며 사용자 행동에 대한 가치 있는 통찰을 제공합니다.

Python을 사용한 간단한 ETL 프로젝트 실습 방법

LeetCode의 "섬의 개수" 문제는 '1' (육지)과 '0' (물)로 구성된 m x n 그리드가 포함되어 있습니다. 이 문제는 그리드 내의 섬의 개수를 결정하는 것입니다. 여기서 섬은 수평 또는 수직으로 연결된 '1'의 그룹으로 정의되며, 물 ('0')로 완전히 둘러싸여 있습니다.

<img src="/TIL/assets/img/2024-07-09-PerfectingLeetcode200NumberofIslands_0.png" />

예를 들어, 예제 1에서는 총 3개의 섬이 있고, 예제 2에서는 하나의 섬이 있습니다. 중요한 점은 '1'들이 수평 또는 수직 연결을 통해서만 다른 '1'들에 연결될 수 있다는 것입니다.

## 그래서, 이 문제에 적합한 알고리즘은 무엇일까요?



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이 문제는 그리드를 탐색하고 인접한 노드들을 체계적으로 탐색해야 하기 때문에 BFS가 가장 효율적인 알고리즘입니다. 그리드나 그래프 구조에서 연결된 구성 요소를 탐색하고 식별할 수 있는 능력은 이 작업에 잘 어울립니다.

## BFS가 그리드에서 섬을 발견하는 방식을 시각화해 봅시다!

- 알고리즘은 각 셀을 탐색하면서 그리드 안의 행과 열을 하나씩 탐색합니다.
- 방문하지 않은 '1'로 표시된 셀을 탐색하기 위해 BFS를 사용합니다. 작업을 최적화하고 중복 방문을 피하기 위해 '방문함' 집합을 사용하여 이미 탐색한 노드를 추적합니다.
- BFS는 방문해야 할 다음 노드를 유지하기 위해 큐도 필요합니다.

![그림](/TIL/assets/img/2024-07-09-PerfectingLeetcode200NumberofIslands_1.png)



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

- 셀 [0, 0]에서 탐사를 시작합니다. '1'이 포함되어 있기 때문에 섬의 일부로 간주되어 'visited' 세트에 추가됩니다. 이제 [0, 0]에서 4가지 방향으로 이동할 수 있습니다: [0, 1], [1, 0], [-1, 0], [0, -1]. 그리드를 벗어나지 않도록 하기 위해 [1, 0]과 [0, 1]만 남습니다. 이 두 셀은 현재 탐색 중인 동일한 섬의 일부라는 것을 나타내는 '1'입니다. 따라서 이러한 셀을 큐에 추가하여 다음에 방문합니다. (그림 1)
- 다음으로 [1, 0]을 pop하고 visited 세트에 추가합니다. [1, 0]에서 4방향으로 갈 수 있습니다: [0, 0], [1, -1], [1, 1], [2, 0]. 그리드를 벗어나지 않기 때문에 [1, -1]을 버립니다. [0, 0]은 이미 방문했으므로 방문을 스킵합니다. [2, 0]은 '0'이므로 물이므로 방문할 필요가 없습니다. 방문되지 않은 [1, 1]은 '1'이므로 큐에 추가합니다. (그림 2)
- '1'을 보면 새로운 셀을 큐에 추가하면서 계속해서 큐에서 셀을 탐색합니다. 현재 조사 중인 섬에 더 이상 탐색할 '1'이 없을 때까지 큐는 활성 상태를 유지합니다. 해당 섬을 완전히 탐색하면 그 섬에 대한 BFS가 중지됩니다. 한 섬을 완전히 탐사한 후에는 그리드에서 추가적인 섬이 있는지 검색합니다. (그림 3 및 그림 4)

![그림](/TIL/assets/img/2024-07-09-PerfectingLeetcode200NumberofIslands_2.png)

- [2, 2] 셀의 경우 주변에 계속 탐색할 '1'이 없습니다. 이것은 다른 섬의 발견을 나타냅니다. 이 시점에서 큐가 비어 있으므로 다음 BFS 이터레이션으로 넘어갑니다.

![그림](/TIL/assets/img/2024-07-09-PerfectingLeetcode200NumberofIslands_3.png)



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

- [3, 3]에 위치하면 [3, 4]로만 이동할 수 있습니다. 여전히 발견되지 않은 '1' 이므로 큐에 넣어줍니다.
- [3, 4]를 팝하여 방문했다고 표시하고, 주변에 더 이상 발견되지 않은 '1'이 없기 때문에, 이 섬을 대상으로 하는 BFS 및 이후 알고리즘을 완료합니다.

따라서, 총 3개의 섬을 찾았습니다.

## 파이썬 구현:

```js
import collections

class Solution(object):
 def numIslands(self, grid):

  if not grid:
   return 0

  islands = 0
  visited = set()
  rows, cols = len(grid), len(grid[0])
  directions = [[1, 0], [-1, 0], [0, 1], [0, -1]]

  def bfs(r, c):
   q = collections.deque()

   visited.add((r, c))
   q.append((r, c))

   while q:
    cur_r, cur_c = q.popleft()

    for dr, dc in directions:

     new_dr = cur_r + dr
     new_dc = cur_c + dc

     if (new_dr in range(rows) and new_dc in range(cols) and
      grid[new_dr][new_dc] == "1" and (new_dr, new_dc) not in visited):

      visited.add((new_dr, new_dc))
      q.append((new_dr, new_dc))

  for r in range(rows):
   for c in range(cols):
    if (grid[r][c] == "1" and
     (r, c) not in visited):
     bfs(r, c)
     islands += 1

  return islands
```



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

## 시간 복잡도:

그래서, m x n 그리드에서, 여기서 m은 행의 수를 나타내고 n은 열의 수를 나타냅니다. 이 알고리즘은 각 셀을 정확히 한 번씩 통과합니다. 따라서, 이 알고리즘의 전체 시간 복잡도는 O(m×n)입니다.

읽어 주셔서 감사합니다! 즐거운 코딩하세요!

Posts