# 요약

배경: 이미지 세그멘테이션은 특히 생체 의료 이미징 분야에서 정확성과 효율성을 요구하여 정밀한 분석이 필요합니다. Olaf Ronneberger 등에 의해 소개된 U-Net 아키텍처는 이러한 작업에 대한 중요한 해결책으로 부상하였습니다.

문제: 기존 이미지 세그멘테이션 기술은 고해상도 공간 세부 정보와 맥락적 이해 사이의 균형을 맞추는 데 도움이 필요하여 세그멘테이션 성능이 최적화되지 않을 수 있습니다.

접근 방식: 본 글에서는 합성 데이터셋을 활용한 U-Net 아키텍처의 구현을 탐구합니다. 특성 엔지니어링, 하이퍼파라미터 튜닝, 교차 검증을 포함한 포괄적인 프로세스를 통해 모델을 교육 및 평가합니다. U-Net 모델의 성능은 표준 메트릭과 시각화를 사용하여 평가됩니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

결과: U-Net 모델은 합성 데이터셋에서 높은 정확도(99.03%), 정밀도(99.07%), 재현율(98.99%), 그리고 F1 점수(99.03%)를 달성했습니다. 손실 및 정확도 플롯은 효과적인 학습과 과적합이 적음을 시사하며, 실제 및 예측된 마스크의 시각적 비교는 모델의 분할 능력을 보여줍니다.

결론: U-Net 아키텍처는 이미지 분할 작업에 매우 효과적이며, 우수한 성능 지표와 시각적 결과를 달성합니다. 고해상도 공간 세부 정보를 맥락적 이해와 결합할 수 있는 능력은 특히 생체 의료 이미지 분석과 같이 정밀한 이미지 분석이 필요한 분야에서 가치가 있습니다.

키워드: U-Net 아키텍처; 이미지 분할; 생체 의료 이미징; 딥 러닝; 신경망.

# 소개


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

의료 영상 이미지를 정밀하게 분석하여 이상을 식별하는 방사선 전문의로 상상해 보세요. 이 작업에는 예민한 시각과 몇 시간에 걸친 집중력이 필요합니다. 만약 이 프로세스를 자동화하여 작업량을 줄이고 정확성을 높일 방법이 있다면 어떨까요? U-Net [1]이 그 해결책으로 등장합니다. 이 건물주택은 의료 영상 분할에서 혁명을 일으킨 아키텍처의 놀라운 예다.

![이미지](/TIL/assets/img/2024-07-14-TheRevolutionofImageSegmentationExploringU-NetArchitecture_0.png)

# U-Net의 탄생

U-Net은 2015년에 Olaf Ronneberger와 그 동료들에 의해 소개되었으며 주로 생체 의료 이미지 분할을 위해 설계되었습니다. U자 모양을 띤 이 아키텍처는 맥락을 포착하는 수축 경로와 정확한 지역화를 가능케 하는 대칭확장 경로로 구성되어 있습니다. 이 이중 경로 접근법은 특히 정확성이 중요한 분야에서 U-Net을 게임 체인저로 만들었습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 아키텍처 분석

## 1. 인코더: 맥락 캡처

인코더 또는 저차원화 경로는 3x3 콘볼루셔널 계층 두 개(패딩이 없는 콘볼루션)을 반복적으로 적용한 후 각각 ReLU 및 2x2 맥스 풀링 연산을 적용하여 다운샘플링하는 과정으로 구성됩니다. 이 경로는 이미지의 주요 특징을 캡처하면서 공간적인 차원을 줄여 입력 데이터의 맥락을 이해할 수 있도록 합니다.

## 2. 병목 계층: 다리


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

네트워크의 핵심에서 병목 계층은 인코더와 디코더 사이의 다리 역할을 합니다. 이 계층은 데이터를 더 처리하며 분할에 중요한 가장 추상적인 특징을 포착하는 합성곱 계층으로 구성되어 있습니다.

## 3. 디코더: 정확한 위치 지정

디코더 또는 확장 경로는 특성 맵의 업샘플링을 수행한 후 2x2 컨볼루션("업-컨볼루션")이 이어지는 반으로 특성 채널의 수를 절반으로 줄이는 작업을 수행합니다. 이 경로는 인코더에 의해 포착된 맥락을 수축 경로의 해당 계층에서의 고해상도 특징과 skip 연결을 통해 결합합니다. 이러한 skip 연결은 네트워크가 다운샘플링 중에 상실된 공간 정보를 보존하도록 도와주기 때문에 정확한 위치 지정을 보장합니다.

## 4. 출력 계층: 분할 맵


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

최종 레이어는 각 피처 벡터를 원하는 클래스 수에 매핑하는 1x1 컨볼루션입니다. 일반적으로 이어서 소프트맥스 활성화 함수가 사용됩니다. 그 결과는 입력 이미지의 관심 영역을 강조하는 분할된 출력입니다.

# 건너뛰기 연결의 힘

U-Net의 가장 혁신적인 기능 중 하나는 건너뛰기 연결의 사용입니다. 이러한 연결은 인코더와 디코더 경로의 해당 레이어를 연결하여 네트워크가 일반적으로 대략적이고 추상적인 피처를 세밀하고 상세한 정보와 결합하도록 하는 데 기여합니다. 이 설계 선택은 U-Net이 상대적으로 작은 데이터셋에서 훈련되었을 때라도 높은 정확도를 달성하도록 허용하여 분할 작업에서 뛰어난 성능을 발휘하게 만듭니다.

# 실제 응용 사례


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

U-Net이 처음에는 의료 이미지 분할을 위해 개발되었지만, 그 응용 분야는 훨씬 넓어집니다. 농업 분야에서는 위성 이미지를 분할하여 작물 건강을 모니터링하는 데 사용됩니다. 자율 주행에서는 U-Net이 도로 장면을 분할하여 차선, 차량 및 보행자를 식별하는 데 도움이 됩니다. U-Net의 다양성은 이미지 분할이 중요한 여러 영역에서 가치있는 도구로 만들어줍니다.

# 실제 예시

아래에는 합성 데이터셋에서 U-Net 아키텍처를 시연하는 완전한 코드 예시가 있습니다. 이 예시에는 특성 특성화, 특성 공학, 하이퍼파라미터 튜닝, 교차 검증, 예측, 평가 메트릭 및 결과 시각화가 포함되어 있습니다.

```js
import numpy as np
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split, KFold
from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score
import tensorflow as tf
from tensorflow.keras import layers, models as keras_models
from tensorflow.keras.optimizers import Adam

# 합성 데이터셋 생성
def create_synthetic_data(num_samples=1000, img_size=128):
    X = np.random.rand(num_samples, img_size, img_size, 1)
    Y = (X > 0.5).astype(np.float32)
    return X, Y

X, Y = create_synthetic_data()

# 데이터 분할
X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size=0.2, random_state=42)

# U-Net 모델
def unet_model(input_size=(128, 128, 1)):
    inputs = layers.Input(input_size)

    # 중략

# 모델 컴파일 및 훈련
def compile_and_train_model(X_train, Y_train, X_val, Y_val, epochs=50, batch_size=32, learning_rate=1e-4):

    # 중략

# 하이퍼파라미터 튜닝 및 교차 검증
kf = KFold(n_splits=5)
histories = []
trained_models = []

# 중략

# 테스트 세트에서 최종 모델 평가
best_model = trained_models[0]

# 중략

# 평가 메트릭
accuracy = accuracy_score(Y_test.flatten(), test_predictions_binary.flatten())
precision = precision_score(Y_test.flatten(), test_predictions_binary.flatten())
recall = recall_score(Y_test.flatten(), test_predictions_binary.flatten())
f1 = f1_score(Y_test.flatten(), test_predictions_binary.flatten())

print(f"정확도: {accuracy:.4f}")
print(f"정밀도: {precision:.4f}")
print(f"재현율: {recall:.4f}")
print(f"F1 점수: {f1:.4f}")

# 훈련 이력 시각화
plt.figure(figsize=(12, 4))

# 중략

# 예측 시각화
def visualize_predictions(X_test, Y_test, predictions, num_samples=5):
    plt.figure(figsize=(15, 5))

    # 중략

visualize_predictions(X_test, Y_test, test_predictions_binary)
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

## 코드 설명

- 가상 데이터셋 생성: 무작위 이미지와 이에 대응하는 이진 마스크로 가상 데이터셋을 생성합니다.
- 데이터 분할: 데이터셋을 학습 및 테스트 세트로 나눕니다.
- U-Net 모델 정의: U-Net 아키텍처를 인코더, 병목, 디코더 블록으로 정의합니다.
- 모델 컴파일 및 학습: 모델을 Adam 옵티마이저와 이진 크로스 엔트로피 손실 함수로 컴파일합니다. 학습 및 검증 데이터로 모델을 학습시킵니다.
- 하이퍼파라미터 튜닝 및 교차 검증: K-Fold 교차 검증을 사용하여 여러 모델을 학습하고 학습 히스토리를 기록합니다. 
- 평가: 최적 모델을 정확도, 정밀도, 재현율 및 F1 점수를 사용하여 테스트 세트에서 평가합니다.
- 학습 히스토리 그래프: 모델의 성능을 시각화하기 위해 학습과 검증 손실 및 정확도를 플롯합니다.
- 예측 시각화: 테스트 세트에서 몇 가지 샘플을 시각화하여 입력 이미지, 실제 마스크 및 예측된 마스크를 비교합니다.

이 코드는 가상 데이터셋을 사용하여 U-Net 모델을 구현하고 평가하는 포괄적인 예제를 제공하며, 모델 학습부터 성능 평가 및 시각화까지 모든 중요한 측면을 다룹니다.

![이미지](/TIL/assets/img/2024-07-14-TheRevolutionofImageSegmentationExploringU-NetArchitecture_1.png)


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

U-Net 모델이 합성 데이터 세트에서의 성능이 시각적 및 양적으로 평가되었습니다. 결과를 자세히 해석해 봅시다.

## 손실 및 정확도 그래프

손실 그래프

- 훈련 손실 및 검증 손실: 둘 다 초기에 빠르게 감소한 후 낮은 값 주변에 안정화되며, 끝에 약간의 상승이 나타납니다. 훈련 및 검증 손실이 유사한 추세를 따르므로, 모델이 과적합이 없이 효과적으로 학습하고 있음을 나타냅니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

정확도 그래프

- 훈련 정확도 및 검증 정확도: 두 정확도 지표 모두 빠르게 증가하고 약 0.99 정도에서 안정화됩니다. 훈련 및 검증 정확도 곡선의 밀접한 일치는 잘 일반화된 모델을 나타냅니다.

## 성능 메트릭

- 정확도: 0.9903: 모델이 픽셀 중 약 99.03%를 올바르게 식별합니다.
- 정밀도: 0.9907: 마스크 일부로 예측된 픽셀 중 약 99.07%가 올바릅니다. 이 높은 정밀도는 모델이 거의 잘못된 양성 오류를 만들지 않음을 나타냅니다.
- 재현율: 0.9899: 모델이 실제 마스크 픽셀 중 약 98.99%를 올바르게 식별합니다. 이 높은 재현율은 모델이 거의 잘못된 해로운 오류를 만들지 않음을 시사합니다.
- F1 점수: 0.9903: 정밀도와 재현율의 조화 평균으로, 두 지표 사이의 견고한 균형을 나타냅니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

아래는 Markdown 형식으로 변환된 내용입니다.

![예측 시각화](/TIL/assets/img/2024-07-14-TheRevolutionofImageSegmentationExploringU-NetArchitecture_2.png)

## 예측 시각화

- 입력 이미지, 실제 마스크, 예측된 마스크: 이 시각화는 입력 이미지와 이에 해당하는 실제 및 예측된 마스크를 보여줍니다. 예측된 마스크는 실제 마스크와 매우 유사하여, 합성 데이터셋을 분할하는 모델의 효과를 보여줍니다.

## 해석


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

U-Net 모델은 합성 데이터셋에서 뛰어난 성능을 보여주었습니다. 높은 정확도, 정밀도, 재현율 및 F1 점수를 기록했죠. 훈련 및 검증 지표 간의 밀접한 일치는 모델이 잘 일반화되었고 균형있게 설정되었음을 시사합니다. 시각화 결과도 모델이 이미지를 정확하게 분할하고 실제 마스크와 근접하게 일치하는 것을 확인합니다.

이 예시는 이미지 세그멘테이션 작업에 U-Net의 힘을 잘 보여줍니다. 높은 성능 지표와 정확한 분할을 시각적으로 확인함으로써, 심지어 합성 데이터셋에서도 U-Net의 효과를 명확히 확인할 수 있습니다. 이는 정밀한 세그멘테이션이 필요한 생체 의료 영상과 같은 분야에서 U-Net의 응용에 대한 신뢰감을 제공합니다.

# 결론

U-Net은 이미지 세그멘테이션 분야에서 새로운 표준을 세웠습니다. 복잡한 세부사항을 포착하고 정확한 지역화를 제공하는 능력은 다양한 산업에서 필수품이 되었습니다. 기술이 발전함에 따라 U-Net의 원칙은 더욱 정교한 아키텍처를 영감으로 삼아 이미지 분석의 가능성을 확장시킬 것으로 기대됩니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

정밀도가 모든 차이를 만들 수 있는 세상에서 혁신적인 신경망 설계의 힘을 증명하는 U-Net은 복잡한 분할 도전 과제에 접근하고 해결하는 방법을 변화시키고 있습니다.

U-Net 아키텍처 탐험을 통해 유익한 정보를 얻으셨기를 바랍니다. U-Net 모델이 이미지 분할의 미래에 어떻게 영향을 미칠 것으로 보십니까? 아래 댓글란에 여러분의 생각과 경험을 공유해주세요! 만약 이 글이 마음에 들었다면 꼭 여러분의 네트워크와 공유하지 않으시기 바랍니다.

# 참고문헌

이미지 분할의 혁명 U-Net 아키텍처 탐구

다른 폴더에서 코드를 가져올 때 항상 빈 __init__.py 파일을 넣습니다. 이것은 대부분의 파이썬 개발자들에게 거의 반복적인 습관이 되었습니다 - 초보자든 마법사든. 그러나 우리는 __init__.py에 대해 정말로 알고 있을까요?

이 블로그 포스트에서는 __init__.py가 어떻게 작동하는지와 비어있지 않은 __init__.py가 우리 파이썬 개발자로서 어떻게 도움이 되는지 세 가지 방법을 살펴보겠습니다.

## __init__.py란 무엇인가요?

__init__.py는 폴더를 패키지로 취급해야 한다는 것을 파이썬 해석기에 알려주는 파이썬 파일입니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

컴파일된 언어인 C 및 C++과 달리, Python의 인터프리터는 필요한 종속성을 실시간으로 가져옵니다. Python에게 코드를 다른 곳에서 사용할 것이라고 신호를 보내려면 폴더에 __init__.py를 넣으면 됩니다.

그래서 __init__.py를 게이트키퍼로 생각해보세요. 이 파일은 폴더를 가져올 수 있는 Python 패키지로 변환시켜줍니다.

![이미지](/TIL/assets/img/2024-07-14-CanYouEven__init__py_0.png)

하지만 __init__.py는 그 이상입니다. Python에서 클래스를 만들 때 종종 __init__ 함수를 생성해야합니다. 이 함수는 객체가 어떻게 구성되어야 하는지를 정의하며 클래스의 객체가 생성될 때 가장 먼저 실행됩니다. 같은 방식으로, __init__.py는 Python 패키지의 생성자입니다. 패키지가 가져올 때마다 먼저 실행됩니다. 빈 __init__.py는 Python 패키지의 빈 __init__ 생성자 메서드를 의미합니다. 괜찮지만 더 많은 일을 할 수 없다는 뜻은 아닙니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

## __init__.py 주의해서 사용하기

__init__.py는 파이썬 패키지의 생성자이므로, __init__.py를 어디에 두는지에 대해 신중해야 합니다.

날짜 형식을 처리하는 몇 가지 사용자 정의 유틸리티 함수가 있는 datetime이라는 폴더가 있다고 가정해봅시다:

```python
# ./datetime/utils.py

def increment_date(date: int, increment: int) -> int:
    """밀리초 단위로 타임스탬프 증가"""
    return date + increment
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

우리는 그런 다음 __init__.py를 추가해서 main.py에서 코드를 가져올 수 있도록합니다:

```js
myfolder
│
├── datetime
│   ├── __init__.py
│   └── utils.py
└── main.py
```

```js
# main.py

from datetime.utils import increment_date
from datetime import datetime

def main():
    timestamp = datetime.timestamp(datetime(2024, 2, 27))
    print(increment_date(timestamp, increment=10))

if __name__ == "__main__":
    main()
```

만약 main.py를 실행하면 무엇이 일어날까요?


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

ImportError: `datetime` 모듈에서 `datetime`을 가져올 수 없습니다.

보통, Python 인터프리터는 패키지 발견 과정을 (1) 로컬 디렉토리, (2) 표준 라이브러리, 그리고 (3) 설치된 Python 모듈의 순서로 우선시합니다.

datetime이라는 이름의 폴더에 __init__.py를 넣음으로써, 우리는 datetime이라는 파이썬 표준 라이브러리를 재정의했기 때문에 datetime.datetime을 가져오는 명령문이 실패했습니다.

이 문제를 피하려면 매우 간단한 수정이 필요합니다: 다른 Python 표준 라이브러리나 설치된 Python 모듈과 동일한 이름을 가진 폴더 아래에 __init__.py를 넣지 않도록 항상 주의하십시오.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

__init__.py가 어떻게 작동하는지 이해하면, 이것을 활용하여 할 수 있는 좀 더 멋진 것들을 살펴보겠습니다!

## 1. 패키지 레벨 설정 정의하기

만약 코드 내 모든 Python 파일이 유사한 설정을 공유한다면 어떨까요? 로깅 레벨, 상수, 환경 변수 등. 당신의 패키지 내 모든 Python 파일 상단에 설정을 지정하는 대신, 이를 모두 __init__.py에 포함시킬 수 있습니다.

```python
# myfolder/__init__.py

import os
import logging

# 패키지 전체의 환경 변수를 로드합니다.
OPENAI_API_KEY = os.getenv("OPENAI_API_KEY", None)

# 패키지 레벨 상수를 설정합니다.
MODEL = "gpt-4"

# 로깅 구성을 설정할 수도 있습니다.
logging.basicConfig(level=logging.INFO)

# 패키지 내에서 편리하게 재사용할 수 있는 사용자 지정 데코레이터를 추가하세요.
def foo(func):
    @wraps(func)
    def wrapper(*args, **kwargs):
        logging.info(f"함수 호출 중: {func.__name__}")
        result = func(*args, **kwargs)
        logging.info(f"함수 {func.__name__} 실행 완료")
        return result
    return wrapper
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

당신의 코드베이스에서는 다음과 같이 할 수 있습니다:

```js
# myfolder/bar.py

# 패키지 __init__.py에서 상대적인 임포트
from . import OPENAI_API_KEY, MODEL, foo

from openai import OpenAI
from typing import Optional

client = OpenAI()

@foo
def chat_with_openai(prompt: str, llm: Optional[str] = None) -> Any:
    """Prompt를 LLM에 보내고 응답을 반환합니다"""
    llm = llm or MODEL
    
    return client.chat.completions.create(
              model=llm,
              messages=[
                {"role": "system", "content": "You are a helpful assistant."},
                {"role": "user", "content": prompt}
              ]
            )
```

위 내용에 추가하여 다음과 같은 작업도 가능합니다:

- 기능 플래깅
- 고급 로거 구성 (예: 모든 로그를 폴더에 저장)
- 기본 매개변수 설정 (예: 출력 디렉토리가 제공되지 않은 경우 X에 저장)
- 사용 모니터링 (예: 모든 함수 호출을 클라우드 인스턴스로 보내는 사용자 지정 데코레이터)
- 테마 사용자 정의/정의 (예: 언어 로캘, 라이트/다크 테마)
- 사용자 정의 데코레이터로 오류 처리 중앙화


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

## 2. 패키지 가져오기 단순화

코드베이스가 복잡해지면 더 많은 클래스와 함수를 추가하게 될 것입니다. 코드를 응집된 단위로 분리하는 원칙에 따라, 아래와 같은 구조가 생길 수 있습니다:

```js
foo
│
├── llm_email_responder
│   ├── __init__.py
│   ├── base_email_responder.py
│   ├── mail_chimp_responder.py
│   ├── zoho_mail_responder.py
│   └── send_grid_responder.py
└── __init__.py
```

MailChimp에 대한 LLM 이메일 응답기를 사용하려면 다음이 필요합니다:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
from foo.llm_email_responder.mail_chimp_responder import MailChimpResponder
```

곧 여러 줄의 비슷한 import 문이 생겨나게 되어 코드베이스의 내부 구조를 기억하기 어렵게 만들 수 있습니다. 

__init__.py는 import를 정리하고 코드베이스의 더 낮은 수준의 부분을 보호하면서 개발 경험을 단순화하는 데 사용할 수 있습니다.

```js
# ./foo/llm_email_responder/__init__.py

# 사용자가 더 높은 수준의 구현만큼 자주 사용하지 않을 것으로 예상되므로
# 가장 낮은 수준의 이메일 응답기는 건너뜁니다.
from .mail_chimp_responder import MailChimpResponder
from .zoho_mail_responder import ZohoResponder
from .send_grid_responder import SendGridResponder

__all__ = [
    "MailChimpResponder",
    "ZohoResponder",
    "SendGridResponder",
]
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

위의 __init__.py와 함께, 이제 다음과 같이 응답기에 액세스할 수 있습니다:

```js
from foo.llm_email_responder import MailChimpResponder
```

이것은 개발자 친화적 인터페이스에서 하위 수준의 코드를 노출하는 편리한 방법이지만, 하위 수준 코드베이스에 대한 변경은 반드시 __init__.py의 변경과 일치해야 함으로 유지 보수 노력이 증가할 것입니다. 또한 하위 수준의 코드 베이스를 노출하는 것이 일관된 아키텍처를 형성하는지 여부를 평가해야 합니다.

## 싱글톤 패턴


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

싱글톤 디자인 패턴을 적용하려면 __init__.py를 사용할 수도 있어요. 이렇게 하면 패키지 전체가 __init__.py에서 인스턴스화한 동일한 인스턴스를 사용하도록 강제됩니다.

만약 패키지가 원격 서비스에 연결을 설정하거나 대규모 데이터셋을로드하거나, 무거운 작업을 요구하는 어떤 전제조건이 필요하다면, 이 방법이 아주 편리할 거예요.

예를 들어 금융 보고서를 조작하는 LLM 필요를 처리하기 위해 Gemini Pro에 연결해야 한다고 해보죠.

```js
foo
│
├── report_analyser
│   ├── __init__.py
│   ├── outline_extraction.py
│   └── entity_extraction.py
└── __init__.py
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>


# .foo/report_analyser/outline_extraction
from langchain_google_vertexai import VertexAI

def extract_outline(page: str, **kwargs) -> str:
    llm = VertexAI(
        model_name="gemini-pro", location="europe-west2", **kwargs
    )
    prompt_template = """...<Your prompt template here>..."""
    prompt = prompt_template.format_prompt(page=page)
    return llm.invoke(prompt)



# .foo/report_analyser/entity_extraction
from langchain_google_vertexai import VertexAI

def extract_entities(page: str, **kwargs) -> str:
    llm = VertexAI(
        model_name="gemini-pro", location="europe-west2", **kwargs
    )
    prompt_template = """...<Your prompt template here>..."""
    prompt = prompt_template.format_prompt(page=page)
    return llm.invoke(prompt)



# .foo/report_analyser/entity_extraction
from foo.report_analyser.outline_extraction import extract_outline
from foo.report_analyser.entity_extraction import extract_entities

def main():
    page = "Long page of document here"

    # A connection to VertexAI will be created for
    # extracting outline
    outline = extract_outline(page, temperature=0.2)

    # Another connection to VertexAI will be created
    # for extracting entities
    entities = extract_entities(page, temperature=0.2)


각 작업을 실행할 때마다 코드베이스가 VertexAI와 새로운 연결을 생성하여 불필요한 네트워크 오버헤드가 발생합니다. 만약 Gemini Pro에 대해 동일한 구성을 사용할 계획이라면, 대신 다음을 수행할 수 있습니다:



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
# .foo/report_analyser/__init__.py
from langchain_google_vertexai import VertexAI

DEFAULT_LLM = VertexAI(
    model_name="gemini-pro",
    location="europe-west2",
    temperature=0.2,
)
```

```js
# .foo/report_analyser/outline_extraction
from . import DEFAULT_LLM

from typing import Dict

def extract_outline(
    page: str,
    custom_llm_parameters: Optional[Dict] = None
) -> str:
    
    if custom_llm_parameters is None:
        llm = DEFAULT_LLM
    else:
        llm = VertexAI(
            model_name="gemini-pro",
            location="europe-west2",
            **custom_llm_parameters
        )
    prompt_template = """...<Your prompt template here>..."""
    prompt = prompt_template.format_prompt(page=page)
    return llm.invoke(prompt)
```

코드를 개선하려면, __init__.py에서 LLM 연결을 생성하는 부분을 분리하여 별도의 파일로 만들어 LLM 연결 관리자를 만들 수 있습니다. @lru_cache와 결합하면 사용자 정의 구성을 더 효율적으로 처리하고 있는 것을 알 수 있을 것입니다.

__init__.py에 대해 무엇인지 배우고 더 잘 활용하는 방법에 대한 아이디어를 얻었기를 바랍니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

파이썬에 대해 더 알고 싶다면, 파이썬에 관한 다른 블로그를 확인해보세요!

다음에 또 만나요, Louis입니다.

__init__py 파일 제대로 이해하고 사용하기

![Tri-Solar Syzygy](/TIL/assets/img/2024-07-14-PhysicsoftheTri-SolarSyzygyfromThe3BodyProblemCouldPeopleReallyBePulledOffaPlanet_0.png)

영화 예고편에 있는 내용이라면 스포일러가 아닙니다. 제가 말하고 싶은 것은 Trisolaris 행성 주민들이 표면에서 끌려 내려가는 장면을 언급한 것입니다.

여기 중요한 사항들만 알려 드릴게요. Trisolaris라는 행성이 세 개의 태양이 있는 천체계에 있다는 점입니다 (그래서 3-체 문제라고 불립니다). 어느 순간, 사람들 (실제로는 사람이 아니죠)이 행성 표면에서 끌려올라가는 장면이 있는데요. 책에서 이렇게 이야기하고 있어요.

이 부분이 플롯의 현실적인 면에서 옳은지 여부는 사실 중요하지 않아요 — 이겈 이야기이고, 때로는 이야기가 물리 법칙을 따르지 않기도 해요. 그래서 더 재미있는 거죠. 하지만 여전히 이 Tri-Solar Syzygy의 물리학을 살펴볼 거에요 (실은 '시지지'가 무엇인지는 잘 모르겠어요. 이제 물어보기도 부끄러워집니다).



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 3체 문제

만약에 중력 상호작용이 일어나는 두 물체가 있다면 (이렇게 해서 이진 별계에 있는 두 별이 될 수 있어요), 해석적으로 운동 방정식을 풀어낼 수 있어요. 초기 조건을 알고 있다면 두 물체의 미래 위치와 속도를 찾을 수 있는 식을 얻을 수 있어요. 놀랍게도, 이를 2체 문제라고 부를 수 있어요. 만일 더 자세한 유도를 원한다면, 제가 도와드릴 수 있어요.

하지만 만약 서로 상호작용하는 세 물체를 갖고 있다면 어떨까요? 예를 들어, 세 개의 별이 있다고 해 봅시다: 별 1, 별 2, 별 3. 이 경우에는 별 1과 2 사이의 상호작용, 2와 3 사이의 상호작용, 그리고 1과 3 사이의 상호작용이 존재할 거에요. 이는 2체 문제의 좀 더 복잡한 버전일 것 같지만, 이 시스템을 위한 해석적인 해결책은 없어요. (적어도 우리가 아는 바로는) 이를 방정식 형태로 풀 수 있는 방법은 불가능해요.

3체 문제 같은 문제를 해결할 수 있는 한 가지 방법이 있어요 - 수치적인 해법입니다. 아이디어는 운동을 짧은 시간 간격으로 나누는 것이에요. 이 간격 각각에 우리는 모든 중력 힘을 계산하고, 그 짧은 시간 동안에는 이들이 일정하다고 가정할 수 있어요. 일정한 힘을 가질 때, 세 개의 별의 운동량과 위치가 어떻게 변하는지 알 수 있어요. 그 후에는 그냥 다음 시간 간격에 대해 이 프로세스를 반복하기만 하면 돼요.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

각 시간 간격 동안의 계산은 비교적 간단합니다 — 하지만 그만큼 많은 계산을 해야 합니다. 누구나 그 모든 계산을 하고 싶어하진 않으니까, 컴퓨터에게 맡기는 게 편합니다 (그나저나 컴퓨터는 크게 불평하지 않아요 — 적어도 지금까진요).

여기 저의 매우 상세한 3체 문제의 수치해법입니다.

# 안정적인 3체 해법

일반적으로, 세 개체의 움직임을 결정하기 위해서는 수치 계산이 필요합니다. 그러나 세 별의 해법을 얻을 수 있는 특별한 상황도 있습니다. 몇 가지 중요한 물리 개념이 있으니, 그 부분부터 알아봅시다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

두 질량 간의 중력 상호작용을 다음 방정식으로 모델링할 수 있습니다:

![equation1](/TIL/assets/img/2024-07-14-PhysicsoftheTri-SolarSyzygyfromThe3BodyProblemCouldPeopleReallyBePulledOffaPlanet_1.png)

여기서 M1과 m2는 벡터 r로 구분된 두 질량입니다. G는 만유인력상수이고 r-hat은 힘이 벡터가 되도록 하는 단위 벡터입니다. 그렇다면 두 개 이상의 질량이 있다면 어떻게 될까요? 그 경우, 총 힘은 각 질량에서 오는 힘의 벡터 합일 뿐입니다.

![equation2](/TIL/assets/img/2024-07-14-PhysicsoftheTri-SolarSyzygyfromThe3BodyProblemCouldPeopleReallyBePulledOffaPlanet_2.png)


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이제 우리는 원운동에 대해 생각해야 합니다. 삼성계의 가장 간단한 움직임은 원을 그리는 것이겠죠. 물체가 원 안에서 움직이고 있다면, 원의 중심을 향하는 가속도가 발생하며 그 크기는 다음과 같습니다:

![원운동 가속도](/TIL/assets/img/2024-07-14-PhysicsoftheTri-SolarSyzygyfromThe3BodyProblemCouldPeopleReallyBePulledOffaPlanet_3.png)

원운동의 반지름은 r이고 속도는 v입니다. 각속도(ω)의 운동가속도를 계산하는 것도 가능합니다.

자, 이제 우리는 안정된 움직임을 준비했습니다. 세 개의 별이 같은 질량을 가지고 있으며 한 별이 고정되어 있고 다른 두 별이 그 고정된 별 주위를 공전하는 것으로 가정합니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>


![image1](/TIL/assets/img/2024-07-14-PhysicsoftheTri-SolarSyzygyfromThe3BodyProblemCouldPeopleReallyBePulledOffaPlanet_4.png)

중간에 있는 별 1에는 두 개의 중력이 작용함을 알 수 있습니다. 그러나 대칭이라면, 별 2와 별 3이 반대 방향으로 같은 힘으로 작용하여 별 1이 정지 상태에 있을 수 있도록 하지요.

별 2를 보면, 왼쪽으로 두 개의 중력이 작용합니다 - 별 1과 별 3에서. 이 순방향 힘은 별 2가 왼쪽으로 가속화되도록 합니다. 이 순방향 힘이 별 2가 원운동 할 수 있도록 만드는 속도(v)를 계산할 수 있게 됩니다. 별 1은 별 2에서 거리 r 떨어져 있지만, 별 3는 2r의 거리에 있습니다.

![image2](/TIL/assets/img/2024-07-14-PhysicsoftheTri-SolarSyzygyfromThe3BodyProblemCouldPeopleReallyBePulledOffaPlanet_5.png)



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

태양의 크기 (r)를 알고 있다고 가정해 봅시다. 그러면 별 2의 속도를 구할 수 있습니다 (이는 별 3의 속도가 될 것입니다).

![image](/TIL/assets/img/2024-07-14-PhysicsoftheTri-SolarSyzygyfromThe3BodyProblemCouldPeopleReallyBePulledOffaPlanet_6.png)

이게 실제로 작동할까요? 한 번 시도해 볼 수 있습니다. 세 개의 같은 질량을 가진 태양으로 수치 계산을 해보겠습니다. 중간에 있는 별은 정지 상태에서 시작하고, 나머지 두 개의 별은 계산된 속도로 시작합니다. 그런 다음, 별의 움직임을 모델링하기 위해 수치 계산 방법을 사용할 수 있습니다. 전체 Web VPython 코드는 여기에서 확인할 수 있습니다. 애니메이션은 다음과 같이 보입니다:

![animation](https://miro.medium.com/v2/resize:fit:960/1*RA24sRZkOic5eOCj7FBVzg.gif)


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

물론, 중요한 점은 삼합성 시스템이 안정한 궤도에 있지 않다는 것입니다 — 이것이 바로 삼합성의 거주자들이 마주한 문제 중 하나입니다. 그러나 이 책에서는 별들이 어떻게 이러한 배열에 도달하는지 알 수 있습니다.

# 삼합성 행성의 궤도

이제 행성을 추가해보죠. 이로 인해 "네 체 문제"가 되지는 않을 것입니다. 행성의 질량은 별들에 비해 매우 작다고 가정할 수 있기 때문입니다. 이는 행성이 별 세 개에게 발생시키는 중력 힘이 그들의 움직임에 별다른 영향을 미치지 않을 것을 뜻합니다. 물론, 4개의 서로 작용하는 물체의 움직임을 쉽게 모델링할 수 있겠지만, 이 가정은 설정을 더 쉽게 만들 것입니다.

행성의 관점에서 볼 때, 세 별은 일직선으로 유지되어야 합니다. 이것은 삼합성이 두 별과 같은 각속도를 가지고 있을 때(가운데 별이 고정일 때) 발생합니다. 다음은 다이어그램입니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>


![image](/TIL/assets/img/2024-07-14-PhysicsoftheTri-SolarSyzygyfromThe3BodyProblemCouldPeopleReallyBePulledOffaPlanet_7.png)

당연히 이것은 실제 크기로 표현된 것이 아닙니다 (작은 행성은 볼 수 없겠죠). 이 행성에는 세 개의 중력 작용이 있습니다 (세 개의 별로 인한 것입니다). 그에 따라 행성의 가속은 각속도(ω)와 궤도 거리(r_p)에 따라 달라집니다.

이 위치에서 모든 중력은 가속과 같은 방향에 있으므로, 뉴턴의 제2 법칙에 대한 다음 방정식을 작성할 수 있습니다 (참고: 각 별의 질량은 M이고 행성의 질량은 m입니다).

![image](/TIL/assets/img/2024-07-14-PhysicsoftheTri-SolarSyzygyfromThe3BodyProblemCouldPeopleReallyBePulledOffaPlanet_8.png)



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

행성의 각 운동 속도는 외부 별 중 하나의 각 운동 속도에서 구할 수 있습니다.

![image](/TIL/assets/img/2024-07-14-PhysicsoftheTri-SolarSyzygyfromThe3BodyProblemCouldPeopleReallyBePulledOffaPlanet_9.png)

이제 행성 트리솔라리스의 공전 거리 (r_p)를 구하는 것은 여전히 어려운 방정식으로 보입니다. 괜찮아요. 실제로 이 방정식을 풀 필요는 없어요. 숫자적 해법을 찾을 수 있으며, r_p의 다른 값에 대해 방정식의 좌변과 우변의 값을 구하여 해의 값을 찾을 수 있어요. 이 두 변을 그래프로 그리면 교차하는 지점이 해를 주는 r_p의 숫자 값이 될 거에요. 한 번 확인해보세요.

![image](/TIL/assets/img/2024-07-14-PhysicsoftheTri-SolarSyzygyfromThe3BodyProblemCouldPeopleReallyBePulledOffaPlanet_10.png)


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

스케일 조정을 해 보면서, 행성 공전 거리를 0.21065 AU로 결정했어요. 그럼, 그걸로 테스트해 볼게요. 여기 4번째 객체를 넣은 3체 문제 계산 결과입니다.

![image](https://miro.medium.com/v2/resize:fit:1000/1*EHiES60H5-45wmU7IZpYDQ.gif)

별의 회전 운동과 대부분 일치하면서 행성이 이동하는 모습을 보실 수 있어요. 애니메이션 끝 쪽에 조금씩 벗어나는데요 — 근데 괜찮아요. 이 삼중태양 허물기는 어차피 영원히 지속되지 않거든요.

# 삼중태양 허물기 모델링


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

사람들이 행성 표면에서 당겨지는 이유가 무엇일까요? 첫 번째 아이디어는 세 개의 별로부터의 중력 힘의 합이 사람들을 당겨내는 중력 힘보다 크다는 것입니다. 이미지를 보세요!

![image](/TIL/assets/img/2024-07-14-PhysicsoftheTri-SolarSyzygyfromThe3BodyProblemCouldPeopleReallyBePulledOffaPlanet_11.png)

좋아요. 우리는 이러한 힘들을 계산할 수 있어요 (일부 가정을 가지고). 지구와 똑같은 행성이라고 가정해 봅시다 (왜냐하면요). 이것은 즉, 사람을 행성으로 당기는 중력 힘이 1킬로그램당 9.8 뉴턴이 될 것이라는 것을 의미해요. 세 개의 별로 인한 순박한 힘으로 인한 순박한 힘의 경우, 1.5 N/kg 정도일 것입니다 - 9.8 N/kg 보다 작아요. 네, 이것이 삼합운 돌아가는 내 특정 값에 대한 값이에요.

그런데 기다려 주세요! 중력 힘의 이 차이로 실제로는 당신이 트리솔라리스의 표면에서 더 가벼워진다는 느낌을 받지 못할 거예요. 왜냐하면요? 그것은 행성이 정지해 있지 않기 때문에 그렇습니다 - 사실 행성은 이미 원형 운동으로 움직이고 있기 때문에 별들 쪽으로 가속하고 있어요.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

걱정하지 마세요, 선이 3개인 라인의 누적 효과를 계산할 수 있어요. 하지만 약간의 잡수작을 필요로 할 거예요. 3개의 별과 중력 상호작용은 행성에 힘을 가해 가속시키는데, 이는 행성의 중심에서의 가속임을 명심해야 해요. 표면에 있는 비인간은 행성 중심에서의 가속도 값을 가질 것인데, 별들에 더 가까운 지점에서의 중력 힘을 받게 될 거예요. 네, 조금 복잡한 일이죠.

트리솔라리스 표면의 겉으로 보이는 중력 힘은 행성의 중심에서의 중력장과 표면에서의 차이로 나타날 거예요. 행성의 반지름이 6.3 x 10⁶ 미터인 것으로 가정해봅시다 (지구와 같다 가정). 그 경우, 별들에서 오는 유효한 힘은 1kg 당 0.00074 뉴턴을 향해 당겨주게 될 거예요.

그러니까, 질량이 70kg인 생명체는 보통 686 뉴턴의 무게를 느낄 수 있을 텐데요 — 그러나 세 개의 별이 일렬로 위치할 때 그들은 685.99 뉴턴만 느낄 거예요. 만약 숫자에 좀 미숙하다면, 그것은 무게 차이가 크지 않다는 거죠.

이제 맞추세요! 만약 한 사람 (실제 사람이 아닌)이 행성의 반대편에 있다면, 그들도 역시 겉으로 보이는 무게가 더 낮게 느껴질 거예요. 이 경우에 별들로부터의 중력 힘은 조금 더 낮아지겠지만, 행성의 중심의 가속도는 그들에게 지속적으로 멀어지는 것처럼 보일 거예요.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이야기 한 번 더 들려줄게요. 정확히 여러분이 지구에 두 개의 조수가 있는 이유입니다. 그 이유는 달로부터 오는 중력에 의한 가속이 지구의 중심에서 발생하기 때문입니다. 지구의 중심에서의 가속은 지구 표면에서의 달로부터 오는 중력과는 다릅니다. 이러한 차이로 인해 물이 두 군데에서 풍겨져 두 개의 물 축적이 발생하는 것이죠. 여기 지구의 표면 가속과 실제 중력장 사이의 차이를 시각화한 그림이 있어요.

![Earth Visualization](/TIL/assets/img/2024-07-14-PhysicsoftheTri-SolarSyzygyfromThe3BodyProblemCouldPeopleReallyBePulledOffaPlanet_12.png)

만약 이 이미지를 생성하는 과정의 자세한 내용을 보고 싶다면, 전부 제공해 드리겠습니다.

그러면, 여기 주의! "3체 문제"는 넷플릭스 쇼로 제작된 책일 뿐이에요. 실제로는 존재하지 않습니다. 물리학이 완벽하진 않아도 괜찮아요. 물론, 행성의 크기나 궤도를 변경하면 효과적인 힘을 더 크게 얻을 수도 있겠지만, 제가 설정한 값들이 합리적으로 보인다고 생각해요.

삼체 문제의 트리플 별 직렬 현상 물리학 실제로 사람이 행성에서 끌려갈 수 있을까

자동 ARIMA 모델 사용 방법

![Image](/TIL/assets/img/2024-07-14-CrackingtheCodeHowSeniorDevsTackleProgrammingChallenges_0.png)

프로그래밍은 대단히 어려운 작업이며, 특정 사람들에게는 당연한 것처럼 보일 수 있습니다. 의심하는 사람들이 "아니, 프로그래밍이 어렵다고? 다음은 뭔가, 하늘은 파란색이라고?"

이 비꼼은 경험 많은 개발자에게 프로그래밍의 어려움이 자명함을 강조합니다. 그러나 초보자들은 종종 프로그래밍이 쉽다고 생각합니다.

# 프로그래밍의 현실



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

놀랍게도, 코딩을 하는 것이 프로그래밍 중에서 가장 어려운 부분은 아닙니다. 표면적으로 보면 프로그래밍은 간단해 보일 수 있지만, 컴퓨터가 이해할 수 있는 코드를 작성하는 것이랍니다.

하지만, 현실은 훨씬 더 복잡해요. 프로그래밍은 논리적 사고, 문제 해결 능력, 그리고 다루고 있는 문제와 도구에 대한 심층적인 이해를 필요로 합니다.

# 프로그래밍 마인드셋의 중요성

많은 초보자들은 프로그래밍의 핵심 부분을 배워야 합니다: 마인드셋입니다. 개발자처럼 생각하는 것이, 특히 초보자들에겐 프로그래밍을 어렵게 만드는 이유입니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

코드를 작성하는 것 뿐만 아니라 문제해결 방식에 대해서도 중요해요. 일주일만에 JavaScript를 배운다는 것은 가능해 보일 수 있지만, 내부에 숨어있는 사회불안증(imposter syndrome), 늦은 밤 코딩 세션, 포기하고 싶은 순간들은 언급되지 않죠.

이러한 경험들은 튜토리얼이나 책에서 소개되는 것이 아니라, 실제로 체험해봐야 합니다.

# 프로그래밍에서의 개발자 마인드셋

# 요리 비유


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

개발자의 마인드셋을 이해하려면, 레시피를 암기해서 요리를 배우는 것을 상상해보세요. 케이크를 만들려면 밀가루, 설탕, 계란, 버터가 필요하다는 것을 알 수 있을 거예요.

레시피를 따라하면 꽤 괜찮은 케이크를 굽을 수 있어요. 그런데 만약 재료가 부족하다면 어떻게 할까요? 또는 다른 무언가를 굽도록 요청받았을 때 어떡할까요? 왜냐하면 상대방이 케이크를 싫어한다고 하면 말이에요.

레시피만 암기한 상태라면 해매일지도 모릅니다. 마찬가지로, Python이나 JavaScript와 같은 프로그래밍 언어를 알아간다는 것도 레시피를 암기하는 것과 비슷합니다.

모든 문법을 알아도, 더 중요한 질문은: 어떻게 효과적으로 활용할 수 있는지 아는지인 거죠?


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 예시: 프로그래밍에서 평균 계산하기

다음 예시를 살펴보세요: 변수, 반복문, 그리고 리스트가 어떻게 동작하는지 배웠습니다. 숫자들의 리스트를 생성하고 for 루프를 사용하여 각 숫자를 출력할 수 있습니다.

이제 이 숫자들의 평균을 찾아야하지만 sum 함수를 사용하지 않습니다. 이를 위해서는 sum 함수가 하는 일을 이해해야 합니다: 모든 요소를 모두 더합니다.

튜토리얼에서 얻는 기본 지식을 활용하여 for 루프를 사용하여 리스트를 순회하고 필요한 산술 연산을 수행할 수 있습니다. 이 예시는 튜토리얼이 기본을 가르쳐주지만 문제를 해결하기 위해 창의적으로 적용해야 함을 보여줍니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 프로그래밍의 진정한 도전

# 프로그래밍에서의 문제 해결과 논리적 사고

프로그래밍의 진정한 도전은 문제 해결과 논리적 사고에 있습니다. 코딩하는 법을 알기만 하는 것이 아니라 무엇을 코딩할지도 아는 것입니다.

새로운 기능을 개발하거나 버그를 수정하려면 그것을 더 작고 관리하기 쉬운 조각들로 나누어 각 부분을 체계적으로 해결해야 합니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이 기술은 실제로 가르쳐 주기 어려울 뿐만 아니라 자신으로 찾아내야 합니다.

# 프로그래밍의 고통

![이미지](/TIL/assets/img/2024-07-14-CrackingtheCodeHowSeniorDevsTackleProgrammingChallenges_1.png)

많은 사람들이 '튜토리얼 지옥'에 갇혀 계속해서 튜토리얼을 보고 수많은 예시를 따라하지만 새롭고 독특한 문제를 해결하지 못하는 상황에 빠지곤 합니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

프로그래밍의 학습 곡선은 가파릅니다. 튜토리얼과 실무 경험을 균형있게 조합해야하기 때문이죠. 튜토리얼은 자전거 지지 바와 같아요. 결국 필요 없어질 거예요.

진정한 학습은 배운 것을 다양한 상황에 적용하기 시작할 때 시작됩니다.

# 프로그래머의 마인드셋을 갖추는 팁

# 1. 프로그래밍 문제 분해하기


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

프로그래밍 문제를 작은 관리 가능한 작업으로 나누어 시작해보세요. 이 방법을 사용하면 가장 어려운 문제조차 접근 가능해 보이고 명확한 시작점을 제공받게 될 거예요.

예를 들어, 리스트에서 가장 많이 나타나는 상위 세 개의 단어를 추적하고 표시하는 프로그램을 작성해야 한다면 다음과 같이 나눠보세요:

- 먼저, 리스트를 살펴보세요.
- 그 다음, 각 단어의 빈도수를 세어보세요.
- 마지막으로, 상위 세 개의 가장 많이 나타나는 단어를 결정하세요.

# 2. 프로젝트 기반 학습에서의 프로그래밍


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

프로그래밍의 프로젝트 기반 학습(PBL)은 기술 향상과 문제 해결 능력 향상에 중요합니다.

실전 프로젝트를 통해 이론적 지식을 실제 응용에 적용하여 심층적인 이해와 실무 전문성을 키울 수 있습니다. 이 반복적인 과정은 프로그래밍 능력을 향상시키는 것뿐만 아니라 개발자에게 필수적인 비판적 사고와 창의성을 육성하는 데 도움이 됩니다.

각 완료된 프로젝트는 포트폴리오에 기여하여 여러분의 역량을 과시하고 잠재적인 고용주들에게 매력을 늘려줍니다.

이 접근 방식은 여러분의 기술을 향상시키는 것뿐만 아니라 취업 기회를 열어줍니다. 왜냐하면 고용주들은 실무 경험을 입증한 후보자와 성공적인 프로젝트 완료 이력이 있는 지원자를 가치 있게 여기기 때문입니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 3. 프로그래밍을 위한 파인만 기법

이 기법은 당신이 개념을 정말로 이해했다고 할 수 있는 것은 그것을 간단한 용어로 설명할 수 있는 경우에만 가능하다는 아이디어에 기반을 두고 있습니다.

이 기법은 복잡한 프로그래밍 개념을 기초적인 부분으로 나누어야 한다는 것을 강요하여 당신이 이해한 것과 더 많은 공부가 필요한 부분을 드러내게 합니다.

어떤 사람에게 개념을 가르치거나 설명하거나, 혹은 혼자 소리 내어 스스로에게 설명하는 것은 당신의 이해를 확고하게 하고 보다 더 기억력을 향상시킵니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 4. 프로그래밍에서 실패를 수용하세요

프로그래밍에서는 실패를 학습 과정의 일부로 받아들이는 것이 중요합니다. 만난 모든 오류와 버그는 소중한 교훈을 제공하며 문제 해결 능력을 향상시키고 이해를 깊이 있게 합니다.

이러한 저하를 수용함으로써 탄력성을 육성하고 개선에 대한 적극적인 접근 방식을 취할 수 있습니다.

실패를 분석함으로써 개발자들은 코딩 관행을 개선하고 향후 동일한 문제가 발생하는 것을 방지하는 통찰을 얻을 수 있습니다. 이러한 마음가짐 변화는 프로그래밍 노력에서 지속적인 성장과 혁신을 촉진합니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 5. 프로그래밍을 꾸준히 연습하세요

연습을 꾸준히 이어나가세요. 한 번에 1시간 이상 같은 주제나 프로젝트에 집중하는 것이 좋습니다. 짧은 연습 시간은 작은 문제에 유용할 수 있지만, 보다 깊은 이해를 위해서는 더 오래 집중해야 합니다.

# 6. 다른 사람과 자신을 비교하지 마세요

자신을 비교해야 하는 유일한 상대는 바로 여러분 자신입니다. 작은 성과라도 축하하세요. 한 가지 자습서를 완료했거나 버그를 해결했다면 축하해야 합니다. 각자가 자신의 속도로 진전하기 때문에, 특히 여러 해의 경험을 가진 사람들과 비교하는 것은 역효과적입니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이 팁을 따라가고 계속 도전함으로써, 당신은 성공한 프로그래머가 되기 위해 필요한 마인드를 개발할 수 있을 것입니다. 앞으로 나아가며 계속 배우고, 필요할 때 프로그래밍 커뮤니티에서 도움을 요청하는 것을 주저하지 마세요. 즐거운 코딩하세요!

이 글이 마음에 들었다면 👏 를 클릭해주세요! 제 계정을 팔로우해주시면 감사하겠습니다! 즐겨 보는 부분을 강조하셔도 됩니다. 여러분의 참여가 제 영감입니다!

시니어 개발자들이 프로그래밍 도전을 해결하는 방법 비밀 코드 정복기

소비자용 그래픽 카드 하나로 LLMs 미세 조정하는 방법

데이터 과학자 인터뷰 준비는 어려운 작업일 수 있습니다. 데이터 과학은 프로그래밍, 통계, 데이터 분석 및 도메인 지식을 결합한 다학제적 분야입니다. 다음 데이터 과학자 인터뷰에서 성공하도록 도와 드리기 위해 핵심 개념 및 기술을 평가하는 이러한 인터뷰에서 일반적으로 평가되는 10가지 중요 질문과 답변 목록을 작성했습니다.

![이미지](/TIL/assets/img/2024-07-14-DataScientistInterview10EssentialQuestionsandAnswers_0.png)

# 질문 1: 데이터 과학, 데이터 분석 및 기계 학습과 어떻게 다른가요?

답변: 데이터 과학은 다양한 기술과 도구를 사용하여 데이터에서 가치 있는 통찰과 지식을 추출하는 분야입니다. 데이터 분석과 기계 학습을 포함하지만 그 이상을 다룹니다. 데이터 분석은 데이터를 탐색하고 요약하는 데 중점을 두는 반면, 기계 학습은 예측 모델을 구축하는 데 관심이 있습니다. 데이터 과학은 데이터 수집 및 정리부터 분석, 모델링 및 배포에 이르기까지 전체 데이터 수명주기를 포함합니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 질문 2: 데이터 과학 과정을 설명해주세요.

답변: 데이터 과학 과정은 일반적으로 다음 단계를 포함합니다:

- 문제 정의: 해결하고자 하는 문제를 명확히 정의합니다.
- 데이터 수집: 다양한 소스에서 관련 데이터를 수집합니다.
- 데이터 정제 및 전처리: 데이터를 정리, 형식화하고 분석을 위해 준비합니다.
- 탐색적 데이터 분석 (EDA): 데이터를 탐색하여 특성을 이해합니다.
- 피처 엔지니어링: 모델 성능을 개선하기 위해 새로운 기능을 만들거나 기존 기능을 변환합니다.
- 모델링: 머신 러닝 모델을 구축하고 훈련합니다.
- 평가: 적절한 지표를 사용하여 모델 성능을 평가합니다.
- 배포: 모델을 실제 제품에 적용합니다.
- 모니터링 및 유지보수: 모델의 성능을 지속적으로 모니터링하고 필요한 경우 업데이트합니다.

# 질문 3: 과적합(Overfitting)은 무엇이며, 어떻게 예방할 수 있나요?


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

답변: 과적합은 기계 학습 모델이 훈련 데이터에서는 잘 수행하지만 보이지 않는 데이터(테스트 데이터)에서는 성능이 저하되는 현상을 말합니다. 과적합을 방지하기 위해 다음을 시도할 수 있습니다:

- 더 많은 훈련 데이터 사용하기.
- 모델을 간단하게 만들기 (예: 복잡성 줄이기).
- L1 또는 L2 정규화와 같은 정규화 기법 사용.
- 모델 성능 평가를 위해 교차 검증 사용.
- 랜덤 포레스트나 그레디언트 부스팅과 같은 앙상블 방법을 사용하여 과적합 완화 가능.

# 질문 4: 군집화에서 사용되는 일반적인 거리 측정 방법은 무엇인가요?

답변: 군집화에서 사용되는 일반적인 거리 측정 방법에는 다음이 있습니다:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

- 유클리드 거리: 데이터 포인트 사이의 직선 거리를 측정합니다.
- 맨해튼 거리: 좌표 사이의 절대 차이의 합을 계산합니다.
- 코사인 유사도: 두 벡터 사이의 각도의 코사인을 측정합니다.
- 자카드 유사도: 두 집합의 교집합 크기를 두 집합의 합집합 크기로 나누어 계산합니다.
- 마할라노비스 거리: 데이터 내의 상관 관계를 고려합니다.
- 해밍 거리: 이진 데이터에 사용되며 다른 비트를 계산합니다.

# 질문 5: 편향-분산 균형을 설명해주세요.

답변: 편향-분산 균형은 기계 학습에서 근본적인 개념입니다. 이는 모델이 훈련 데이터를 잘 맞추는 능력(낮은 편향)과 보이지 않는 데이터에 일반화하는 능력(낮은 분산) 사이의 균형을 의미합니다.

- 높은 편향: 모델이 높은 편향을 가지면 데이터를 잘 적합하지 못해 기본적인 패턴을 파악하지 못합니다.
- 높은 분산: 모델이 높은 분산을 가지면 과도하게 복잡하며 데이터의 잡음을 적합하게 되어 부적절한 일반화로 이어집니다. 편향과 분산 사이의 적절한 균형을 찾는 것은 훈련 및 테스트 데이터 모두에서 잘 수행하는 모델을 구축하는 데 중요합니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 질문 6: 교차 검증이 무엇이며 왜 중요한가요?

답변: 교차 검증은 모델의 성능을 평가하는 데 사용되는 기술입니다. 데이터를 여러 하위 집합(폴드)으로 나누고 각각의 하위 집합에서 모델을 학습하고 나머지 데이터에서 모델을 평가하는 것을 포함합니다. 교차 검증은 모델의 성능에 대한 보다 견고한 추정을 제공하여 오버피팅과 같은 문제를 감지하는 데 도움이 됩니다. 일반적인 교차 검증 유형에는 k-겹 교차 검증과 LOOCV(leave-one-out cross-validation)가 있습니다.

# 질문 7: 일부 특성 선택 기술은 무엇인가요?

답변: 특성 선택은 모델 성능을 향상시키고 차원을 축소하기 위해 관련 특성의 하위 집합을 선택하는 프로세스입니다. 기술에는 다음이 포함됩니다:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

- 필터 방법: 모델과 독립적으로 기능을 평가합니다 (예: 카이제곱 테스트).
- 래퍼 방법: 특정 모델을 사용하여 기능 부분집합을 평가합니다 (예: 재귀적 기능 제거).
- 임베디드 방법: 기능 선택이 모델 학습 과정에 통합됩니다 (예: L1 정규화).

## 질문 8: A/B 테스트란 무엇이며 결과를 어떻게 분석하나요?

답변: A/B 테스트는 두 가지 버전(A 및 B)의 웹페이지, 앱 또는 제품을 비교하여 어떤 것이 더 나은 성능을 발휘하는지 결정하는 방법입니다. 결과를 분석하기 위해 일반적으로 t-검정이나 카이제곱 검정과 같은 통계적 가설 검정을 사용하여 관찰된 차이가 통계적으로 유의한지 평가합니다. 또한 실용적인 중요성과 샘플 크기, 테스트 기간과 같은 요인을 고려합니다.

## 질문 9: 머신러닝에서 정규화 개념을 설명해주세요.  


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

답변: Regularization은 오버피팅을 방지하기 위해 모델의 손실 함수에 패널티 항을 추가하는 기술입니다. 두 가지 일반적인 유형은 L1 정규화(Lasso)와 L2 정규화(Ridge)입니다. L1 정규화는 계수의 절대값을 손실에 추가하여 희소한 해를 장려합니다. L2 정규화는 계수의 제곱을 추가하여 극단적인 값이 나오지 않도록 합니다. 정규화는 모델 복잡성을 제한하는 데 도움이 됩니다.

# 질문 10: 파이썬에서 일반적인 데이터 시각화 라이브러리는 무엇입니까?

답변: 파이썬에서 일반적인 데이터 시각화 라이브러리로는 Matplotlib, Seaborn, Plotly 및 Bokeh가 있으며 정적 및 대화식 플롯을 지원합니다. 특수한 시각화를 위해 NetworkX(네트워크 그래프용) 및 Folium(대화식 지도용)과 같은 라이브러리도 사용됩니다.

마지막으로, 이러한 질문과 답변은 데이터 과학과 기계 학습의 기본 주제를 다루며 일반적으로 면접에서 탐구됩니다. 이러한 질문에 대비하여 준비를 하면 면접에서 잘할 뿐만 아니라 데이터 과학의 중요한 개념에 대한 이해를 더욱 깊게 할 수 있습니다. 기술 면접에 코딩 문제도 자주 포함되므로 코딩과 문제 해결 능력에 대한 연습도 중요합니다. 데이터 과학자 면접 준비를 잘 하시기 바랍니다!


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 파이썬 기초

시간 내어 관심 가져 주셔서 감사합니다! 🚀
더 많은 콘텐츠는 Python Fundamentals에서 찾을 수 있어요 💫

데이터 사이언티스트 인터뷰 꼭 알아야 할 10가지 질문과 답변

![이미지](/TIL/assets/img/2024-07-14-ALongPythonScripttoMakeaShortVideoUsingGeospatialBigData_0.png)

# 목차

- 🌟 소개
- 🔍 설정: 설치 및 라이브러리 임포트
- ⏳ "NetCDF" 파일의 쿼리 및 처리
- 🗺️ 캘리포니아 지역 및 NDVI 지도 플로팅을 위한 이미지 클리핑
- 🎥 NDVI 지도를 비디오로 내보내기
- 📝 결론
- 📚 참고 자료

## 🌟 소개



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

원하는 곳에서 매일 또는 매주 촬영된 위성 이미지를 기반으로 동영상과 애니메이션을 만드는 것을 즐기며 대규모 지리 공간 데이터를 시각화하는 일에 깊은 열정을 갖고 있습니다. 그러나 이 많은 양의 이미지를 처리하는 것은 다운로드, 클리핑, 위성 이미지 표시 등의 단계를 거치기 때문에 시간이 많이 걸립니다. 이 과정에는 API, 코딩, 지리 데이터에 대한 심도 있는 이해, 데이터 시각화에 대한 뛰어난 기술이 필요합니다. 이 이야기는 '위에 언급된 모든' 기술의 조합에 관한 것입니다.

다른 게시물에서 Sentinel-2 및 Sentinel-3 이미지의 시각화에 대해 작성하던 중, 이 중 하나의 위성이 특정 위치 위에서 촬영한 모든 이미지를 모아 애니메이션으로 제시하는 아이디어에 주목했습니다. 오늘은 이 비전을 실현하고 2023년 캘리포니아 위에서 캡처된 Sentinel-3의 NDVI 맵을 탐색해보는 날입니다!

이 이야기에서는 이러한 NDVI 맵을 처리, 시각화하고 애니메이션을 만들기 위해 Google Colab에서 강력한 Python 스크립트를 작성할 것입니다. 여기서는 이미지 다운로드 부분을 다루지 않습니다. 이미 별도의 이야기에서 자세히 다루었기 때문에 해당 링크에서 확인할 수 있습니다:

## 🔍 설정: 설치 및 라이브러리 가져오기


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

첫 번째 단계는 다음 폴더를 생성하는 것입니다: NetCDF, Geotiff, Geotiff_reproj, Geotiff_reproj_clipped, Shapefile, JPEG 및 Animation. 다음과 같이 수행할 수 있습니다:

```js
import os

# 폴더 이름 정의
folders = ['NetCDF', 'Geotiff', 'Geotiff_reproj', 'Geotiff_reproj_clipped', 'Shapefile', 'JPEG', 'Animation']

# 폴더 생성
for folder in folders:
    if not os.path.exists(folder):
        os.makedirs(folder)

# 확인 메시지 출력
print('폴더가 성공적으로 생성되었습니다!')
```

<img src="/TIL/assets/img/2024-07-14-ALongPythonScripttoMakeaShortVideoUsingGeospatialBigData_1.png" />

NetCDF 폴더는 Sentinel-3 NDVI의 raw 데이터를 저장합니다. 추가로, Geotiff, Geotiff_reproj, Geotiff_reproj_clipped 폴더는 래스터 파일, 재투영된 래스터 파일 및 래스터 파일 클립을 GeoTIFF 형식으로 저장하기 위해 생성됩니다 (모두 NetCDF 파일에서 변환된 형식). Shapefile 폴더에는 캘리포니아 형태 파일(우리의 관심 영역(AOI)로 Sentinel-3 이미지 클리핑을 위해)이 포함되어 있습니다. JPEG 폴더는 NDVI 맵을 ".jpg" 형식으로 저장하기 위해 생성되며, Animation 폴더는 최종 비디오를 저장하기 위해 특별히 생성되었습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

또한, Google Colab에 몇 가지 라이브러리를 설치하고 가져와야 합니다.

```js
pip install pandas rasterio netCDF4 rioxarray
```

```js
import os
import re
import sys
import random
from pathlib import Path

import requests
import json
import xml.etree.ElementTree as ET
import certifi

import pandas as pd
import numpy as np

import rasterio
import matplotlib.pyplot as plt
import matplotlib.image
from rasterio.windows import Window

import netCDF4 as nc

import rioxarray

from rasterio.control import GroundControlPoint
```

## ⏳ "NetCDF" 파일의 쿼리 및 처리


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

다음 단계는 쿼리를 제출하고 시작 날짜, 종료 날짜 및 AOI를 지정하는 것입니다. NDVI 지도는 토양 표면 온도 수준의 부수 데이터이므로, 여전히 레벨 변수로 "LST"를 사용할 수 있습니다. 미국의 다른 주에 대한 애니메이션을 만들고 싶다면, AOI 지점이나 폴리곤을 해당하도록 수정하세요. 또한, 시작 날짜와 종료 날짜로 2023년 5월 1일 및 8월 1일을 고려해보세요. 다음과 같은 줄로 이 작업을 수행할 수 있습니다:

```js
url_dataspace = "https://catalogue.dataspace.copernicus.eu/odata/v1"

# 필터링
satellite = "SENTINEL-3"
level= "LST"

aoi_point ="POINT(-121.669668 38.372428)"
#aoi_polygon = "POLYGON ((-121.0616 37.6391, -120.966 37.6391, -120.966 37.6987, -121.0616 37.6987, -121.0616 37.6391))"

start_date = "2023-05-01"
end_date = "2023-08-01"
start_date_full =start_date+"T00:00:00.000Z"
end_date_full = end_date +"T00:00:00.000Z"
```

이 정보를 통해 쿼리를 제출할 준비가 되었습니다. 데이터베이스에서 사용 가능한 이미지 목록을 내보내야 하므로, 쿼리 끝에 "&$top=1000&$expand=Attributes"를 포함해야 합니다. 이는 데이터베이스에서 이미지 내보내기의 기본 수가 20이며, 2023년에 Sentinel-3가 촬영한 이미지 수가 20을 초과하기 때문에 필요합니다:

```js
query = f"{url_dataspace}/Products?$filter=Collection/Name eq '{satellite}' and Attributes/OData.CSC.StringAttribute/any(att:att/Name eq 'productType' and att/OData.CSC.StringAttribute/Value eq '{level}') and OData.CSC.Intersects(area=geography'SRID=4326;{aoi_point}') and ContentDate/Start gt {start_date_full} and ContentDate/Start lt {end_date_full}&$top=1000&$expand=Attributes"
response = requests.get(query).json()
result = pd.DataFrame.from_dict(response["value"])

# 'Online' 열이 True인 레코드 필터링
result = result[result['Online'] == True]

# 처음 10개 결과 출력
result.head(10)

result.to_csv('result_LST.csv', index=False)
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

다음 단계에서는 온라인에서 사용 가능한 이미지 목록을 필터링하여 정오쯤 촬영된 이미지에 특히 주목할 것입니다. 파일의 감지 시간은 UTM을 기준으로 하기 때문에 18:00:00은 태평양 표준시 (캘리포니아 시간) 기준으로 대략 12:00:00 오후에 해당합니다:

```js
filtered_df = result[result["Name"].str.split("_").str[8].str.contains("T18") & result["Name"].str.split("_").str[14].str.contains("PS2") & result["Name"].str.split("_").str[16].str.contains("NT")]

filtered_df = filtered_df.reset_index(drop=True)

print(filtered_df['Name'])
```

```js
filtered_df.to_csv('result_LST_Filtered.csv', index=False)
```

필터링된 데이터프레임을 기반으로, 2023년 5월 1일부터 8월 1일까지 캘리포니아 상공에서 촬영된 Sentinel-3의 53장의 이미지가 있습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

<img src="/TIL/assets/img/2024-07-14-ALongPythonScripttoMakeaShortVideoUsingGeospatialBigData_2.png" />

이미지가 흐릿할 수 있다는 점을 기억하세요. 센티넬-3 이미지를 구름 덮개로 걸러내는 것을 제어할 수 없기 때문입니다.

다음 단계는 필터링된 목록의 제품 ID를 사용하여 NetCDF 파일을 다운로드하는 것을 포함합니다. 이 부분은 이미 다음 포스트의 섹션들(📥 "NetCDF" 파일 다운로드 및 🛠️ Geotiff로 변환)에서 설명된 자료의 중복을 피하기 위해 건너뛰었습니다:

## 🗺️ 캘리포니아를 위한 이미지 클리핑과 NDVI 지도 플로팅


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이 단계를 자세히 설명하기 전에 다음 패키지를 설치하고 로드해주세요:

```js
pip install matplotlib-scalebar
```

```js
import os
import matplotlib.pyplot as plt
from matplotlib import colors
from mpl_toolkits.axes_grid1 import make_axes_locatable
from mpl_toolkits.axes_grid1.inset_locator import inset_axes
from matplotlib_scalebar.scalebar import ScaleBar
from matplotlib.offsetbox import OffsetImage, AnnotationBbox
from datetime import datetime
import rasterio.plot
```

이 단계에서는 Geotiff_reproj 폴더에 저장된 53개의 래스터 파일 각각을 읽어올 것입니다. 캘리포니아 쉐이프파일 투영과 래스터 파일 간의 일관성을 확인할 것입니다. 필요한 경우 쉐이프파일을 재투영할 것입니다. 그런 다음, 래스터 파일을 캘리포니아의 경계에 맞게 자릅니다. 해당 플롯을 플로팅하고 JPEG 폴더에 저장할 것입니다. 캘리포니아 쉐이프파일을 다운로드하려면 다음 URL을 방문하여 "California State Boundry"를 다운로드하고 Shapefile 폴더에 업로드해주세요:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

[California Geographic Boundaries](https://data.ca.gov/dataset/ca-geographic-boundaries)

![Image](/TIL/assets/img/2024-07-14-ALongPythonScripttoMakeaShortVideoUsingGeospatialBigData_3.png)

The following code also requires an image for the north arrow symbol. You can either download one from the internet or, like me, draw it in PowerPoint, save it, and upload it to your main folder.

![Image](/TIL/assets/img/2024-07-14-ALongPythonScripttoMakeaShortVideoUsingGeospatialBigData_4.png)


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

맵에 이 아이콘이 표시되는 것은 완전히 선택 사항입니다. 맵에 북쪽 화살표를 표시하고 싶지 않다면 해당 섹션을 주석 처리할 수 있습니다:

```js
# 디렉토리 경로 설정
directory = '/content/Geotiff_reproj_clipped/'


# 디렉토리 내 모든 파일 목록 가져오기
files = os.listdir(directory)

# NDVI TIF 파일만 포함하는 목록 필터링
ndvi_files = [f for f in files if f.endswith('.tif')]


# 색상 한계 설정
vmin = 0
vmax = 1
ndvi_norm = colors.Normalize(vmin, vmax)
ndvi_cmap = plt.cm.RdYlGn
ndvi_cmap.set_bad(color='white')

# 각각의 NDVI 파일을 루프하여 플롯하기
for ndvi_file in ndvi_files:
    print(ndvi_file)
    date_str = ndvi_file.split('_')[0]
    date_obj = datetime.strptime(date_str, "%Y%m%d")
    formatted_date_str = date_obj.strftime("%Y/%-m/%-d")

    # NDVI 래스터 열기
    with rasterio.open(f"/content/Geotiff_reproj_clipped/{ndvi_file}") as ndvi:
      # shapefile 읽기
      california_shapefile = gpd.read_file('/content/Shapefile/CA_State_TIGER2016.shp')

      ndvi_data = ndvi.read(1).astype(float)
      ndvi_data[ndvi_data<=-1]=np.nan
      ndvi_crs = ndvi.crs
      extent = rasterio.plot.plotting_extent(ndvi)

      # shapefile을 래스터의 투영과 일치하도록 재투영
      california_shapefile = california_shapefile.to_crs(ndvi_crs)


    # 플롯 생성
    fig, ax = plt.subplots(figsize=(10, 6))

    
    image= rasterio.plot.show(ndvi_data, ax=ax, extent=extent, alpha=1, cmap=ndvi_cmap,norm=ndvi_norm,)
    im = image.get_images()[0]  # 컬러바에 대한 트릭 (rasterio.plot.show와 호환되지 않음)
    fig.colorbar(im, ax=ax)
   

    ax.set_title(formatted_date_str, fontsize=16,fontweight='bold')
    california_shapefile.boundary.plot(ax=ax, color='k', linewidth=1)

    ax.set_xticklabels([])
    ax.set_yticklabels([])

    # 북쪽 화살표 추가
    north_arrow_image = plt.imread('North_sign.png')
    imagebox = OffsetImage(north_arrow_image, zoom=0.25)
    ab = AnnotationBbox(imagebox, (0.8, 0.99), xycoords='axes fraction', box_alignment=(0, 1), frameon=False)
    ax.add_artist(ab)

    # 스케일 바 추가
    scalebar = ScaleBar(1000, 'm', length_fraction=0.2, location='lower right', font_properties={'size':12})
    ax.add_artist(scalebar)

    # 맵 주변에 네모 상자 끄기
    ax.axis('off')

    # 플롯을 JPEG 파일로 저장
    plt.savefig(os.path.join('/content/JPEG', ndvi_file.split('_')[0] + '.jpg'), dpi=300, bbox_inches='tight')

    # 메모리 해제를 위해 플롯 닫기
    plt.close(fig)
```

이 단계를 완료하면 "JPEG" 폴더에 센싱 날짜를 기준으로 저장된 53개의 NDVI 지도가 있게 될 것입니다:

<img src="/TIL/assets/img/2024-07-14-ALongPythonScripttoMakeaShortVideoUsingGeospatialBigData_5.png" />


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

## 🎥 NDVI 지도를 비디오로 내보내기

3개월 동안 센티넬-3에 의해 촬영된 53개의 NDVI 지도(대략 매 2일마다 1장씩)를 사용하여, 2023년 캘리포니아 지역 전체의 NDVI 패턴과 변화를 보여주는 애니메이션을 만들 수 있습니다. 이 비디오를 생성하려면, 다음 스크립트를 실행하세요:

```js
pip install pillow
```

```js
from PIL import Image
import os
import glob

# 'path/to/folder'를 여러분의 jpg 이미지가 저장된 폴더 경로로 교체하세요
folder_path = '/content/JPEG'
output_gif = os.path.join('/content/Animation', 'NDVI_animation.gif')

# 폴더 내 모든 jpg 파일의 정렬된 목록을 가져옵니다
file_list = sorted(glob.glob(os.path.join(folder_path, '*.jpg')))

# 이미지의 원하는 크기를 설정합니다
width, height = 1000, 1000

# 이미지를 읽어서 리스트에 저장합니다
frames = []
for file in file_list:
    frame = Image.open(file)

    # 이미지 크기 조정
    frame = frame.resize((width, height), Image.ANTIALIAS)

    # 이미지에 흰색 배경 추가
    background = Image.new('RGB', frame.size, (255, 255, 255))
    background.paste(frame)
    frame = background.convert('RGB')

    # 이미지를 P 모드로 변환하고 전역 색상 테이블을 사용합니다
    frame = frame.convert('P', palette=Image.ADAPTIVE, colors=256)
    frames.append(frame)

# 애니메이션 GIF로 프레임을 저장합니다
if frames:
    frames[0].save(
        output_gif,
        save_all=True,
        append_images=frames[1:],
        duration=500,  # 프레임 간 지속 시간(밀리초)을 설정합니다
        loop=0,  # 루프 횟수를 설정합니다 (0은 무한을 의미합니다)
        optimize=True,
    )
else:
    print("jpg 파일을 찾을 수 없습니다.")
```


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

작업이 완료되면 화면에서 만들어진 지퍼 영상을 다운로드하여 시청할 수 있어요!

![이미지](https://miro.medium.com/v2/resize:fit:1000/1*B8CQ1b8hgqEPrGj33oxrzQ.gif)

구름이 가려져 있기 때문에 지도 내 몇 군데는 흰색 영역으로 표시됩니다. 또한 특정 날짜에 캘리포니아의 모든 영역을 커버하지 않아 일부 이미지가 잘려 나와 있을 수 있습니다. 프레임이 너무 빨리 변경되는 것 같다면, 각 프레임 간의 지속 시간을 조절할 수 있어요. 긴 스크립트를 작성한 후에는 이 아름다운 짧은 애니메이션을 즐기시기 바랍니다.

## 📝 결론


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

요약하자면, 상상력을 데이터 시각화와 코딩을 통해 현실화하는 것은 때로는 꽤 많은 시간을 소요할 수 있습니다. 이 이야기에서는 50초짜리 비디오를 만들기 위해 300줄 이상의 코드를 작성했습니다. 상당한 시간 투자에도 불구하고, 그 노력은 가치가 있다고 믿습니다. 지도의 순차적인 표현은 숨겨진 패턴과 동적 변화를 드러내며 더 많은 탐구를 유도할 수 있습니다. 예를 들어, 이 이야기에서는 6월 이전의 NDVI 변동성 관측과 6월 중순부터 7월까지 안정화된 모습이 우리에게 추가적인 질문을 던지며 더 많은 조사와 답을 발견하도록 동기부여합니다.

## 📚 참고 자료

https://documentation.dataspace.copernicus.eu/APIs/OData.html

- 📱 더 많은 상호작용이 있는 콘텐츠를 위해 다른 플랫폼에서 저와 연결하세요! LinkedIn, ResearchGate, Github, 그리고 Twitter.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

해당 링크를 통해 관련 게시물을 확인할 수 있습니다:

지리 공간 빅 데이터를 활용한 짧은 영상 제작을 위한 긴 Python 스크립트

![TIL image 0](/TIL/assets/img/2024-07-14-BetterGPT-4PromptingForInteractivePythonPlotlyGISMaps_0.png)

인터넷에는 역사적인 난파선 데이터를 포함한 데이터 세트에 대한 멋진 자료가 많이 있습니다.

사용 가능한 데이터 세트에 대한 나의 지식 확장의 일환으로 매주 업데이트를 받는 소스 중 하나로 Data is Plural이 있습니다:

![TIL image 1](/TIL/assets/img/2024-07-14-BetterGPT-4PromptingForInteractivePythonPlotlyGISMaps_1.png)



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이 사이트는 흥미로운 데이터 세트에 관한 주간 뉴스레터를 제공합니다.

가장 최근 버전 (2024년 7월 10일)에는 하버드 대학교에서 가져온 고대 바다 난파선에 관한 데이터 세트가 있습니다. 이 데이터 세트에는 기원전 1500년부터 기원후 1500년까지의 기록이 포함되어 있으며 지중해와 북유럽을 중심으로 하고 있습니다. 정말 멋져요!

저는 이 데이터 세트를 GPT-4에 업로드하여 각 포인트 데이터를 지도에 배치하는 Python 코드를 생성할 수 있는지 궁금했습니다.

답변은? 네, 가능합니다. 다만 주의해서 프롬프트를 할 필요가 있습니다. 여기서 저가 거친 단계를 안내해 드리겠습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 제네릭 GPT-4 프롬프트로 시작하기

우선, GPT-4가 데이터 세트를 의미있는 방식으로 해석할 수 있는지 확인해보고 싶었습니다. GIS 지도 코드를 생성할 수 있는지 보기 위한 일반적인 프롬프트입니다.

GPT-4에 대한 프롬프트: 첨부된 데이터 세트를 사용하여, 각 난파선을 지도상의 점으로 표시하는 전역 지도의 파이썬 코드를 제공해주세요.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

![image](/TIL/assets/img/2024-07-14-BetterGPT-4PromptingForInteractivePythonPlotlyGISMaps_2.png)

이거 그래프네요! 신기하게도 각 포인트들이 정확해요. 아래에 지도 레이어를 넣으면 정확하게 매칭돼요. 그런데, 이건 우리가 원하는 게 아니에요.

첫 번째 제네릭 프롬프가 반 성공했어요. 여기서 더 구체적으로 알아보아야 해요.

GPT-4에게 프롬프트를 보내면: "이건 지도가 아니에요. 각 포인트를 실제 지도에 표시하는 파이썬 코드를 생성해 주세요."


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이번에는 GPT-4가 matplotlib 및 shapely 라이브러리를 사용하여 Python 코드를 생성했습니다. 결과는 다음과 같습니다:

![이미지](/TIL/assets/img/2024-07-14-BetterGPT-4PromptingForInteractivePythonPlotlyGISMaps_3.png)

이제 지도를 가지고 있지만, 이 지도는 완전히 정적입니다. 확대 및 축소가 불가능하며 상호 작용할 수 없습니다.

또한 각 개별 점을 해석하기가 매우 어렵습니다. 점들이 주로 유럽에 있다는 것을 알 수 있습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 대화식 매핑을 위한 안내

더 세부적으로 알아보고 GPT-4에게 상호작용 옵션을 요청해 봅시다.

GPT-4에게 제시할 프롬프트: 저는 상호작용이 필요해요. 지도를 확대해서 볼 수 있고 각 데이터 포인트 위에 마우스를 올려 선박 이름과 화물을 표시할 수 있기를 원합니다.

GPT-4는 툴팁을 사용하여 folium 지도를 만드는 파이썬 코드를 생성합니다:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

![이미지](/TIL/assets/img/2024-07-14-BetterGPT-4PromptingForInteractivePythonPlotlyGISMaps_4.png)

와, 여기에는 더 많은 세부 정보가 있네요. 개별 난파선을 식별하는 데이터 포인트를 더 명확하게 볼 수 있습니다. 아쉽게도, 이 지도는 HTML 파일로 생성되어 있어 이상적이지는 않습니다. 보기에는 매우 멋지지만 약간 어색한 방법입니다. GPT-4가 필요한 것은 더 엄격한 안내입니다.

GPT-4에게 알려줄 것: 이 방법은 좋아보이지 않아요. 이를 수행하는 데 왜 Plotly를 사용하지 않을까요?

GPT-4의 응답: 정말 좋은 아이디어네요! 더 나은 상호 작용을 위해 Plotly를 사용하여 코드를 다시 작성합시다:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
import pandas as pd
import plotly.express as px

# 데이터셋 불러오기
file_path = 'Geodatabase of Shipwrecks Hardard.csv'
shipwreck_data = pd.read_csv(file_path)
# 컬럼 헤더 수정
shipwreck_data.columns = shipwreck_data.iloc[0]
shipwreck_data = shipwreck_data.drop(0)
# 유효한 좌표가 없는 행 제외
shipwreck_data = shipwreck_data.dropna(subset=['Latitude', 'Longitude'])
# 위도와 경도를 숫자로 변환
shipwreck_data['Latitude'] = pd.to_numeric(shipwreck_data['Latitude'], errors='coerce')
shipwreck_data['Longitude'] = pd.to_numeric(shipwreck_data['Longitude'], errors='coerce')
# 변환 후 유효하지 않은 좌표가 있는 행 제외
shipwreck_data = shipwreck_data.dropna(subset=['Latitude', 'Longitude'])
# Plotly와 Mapbox를 사용하여 인터랙티브 맵 생성
fig = px.scatter_mapbox(shipwreck_data,
                        lat='Latitude',
                        lon='Longitude',
                        hover_name='NAME',
                        hover_data={'Longitude': False, 'Latitude': False, 'Cargo_1': True},
                        title='Global Map of Shipwrecks',
                        mapbox_style='carto-positron')  # Using mapbox
# 더 나은 모양을 위해 레이아웃 업데이트
fig.update_traces(marker=dict(color='red', size=10))  # 색상 및 크기 지정
fig.update_layout(
    mapbox=dict(
        accesstoken='your_mapbox_access_token', 
        center={'lat': 44, 'lon': 18},  # 유럽 지도 중심으로 설정
        zoom=4
    ),
    margin=dict(l=0, r=0, t=0, b=0),
    title_font_size=24,
    font=dict(size=14)
)
# 인터랙티브 맵 표시
fig.show()
```

그리고 이 코드는 정말 잘 작동합니다.

결과:

<img src="/TIL/assets/img/2024-07-14-BetterGPT-4PromptingForInteractivePythonPlotlyGISMaps_5.png" />



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

멋지네요, 이제 조금씩 진행 중이네요. 그리고 각 지점 데이터 위에 마우스를 올려서 난파선 이름과 수송품 정보(알려진 경우)를 찾을 수 있어요:

![image](/TIL/assets/img/2024-07-14-BetterGPT-4PromptingForInteractivePythonPlotlyGISMaps_6.png)

GPT-4는 실제로 지도에 GIS 지점 데이터를 표시하는 Python 코드를 효과적으로 생성하는 데 활용될 수 있어요.

이 예제에서 원하는 결과를 생성하도록 GPT-4에 제공해야 하는 정보는 다음과 같아요:


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

- 데이터 세트를로드하고 열 헤더를 수정하십시오.
- 유효한 좌표가없는 행을 필터링하십시오.
- 위도와 경도를 숫자 값으로 변환하십시오.
- Plotly의 scatter_mapbox 함수를 사용하여 대화 형 지도를 만듭니다.
- 각 포인트의 색상을 빨간색으로 설정하고 크기를 5픽셀로 설정하십시오.
- 지중해로 확대 된지도를 표시하십시오.
- Mapbox 타일에 'carto-positron' 스타일을 사용하십시오.
- 위도 34 및 경도 18을 중심으로하고 줌 레벨이 4 인 맵을 센터에 배치하십시오.
- 코드의 적절한 위치에 Mapbox 액세스 토큰을 추가하십시오.

모두입니다.

# 요약

GPT-4는 Python 코드를 간단한 CSV 파일에서 GIS 포인트 데이터를지도에 표시하는데 쉽게 생성할 수 있습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이거 조심해서 잘 만들어야 해. 이 LLM을 최적화하려면 좋은 결과를 얻을 때까지 여러 번 시도해야 할 수도 있어.

GPT-4를 광범위하게 활용하면서, 최적의 결과를 찾기 전에 여러 가지 방법을 고려할 수 있음을 알았어. GPT-4에게 가능한 접근법을 묻는 것이 좋을 뿐 아니라 (이런 예시처럼) 더 나은 방법을 알고 있다면, GPT-4에게 사용하도록 명확하게 요청해.

그리고 LLM 프롬프팅 작업을 할 때 중요한 점은, GPT-4는 결과물에 변화를 주는 방식으로 설계되었기 때문에, 당신이 프롬프트로 받는 코드가 여기서 보여주는 것과 정확히 일치하지 않을 수 있다는 거야.

코멘트를 남겨서 프롬프팅이 어떻게 진행되었는지 알려줘!


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

만약 이 유형의 이야기가 당신의 취향이고 저를 작가로 지원하고 싶다면, 제 Substack에 가입해주세요.

Substack에서는 매주 두 번 뉴스레터와 다른 플랫폼에서는 찾을 수 없는 기사들을 발행하고 있어요.

상호작용 Python Plotly GIS 지도 제작을 위한 더 나은 GPT-4 프롬프트 작성 방법

마크다운 형식으로 테이블 태그를 변경해주세요.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

그럭저럭요. 처음 프로그래밍 시험을 볼 때, 제가 코딩하는 방법을 모른다는 것을 깨달았어요. 컴퓨터를 바라보며 처음 몇 줄을 어떻게 작성할지 고민했죠.

이게 요즘의 학습 과정을 현실적으로 알렸다는 거야.

그래서 제 경험처럼 하지 마세요. 대신 이렇게 해보세요.

# 코딩을 효과적으로 배우는 방법?


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

효과적으로 학습한다는 것이 무엇을 의미하는지부터 시작해 봅시다.

학습은 단기 기억에서 장기 기억으로 정보를 연결하는 것입니다. 예를 들어 다시 읽거나 다시 시청하는 것은 공부하는 개념에 대한 어느 정도의 숙련도를 제공하지만, 해당 정보를 단기 기억(작동 중인 기억)에 "보관"합니다.

이것이 당신이 아직 배우지 않은 것을 배운 것으로 생각하는 이유입니다.

이것은 무언가를 배우는 비효과적인 방법입니다. 반면, 예를 들어 코딩을 효과적으로 배우기 위해서는 공부하는 정보를 회상해야 합니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

다시 말해, 스스로를 시험하고 배운 것을 적용해야 합니다.

- 악기를 배우고 싶다면 악기를 연습하십시오.
- 축구를 배우고 싶다면 축구를 연습하세요.
- 차를 운전하는 법을 배우고 싶다면 차를 운전해 보세요.
- 프로그래밍을 배우고 싶다면 코딩하세요.

# 운전을 배우는 것은 코딩을 배우는 것과 같다

몇 주 전, 처음으로 차를 운전하는 법을 익혔습니다.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

첫 수업 전에는 몇 개의 비디오를 보고 자동차가 어떻게 작동하는지 및 운전하는 방법에 대한 기본을 읽었어요. 물론, 실제 차와 연습하지 않으면 아무 소용이 없었죠.

악기를 배울 때도 동일한 원리가 적용돼요.

기타를 치는 법, 음계, 음표 등 기술적인 내용을 배울 수 있어요. 기본을 습득한 후 쉬운 즐겨듣는 노래 몇 곡을 배워봐요. 그 순간, 당신은 기억에 접목하는 중이에요.

이것이 효과적인 학습이에요.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이 예시들은 까부러운 것 같지만, 이렇게 학습하는 많은 학생을 만난 적이 있어요. 그들은 앉아서 강의를 보며, 다시 보며, 어떻게든지 프로그래밍을 배워나가죠.

여기서 배울 점은 코딩 없이는 프로그래밍을 배울 수 없다는 것이에요.

## 초보자를 위한 몇 가지 프로젝트

- 퀴즈 코드 작성하기.
- 뱀 게임 코드 작성하기.
- 데스크탑 정리 프로그램.
- Streamlit을 이용한 데이터 분석 앱.
- 호텔 데이터 웹 스크래핑 (고급).


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

주말에 보호하 실력을 동기화할 수 있는 5가지 파이썬 프로젝트를 확인해보세요 :)

마지막으로, 정보 회수 실력을 연습하는 몇 가지 팁을 공유하겠습니다. 당신이 공부하는 어떤 주제에든지 이 팁을 적용해보세요 :)

## 팁 1: 자유 회상

- 책을 닫거나 창을 변경하세요.
- 지금까지 배운 내용을 회상하세요(책을 보지 않고).
- 옳은 답변에 대한 피드백을 받으세요.
- 자신이 알고 있는 것과 모르는 것을 확인하세요.
- 반복하세요.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

## 팁 2: 플래시카드

- 당신의 자료로부터 플래시카드를 만드세요.
- 정답을 보지 않고 질문에 솔직하게 대답하세요.
- 스스로를 테스트하고 피드백을 받으세요.
- 알고 있는 것과 모르는 것을 확인하세요.
- 반복하세요.

프로젝트가 학습에 중요하긴 하지만, 알고리즘이나 논리적 사고와 같은 기술적인 것을 소홀히하지 마세요.

그것이 또 다른 내 실수였어요.


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

학습 여정에서 행운을 빕니다!

# 도와드릴 수 있는 방법:

- 내 새로운 무료 뉴스레터 'The Super Learning Lab'을 구독하세요.
- 곧 나올 무료 학습 전자책과 이메일 코스를 기대해 주세요!

![image](/TIL/assets/img/2024-07-14-StopDoingTutorialsLearnProgrammingLikeThis_1.png)


<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

## 내 최고의 학습 기사:

- Ultralearning으로 모든 것 배우기
- 초간단 정리: 9가지 울트라러닝 원칙
- 울트라러닝으로 무료로 2개월만에 독일어 배우는 법
- 학습을 당신의 슈퍼파워로 만드세요
- 이렇게 하지 않고 책을 읽는 것을 그만하세요

안녕,

Axel

Posts