오늘은 Greg Kamradt의 "The LangChain Cookbook - 7 Core Concepts"의 나머지 챕터들을 끝까지 리뷰하겠습니다!

- Indexes - 문서를 LLM이 작업하기 쉽도록 구조화하는 것

- 문서 로더

원본 코드의 이 부분은 변경 없이 작동했습니다. 그러나 다양한 문서 로더에 대한 참조 링크가 깨져 있어서 해당 로더를 검색했습니다. 현재 지원되는 문서 로더 목록은 아래와 같습니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# URL 및 웹페이지

unstructured 모듈을 설치해야 합니다.

```js
!pip install unstructured
```

만약 이 모듈이 설치되어 있다면, 원래 코드가 작동될 것입니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

아래와 같은 표를 Markdown 형식으로 변경해주세요.

| Header One | Header Two |
| ---------- | ---------- |
| Item One   | Item Two   |



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

faiss를 설치해야 합니다. CPU만 사용하는 경우 다음과 같이 설치할 수 있습니다:

```js
!pip install faiss-cpu
```

(Nvidia GPU를 사용하는 머신의 경우, 다음 명령을 사용할 수 있습니다: !pip install faiss-gpu)

다음으로, OpenAIEmbeddings의 import 문을 블로그 포스트 Part 2에서 한 것처럼 변경하겠습니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
#langchain.embeddings에서는 OpenAIEmbeddings를 사용합니다.
from langchain_openai import OpenAIEmbeddings
```

저는 `get_relevant_documents` 대신 `invoke`를 사용했습니다.

```js
# docs = retriever.get_relevant_documents("저자가 건설하고 싶어했던 것의 종류는 무엇인가요?")
docs = retriever.invoke("저자가 건설하고 싶어했던 것의 종류는 무엇인가요?")
```

이 두 가지 변경으로 원래 코드가 작동하게 되었고, 벡터 저장소를 사용하여 LLM에서 응답을 받을 수 있었습니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# VectorStores

이것도 아래와 같이 OpenAIEmbeddings 클래스의 import 소스를 변경함으로써 쉽게 작동합니다.

```js
#from langchain.embeddings import OpenAIEmbeddings
from langchain_openai import OpenAIEmbeddings
```

# Memory



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

원래 코드는 그대로 작동합니다. Langchain의 다양한 메모리 유형 목록에 대한 링크가 깨져 있어 찾아보았습니다. 아래에서 확인할 수 있습니다.

# 체인

SimpleSequentialChain 및 LLMChain이 사용되지 않게 되어 전체적으로 많은 변경을 해야 했습니다. 아래 정보에 따르면 LLMChain 대신 RunnableSequence를 사용하라고 나와 있어서 이 안내에 따르기로 결정했습니다.

두 개 이상의 RunnableSequence를 결합하는 방법을 찾지 못해 당황했습니다. LangChain 문서를 살펴본 결과 아래와 같이 "다중 체인"이라는 문서를 발견했습니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

여기에 작성된 샘플을 참고하여, StrOutputParser를 통해 두 ChatPromptTemplate을 결합해보려고 했고, Cookbook처럼 작동하는 체인을 생성할 수 있었습니다.

```js
from operator import itemgetter

from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_openai import ChatOpenAI

prompt1 = ChatPromptTemplate.from_template(
"""사용자가 제안한 지역의 고전 요리를 생각해 내는 것이 당신의 일입니다.
% 사용자 위치
{user_location}

당신의 응답:
"""
)

prompt2 = ChatPromptTemplate.from_template(
"""한 끼 식사가 주어지면, 그 요리를 집에서 어떻게 만들 수 있는 간단한 레시피를 제시해 주세요.
% 요리
{user_meal}

당신의 응답:
"""
)

model = ChatOpenAI(temperature=0, openai_api_key=openai_api_key)

chain1 = prompt1 | model | StrOutputParser()
chain2 = {"user_meal": chain1} | prompt2 | model | StrOutputParser()

chain2.invoke({"user_location": "Paris"})
```

ChatPromptTemplate를 모델과 StrOutputParser에 연결하여 객체를 생성했습니다. Prompt1을 모델에 입력하고 출력 AIMessage를 StrOutputParser를 통해 문자열로 변환했습니다. 이 체인1의 출력에서 "user_meal": "chain1 출력"과 같은 PromptTemplate의 입력을 만들고, prompt2에 연결하여 모델 → StrOutputParser로 연결합니다. 완성된 체인에 "Paris"를 user_location으로 입력했을 때 결과는 다음과 같습니다:

‘집에서 Coq au Vin을 만들려면, 큰 냄비에 베이컨을 볶아주세요. 베이컨을 꺼내고 베이컨 기름에 닭 조각을 볶아주세요. 다진 양파와 버섯을 넣고 레드 와인과 치킨 육수를 부어주세요. 약 1시간 정도 닭이 익고 소스가 농도가 될 때까지 강한 불에서 조리해주세요. 베이글이나 감자 퓨레 위에 또는 후식으로 인기 많은 Crusty Bread와 함께 뜨거운 상태로 제공하세요. 집에서 만든 Coq au Vin을 즐기세요!’



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

chain1의 출력물은 "Coq au Vin"입니다. 그 입력을 사용하여 chain2는 "Coq au Vin"을 어떻게 만드는지 설명합니다. Coq au Vin은 나에게는 전혀 익숙하지 않았던 요리였지만, 빨갛게 푹 구운 수탉 요리인 것 같습니다... 그 요리 이름이 전혀 익숙하지 않아서 사용자 위치로 오사카를 입력해보았더니:

```js
chain2.invoke({ user_location: "Osaka" });
```

아래와 같이 오떼노미야키를 만드는 방법을 안내해주었습니다. 이를 통해 드디어 제대로 작동하고 있다는 느낌이 들었습니다.

'집에서 오떼노미야키를 만들려면, 그릇에 밀가루 1컵, 갈아 만든 야무 1컵, 달걀 2개, 다진 양배추 1컵을 섞어주세요. 돼지고기, 새우 또는 채소와 같은 자신의 선택한 토핑을 추가하세요. 팬이나 비스듬한 팬을 예열하고 형태를 부여하여 배터를 담구면을 붓세요. 각 면이 황금색이 될 때까지 며칠씩 조리하세요. 오떼노미야키를 달콤하고 매콤한 소스, 마요네즈, 윗부분에 가는 안주 살짝 뿌려서 내세요. 만들어진 오떼노미야키를 즐기세요!'



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 요약 체인

Cookbook의 코드 부분은 변경 없이 작동했기 때문에 넘어갈게요.

# 에이전트

먼저, google-search-results 모듈을 설치해야 했어요.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
!pip install google-search-results
```

아래 링크에서 SERP_API_KEY를 얻었습니다.

키를 SERP_API_KEY 환경 변수에 저장했습니다.

```js
from dotenv import load_dotenv
import os

load_dotenv()

serp_api_key=os.getenv('SERP_API_KEY', 'your_api_key')
```



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

가장 큰 변화는 initialize_agent 함수가 사용되지 않게 되어서 Agent를 호출하는 방법을 근본적으로 변경해야 했다는 것이었습니다.

```js
from langchain.agents import load_tools
# from langchain.agents import initialize_agent
from langchain.llms import OpenAI
import json
from langchain import hub
from langchain.agents import AgentExecutor, create_react_agent

llm = OpenAI(temperature=0, openai_api_key=openai_api_key)
toolkit = load_tools(["serpapi"], llm=llm, serpapi_api_key=serp_api_key)
# agent = initialize_agent(toolkit, llm, agent="zero-shot-react-description", verbose=True, return_intermediate_steps=True)
prompt = hub.pull("hwchase17/react")
agent = create_react_agent(model, toolkit, prompt)
agent_executor = AgentExecutor(agent=agent, tools=toolkit, verbose=True)
agent_executor.invoke({"input":"what was the first album of the"
                    " band that Natalie Bergman is a part of?"})
```

원래 코드는 "zero-shot-react-description"이라는 메모리가 없는 ReAct 프레임워크 에이전트의 인스턴스를 생성했기 때문에, 아래 정보를 참고하여 코드를 다시 작성했습니다.

ReAct라는 용어는 익숙하지 않았지만 아래 설명대로 보면, 추론과 행동을 연결하고 이를 통해 얻은 피드백을 사용하여 다음 추론 단계로 넘어가는 에이전트 구성 방식인 것 같습니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이 샘플에 사용된 프롬프트는 LangSmith에서 공개된 프롬프트이며, 해당 프롬프트의 내용을 아래에서 확인할 수 있었습니다.

이 에이전트를 상세 모드로 실행할 때 아래와 같은 추론 프로세스가 실행되고 있다는 것을 확인할 수 있었습니다.

![이미지](/TIL/assets/img/2024-07-09-LLMStudyDiaryComprehensiveReviewofLangChainPart4_0.png)

최종 답변은 다음과 같았습니다:



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
{'input': '나탈리 베르그먼이 소속된 밴드의 첫 앨범은 무엇인가요?',
'output': 'Wild Belle'}
```

원래 질문은 "나탈리 베르그먼이 속한 밴드의 첫 앨범은 무엇인가요?"였습니다. 다시 말해서 "나탈리 베르그먼이 속한 밴드의 첫 앨범의 이름을 알려주세요"였습니다. 그러나 최종 답변은 그녀가 속한 밴드의 이름이 나왔습니다. 로그를 보니, 에이전트가 문제를 이해하지 못한 것으로 보입니다.

카름 레이 안사생님은 유튜브 비디오에서 에이전트 기술이 아직 발전 중이라고 언급했습니다. 그러나 Langchain을 사용할 때 이러한 추론이 어떻게 진행되는지 로그를 확인하는 것이 유용할 수 있을 것 같으므로, 앞으로 다양한 에이전트를 살펴보는 기회를 더 만들고 싶습니다.

이를 통해 카름 레이 안사생님의 "The LangChain Cookbook — 7 Core Concepts"의 모든 레시피를 마지막 레시피를 포함하여 제가 작업하며 성공적으로 수행했습니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

때로는 너무 많은 것이 더 이상 사용되지 않아서 포기해야 한다고 생각했던 적이 있었지만, 모든 샘플이 성공적으로 작동되었어요.

이 과정에서 살펴보지 못한 관련된 여러 가지 사항들이 있어서, 그것들을 모두 조사하고 다른 샘플들을 탐구하여 가능하다면 다른 노트에서 소개하고 싶어요.

독서해 주셔서 감사합니다!

네 목차 블로그 시리즈 끝까지 읽어 주셔서 감사합니다. 이 게시물들이 유익하고 통찰력있었기를 바랍니다. 여러분의 지속적인 관심은 저에게 AI 및 언어 기술에 대한 지식을 공유하는 동기가 되었어요.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

현재 시리즈를 마침하지만, AI 및 언어 기술에 대한 여정은 아직 끝나지 않았습니다. 이 블로그에 대한 질문이나 OpenAI API, LLM 또는 LangChain과 관련된 개발 프로젝트에 관심이 있다면 저에게 연락해 주세요.

Goldrush Computing에서는 일본어 원어민을 보유한 일본 기업으로서의 전문성을 자랑합니다. 우리는 일본어와 문화에 맞춘 프롬프트 및 RAG 시스템을 개발하는 것에 특화되어 있습니다. 일본 시장용 AI 솔루션을 최적화하거나 일본어 애플리케이션을 개발하려는 경우, 저희는 도와드릴 준비가 되어 있습니다. 일본에 특화된 AI 최적화가 필요한 협업이나 프로젝트가 있다면 망설이지 말고 연락해 주세요.

아래 이메일 주소로 직접 연락해 주세요!

```js
mizutori@goldrushcomputing.com
```

LangChain 심층 분석  Part 4 최신 LLM 스터디 다이어리

서버 전송 이벤트(Server-Sent Events, SSE)는 서버가 싱글 HTTP 연결을 통해 웹 클라이언트에 실시간 업데이트를 푸시할 수 있는 서버 푸시 기술입니다. 대시보드, 알림 또는 실시간 분석과 같이 실시간 업데이트가 필요한 애플리케이션에 특히 유용합니다.

![SSE](/TIL/assets/img/2024-07-09-Server-SentEventSSEinFastAPIApplications_0.png)

## SSE 소개

- SSE는 서버가 초기 클라이언트 연결을 설정하자마자 브라우저 클라이언트로 데이터 전송을 시작할 수 있는 표준입니다.
- 웹소켓과 달리 SSE는 양방향 통신이 아닌 단방향이며, 서버에서 클라이언트로 데이터가 흐릅니다.
- 이로써 SSE는 서버가 클라이언트로 업데이트를 푸시해야 하는 경우에 더 간단한 대안이 됩니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

## 왜 SSE를 사용해야 하나요?

SSE는 다음과 같은 시나리오에서 유용합니다:

- 실시간 업데이트: 실시간 업데이트를 클라이언트에 푸시해야 하는 애플리케이션들, 예를 들어 실시간 스포츠 점수, 주식 시장 업데이트, 또는 채팅 애플리케이션 등.
- 서버 모니터링 및 대시보드: 실시간 모니터링 대시보드는 SSE를 활용하여 클라이언트가 서버를 계속 폴링할 필요 없이 메트릭 및 상태를 업데이트할 수 있습니다.
- 알림: 서버에서 보내는 알림을 SSE로 효율적으로 관리할 수 있어서, 클라이언트 측에서 지속적으로 폴링할 필요가 줄어듭니다.
- 스트리밍 데이터: 대용량 데이터 세트나 로그를 실시간으로 스트리밍하는 것을 SSE로 간단하게 구현할 수 있습니다.

# FastAPI에서 SSE 구현하기



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

FastAPI은 속도와 사용 편의성으로 유명하며, sse-starlette 라이브러리와 통합하여 SSE를 구현하는 데 잘 작동합니다. 다음은 설정 방법입니다.

# 예제 구현

## 단계 1: 필요한 라이브러리 설치

먼저, FastAPI와 sse-starlette를 설치하세요:



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
pip install fastapi sse-starlette
```

## Step 2: FastAPI 애플리케이션 생성

```js
from fastapi import FastAPI
from sse_starlette.sse import EventSourceResponse
import asyncio

app = FastAPI()
async def event_generator():
    while True:
        await asyncio.sleep(1)
        yield {"data": "This is a server-sent event!"}
@app.get("/events")
async def sse_endpoint():
    return EventSourceResponse(event_generator())
```

이 예시에서 event_generator는 매 초마다 새 이벤트를 생성하는 비동기 생성자입니다. sse_endpoint 엔드포인트는 EventSourceResponse를 사용하여 SSE 연결을 처리합니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

## FastAPI에서 SSE 사용 사례

- 대시보드용 실시간 업데이트:

  - SSE는 모니터링 시스템이나 실시간 분석 대시보드와 같은 실시간 메트릭을 표시하는 애플리케이션에 복잡한 WebSocket 관리 없이 업데이트를 푸시하는 간단한 방법을 제공합니다.

- 실시간 알림:



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

- 사용자에게 이벤트 알림이 필요한 애플리케이션(메신저 앱이나 알림 시스템과 같은)은 SSE를 사용하여 이러한 업데이트를 신속하게 전달할 수 있습니다.

- 스트리밍 로그:

- SSE는 실시간 로그나 기타 스트리밍 데이터를 표시해야 하는 애플리케이션에 잘 맞는 가벼운 솔루션입니다.

## SSE의 장점:



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

- 간편함: SSE는 웹소켓에 비해 구현과 관리가 간단합니다.
- 자동 재연결: 브라우저가 자동으로 재연결을 처리하여 SSE가 실시간 업데이트에 강력합니다.
- HTTP 호환성: SSE는 표준 HTTP/2 연결을 통해 작동하므로 기존 인프라와 작업하기 쉽습니다.

## SSE 대안:

- 웹소켓:

- 양방향 통신: 양방향 통신이 필요한 경우 웹소켓을 선호합니다.
- 낮은 지연 시간: 웹소켓은 SSE보다 낮은 지연 시간을 제공하여 온라인 게임과 같이 매우 상호작용적인 애플리케이션에 적합합니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

- Long Polling:

- 호환성: Long polling은 오래된 브라우저와 호환되며 WebSockets이나 SSE를 지원하지 않는 경우에 사용할 수 있습니다.
- 오버헤드: 반복된 요청으로 인해 SSE나 WebSockets에 비해 더 많은 오버헤드를 도입합니다.

# SSE의 현실 세계에서의 사용 사례

서버-전송 이벤트 (SSE)는 실시간 업데이트를 필요로하는 현실 세계 애플리케이션에서 널리 사용되고 있습니다. 여기에 몇 가지 주목할 만한 예시가 있습니다:



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

- 라이브 스포츠 스코어
- 주식 시장 및 금융 데이터
- 소셜 미디어 플랫폼 등등..

우리는 ESPN이나 BBC Sports와 같이 제공되는 라이브 스포츠 스코어 업데이트 애플리케이션의 예시를 더 자세히 살펴보겠습니다.

진행 중인 축구 경기에 대한 실시간 업데이트를 제공하는 라이브 스포츠 스코어 애플리케이션을 상상해보세요. 이 애플리케이션은 골 득점 및 경기 통계와 같은 업데이트를 제공해야 합니다. 이곳이 [GitHub 링크](GitHub Link).

## SSE 구현



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

- 서버 측 구현:

아래 파일은 경기 개요를 포함하고 있습니다.

```js
// scores.py

[
  {
    time: "00:01",
    scores: "1:0",
    event: "Goal! Team A scores!",
  },
  {
    time: "00:05",
    scores: "1:1",
    event: "Goal! Team B scores!",
  },
  {
    time: "00:10",
    scores: "2:1",
    event: "Goal! Team A scores again!",
  },
];
```

- 서버는 경기 데이터의 실시간 피드를 유지하며 SSE를 사용하여 연결된 클라이언트에게 전송합니다.
- 어떤 이벤트(골, 교체 등)가 발생할 때마다, 서버는 이 업데이트를 모든 연결된 클라이언트에게 푸시합니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# main.py

from fastapi import FastAPI
from sse_starlette.sse import EventSourceResponse
import asyncio
import json

app = FastAPI()

async def event_generator():
with open("scores.json", "r") as file:
scores = json.load(file)
for score in scores:
await asyncio.sleep(5)  
 yield f"Match Summary: {json.dumps(score)}\n\n"

@app.get("/live-scores")
async def live_scores_endpoint():
return EventSourceResponse(event_generator())

# Adding CORS middleware

from fastapi.middleware.cors import CORSMiddleware

app.add_middleware(
CORSMiddleware,
allow_origins=["*"],
allow_credentials=True,
allow_methods=["*"],
allow_headers=["*"],
)

Client-Side Implementation:

- 웹 응용 프로그램인 클라이언트는 서버와 SSE 연결을 설정하고 업데이트를 수신합니다.

```html


<!DOCTYPE html>
<html>
  <head>
    <title>Live Sports Scores</title>
  </head>
  <body>
    <h1>Live Football Scores</h1>
    <div id="score-updates"></div>

    <script>
      const eventSource = new EventSource("http://127.0.0.1:8000/live-scores");

      eventSource.onmessage = function (event) {
        const newElement = document.createElement("div");
        newElement.innerHTML = event.data;
        document.getElementById("score-updates").appendChild(newElement);
      };

      eventSource.onerror = function (event) {
        console.error("EventSource failed:", event);
        eventSource.close();
      };
    </script>
  </body>
</html>
```



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

## 참고

- https://fastapi.tiangolo.com/
- https://pypi.org/project/sse-starlette/

# 결론

sse-starlette를 사용하면 FastAPI 애플리케이션에 SSE를 통합하는 것이 간편하고 효율적입니다. 실시간 대시보드, 알림 시스템 또는 데이터 스트리밍 애플리케이션을 개발 중이든, SSE는 견고하고 간편한 해결책을 제공합니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

읽어 주셔서 감사합니다! 만일 어떠한 오류를 발견하시거나 개선 제안이 있으시다면 아래 댓글에 공유해 주세요.

이 글이 마음에 들었다면 👏 버튼을 눌러 다른 사람들이 발견할 수 있도록 도와주세요. GitHub에서 제 프로필을 팔로우하고 LinkedIn에서 저와 연결해도 괜찮아요.

FastAPI 애플리케이션에서 Server-Sent EventSSE 사용 방법

![Python One Billion Row Challenge](/TIL/assets/img/2024-07-09-PythonOneBillionRowChallengeFrom10Minutesto4Seconds_0.png)

요즘에는 프로그래밍 언어가 10억 행의 데이터를 통합하는 속도에 대한 문제가 주목을 받고 있습니다. 성능이 가장 우수하지 않은 Python은 당연히 특히 현재 최상위 성능을 발휘하는 Java 구현이 단 몇 초(1.535초)만에 처리 가능하다는 점에서 거의 기회가 없습니다!

도전의 근본적인 규칙은 외부 라이브러리를 사용하지 않는 것입니다. 오늘의 목표는 규칙을 준수한 후에 외부 라이브러리와 더 적합한 파일 형식을 사용했을 때 결과가 어떻게 나오는지 살펴보는 것입니다.

모든 스크립트를 5회 실행하여 결과를 평균화했습니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

하드웨어로는 12개 CPU 코어와 36 GB RAM이 장착된 16인치 M1 Pro MacBook Pro를 사용하고 있습니다. 코드를 실행할 경우 결과가 다를 수 있지만, 구현 사이에는 비슷한 백분율 차이를 볼 수 있을 것입니다.

## 코드

- GitHub 저장소 — Python으로 10억 행 도전

# 10억 행 도전이란 무엇인가요?



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

1 Billion Row Challenge (1BRC)의 아이디어는 간단합니다 - .txt 파일을 통해 10억 행의 데이터를 처리하는 것입니다.

1억 행 파이썬 처리 도전  10분에서 4초로 줄이는 방법

## Python for devops v1.2 - 구버전/지원 중단된 런타임을 사용 중인 AWS 람다 함수의 업그레이드를 위한 Python 스크립트 작성하기.

![이미지](/TIL/assets/img/2024-07-09-AutomateOutdatedAWSLambdaRuntimeUpdates_0.png)

저의 블로그 시리즈 Python for DevOps의 두 번째 블로그 포스트입니다. 여기서는 실제 데브옵스 사용 사례를 탐구하면서 Python 스크립트를 작성해봅니다.

Python for devops 첫 번째 부분 - SQS 큐 암호화 자동화



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 시나리오

보안 팀으로부터 수백 개의 Lambda 함수가 Python 3.8 및 Node.js 14x와 같은 지원되지 않는 런타임을 실행 중이라는 불만을 받았다고 가정해 봅시다. AWS는 Lambda 함수의 오래된 런타임을 자동으로 업데이트하지 않습니다.

이 모든 Lambda 함수를 수동으로 업데이트하는 것은 고통스러울 수 있습니다. 책임감 있는 Devops 엔지니어로서, 이러한 수동 작업을 피하고 이러한 작업을 자동화하기 위한 재사용 가능한 Python 스크립트를 작성하고 싶어 합니다.

# 블로그 포스트에서 다룰 내용은 무엇인가요?



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이 블로그 포스트에서는 람다 런타임 업데이트를 자동화하는 방법을 가르쳐 드리겠습니다. 우리의 스크립트는 원하는 Python 버전을 인수로 받아 이전 버전을 사용 중인 람다를 나열한 후 런타임을 원하는 버전으로 업그레이드할 것입니다.

## 따를 단계들

- Lambda를 위한 boto3 클라이언트 생성.
- AWS 계정의 해당 지역 내 모든 람다 함수를 나열.
- 람다 함수의 런타임 가져오기.
- 람다 런타임이 원하는 버전보다 낮은지 유효성 검사.
- 람다 런타임을 원하는 버전으로 업그레이드.
- 스크립트를 작성하는 동안 최선의 실천 방법을 준수할 것입니다.

# 선행 조건:



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

- 지역 머신에서 AWS 자격 증명을 구성하려면 aws configure 명령을 실행하세요. 최근 블로그 게시물의 지침을 따라 주세요.
- AWS CLI 명령을 실행하여 이전 버전의 Python 런타임에서 실행되는 몇 가지 샘플 람다 함수를 만드세요.

# Python 스크립트 개발을 진행하기 전에 사전 설정을 해봅시다 — 데모 람다 함수 생성.

## 1. 배포 패키지 준비

- 람다 함수 코드를 위한 디렉터리를 만드세요.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
mkdir my-lambda-function
cd my-lambda-function
```

- 람다 함수 코드를 생성하세요 (예: lambda_function.py)

```js
def lambda_handler(event, context):
    return "Hello, World!"
```

- 디렉토리 내용을 압축하세요



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```bash
zip -r deployment-package.zip .
```

## 2. Create a Lambda Execution Role

- Create a trust policy (e.g., trust-policy.json)

```json
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "lambda.amazonaws.com"
      },
      "Action": "sts:AssumeRole"
    }
  ]
}
```



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

- IAM 역할을 생성하세요

```js
aws iam create-role --role-name MyLambdaExecutionRole --assume-role-policy-document file://trust-policy.json
```

![연결된 이미지](/TIL/assets/img/2024-07-09-AutomateOutdatedAWSLambdaRuntimeUpdates_1.png)

- 역할에 AWSLambdaBasicExecutionRole 정책을 연결하세요



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

aws iam attach-role-policy --role-name MyLambdaExecutionRole --policy-arn arn:aws:iam::aws:policy/service-role/AWSLambdaBasicExecutionRole

## 3. 람다 함수 배포하기

- 람다 함수를 만드는 AWS CLI 명령어는 다음과 같이 보일 것입니다.

aws lambda create-function \
 --function-name MyPython38Function \
 --runtime python3.8 \
 --role arn:aws:iam::YOUR_ACCOUNT_ID:role/YOUR_LAMBDA_EXECUTION_ROLE \
 --handler lambda_function.lambda_handler \
 --zip-file fileb://path/to/your/deployment/package.zip



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

- 이제 IAM 역할과 배포 패키지를 사용하여 3개의 람다 함수를 배포할 예정입니다.

```js
aws lambda create-function \
    --function-name medium-blog-lambda1 \
    --runtime python3.8 \
    --role arn:aws:iam::366130468123:role/MyLambdaExecutionRole \
    --handler lambda_function.lambda_handler \
    --zip-file fileb://my-lambda-function/deployment-package.zip \
    --timeout 15 \
    --memory-size 128
```

아래와 같이 3개의 람다 함수가 생성됩니다.

![이미지](/TIL/assets/img/2024-07-09-AutomateOutdatedAWSLambdaRuntimeUpdates_2.png)



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이제 파이썬 스크립트 작성을 시작할 준비가 끝났어요.

파이썬 코드를 작성하기 전에, 최고의 방법을 따라 파이썬 환경을 설정해보겠어요.

## 파이썬 가상 환경 만들기

```js
# 가상 파이썬 환경 만들기
python3 -m venv medium_blog

# 가상 환경 활성화하기
source medium_blog/bin/activate
```



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

- requirements.txt 파일을 생성하고 해당 파일에 의존성을 넣어주세요.

boto3는 Python 라이브러리로, Python을 사용하여 AWS 리소스와 통신할 수 있게 해줍니다.

# requirements.txt

boto3

- 의존성을 설치해주세요



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
pip install -r requirements.txt
```

# 이제 설정을 완료했으니, 파이썬 스크립트를 작성해 볼까요?

우리는 코드를 작은 부분, 즉 함수로 나누어 각 함수가 한 가지 작업을 수행하도록 할 수 있어요.

참고: 블로그 포스트의 전체 코드는 제 공개 GitHub에 올릴 예정이에요.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

## 1. Python 모듈을 가져와 boto3를 사용하여 람다 클라이언트를 만듭니다

![lambda client](/TIL/assets/img/2024-07-09-AutomateOutdatedAWSLambdaRuntimeUpdates_3.png)

## 2. 모든 람다를 나열하는 함수 — 람다 함수 목록을 반환합니다.

![list lambdas](/TIL/assets/img/2024-07-09-AutomateOutdatedAWSLambdaRuntimeUpdates_4.png)



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이 기능은 lambda_client를 사용하여 Lambda 함수 목록을 가져와 반환합니다.

list_functions()[“Functions”] 대신 list_functions().get(“Functions”, None)을 사용하여 응답에 “Functions” 키가 없을 때 KeyError를 방지할 수 있습니다. 이렇게 하면 코드가 기본값인 None을 반환하므로 더 견고하고 런타임 오류를 방지할 수 있습니다.

## 3. 람다 런타임 가져오기.

<img src="/TIL/assets/img/2024-07-09-AutomateOutdatedAWSLambdaRuntimeUpdates_5.png" />



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이 함수는 lambda_json_list에 있는 딕셔너리에서 FunctionName과 Runtime을 추출하고(Runtime 값이 없는 경우에는 컨테이너 기반 람다 함수의 경우), 이름과 런타임을 포함하는 튜플의 목록을 반환합니다.

4. 원하는 런타임과 런타임을 비교하고 런타임이 원하는 것보다 낮으면 True를 반환합니다.

![이미지](/TIL/assets/img/2024-07-09-AutomateOutdatedAWSLambdaRuntimeUpdates_6.png)

버전 클래스는 packaging.version 모듈에서 사용되며 버전 문자열을 구문 분석하고 비교하는 데 사용됩니다. 이 함수에서는 현재 런타임 버전이 지정된 버전보다 이전 버전인지 확인합니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

## 5. 비교 함수가 True 값을 반환하면 람다 런타임을 업데이트합니다.

![Lambda Runtime Update](/TIL/assets/img/2024-07-09-AutomateOutdatedAWSLambdaRuntimeUpdates_7.png)

이 함수는 람다 함수를 새로운 런타임으로 업데이트합니다.

예외 처리를 위해 try/except 블록을 사용했습니다. 이를 통해 예기치 않은 오류를 관리하고 대응할 수 있습니다. try 블록 내에서 위험한 작업을 시도하고 그에 따른 예외를 except에서 처리하여 프로그램이 오류로 인해 충돌하지 않고 우아하게 회복될 수 있도록 합니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

## 6. 조각들을 함께 모으기

![이미지](/TIL/assets/img/2024-07-09-AutomateOutdatedAWSLambdaRuntimeUpdates_8.png)

## 7. 스크립트 실행하기

![이미지](/TIL/assets/img/2024-07-09-AutomateOutdatedAWSLambdaRuntimeUpdates_9.png)



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

위의 코드 스니펫을 모두 `update_lambda_runtimes.py` 파일에 붙여넣고 아래 명령어를 실행하여 스크립트를 실행합니다.

```js
python update_lambda_runtimes.py
```

`__name__`이 `'__main__'`인 상태에서 스크립트를 실행할 때만 `run()` 함수가 실행되도록 하여 스크립트를 실행합니다.

스크립트의 유용성을 높이기 위해 명령줄 인수를 받을 수 있도록 활성화해야 합니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

![Automatic Outdated AWS Lambda Runtime Updates](/TIL/assets/img/2024-07-09-AutomateOutdatedAWSLambdaRuntimeUpdates_10.png)

이 함수는 Python에서 argparse 모듈을 사용하여 명령줄 인자 파서를 만듭니다. 스크립트 실행 시 제공해야 할 인수인 python_version (단축 형식 -a)을 기대합니다.

## 명령줄 인수를 사용하여 스크립트 실행

![Automatic Outdated AWS Lambda Runtime Updates Example](/TIL/assets/img/2024-07-09-AutomateOutdatedAWSLambdaRuntimeUpdates_11.png)



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```python
python update_lambda_runtimes.py --python-version python3.9
```

블로그 게시물의 전체 코드는 제 공개 GitHub 리포지토리에서 찾을 수 있습니다. 다음 링크를 사용하여 액세스하세요.

## 무엇을 더 해야 할까요?

- 로깅 사용하기.
- 코드 문서화 및 타입 힌트 사용하기.
- NodeJS, Go 등 다른 런타임을 포함하는 스크립트 확장하기.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

저와 LinkedIn에서 연락하세요: [https://www.linkedin.com/in/akhilesh-mishra-0ab886124/](https://www.linkedin.com/in/akhilesh-mishra-0ab886124/)

구버전 AWS Lambda 런타임 자동 업데이트 방법

# 먼저, FastAPI에 대한 간결한 소개부터 시작해보겠습니다.

FastAPI는 Python으로 API를 구축하기 위한 현대적인 웹 프레임워크입니다. Sebastián Ramírez가 만들었으며, 빠르고 사용하기 쉽며 기능이 풍부하여 인기를 얻고 있습니다.

FastAPI는 여러 이유로 눈에 띕니다:

- 속도: 사용 가능한 Python 프레임워크 중 가장 빠릅니다.
- 사용 편의성: Python의 타입 힌트 덕분에 코드 작성이 직관적이고 명확합니다.
- 대화형 문서: Swagger UI 및 ReDoc와 같은 도구를 사용하여 대화형 API 문서를 자동으로 생성합니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

FastAPI은 웹 부분에 Starlette(Starlette은 Python에서 비동기 웹 서비스를 구축하기에 이상적인 가벼운 ASGI 프레임워크/도구)를 기반으로 하고 데이터 유효성 검증을 위해 Pydantic을 사용하여 빠르고 신뢰성이 높습니다.

이 글에서는 FastAPI가 인기 있는 이유, 주요 특징, 그리고 직접 API를 구축하기 위해 FastAPI를 시작하는 방법을 살펴보겠습니다. 경험 많은 개발자든 API 개발에 처음 도전하는 개발자든 FastAPI를 사용하면 효율적이고 확장 가능한 웹 애플리케이션을 손쉽게 만들 수 있습니다.

# Flask와 Django와 비교한 FastAPI의 핵심 기능 및 이점

Flask와 Django와 비교했을 때, FastAPI는 다음과 같은 특징으로 두각을 나타냅니다:



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

- 성능 우수성: FastAPI는 Starlette과 Pydantic을 활용하여 빠른 속도에서 Node.js와 Go와 경쟁하며 효율적인 성능을 제공합니다.
- 사용 편의성 및 개발 속도: FastAPI의 간단한 구문과 자동 문서화(Swagger UI, ReDoc)는 개발을 가속화시켜 오류를 줄입니다.
- 데이터 유효성 검사 및 보안: 통합된 Pydantic은 견고한 데이터 유효성을 보장하여 API 신뢰성을 향상시킵니다. FastAPI는 인증 및 권한 부여를 위한 내장 도구로 보안을 간소화합니다.
- 비동기 지원 및 확장성: 비동기 프로그래밍에 대한 일류 지원은 병렬 요청 처리를 가능하게 하며 높은 수요 애플리케이션의 확장성에 중요합니다.

FastAPI는 이러한 분야에서 뛰어나므로 Python 기반 API 프레임워크에서 속도, 확장성 및 개발의 편의성을 필요로 하는 개발자에게 플라스크와 장고 대비 매력적인 선택지입니다.

# FastAPI로 시작하기

FastAPI로 시작하는 것은 간단하며 몇 가지 주요 단계를 거치면 됩니다:



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

- 설치:

- FastAPI를 pip를 사용하여 설치하세요:

```js
pip install fastapi
```

2- 개발 서버 실행:



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

- 빠른 ASGI 서버 인 Uvicorn을 사용하여 FastAPI 애플리케이션을 실행하세요:

```js
uvicorn your_module_name:app --reload
```

- your_module_name을 FastAPI 앱이 정의된 Python 파일로 바꿔주세요.
- --reload 옵션을 사용하여 자동으로 다시로드되도록 설정할 수 있습니다. 코드에 변경 사항이 감지되면 서버가 자동으로 재시작되어 개발이 더 빠르고 편리해집니다.

3- 첫 번째 FastAPI 애플리케이션 만들기:



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

- Python 파일(main.py)에 FastAPI 애플리케이션을 정의하세요:

```python
from fastapi import FastAPI

app = FastAPI()

@app.get("/")
def read_root():
    return {"Hello": "World"}
```

- 이 예제에서 @app.get("/")은 루트 URL("/")에서 GET 요청에 응답하는 라우트를 정의합니다.

![이미지](/TIL/assets/img/2024-07-09-Hands-OnwithFastAPICreatingaSimpleTo-DoListApplication_0.png)



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

4- 대화식 API 문서 탐색:

- FastAPI는 자동으로 대화식 API 문서를 생성합니다. 브라우저에서 http://localhost:8000/docs 에 방문하여 Swagger UI를 탐색해보세요.

![FastAPI Swagger UI](/TIL/assets/img/2024-07-09-Hands-OnwithFastAPICreatingaSimpleTo-DoListApplication_1.png)

- 또는, http://localhost:8000/redoc 에 방문하여 ReDoc 문서를 확인할 수도 있습니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

![image](/TIL/assets/img/2024-07-09-Hands-OnwithFastAPICreatingaSimpleTo-DoListApplication_2.png)

5- Expand Your Application:

- Build upon your basic application by adding more routes, handling query parameters, path parameters, request bodies, and integrating with databases or other services.

# Real-World Use Case: Simple To-Do List API



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

간단한 To-Do 리스트 API를 만들면 FastAPI의 핵심 기능과 이점을 이해하는 데 훌륭한 방법입니다. 이 API를 사용하면 사용자가 할 일 항목을 추가, 보기, 업데이트 및 삭제하는 기본 작업을 수행하여 작업을 관리할 수 있습니다.

1- 모델 정의:

FastAPI에서 Pydantic을 사용하여 모델을 정의하면 API 요청 및 응답의 데이터 구조를 유효성 검사할 수 있습니다. 다음은 간단한 To-Do 리스트 API의 모델을 정의하는 방법에 대한 코드입니다:

```js
# Pydantic 및 typing 모듈에서 필요한 구성 요소 가져오기
from pydantic import BaseModel
from typing import List

# 단일 TodoItem을 위한 Pydantic 모델 정의
class TodoItem(BaseModel):
    id: int  # TodoItem의 정수 ID
    title: str  # 예상되는 문자열인 TodoItem의 제목
    description: str  # 예상되는 문자열인 TodoItem의 설명
    completed: bool = False  # TodoItem이 완료되었는지를 나타내는 부울 플래그, 기본값은 False

# TodoList를 나타내는 또 다른 Pydantic 모델 정의
class TodoList(BaseModel):
    todos: List[TodoItem] = []  # 기본적으로 비어 있도록 초기화된 TodoItem 객체 목록
```



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이 모델을 정의하는 것은 API가 처리하는 데이터를 일관되게 유지하고 유효성을 검증하여 FastAPI 애플리케이션에서 데이터 관리와 오류 처리를 간소화합니다.

루트 구현:

FastAPI에서 루트는 API의 엔드포인트를 정의하고 들어오는 요청을 처리하는 방법을 지정합니다. 루트를 구현하는 것은 간단한 할 일 목록 API를 구축하는 중요한 단계입니다.

```python
from fastapi import FastAPI, HTTPException
from typing import Optional

# FastAPI 인스턴스 생성
app = FastAPI()
# 할 일 항목을 임시 보관하는 (인메모리 리스트)
todos = []
# 모든 할 일 항목을 검색하는 엔드포인트
@app.get("/todos/", response_model=TodoList)
async def read_todos():
    return {"todos": todos}

# 새 할 일 항목 생성하는 엔드포인트
@app.post("/todos/")
async def create_todo(title: str, description: str):
    # 고유 ID 생성 (실제 애플리케이션에서는 데이터베이스 또는 UUID 사용을 고려)
    todo = {"id": len(todos) + 1, "title": title, "description": description, "completed": False}
    todos.append(todo)
    return todo

# 특정 할 일 항목 업데이트하는 엔드포인트
@app.put("/todos/{todo_id}/", response_model=TodoItem)
async def update_todo(todo_id: int, title: Optional[str] = None, description: Optional[str] = None):
    for todo in todos:
        if todo["id"] == todo_id:
            todo["title"] = title if title else todo["title"]
            todo["description"] = description if description else todo["description"]
            return todo
    raise HTTPException(status_code=404, detail="할 일을 찾을 수 없습니다")

# 특정 할 일 항목 삭제하는 엔드포인트
@app.delete("/todos/{todo_id}/")
async def delete_todo(todo_id: int):
    for idx, todo in enumerate(todos):
        if todo["id"] == todo_id:
            del todos[idx]
            return {"message": "할 일이 삭제되었습니다"}
    raise HTTPException(status_code=404, detail="할 일을 찾을 수 없습니다")
```



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 설명:

- GET 라우트 (/todos/): 모든 할 일 항목을 검색하여 리스트 형식으로 반환합니다.

![이미지](/TIL/assets/img/2024-07-09-Hands-OnwithFastAPICreatingaSimpleTo-DoListApplication_3.png)

- POST 라우트 (/todos/): 고유한 ID, 제목 및 설명을 갖는 새로운 할 일 항목을 만들고 목록에 추가합니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

![image](/TIL/assets/img/2024-07-09-Hands-OnwithFastAPICreatingaSimpleTo-DoListApplication_4.png)

- PUT Route (/todos/'todo_id'/): 기존에 있는 ID로 식별된 to-do 항목을 업데이트합니다. 부분적 업데이트가 가능합니다 (제목 또는 설명만 업데이트할 수 있음).

![image](/TIL/assets/img/2024-07-09-Hands-OnwithFastAPICreatingaSimpleTo-DoListApplication_5.png)

- DELETE Route (/todos/'todo_id'/): 목록에서 ID로 식별된 to-do 항목을 삭제합니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

<img src="/TIL/assets/img/2024-07-09-Hands-OnwithFastAPICreatingaSimpleTo-DoListApplication_6.png" />

이러한 경로들은 클라이언트가 할 일 항목에 대해 모든 CRUD 작업(생성, 읽기, 업데이트, 삭제)을 수행할 수 있도록 합니다. 이를 통해 FastAPI가 다양한 유형의 HTTP 요청과 응답을 처리하는 방법을 보여줍니다.

# 결론

FastAPI를 사용하여 간단한 할 일 목록 API를 작성하면 강력한 기능과 이점에 대해 실용적으로 소개 받을 수 있습니다. 모델 정의, 경로 구현, CRUD 작업 처리 단계를 따르면 FastAPI의 사용 편의성, 성능 및 자동 문서화 기능에 대한 실전 경험을 얻을 수 있습니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

FastAPI의 직관적인 디자인과 강력한 기능으로 초심자든 숙련된 개발자든 모두 현대적이고 고성능의 웹 API를 만드는데 우수한 선택이 될 것입니다. 이 연습을 통해 FastAPI의 핵심 개념을 이해하는데 도움을 받을 뿐만 아니라 미래에 더 복잡하고 확장 가능한 애플리케이션을 구축하는 기술도 갖추게 될 것입니다.

FastAPI를 활용하여 빠르고 효율적으로 API를 개발할 수 있어, 애플리케이션이 강력하면서 유지보수가 쉬운 것을 보장할 수 있습니다. 즐거운 코딩되세요!

FastAPI 실습 간단한 할 일 목록 애플리케이션 만들기 방법

요약: Python과 R을 이용한 LeapFROGS는 과학 응용 프로그램 및 시계열 분석을 위한 비동기 플랫폼으로, 여러분의 과학을 공유하고 공개 및 재현 가능하게 만들기 위해 개발되었습니다. 이 플랫폼은 비동기식 학습 활동과 교육 워크샵을 지원합니다.

![이미지](/TIL/assets/img/2024-07-09-IntroducingLeapFROGSaplatformforopensciencepracticeandpublishing_0.png)

작년 가을에 발표된 최신 LinkedEarth 프로젝트는 오픈 지구과학 연구 및 게재 영역에서 동기식 및 비동기식 학습 활동으로 구성되어 있습니다. 이 블로그 포스트는 LeapFROGS (Python 및 R) 비동기 플랫폼을 소개합니다.

# 왜 FROGS를 선택했나요?



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

연구 데이터, 소프트웨어 및 워크플로우를 공유하는 것은 Findable, Accessible, Interoperable, and Reusable (FAIR) 오픈 사이언스 생태계를 구축하는 데 필수적입니다. 실제로 지난 10년 동안 후원자와 출판사들은 재현성을 강조하며 재현 가능한 과학 제품의 공유를 지원하는 프레임워크를 인정하는 오픈 사이언스 정책을 도입했습니다. 다음 논리적인 단계는 과학 문제를 해결하면서 이러한 프레임워크의 사용법을 공동체에게 가르치는 것입니다.

FROGS는 인원 중 절반의 국적에 대한 존경의 표시입니다.

# LeapFROGS

LeapFROGS의 목표는 Python, R, 시계열 분석 및 오픈 사이언스 출판의 비동기 학습을 위한 플랫폼을 제공하는 것입니다. 이 플랫폼에는 해당 주제에 대한 짧은 텍스트 소개와 주제에 대해 더 자세히 배울 수 있는 관련 자료로의 링크가 혼합되어 있으며, 주제 이해도를 테스트하는 코딩 연습 및 객관식 문제가 포함되어 있습니다. 2024년 7월 현재, 이 플랫폼에는 다음 모듈이 포함되어 있습니다:



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

- 파이썬 또는 R 소개. 이 모듈은 이 두 언어에 대한 기본적인 프로그래밍 소개에 초점을 맞춥니다. 주요 데이터 유형부터 루프 및 조건문까지 다룹니다. 또한 함수 작성에 대해서도 소개합니다.

![이미지](/TIL/assets/img/2024-07-09-IntroducingLeapFROGSaplatformforopensciencepracticeandpublishing_1.png)

2. 과학 애플리케이션을 위한 Python/R. 두 번째 모듈은 Python/R을 과학 분야에서 사용하는 방법을 다룹니다. Python의 경우, 이 모듈은 NumPy, Pandas, Matplotlib 및 지도를 위한 Cartopy와 같은 라이브러리를 포함한 과학 Python 스택의 기본을 다룹니다. R의 경우, 해당 모듈은 R 데이터 프레임 및 dplyr, tidyr, tibble 및 ggplot2와 같은 tidyverse의 유용한 패키지를 다룹니다.

![이미지](/TIL/assets/img/2024-07-09-IntroducingLeapFROGSaplatformforopensciencepracticeandpublishing_2.png)



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

3. 시계열 분석. 이 모듈은 시계열 분석을 위한 데이터 처리, 연관성 측정, 가설 검정을 위한 대리자 사용 및 스펙트럼 및 웨이블릿 분석을 다룹니다. 이 모듈과 관련된 강의는 Figshare에서 확인할 수 있습니다. 연습문제는 Python용 [여기](링크)와 R용 [여기](링크)에서 확인할 수 있습니다. LeapFROGS에는 학습 내용 이해도를 평가하는 객관식 퀴즈도 포함되어 있습니다.

4. 미래의 과학 논문. 이 모듈은 공개과학 발간의 기본 원칙을 제공하며 데이터, 소프트웨어 및 작업흐름을 공유하는 방법에 대한 모범 사례를 안내합니다. Yolanda Gil과 동료들이 모은 원래 논문 자료를 기반으로 하여 Binder와 같은 새로운 기술을 위해 업데이트하였습니다. 새 자료는 Figshare에 있으며 LeapFROGS에 요약되어 재료 이해도를 테스트하는 퀴즈가 있습니다.

![이미지](/TIL/assets/img/2024-07-09-IntroducingLeapFROGSaplatformforopensciencepracticeandpublishing_3.png)

5. Github 소개. 이 모듈은 연구를 공유하고 협업하기 위한 GitHub 플랫폼 소개를 제공합니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 누가 LeapFROGS를 사용할 수 있나요?

누구나 이 플랫폼을 사용할 수 있으며, Python 및/또는 R을 사용하여 자신의 분석에 사용하는 과학자 커뮤니티를 위한 자원이 되기를 희망합니다. 오픈 사이언스에 관심이 있고 연구 결과물을 재현 가능하고 공정하게 만들기를 원하는 분들을 위한 것입니다.

지금까지 LeapFROGS는 18명의 지구과학자를 위한 대면 해커톤(PyRATES) 행사를 지원해 왔습니다.

오픈 과학 실습 및 출판을 위한 플랫폼 LeapFROGS 소개

매수 분석가 또는 분석가로 활동할 때 효과적인 데이터 분석과 통찰을 얻기 위해서는 고급 코딩 기술을 배우는 것이 중요합니다. 이 게시물에서는 타이타닉 데이터셋을 중심으로 15가지 고급 Python 코드 조각을 살펴보겠습니다. 데이터 조작, 시각화, 머신러닝과 같은 분석 능력을 향상시키는데 도움이 될 것입니다.

![Image](/TIL/assets/img/2024-07-09-Free10AdvancedCodeSnippetsforPythonDataScientistsandDataAnalysts_0.png)

## 1. 타이타닉 데이터셋 불러오기

먼저, Seaborn 라이브러리를 사용하여 타이타닉 데이터셋을 불러오고 데이터셋의 처음 몇 줄을 보여줍시다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
import seaborn as sns

# 타이타닉 데이터셋을 불러옵니다
titanic = sns.load_dataset('titanic')

# 데이터셋의 처음 몇 행을 출력합니다
print(titanic.head())
```

이 코드 조각은 타이타닉 데이터셋을 판다스 DataFrame으로 불러와서 처음 몇 행을 출력하여 데이터의 구조를 살펴볼 수 있게 해줍니다.

# 2. 누락된 값 처리

누락된 값을 처리하는 것은 데이터 분석에서 흔한 작업입니다. 'age' 열의 누락된 값을 중앙값으로 채워봅시다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
# 'age' 열의 누락된 값을 중위 연령으로 채우기
titanic['age'].fillna(titanic['age'].median(), inplace=True)
```

이 코드 스니펫은 'age' 열의 누락된 값을 탑승객들의 중위 연령으로 대체하여 데이터를 완전하게 유지하여 추가 분석을 수행합니다.

# 3. Feature Engineering

피처 엔지니어링은 모델 성능을 향상시키기 위해 새로운 피처를 생성하거나 기존 피처를 변환하는 작업을 포함합니다. 승객이 어린이인지 성인인지를 나타내는 새로운 피처를 만들어 보겠습니다:



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
# 새로운 기능 'is_child'를 생성합니다
titanic['is_child'] = titanic['age'] < 18
```

이 스니펫은 데이터셋에 새로운 이진 기능 'is_child'를 추가합니다. 이 기능은 승객이 어린이인지(나이 < 18) 성인인지를 나타냅니다.

# 4. Seaborn을 활용한 데이터 시각화

Seaborn은 Python에서 데이터 시각화를 위한 강력한 라이브러리입니다. 승객 클래스의 분포를 시각화하기 위해 카운트 플롯을 생성해봅시다:



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
import matplotlib.pyplot as plt

# 승객 클래스에 대한 카운트 플롯
plt.figure(figsize=(8, 5))
sns.countplot(x='pclass', data=titanic, color='skyblue')
plt.title('승객 클래스 분포')
plt.xlabel('클래스')
plt.ylabel('카운트')
plt.show()
```

이 코드 스니펫은 승객 클래스의 분포를 보여주는 카운트 플롯을 생성하며, 아름다움을 위해 하늘색을 사용했습니다.

<img src="/TIL/assets/img/2024-07-09-Free10AdvancedCodeSnippetsforPythonDataScientistsandDataAnalysts_1.png" />

# 5. 상관 분석



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

변수 간의 관계를 이해하는 것은 데이터 분석에서 중요합니다. 수치형 특성에 대한 상관 행렬을 계산하고 시각화해 보겠습니다:

```js
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

# 범주형 열을 원-핫 인코딩을 사용하여 수치형으로 변환합니다
titanic_numeric = pd.get_dummies(titanic, drop_first=True)

# 상관 행렬을 계산합니다
correlation_matrix = titanic_numeric.corr()

# Matplotlib 피겨 설정
plt.figure(figsize=(12, 10))

# 적절한 가시성과 비율로 heatmap을 그립니다
sns.heatmap(correlation_matrix, annot=True, fmt=".2f", cmap="coolwarm", vmin=-1, vmax=1, linewidths=.5, annot_kws={"size": 7})

# 플롯 스타일을 조정합니다
plt.xticks(rotation=45, ha='right', fontsize=8)
plt.yticks(fontsize=8)
plt.title('상관 행렬', fontsize=15)
plt.tight_layout()

# 플롯을 보여줍니다
plt.show()
```

이 코드 스니펫은 상관 행렬을 계산하고, 수치형 특성 간의 상관 관계를 시각화하는 heatmap을 생성합니다. 쿨 웜 컬러를 사용하며, 빨간색은 양의 상관 관계를 나타냅니다.

<img src="/TIL/assets/img/2024-07-09-Free10AdvancedCodeSnippetsforPythonDataScientistsandDataAnalysts_2.png" />



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 6. 각 클래스별 운임 분포를 시각화하는 상자 그림

여기 각 승객 클래스별 운임 분포를 시각화하기 위한 상자 그림을 만들어봅시다:

```js
# 클래스별 운임 분포를 위한 상자 그림
plt.figure(figsize=(8, 6))
sns.boxplot(x='pclass', y='fare', data=titanic, color='green')
plt.title('클래스별 운임 분포')
plt.xlabel('클래스')
plt.ylabel('운임')
plt.show()
```

이 코드 스니펫은 서로 다른 승객 클래스 간의 운임 분포를 보여주는 상자 그림을 생성합니다. 여기서는 미적 요소로 녹색 색상을 사용했습니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

![image](/TIL/assets/img/2024-07-09-Free10AdvancedCodeSnippetsforPythonDataScientistsandDataAnalysts_3.png)

# 7. Distribution of Age by Survival Status

생존자와 비생존자의 연령 분포를 시각화하면 연령이 생존에 미치는 영향에 대한 통찰력을 얻을 수 있습니다:

```js
# 생존 상태별 연령 분포
plt.figure(figsize=(8, 6))
sns.histplot(x='age', hue='survived', data=titanic, multiple='stack', palette='Set2')
plt.title('Distribution of Age by Survival Status')
plt.xlabel('Age')
plt.ylabel('Count')
plt.show()
```



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이 코드 스니펫은 생존자와 비생존자의 연령 분포를 보여주는 히스토그램을 생성하며, 서바이벌 상태를 나타내는 다른 색상을 사용합니다.

| Age | Survived |
| --- | -------- |
| 22  | 1        |
| 30  | 0        |
| 25  | 1        |
| 40  | 0        |
| 35  | 1        |

# 8. Fare vs. Age에 대한 산점도 그래프

요금과 연령 간의 관계를 시각화하기 위해 산점도 그래프를 생성해 봅시다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```python
# 요금 대 나이 산점도
plt.figure(figsize=(8, 6))
sns.scatterplot(x='나이', y='요금', data=타이타닉, color='green')
plt.title('요금 대 나이')
plt.xlabel('나이')
plt.ylabel('요금')
plt.show()
```

이 코드 조각은 나이와 요금 사이의 관계를 보여주는 산점도를 생성하며, 시각적으로 녹색을 사용합니다.

<img src="/TIL/assets/img/2024-07-09-Free10AdvancedCodeSnippetsforPythonDataScientistsandDataAnalysts_5.png" />

# 9. 클래스별 생존율 막대 그래프



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

생존율을 각 클래스별로 시각화하면 클래스에 따른 생존 가능성에 대한 통찰을 제공할 수 있습니다.

```js
# 클래스별 생존율 막대 그래프
plt.figure(figsize=(8, 6))
sns.barplot(x='pclass', y='survived', data=titanic, ci=None, color='하늘색')
plt.title('클래스별 생존율')
plt.xlabel('클래스')
plt.ylabel('생존율')
plt.show()
```

이 코드 조각은 각 승객 클래스의 생존율을 보여주는 막대 그래프를 생성하며, 아름다운 하늘색을 사용했습니다.

![생존율](/TIL/assets/img/2024-07-09-Free10AdvancedCodeSnippetsforPythonDataScientistsandDataAnalysts_6.png)



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 10. 숫자 변수에 대한 쌍 플롯

쌍 플롯을 사용하면 데이터셋의 숫자 변수 쌍 간의 관계를 시각화할 수 있습니다:

```js
# 숫자 변수에 대한 쌍 플롯
sns.pairplot(titanic[['age', 'fare', 'pclass']], diag_kind='kde', palette='Set3')
plt.title('숫자 변수에 대한 쌍 플롯')
plt.show()
```

이 코드 조각은 'age', 'fare', 'pclass' 변수에 대한 쌍 플롯을 생성하며, 대각선에 커널 밀도 추정(KDE) 플롯이 포함되어 있습니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

![image](/TIL/assets/img/2024-07-09-Free10AdvancedCodeSnippetsforPythonDataScientistsandDataAnalysts_7.png)

# 11. 승선 도시 분포를 위한 막대 그래프

승선 도시에 따른 승객 분포를 시각화해보겠습니다. 다음은 막대 그래프를 사용한 코드입니다:

```python
# 승선 도시 분포를 위한 막대 그래프
plt.figure(figsize=(8, 6))
sns.countplot(x='embark_town', data=titanic, color='skyblue')
plt.title('승선 도시별 승객 분포')
plt.xlabel('승선 도시')
plt.ylabel('인원 수')
plt.show()
```



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이 코드 스니펫은 승선한 마을별 승객 분포를 보여주는 막대 플롯을 만듭니다. 시각적인 아름다움을 위해 하늘색이 사용되었습니다.

![Distribution of passengers by embarked town](/TIL/assets/img/2024-07-09-Free10AdvancedCodeSnippetsforPythonDataScientistsandDataAnalysts_8.png)

# 12. 함께 탑승한 형제/배우자의 분포

함께 탑승한 형제/배우자의 분포를 시각화하면 승객들 사이의 가족 구성원 크기에 대한 통찰을 얻을 수 있습니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 함께 탑승한 형제자매/배우자 분포

plt.figure(figsize=(8, 6))
sns.histplot(x='sibsp', data=titanic, bins=range(0, 9), color='skyblue', discrete=True)
plt.title('함께 탑승한 형제자매/배우자 분포')
plt.xlabel('형제자매/배우자 수')
plt.ylabel('수량')
plt.show()

이 코드 스니펫은 함께 탑승한 형제자매/배우자 수에 대한 분포를 보여주는 히스토그램을 생성합니다. 아름다운 목적으로 하늘색을 사용했어요.

<img src="/TIL/assets/img/2024-07-09-Free10AdvancedCodeSnippetsforPythonDataScientistsandDataAnalysts_9.png" />

# 13. 성별 분포를 보여주는 파이 차트



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

여행객의 성별 분포를 파이 차트로 시각화해보세요:

```js
# 성별 분포 파이 차트
gender_counts = titanic['sex'].value_counts()
plt.figure(figsize=(6, 6))
plt.pie(gender_counts, labels=gender_counts.index, colors=['#66c2a5', '#fc8d62'], autopct='%1.1f%%', startangle=140)
plt.title('Gender Distribution')
plt.show()
```

이 코드 스니펫은 성별에 따른 탑승객 분포를 보여주는 파이 차트를 생성하며, 남성과 여성을 나타내기 위해 서로 다른 색상을 사용합니다.

<img src="/TIL/assets/img/2024-07-09-Free10AdvancedCodeSnippetsforPythonDataScientistsandDataAnalysts_10.png" />



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 14. 성별에 따른 연령 분포를 시각화하는 스왐 플롯

스왐 플롯은 성별에 따른 연령 분포를 시각화하는 데 사용될 수 있습니다:

```js
# 성별에 따른 연령 분포를 나타내는 스왐 플롯
plt.figure(figsize=(10, 6))
sns.swarmplot(x='sex', y='age', data=titanic, color='skyblue')
plt.title('성별에 따른 연령 분포')
plt.xlabel('성별')
plt.ylabel('연령')
plt.show()
```

이 코드 조각은 남성과 여성 승객의 연령 분포를 보여주는 스왐 플롯을 생성하며, 시각적으로 아름다운 하늘색을 사용합니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

![이미지](/TIL/assets/img/2024-07-09-Free10AdvancedCodeSnippetsforPythonDataScientistsandDataAnalysts_11.png)

# 15. 클래스 및 성별별 요금 분포에 대한 바이올린 플롯

승객 클래스 및 성별에 따른 요금 분포를 시각화하기 위해 바이올린 플롯을 만들어봅시다:

```python
# 클래스 및 성별에 따른 요금 분포에 대한 바이올린 플롯
plt.figure(figsize=(10, 6))
sns.violinplot(x='pclass', y='fare', hue='sex', data=titanic, split=True, palette='Greens')
plt.title('클래스 및 성별별 요금 분포')
plt.xlabel('클래스')
plt.ylabel('요금')
plt.show()
```



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이 코드 스니펫은 각 승객 클래스별로 성별로 나누어 지불요금의 분포를 보여주는 바이올린 플롯을 생성합니다. 이 때, 시각적으로 녹색 색상을 사용합니다.

![Violin Plot](/TIL/assets/img/2024-07-09-Free10AdvancedCodeSnippetsforPythonDataScientistsandDataAnalysts_12.png)

이러한 고급 코드 스니펫은 파이썬을 사용한 데이터 조작, 시각화 및 분석의 다양한 측면을 다룹니다. 이 기술들을 숙달함으로써 우리는 복잡한 데이터셋을 처리하고 데이터에서 의미 있는 통찰을 얻는 데 더 잘 대비할 수 있습니다.

데이터 과학자와 데이터 분석가를 위한 10개의 고급 파이썬 코드 조각 모음

![포트 스캐너](/TIL/assets/img/2024-07-09-Asimplepythonportscanner_0.png)

포트 스캐너는 시스템의 네트워크 보안을 분석하기 위해 사용되는 도구로, 열린 포트를 스캔하여 확인합니다. 포트는 컴퓨터의 문과 같이 다양한 유형의 통신을 허용합니다. 포트 스캐너는 대상 시스템에서 열린 포트, 닫힌 포트 또는 필터링된 포트를 식별할 수 있어 잠재적인 취약점을 평가하고 네트워크를 보호하는 데 도움이 됩니다.

코드를 시작하기 전에 시스템에 Python이 설치되어 있는지 확인하세요. 공식 Python 웹사이트(https://www.python.org/downloads/)에서 다운로드할 수 있습니다.

선호하는 편집기를 사용하여 코드를 작성할 수 있습니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

제가 선호하는 것은 PyCharm입니다 :)

## 이제 중요한 라이브러리를 가져와 봅시다

```js
import sys
import socket
from datetime import datetime
```

## 이제 대상을 정의해 봅시다



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

부분 1

```js
if len(sys.argv) == 2:
    target = socket.gethostbyname(sys.argv[1])
else:
       print("인수의 수가 올바르지 않습니다.")
       print("구문: python3 scanner.py ,ip.")
```

이 내용은 호스트 이름을 IPv4로 변환할 것입니다......

이제 예쁜 배너를 추가해 봅시다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```python
print("*" * 50)
print("scanning target: "+target)
print("time started: "+str(datetime.now()))
print("*" * 50)
```

포트 스캔을 위한 for 루프

파트 2

```python
try:
    for port in range(50,85):
        s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
        socket.setdefaulttimeout(1)
        # 1초 이내에 응답이 없으면 넘어감
        result = s.connect_ex((target,port))
        if result == 0:
            print(f"port {port} is open ")
```



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
s.close();
```

마지막으로

```js
except KeyboardInterrupt:
    print("\n프로그램을 종료합니다")
    sys.exit()
#Ctrl+C를 눌렀을 때
except socket.gaierror:
    print("호스트 이름을 해석할 수 없습니다")
    sys.exit()
```

```js
except socket.error:
    print("서버에 연결할 수 없습니다")
    sys.exit()
#서버가 응답하지 않을 때
```



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 파트1

```js
우리는 길이의 방법을 사용했고 sys.argv(우리가 주는 인수의 양입니다)라고 말했습니다.
```

```js
그래서 2개의 인수가 필요합니다... 3개가 있으면 오류가 발생합니다... 1개가 있으면 오류가 발생합니다.
마치 이렇게 말하고 있는 것처럼 :
python 3 scanner.py 192.168.1.10 4444
오류가 발생합니다
길이를 만족하지 않는 경우 우리는 target = socket.gethostbyname(sys.argv[1])로 우리의 대상을 설정할 것입니다... 그리고 [1]은 ip 주소의 인수입니다
```

# 파트2



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
50부터 85까지 포트에 대한 for 루프를 실행했습니다.
```

```js
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM) 변수를 설정했습니다.
AF_INET을 통해 ipv4를 수집했는데, 이는 ipv4에 해당합니다.
그리고 우리가 연결할 포트는 socket.SOCK_STREAM을 통해 얻었습니다.
타겟은 우리가 제공하고 포트는 50-85 범위 내에서 제공될 것입니다.
만약 포트가 열려있으면 결과는 0입니다.
포트가 열려있지 않으면 소켓 연결이 닫히고 루프로 돌아갑니다.
```

간단한 파이썬 포트 스캐너 사용법

효율적이고 유지보수가 용이한 파이썬 함수를 작성하는 것은 고품질 코드를 만들기 위한 중요한 요소입니다. 이 문서는 파이썬 함수를 개선하고 코드 가독성, 유지보수성, 견고성을 향상시키는 데 도움이 되는 5가지 필수 팁을 제시합니다.

먼저, 각 함수가 단 하나의 작업만을 수행하도록 하는 단일 책임 원칙을 준수하는 것이 강조됩니다. 다음으로, 코드 가독성과 장기적인 유지보수성을 향상시키는 타입 힌트의 장점에 대해 논의됩니다.

이 문서에서는 키워드 전용 인수의 사용도 탐구되는데, 이는 명시적으로 인수 이름의 사용을 강제함으로써 오류를 최소화할 수 있는 파이썬 기능입니다. 또 다른 권장 사항은 함수에 필요한 인수만 사용하여 복잡성과 잠재적인 버그를 줄이는 것입니다.

마지막으로, 제너레이터의 사용을 옹호하는데, 이는 전체 목록을 구성하고 반환하는 대신 반복 가능한 데이터를 반환하는 메모리 효율적인 기술입니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이 5가지 팁을 적용함으로써 파이썬 개발자들은 더 효율적이고 가독성이 좋으며 유지보수가 용이한 함수를 작성할 수 있습니다. 이는 결국 더 높은 품질의 코드와 개발자 생산성 향상으로 이어집니다.

![image](/TIL/assets/img/2024-07-09-5TipstoWriteEfficientPythonFunctions_0.png)

## 목차:

효율적인 Python 함수를 작성하기 위한 5가지 팁

DLT, Postgres 및 Python을 사용합니다.

![이미지](/TIL/assets/img/2024-07-09-IntegrateAPIDatatoaDatabase_0.png)

오늘의 블로그 포스트에서는 데이터 원본으로서 API(Application Programming Interface)를 사용하는 방법을 살펴보겠습니다. 우리의 데이터 중심 세계에서는 다양한 소스에서 데이터를 통합하는 것이 정보 기반 의사결정에 중요합니다. 이 중요한 데이터 소스 중 하나는 환율 정보 API인데, 이는 금융 분석과 보고서 작성에 중요합니다. ExchangeRate-API.com에서 환율 데이터를 가져와 PostgreSQL 데이터베이스에 통합하는 방법을 설명하겠습니다.

이 튜토리얼을 통해 다음을 완료할 수 있습니다:



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

- Postgres 데이터베이스에 API 데이터를 통합합니다.
- Python을 사용하여 DLT 데이터 파이프라인을 생성합니다.
- JSON 데이터를 DLT 호환 데이터 세트로 변환합니다.
- 코드 전체는 GitHub에서 확인할 수 있습니다. 동반되는 비디오 튜토리얼은 YouTube에서 제공됩니다.

# 개요

ExchangeRate-API.com을 사용합니다. 이 사이트는 JSON 형식으로 환율 정보를 제공합니다. 우리의 작업은 이 JSON 데이터를 데이터베이스 투입에 적합한 형식으로 변환하여 Data Load Tool (DLT)을 사용하여 PostgreSQL 데이터베이스에 로드하는 것입니다. 시작해봅시다!

# 필수사항



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

- DLT 라이브러리: DLT 라이브러리를 설치하고 구성하는 것을 잊지 마세요. 자세한 안내는 여기 링크된 비디오를 참조해주세요.
- PostgreSQL: 데이터를 영구적으로 저장하기 위해 PostgreSQL을 설정하거나 다른 방법으로 데이터를 파일로 저장할 수 있습니다.

# 단계별 구현

# 환경 설정

먼저, 선호하는 코드 편집기(예: VS Code)에서 새로운 Python 파일을 열고 필요한 라이브러리를 가져오세요.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
import dlt
from dlt.sources.helpers import requests
import requests
import pandas as pd
import json
from datetime import date
from datetime import datetime
from uuid import uuid4
```

# API Interaction

환율 API와 상호 작용하려면 API 키가 필요합니다. 가입하여 무료 API 키를 생성하세요. 키를 가지고 있으면 API 키로 URL을 작성하고 기본 통화를 USD로 설정하세요. 요청 라이브러리를 사용하여 API를 호출하고 JSON 응답을 구문 분석하세요.

```js
key = 'Your-API-Key'
# API 호출
url = f'https://v6.exchangerate-api.com/v6/{key}/latest/USD'
# 요청 보내기
response = requests.get(url)
data = response.json()
```



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 데이터 변환

데이터베이스로 데이터를 로드하기 전에 적절한 형식으로 변환하세요. JSON 데이터를 DLT가 쉽게 수용할 수 있는 딕셔너리 형식으로 변환하세요.

- 변환율 추출:

```js
df = pd.json_normalize(data["conversion_rates"]);
df = df.melt().reset_index();
```



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

2. 로드 날짜 열을 추가해주세요:

```js
df["index"] += 1;
df["date"] = date.today();
df = df.rename((columns = { index: "id", variable: "currencycode", value: "fxrate" }));
```

3. DLT를 위한 데이터프레임을 준비해주세요:

```js
# DLT 형식을 위해 API 데이터 변환
records = df.to_dict(orient="records")
```



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# DLT를 사용한 데이터 수집

DLT를 사용하여 데이터셋을 처리하고 PostgreSQL 데이터베이스에로드하는 파이프라인을 생성합니다.

- 파이프라인 생성:

```js
pipeline = dlt.pipeline(
  (pipeline_name = "fxrate_pipeline"),
  (destination = "postgres"),
  (dataset_name = "incremental")
);
```



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

2. 파이프라인 실행하기:

```js
# 파이프라인 실행
load_info = pipeline.run(
        records,
        write_disposition="merge",
        primary_key=("currencycode", "date"),
        table_name="fxrates")
```

# 파이프라인 실행하기

스크립트를 저장하고 실행하세요. 모든 설정이 올바르게 완료되었다면, 파이프라인이 성공적으로 실행되고 환율 데이터가 PostgreSQL 데이터베이스에 로드될 것입니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 데이터 확인하기

PostgreSQL 데이터베이스를 열고 대상 스키마를 확장하여 fx_rates 테이블을 찾으세요. 테이블을 쿼리하여 환율 데이터가 포함되어 있는지 확인하세요. API 소스와 데이터를 확인하여 로직의 정확성을 확인하세요.

```js
SELECT * FROM fxrates;
```

# 결론



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이 블로그 포스트에서는 API를 데이터 소스로 통합하고 데이터를 변환하여 DLT를 사용하여 PostgreSQL 데이터베이스에 로드하는 방법을 보여드렸습니다. 이 방법을 사용하면 중요한 데이터 소스를 시스템에 원활하게 통합하여 더 많은 정보를 바탕으로 결정을 내릴 수 있습니다. 제공된 스크립트와 방법을 사용하여 귀하의 특정 요구 사항과 도구에 맞게 적응시키십시오.

데이터 통합 및 자동화에 관한 더 많은 자습서 및 통찰력을 기대해 주세요!

# 쉽게 설명하기 🚀

In Plain English 커뮤니티의 일원으로 함께 해 주셔서 감사합니다! 떠나시기 전에:



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

- 작가를 박수로 격려하고 팔로우 해주세요! 👏️️
- 저희를 팔로우해주세요: X | LinkedIn | YouTube | Discord | 뉴스레터
- 다른 플랫폼 방문하기: CoFeed | Differ
- 더 많은 콘텐츠: PlainEnglish.io

Posts