Amazon Bedrock Agents 및 AI로 작업 자동화하는 방법

## 이전 글의 연속입니다.

만약 여러분이 Medium 회원이 아니라면, 이 기사를 여기서 읽을 수 있습니다. [niftylittleme.com](https://niftylittleme.com)로 이동하세요.

참고: 이 기사는 Next.js 앱 라우터를 사용합니다.

이전 글을 읽거나 살펴본 적이 있다면, 여러분의 프로젝트에 드래그 앤 드롭 기능이 있을 것입니다. 그러나 만약 작은 상자가 아닌 다른 것들을 드래그 앤 드롭하고 싶다면 어떻게 할까요? 실제로 엘리먼트를 드래그 앤 드롭하고 싶다면요? 뭔가 더 멋진 것을 원한다면, 이 튜토리얼은 여러분을 위한 것입니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

하지만 시작하기 전에 여기서 정확히 무엇을 하는지 이해하려면 이전 기사를 읽어야 합니다. 그래서 그것을 확인하고 돌아와주세요. 여러분과 공유할 많은 코드가 있습니다. 그러니 함께 시작해봅시다!

![이미지](/TIL/assets/img/2024-07-07-AddingCustomDraggableItemsToDrag-And-DropNextJsProject_0.png)

# 이전 프로그래밍 팁에서

드래그 앤 드롭 라이브러리와 킷들이 별로 구리다 보니, 우리는 Next.js 프로젝트에서 드래그 앤 드롭 기능을 처음부터 만들어야 했습니다. 드래그 가능한 항목들을 생성하고, 줌 인/아웃 기능이 있는 그리드 드롭 존을 만들었으며, 드래그 가능한 항목과 듭 존을 화면에 표시했습니다.

드래그 앤 드롭 Nextjs 프로젝트에 커스텀 아이템 추가하는 방법

먼저, `markdown-render` 컴포넌트를 설정하여 .md 파일을 렌더링할 것입니다. 그리고 Angular 컴포넌트를 렌더링하는 방법을 살펴볼 것입니다.

# Markdown 렌더러

필요한 종속성을 설치하세요:

```js
npm i highlight.js marked marked-highlight
```



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 단계 1: markdown-renderer/highlight-code-block.ts 파일 생성

이 함수는 마크다운 파일에서 코드를 강조 표시하는 데 사용됩니다.

```js
import highlightJs from "highlight.js";

export function highlightCodeBlock(code: string, language: string | undefined) {
  if (language) {
    return highlightJs.highlight(code, {
      language,
    }).value;
  }
  return code;
}
```

# 단계 2: markdown-renderer/transform-markdown.ts 파일 생성



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이 기능은 Markdown을 HTML로 변환하는 데 사용될 것입니다.

```js
import { marked } from "marked";
import { markedHighlight } from "marked-highlight";
import { highlightCodeBlock } from "./highlight-code-block";

marked.use(markedHighlight({ highlight: highlightCodeBlock }));
export const markdownToHtml = (content: string) => {
  return marked(content);
};
```

# 단계 3: markdown-renderer/markdown.service.ts 만들기

이 서비스는 구성 요소에서 .md 파일을 로컬 또는 외부 위치에서 읽어 HTML로 변환하는 데 사용될 것입니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
import { HttpClient } from '@angular/common/http';
import { Injectable, inject } from '@angular/core';
import { map } from 'rxjs';
import { markdownToHtml } from './transform-markdown';
@Injectable({
  providedIn: 'root',
})
export class MarkdownService {
  private httpClient = inject(HttpClient);
  htmlContent(src: string) {
    return this.httpClient.get(src, { responseType: 'text' }).pipe(
      map((markdownContent) => {
        return markdownToHtml(markdownContent);
      })
    );
  }
}
```

# 단계 4: markdown-renderer/markdown-renderer.ts 파일 생성하기

마지막으로, 마크다운 파일을 렌더링하는 데 사용할 수 있는 컴포넌트를 만듭니다.

```js
import { Component, ElementRef, effect, inject, input } from '@angular/core';
import { MarkdownService } from './markdown.service';
import { take } from 'rxjs';
import highlightJs from 'highlight.js';

@Component({
  selector: 'markdown-renderer',
  template: '문서 로딩 중...',
  standalone: true,
})
export class MarkdownRendererComponent {
  src = input.required<string>();
  textContent = '';
  private _elementRef = inject<ElementRef>(ElementRef);
  private markdownService = inject(MarkdownService);
  constructor() {
    effect(() => {
      const src = this.src();
      this.setDataFromSrc(src);
    });
  }
  setDataFromSrc(src: string) {
    this.markdownService
      .htmlContent(src)
      .pipe(take(1))
      .subscribe((htmlContent) => {
        this.updateDocument(htmlContent as string);
      });
  }
  updateDocument(rawHTML: string) {
    this._elementRef.nativeElement.innerHTML = rawHTML;
    this.textContent = this._elementRef.nativeElement.textContent;
    highlightJs.highlightAll();
  }
}
```



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 단계 5: HTTP 제공

```js
bootstrapApplication(App, {
  providers: [provideHttpClient(withFetch())],
});
```

# 단계 6: 사용법

이제 어디에서든 markdown을 렌더링하고 싶을 때, 간단히 `markdown-renderer`를 사용하면 됩니다:



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
import { Component } from "@angular/core";
import { MarkdownRendererComponent } from "./markdown-renderer/markdown-renderer";
@Component({
  selector: "article",
  standalone: true,
  template: `<markdown-renderer src="/assets/article.md"></markdown-renderer>`,
  imports: [MarkdownRendererComponent],
})
export class ArticleComponent {}
```

# 마크다운에 Angular 구성 요소 추가하기

필요한 종속성 설치:

```js
npm i @angular/elements
```



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 단계 1: custom-elements.service.ts 파일 만들기

이 서비스는 Angular 구성 요소를 사용자 지정 요소로 변환하는 데 사용됩니다. 이렇게 하면 .md 파일에서 Angular 구성 요소를 쉽게 사용할 수 있습니다.

```typescript
import { inject, Injectable, Injector } from "@angular/core";
import { createCustomElement } from "@angular/elements";
import { SubscribeComponent } from "./components/subscribe";
import { CounterComponent } from "./components/counter";

@Injectable({ providedIn: "root" })
export class CustomElementsService {
  private _injector = inject(Injector);

  setupCustomElements() {
    const subscribeElement = createCustomElement(SubscribeComponent, {
      injector: this._injector,
    });
    customElements.define("subscribe-component", subscribeElement);

    const counterElement = createCustomElement(CounterComponent, {
      injector: this._injector,
    });
    customElements.define("counter-component", counterElement);
  }
}
```

# 단계 2: APP_INITIALIZER를 통해 setupCustomElements 호출하기



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

커스텀 요소를 초기화 단계에서부터 사용하고 싶기 때문에 APP_INITIALIZER를 사용할 것입니다.

```js
bootstrapApplication(App, {
  providers: [
    provideHttpClient(withFetch()),
    {
      provide: APP_INITIALIZER,
      useFactory: initializeCustomElements,
      multi: true,
      deps: [CustomElementsService],
    },
  ],
});
```

# 단계 3: 사용 방법

마지막으로 파일에서 커스텀 요소를 사용하면 Angular 컴포넌트가 렌더링됩니다. 아래와 같이 간단히 사용할 수 있습니다:



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
<subscribe-component></subscribe-component>
<counter-component></counter-component>
```

# 코드

# 자유 콘텐츠 생성 지원

코스와 기사는 무료로 제공되지만, 최고 수준의 교육 콘텐츠를 전달하는 제 야망을 지원해 주시면 감사히 받아들일 것입니다. 기여를 결정하는 것은 계속해서 코스를 개선하고 추가 자료를 작성하며 이러한 자료에 대한 접근성을 유지하는 데 도움이 됩니다. 기여하고 의미 있는 변화를 만들어주시는 것에 감사드립니다!



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

![Render Angular Components in Markdown](/TIL/assets/img/2024-07-07-RenderAngularComponentsinMarkdown_0.png)

Markdown에서 Angular 컴포넌트 렌더링 하는 방법

![이미지](/TIL/assets/img/2024-07-07-TypeScriptsetupforNodejsproject_0.png)

지난 몇 년 동안 저는 Angular를 사용하여 프런트엔드 애플리케이션을 작성해 왔는데, 이 기간 동안 TypeScript가 일반 JavaScript보다 강력함을 느꼈습니다. Svelte 앱을 구현할 때 Node.js 기반의 TypeScript를 사용하여 작은 백엔드 서비스도 개발했습니다. 이 작은 기사에서는 코딩 프로세스를 간소화하는 데 도움이 된 구성에 대해 설명하고 싶습니다.

## 의존성

### 빌드



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

개발할 때 잘 알려진 Express.js 프레임워크를 사용했어요. TypeScript와 함께 사용하려면 해당 타입 정의를 명시적으로 추가해야 하며 Node 자체에 대한 것도요. 그러면 어떤 Node.js 환경으로도 이식할 수 있는 JavaScript 번들 하나만 얻고 싶었어요. 모든 것을 하나의 파일로 묶기 위해 특별한 구성 없이 esbuild를 사용했어요. 이것만으로 애플리케이션을 빌드하는 데 필요한 것이 거의 다 준비된 거죠.

## 개발

개발 과정에서 몇 가지 요구 사항도 있었어요. 그중 하나는 파일이 변경될 때 애플리케이션을 다시 실행해야 한다는 점이에요. 프론트엔드 애플리케이션에서의 개발 서버에 익숙해져 있어서 그랬나 봐요. 또 다른 기능은 별칭을 사용하는 것이라 개발자로서 좀 더 편리하다고 생각해요.

TypeScript로 작성된 Node.js 애플리케이션을 실행하려면 ts-node 실행 엔진이 필요해요. 코드가 변경된 후 애플리케이션을 다시 빌드하기 위해 nodemon이 필요해요. 물론 TypeScript도 설치해야 하고 별칭을 사용하려면 tsconfig-paths도 추가해야 해요.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

## package.json

제 package.json에서 추출한 내용입니다:

```js
{
  "scripts": {
    "start": "nodemon",
    "build": "esbuild main.ts --bundle --platform=node --outfile=dist/app.js --analyze"
  },
  "dependencies": {
    "express": "^4.18.2"
  },
  "devDependencies": {
    "@types/express": "^4.17.17",
    "@types/node": "^18.15.11",
    "esbuild": "^0.17.16",
    "nodemon": "^2.0.22",
    "ts-node": "^10.9.1",
    "tsconfig-paths": "^4.2.0",
    "typescript": "^5.0.4"
  }
}
```

의미 없는 부분은 건너뛰고 관련 있는 부분만 남겼습니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 별칭 및 nodemon 설정

## 구성

TypeScript 컴파일러를 사용할 때는 tsconfig.json 파일에서 특정 디렉토리에 대한 별칭을 정의할 수 있습니다. 아래는 추출된 코드입니다:

```js
{
  "compilerOptions": {
    "baseUrl": "./",
  "paths": {
    "@app/*": ["src/*"]
    }
  }
}
```



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

다른 컴파일러 옵션에 대해서는 대부분 기본값을 사용했습니다. 엔진 `ts-node`는 이 구성 파일을 사용하지만 별칭을 사용하려면 별칭을 관리하는 모듈을 명시적으로 로드하도록 Node.js에 알려주어야 합니다. 이는 다음과 같이 `tsconfig.json` 안에서 수행할 수 있습니다:

```js
{
 "ts-node": {
   "require": ["tsconfig-paths/register"]
 }
}
```

또는 명령 인수를 사용하여 다음과 같이 처리할 수도 있습니다:

```js
node -r tsconfig-paths/register -r ts-node/register main.ts
```



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

ts-node과 함께 사용된 nodemon이 더 명확해보였기 때문에 두 번째 변형을 사용하는 것이 더 나은 것 같았습니다. nodemon 구성에 추가할 수 있기 때문입니다. nodemon.config.json에서 추출한 내용은 다음과 같습니다:

```js
{
  "ignore": ["**/*.test.ts", "**/*.spec.ts", ".git", "node_modules"],
  "watch": ["src", "."],
  "exec": "node -r tsconfig-paths/register -r ts-node/register main.ts",
  "ext": "ts"
}
```

여기에서 TypeScript 파일에 대해서만 감시자를 설정하고 감시할 디렉토리 및 무시할 파일에 대한 규칙을 설정했습니다.

## 어플리케이션을 초기화합니다



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

Express.js 위에 몇 가지 래퍼를 구현해 두었어요. 애플리케이션을 초기화하기 위해서는 main.ts에서 해당 클래스를 사용할 수 있습니다:

```js
import { App } from "@app/app";

const app: App = new App();
app.listen(8080);
```

# 요약

Node.js 프로젝트에 적용할 수 있는 기본 설정을 설명했습니다. 이 설정에는 애플리케이션 자동 재시작, 단일 파일 빌드를 위한 간단한 구성, TypeScript 별칭 사용이 포함되어 있어요.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이 기사에서는 Node.js 구성에 전념한 것으로 응용 프로그램 클래스 구현 설명을 생략했습니다. 또한 서로 다른 디렉터리에 매핑된 여러 별칭을 사용하고 JavaScript로 작성된 모듈을 지원할 수 있습니다.

저의 저장소에 있는 응용 프로그램 예시: https://github.com/aleksei-golubev/article-full-stack-development-svelte-express/tree/main/backend.

Svelte 사용에 대한 참고 사항: https://medium.com/@aleksei_golubev/angular-developer-trying-svelte-e54898ca986b.

Nodejs 프로젝트에서 TypeScript 설정하는 방법

파이썬은 단순한 자동화 스크립트부터 복잡한 머신 러닝 응용프로그램까지 모든 것에 선호되는 언어로 계속해서 주도하고 있습니다. 이에 효율적인 패키지 관리는 중요합니다. 과거에는 파이썬의 패키지 설치 관리자인 pip이 이 관리 시스템의 최전선에 있었습니다. 그러나 Rust로 작성된 현대적인 패키지 설치 관리자인 UV의 등장은 속도, 효율성, 신뢰성을 향상시켜 혁명적인 변화를 약속합니다. 이 블로그는 UV와 pip 사이의 성능, 기능 및 파이썬 개발에 미치는 전반적인 영향에 초점을 맞추어 차이점을 탐구합니다.

![UV와 PIP를 비교하는 이미지](/TIL/assets/img/2024-07-07-UVvsPIPRevolutionizingPythonPackageManagement_0.png)

# PIP 개요

Pip는 많은 해 동안 파이썬 패키지 관리의 기반이었습니다. 사용자들이 파이썬 패키지 인덱스(PyPI)에서 가져온 소프트웨어 패키지를 설치하고 관리할 수 있도록 합니다. pip의 전형적인 워크플로는 다음과 같습니다:



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

- 패키지 설치 : `pip install packagename`과 같은 명령어를 실행합니다.
- 요구 사항 관리 : `requirements.txt` 파일을 사용하여 프로젝트 종속성을 관리합니다.
- 가상 환경 처리 : 가상 환경을 활용하여 서로 다른 프로젝트의 종속성을 격리하고 관리합니다.

파이프는 매우 유용하지만 대형 종속성을 처리할 때 속도에 어려움을 겪거나 종속성 충돌 해결 및 디스크 공간 사용을 최적화하는 효율적인 메커니즘이 부족한 경우가 많습니다.

# UV 소개

UV는 파이프의 대체품으로 설계된 고성능 대안으로 등장합니다. Rust로 제작된 UV는 속도와 효율성을 중시하여 개발되었으며, 다양한 시나리오에서 pip와 비교했을 때 10-100배의 성능 향상을 자랑합니다. 주요 기능은 다음과 같습니다:



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

- 속도: UV는 패키지 설치에 필요한 시간을 크게 줄입니다.
- 디스크 공간 효율성: 종속성 중복을 방지하기 위해 전역 캐시를 구현합니다.
- 고급 종속성 관리: 고급 해결 전략 및 최고 수준의 오류 메시지를 제공합니다.
- 크로스 플랫폼 지원: macOS, Linux 및 Windows에서 실행되며 다양한 고급 pip 기능을 지원합니다.

# 주요 차이점

## 성능

UV가 pip보다 가장 큰 장점을 가지고 있는 부분은 속도입니다. 벤치마크 결과 UV가 종속성 설치를 훨씬 빠르게 처리할 수 있다는 것을 보여주며, 시간과 자원이 중요한 환경에서 작업하는 개발자들에게 필수적인 도구로 작용합니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

## 디스크 사용량

UV는 pip과 달리 패키지 종속성을 중복으로 저장하지 않고 디스크 공간을 효율적으로 관리하는 전역 캐싱 메커니즘을 사용합니다. 이 기능은 같은 기계에서 여러 프로젝트를 다루는 개발자에게 매우 유용합니다.

## 오류 처리 및 메시지

UV는 향상된 오류 진단 기능을 제공하여 pip에서 자주 나타나는 암호화된 오류 메시지와 비교하여 의존성 문제의 디버깅을 훨씬 쉽게 만듭니다. 이 기능 하나만으로도 개발자가 수십 시간을 소비하는 문제 해결을 막아줄 수 있습니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 실용적인 비교

간단한 판다스 설치 예제를 사용하여 두 가지를 비교해보겠습니다.

![이미지 1](/TIL/assets/img/2024-07-07-UVvsPIPRevolutionizingPythonPackageManagement_1.png)

![이미지 2](/TIL/assets/img/2024-07-07-UVvsPIPRevolutionizingPythonPackageManagement_2.png)



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

- 사용자 CPU 시간:

  - pip: 1.61 초
  - uv: 0.28 초
  - 분석: UV는 사용자 CPU 시간을 현저히 적게 사용합니다. 이는 UV가 Python 수준 작업의 계산 및 처리를 더 효율적으로 수행한다는 것을 시사합니다.

- 시스템 CPU 시간:

  - pip: 0.18 초
  - uv: 0.42 초
  - 분석: UV는 더 높은 시스템 시간을 갖고 있는데, 이는 UV가 파일 I/O 또는 네트워크 작업을 더 적극적이거나 다르게 처리하기 때문일 수 있습니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

3. CPU 사용률:

- pip: 67%
- uv: 58%
- 분석: 두 도구 모두 CPU의 상당 부분을 활용하지만 UV가 더 효율적으로 작동하여 더 적은 CPU를 사용하여 전반적으로 빠른 완료를 달성합니다.

4. 총 경과 시간:

- pip: 총 2.624초
- uv: 총 1.216초
- 분석: UV가 pip보다 걸리는 시간의 거의 절반에 설치를 완료합니다. 이는 UV의 성능 우위를 현실 세계에서 강조하며, 속도가 중요한 환경에서 유용한 선택으로 만듭니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 주요 포인트:

- 속도: UV는 동일한 패키지를 설치할 때 전체 경과 시간에서 pip보다 약 두 배 더 빠릅니다. 이 속도 향상은 여러 패키지를 자주 설치하고 업데이트하는 환경에서 작업하는 개발자들에게 중요합니다.
- 효율성: UV는 특히 해결 및 패키지 설치 속도에서 전반적인 효율성이 더 좋습니다.
- 자원 사용: UV가 시스템 리소스를 다르게 활용하는 방식(시스템 시간을 더 사용, 사용자 시간을 덜 사용)은 일반적으로 시스템 수준 작업에서 더 효율적인 Rust 기반 실행 때문에 낮은 수준에서 더 많은 작업을 수행할 수 있을 것으로 보입니다.

# UV로 시작하기: Python 패키지 더 빠르게 관리하는 방법

```js
# macOS 및 Linux에서.
curl -LsSf https://astral.sh/uv/install.sh | sh

# Windows에서.
powershell -c "irm https://astral.sh/uv/install.ps1 | iex"

# 특정 버전으로.
curl -LsSf https://astral.sh/uv/0.2.21/install.sh | sh
powershell -c "irm https://astral.sh/uv/0.2.21/install.ps1 | iex"

# pip로.
pip install uv

# pipx로.
pipx install uv

# Homebrew로.
brew install uv
```



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# Python 패키지 관리의 미래

UV는 단순한 패키지 설치 도구가 아닙니다. 더 넓은 비전의 일환으로서 "Python용 Cargo"를 만들기 위한 종합 도구입니다. UV의 개발 로드맵에는 환경 통합, 패키지 게시 도구, 심지어 Python 프로젝트를 관리하는 네이티브 GUI와 같은 강력한 기능이 포함될 예정입니다.

# 결론

UV는 Python 패키지 관리에서 큰 발전을 의미하며, pip의 오랜 논란이었던 여러 문제점을 해결하고 현대적인 개발 워크플로에 부합하는 고급 기능을 도입합니다. UV를 채택함으로써, 개발자들은 더 빠른 설치, 더 나은 자원 관리, 그리고 의존성을 보다 직관적으로 다룰 수 있는 혜택을 누릴 수 있습니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

# 마지막으로

UV를 개발한 창조자들에게 축하드립니다. 여러분의 노고와 혁신이 파이썬 커뮤니티에 진정으로 감사하게 생각합니다 👏👏.

UV를 다음 파이썬 프로젝트에 사용해보세요. UV가 파이썬 개발 환경을 어떻게 변화시킬 것이라고 생각하시나요?

UV vs PIP 2024년에 Python 패키지 관리를 혁신하는 방법

![이미지](/TIL/assets/img/2024-07-07-PydanticserializationstepbystepsforFastAPI_0.png)

FastAPI 프레임워크를 사용하여 API를 구축하려면 pydantic에 대해 알아야 합니다. 'post' 요청은 본문 매개변수만 허용하기 때문입니다. 본문 매개변수를 읽으려면 pydantic 모델을 구현해야 합니다.

그러나 문제는 이 pydantic 모델의 데이터를 사용할 때, 원본 pydantic보다 쉬운 데이터 유형(파이썬 사전 또는 JSON일 수 있음)으로 변환해야 한다는 것입니다. 이 데이터 유형으로 작업하는 것이 원본 pydantic보다 쉽기 때문입니다.

이 프로세스를 직렬화라고 합니다. 이름에서 알 수 있듯, 이 문제에 대해 심각하게 생각할 필요가 없습니다. 이 주제에 대해 알아야 할 모든 것을 단순화할 것입니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

FastAPI에서 데이터를 반환할 때 pydantic 모델과 정확히 동일한 데이터를 반환하고 싶다면 직렬화 방법을 사용할 필요가 없습니다. FastAPI가 이를 자동으로 처리하기 때문입니다. 그러나 pydantic 데이터 출력을 사용자 정의하려면 (적어도 새 필드를 추가하거나 기존 필드를 제거하는) pydantic에서 어떤 종류의 직렬화 방법을 사용하는 것이 좋습니다. model_dump(), dict() 및 model_dump_json()과 같은 방법이 있습니다.

먼저 어떻게 무조건적으로 pydantic 모델과 동일한 데이터를 반환하는지 알아보겠습니다.

```python
from fastapi import FastAPI
from pydantic import BaseModel

app = FastAPI()
class University(BaseModel):
    name : str
    place : str
@app.post('/create')
async def addUniversity(university : University):
    # 업무 로직을 수행한 후
    # pydantic 모델 그대로 반환합니다
    return university
```

그리고 위의 pydantic 모델을 수정하여 (다른 필드를 추가하는 간단한 예) 직렬화 방법을 사용하지 않고 반환하는 방법을 살펴보겠습니다. 이것은 어려운 주제가 아닙니다. 그저 새로운 사전을 만들고 출력으로 반환하는 것뿐입니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```python
from fastapi import FastAPI
from pydantic import BaseModel

app = FastAPI()
class University(BaseModel):
    name : str
    place : str
@app.post('/create')
async def addUniversity(university : University):
    newUniversity = {
        'name' : university.name,
        'place' : university.place,
        'contactNum' : +1234678
    }
    return newUniversity
```

만약 직렬화(serialization)에 대해 익숙하지 않다면, 위와 같은 방법으로 해야 한다고 생각할 수 있습니다. 하지만 이제 직렬화 메서드를 적용하는 방법을 살펴본 후, 우리의 작업을 더 쉽게 할 수 있는 방법을 알아보겠습니다.

```python
from fastapi import FastAPI
from pydantic import BaseModel

app = FastAPI()
class University(BaseModel):
    name : str
    place : str
@app.post('/create')
async def addUniversity(university : University):
    # 새로운 대학 변수를 정의하고 직렬화된 데이터를 할당합니다.
    newUniversity = university.model_dump()
    # 새 데이터 추가
    newUniversity['contactNum'] = 12345678
    # 값을 반환합니다.
    return newUniversity
```

따라서 직렬화를 사용할 수 있는 유용한 방법 중 하나를 보여드렸습니다. 이 주제에 대해 더 자세히 알아보고 싶다면, 직렬화에 대해 알아야 할 모든 것을 간단하게 설명해드리겠습니다.
pydantic에는 세 가지 주요 기본 직렬화 메서드가 있습니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

## model_dump( )

이 함수는 Pydantic 모델을 사전으로 변환하는 데 사용됩니다. 사전으로 변환한 후에는 아래와 같이 출력을 사용자 지정하는 여러 옵션이 있습니다.

```js
from fastapi import FastAPI
from pydantic import BaseModel, Field

app = FastAPI()
class University(BaseModel):
    name : str
    place : str = Field(alias='location place')
    rank : int
    specialize : int = Field(default=1)
@app.post('/create')
async def addUniversity(university : University):
    newUniversity = university.model_dump(exclude='rank', include=['name', 'place', 'specialize'], mode='python', by_alias=True, exclude_defaults=True)
    # 비즈니스 로직 구현
    # 데이터베이스에 저장
    # 결과 반환
    return newUniversity
```

코드 설명
addUniversity()가 데이터베이스에 새로운 대학을 추가하는 엔드포인트로 상상해 봅시다. 사용자가 프론트엔드에서 데이터를 제출하면 이 API 엔드포인트는 데이터를 받아서 Pydantic 모델에 전달합니다. addUniversity() 함수 내에서 University 데이터 모델을 model_bump() 메서드를 사용하여 직렬화하는 새로운 변수 newUniversity를 선언합니다. 여기에서 우리는 Pydantic 모델의 출력을 원하는 대로 사용자 정의할 수 있습니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

"exclude": 이 옵션을 사용하여 Pydantic 모델에서 가져온 필드를 제거할 수 있습니다.

"include": 여기서 함수 내에서 계산에 필요한 필드를 지정할 수 있습니다.

"by_alias": Pydantic 모델의 각 필드에 대한 대체 이름을 이미 정의했다면, by_alias는 사용 여부에 대한 옵션을 제공합니다.

"exclude_default": Pydantic 모델의 특정 필드에 대한 기본값을 정의했기 때문에, 기본값과 같은 값을 가진 필드를 제외하려면 이 옵션을 사용할 수 있습니다. 이 옵션은 그 목적을 위해 사용됩니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

만약 다른 옵션들을 더 탐색하고 싶다면, `API documentation` Pydantic 문서 `Base model` `model_dump` 를 확인해보세요.

## dict()

여기서 제공하는 것 또한 `model_dump()` 메서드와 비슷합니다. 왜냐하면 이 역시 파이썬 딕셔너리를 반환하기 때문입니다. 하지만 다른 점은 customize our pydantic model을 위해 사용할 수 있는 몇 가지 옵션이 있다는 것입니다.

## model_dump_json()



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

만약 JSON 출력 또는 직렬화 출력을 JSON 형식으로 받고 싶다면 `model_dump_json()`을 사용하세요. `model_dump` 메서드에서 사용 가능한 모든 옵션들을 여기에도 사용할 수 있습니다.

# 다른 직렬화 옵션들은 무엇이 있을까요

## @field_serializer

예를 들어 Pydantic 모델에서 특정 필드를 커스텀하고자 할 때, 함수나 엔드포인트로 Pydantic 모델 데이터를 가져오기 전에 그 필드를 수정하고 싶을 수 있습니다. 다시 말해 Pydantic 모델을 호출한 후 일부 필드를 수정해 해당 데이터를 함수나 엔드포인트로 반환하고자 하는 경우가 있을 수 있습니다. 이런 경우 `@field_serializer`를 사용해야합니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```python
from fastapi import FastAPI
from pydantic import BaseModel, field_serializer

app = FastAPI()
class University(BaseModel):
    name: str
    place: str
    rank: str
    specialize: int

    @field_serializer('rank', when_used='always')
    def rank_serialize(rank: str):
        rank = 'world rank - ' + rank
        return rank

@app.post('/create')
async def addUniversity(university: University):
    return university
```

**코드 설명**

University pydantic 모델은 name, place, specialize와 함께 rank와 같은 여러 필드를 허용합니다. 이 모델에 데이터를 전달할 때 rank 필드의 값은 문자열입니다. 그러나 이 코드 외부에서 데이터를 전달할 때 rank의 값으로 숫자만 받습니다. "01", "02"와 같은 링크를 사용하지만 이 pydantic 모델 외부에서 데이터를 전달할 때 rank의 값을 "world rank - 01"과 같이 바꾸고 싶습니다. 간단히 말해 출력은 다음과 같아야 합니다.

```python
{
  "name": "string",
  "place": "string",
  "rank": "world rank - 01",
  "specialize": 0
}
```



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

js
{
"name": "string",
"place": "string",
"rank": "01",
"specialize": 0
}

단일 필드만 직렬화하려면 Pydantic 모델 내에서 새로운 함수를 선언해야 합니다. 이 함수에는 '@field_serializer' 데코레이터를 사용해야 합니다. 하지만 먼저 해당 데코레이터를 Pydantic 모델에서 import해야 합니다. 여러 매개변수를 받을 수 있지만, 여기서는 두 가지만 언급합니다. 첫 번째는 어떤 필드를 직렬화할지를 나타내는 것입니다. 여기서는 'rank' 필드를 사용했습니다. 두 번째는 'when_use'입니다. 이곳에서 언제 이 필드 직렬화기를 사용할지 알려주어야 합니다. 이 예시에서는 'always'를 사용합니다.

그런 다음 해당 함수 내에서 원하는 작업을 수행하고, 마지막으로 반환하면 됩니다. 그게 전부입니다. 간단하지요?



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

## @model_serializer

이 메서드에서는 엔드포인트나 함수로 반환하기 전에 원하는대로 pydantic 모델을 직렬화할 수 있습니다. 이는 field_serializer와 매우 유사합니다. 더 잘 이해하기 위해 예제를 살펴봅시다.

```js
from fastapi import FastAPI
from pydantic import BaseModel, model_serializer

app = FastAPI()
class University(BaseModel):
    name : str
    place : str
    @model_serializer()
    def rank_serialize(self):
        return {
        'name' : 'the ' + self.name,
        'place' : self.place + ', sri lanka'
        }
@app.post('/create')
async def addUniversity(university : University):
    return university
```

이렇게 출력을 얻고 싶습니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

```js
{
  "name": "콜롬보 대학",
  "place": "스리랑카 콜롬보"
}
```

대신에 모델 시리얼라이저를 사용해보세요.

```js
{
  "name": "콜롬보 대학",
  "place": "콜롬보"
}
```

첫 번째로 해야 할 일은 pydantic 모델에서 model_serializer를 import하는 것입니다. 그런 다음 모델 내부에서 '@model_serializer' 데코레이터가 달린 함수를 선언하고 원하는 방식으로 출력을 구성하십시오. 마지막으로 반환하십시오. 더 자세한 내용은 pydantic 문서 `API Documentation`의 `Functional serializer` 섹션을 참조하십시오.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

그냥 간단하게 Pydantic에서 serializer를 사용하는 방법이야. 더 자세한 내용을 원한다면 문서를 확인하고 이해를 돕기 위해 뭔가를 구현해보세요...

코딩 즐겁게 하시고 또 다른 FastAPI 주제에서 만나요...

FastAPI에서 Pydantic 직렬화 단계별 가이드

파이썬 해시 테이블 구현 방법 단계별 설명

JAX를 배워야 하는 이유 분자동역학 적용 사례 소개

![이미지](/TIL/assets/img/2024-07-07-CourseBecomeaQuantTraderwithPythonHowtoGetTopQualityData_0.png)

주식 거래를 위해 Python으로 알고리즘을 코딩하기 시작하는 경우, 가장 중요한 질문은 무엇을 찾고 어디서 찾을지입니다. 저는 정확히 그것을 연구하는 데 상당한 시간을 할애했고 도움을 줄 수 있습니다.

이 기사에서는 승리를 창출하는 알고리즘을 만들기 위해 필요한 모든 것을 담은 매우 포괄적인 데이터프레임을 구축할 것입니다. 그리고 더 중요한 점은 여기에서 공유하는 코드가 데이터의 다른 시간대를 가져오기에 매우 쉽게 적응할 수 있도록 설계된 것입니다. 따라서 필요할 때 작업을 가속화하는 데 도움이 될 것입니다.

우선, 주식 데이터를 가지고 있는 다양한 API가 있지만, 양적 분석을 위해 알파베티지(https://www.alphavantage.co/)를 추천할 것입니다. 왜냐하면 이미 다양한 지표가 계산되어 있고 1분 단위의 투자자에게 필요한 내부 시장성에 대한 데이터도 제공하기 때문입니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

## 데이터 가져오기

다음 코드 조각은 선택한 티커에 대한 데이터를 자동으로 가져와 데이터프레임으로 연결합니다:

```js
!pip install alpha_vantage
from datetime import datetime
from datetime import timedelta

from alpha_vantage.timeseries import…
```

코스 파이썬으로 퀀트 트레이더 되기 - 최고 품질 데이터 얻는 방법

제가 말한 블로그 시리즈의 첫 부분을 아직 확인하지 않으셨다면 확인해주세요. 이것은 필수는 아니지만 일부 맥락을 제공합니다.

# 소개 - PictoPy

PictoPy는 디지털 사진의 처리 방식을 혁신적으로 바꿔주기 위해 설계된 현대적인 데스크탑 앱입니다. 이 앱은 사물, 얼굴 또는 장면을 기반으로 한 사진에 대한 스마트 태깅 기능을 제공하여 효율적인 갤러리 관리를 용이하게 해줍니다.

이 프로젝트는 AOSSIE에 의해 발표되었으며 처음부터 구현되기로 했습니다. 이는 Google 사진과 유사하게 객체 감지 및 얼굴 유사성과 같은 기능을 제공합니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

## 배경

GSoC 이전에 프로젝트에 몇 개의 Pull Request를 이미 제출했습니다. 우리가 무엇을 하려고 하는지 이해하려 머리를 쥐어뜯았습니다. 이 Pull Request에는 주로 Google Colab에서 다양한 유형의 모델을 테스트하고 마지막으로 출력을 제공하고 추론 속도를 벤치마킹하는 것이 포함되었습니다.

당시, 물체 탐지 및 얼굴 탐지를 위해 다양한 모델을 탐구했습니다. 우리가 시도한 첫 번째 모델은 Ultralytics의 YOLOv8 모델이었습니다. 이 모델은 훌륭한 추론 속도와 많은 온라인 자습서를 가지고 있어서 바로 이것을 사용할 수 있을 것이라는 것이 명백했습니다. 이 프로젝트는 처음부터 만들어지고 있기 때문에 시작할 때 모든 것을 결정하고 확정하기가 매우 어렵습니다.

그러나 얼굴 탐지 및 인식은 더 어려웠습니다. 얼굴 임베딩과 유사성 측정을 제공하는 많은 라이브러리와 모델이 있었습니다. 당시에 직면한 공통 문제 중 하나는 어린이의 얼굴을 잘 탐지하지 못하는 것이었습니다(예: 파이썬의 facial_recognition 라이브러리). 모든 유형의 얼굴을 탐지할 수 있는 몇 가지 모델이 있었지만, 이러한 모델들은 유사성 성능이 우수했습니다. 우리는 궁극적으로 결정을 내렸습니다. 얼굴 탐지에는 다른 라이브러리를 사용하고, 얼굴 인식에는 다른 라이브러리를 사용할 것입니다. 두 가지 모두 최고의 성과를 얻을 수 없었으므로, 우리가 선택한 얼굴 탐지 모델은 yolo-face 모델이었고, 이 모델에서 얼굴을 자르고 정렬한 후 임베딩을 추출하여 face recognition에 전달했습니다. facial_recognition 라이브러리는 이를 잘 수행했습니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

지금까지 우리는 애플리케이션에 후보가 될 수 있는 몇 가지 모델을 가지고 있었고 마인드에 워크플로우도 있었습니다. 아마도 전면 갤러리 측면에 대해 아직 논의하지 않았을 것을 알아채셨을 것입니다. 단지 백엔드 부분(특히 CNNs)에 대해 더 관심이 있었기 때문입니다. 백엔드에서 기반 준비가 되면 앱 갤러리를 생성하여 API 호출을 할 수 있을 만큼 React(및 Electron)을 사용하는 방법을 알고 있었으며 백엔드 준비가 되었을 때 구현할 수 있을 것이라고 확신했어요. 또한 공개 소스 세계에서는 언제든지 누군가가 도와줄 것이므로 그때는 프론트엔드로 걱정할 필요가 없었습니다. 디자인에 있어서는 나보다 더 창의력과 기술을 가진 사람들이 분명히 있기 때문이죠. 그럼에도 불구하고 제 제안서에는 프로젝트의 프론트엔드와 백엔드 부분을 어떻게 다룰 것인지 언급했고 가끔가다 제가 쓴 내용을 다시 상기시키기 위해 그것을 다시 참고했습니다.

GSoC 참여자가 발표된 후 PictoPy에는 저 외에 두 명의 사람이 선택되었습니다. 이로써 우리 모두가 이 프로젝트를 다양한 각도에서 접근하고 충분히 아이디어 회의를 진행할 수 있었습니다. 커뮤니티 결속 기간 동안 우리는 멘토와 빈도 있는 회의를 갖고 최종 제품을 위한 기술 스택, 아키텍처 및 디자인에 대해 논의했어요. 최종 선택 수에 따라 목표가 변경되어 우리 모두는 계획을 재정의하고 작업을 분배해야 했습니다.

# 우리의 접근

## 1. 설정



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

백앤드에서는 다른 프로젝트에서 가져온 스타터 FastAPI 코드를 설정했어요. 이것에는 표준 디렉토리 구조 및 명명 규칙과 Linux에서는 uvcorn을 사용하여 bash 스크립트에서 빠르게 실행되는 앱, Windows에서는 bat 파일이 포함되어 있었어요.

멘토와 프로젝트의 스키마를 논의하면서 객체 탐지 모델을 찾았어요. 우리가 직면한 한 가지 문제는 라이브러리의 크기가 최종 제품 측면에서 다소 크다는 것이었어요. Ultralytics 라이브러리 (PyTorch를 사용하는)는 5GB 크기의 가상 환경과 함께 제공되었는데, 이를 cpu 모드로 설치하면 이 크기가 2GB로 줄었어요.

2GB는 여전히 많은 것 같았어요. 우리가 필요한 모델이 약 80MB 크기면서도요. 그때 ONNX 형식에 대해 알게 되었어요. 이것은 큰 도움이 되었고, 우리는 대략 400MB의 가상 환경과 우리가 사용하는 모델 크기를 더한 객체 탐지 모델을 설정할 수 있었어요.

![image](/TIL/assets/img/2024-07-07-MyGSoCJourneyPhase1_0.png)



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

요거 간단해졌네요. 이제 우리는 사용하는 모델들의 ONNX 형식과의 호환성을 찾아야 한다는 것을 알았고, 그것을 다시 사용할 수 있었으며, 마침내 애플리케이션 크기를 어느 정도로 컨트롤할 수 있게 된 것 같아요.

## 2. 병렬 처리를 이용한 라우팅 로직

라우팅 로직을 다루면서, 우리는 FastAPI를 사용하고 있었기 때문에 프론트엔드에서의 요청이 블로킹되지 않도록 하는 방법을 찾아야 했어요. 다시 말해, 프론트엔드는 이미지 처리가 끝날 때까지 기다리지 않아야 했고, 갤러리에 더 많은 사진을 추가할 수 있어야 했어요. 갤러리에 사진을 추가하고 프론트엔드에 표시하는 것은 이 사진들을 처리하고 클래스를 감지하는 것보다 훨씬 빠른 단계예요. 이는 백엔드에서 실행될 수 있기 때문이죠.

이런 결정들은 나중에 이 백엔드가 미래의 다른 어플리케이션과 호환이 되도록 하기 위해 적절한 엔드포인트를 제공하고 프론트엔드와의 낮은 결합 디자인을 유지하는 것을 염두에 두고 내려졌어요. 이를 위해 우리는 우리의 갤러리 앱에 추가된 여러 이미지를 병렬로 처리하는 방법을 찾아야 했어요. 그때 우리는 파이썬의 스레딩과 같은 옵션들을 시도해보았는데, 그때는 파이썬에서 한 번에 하나의 스레드만 실행할 수 있는 Global Interpreter Lock에 대해 알 지 못했었어요. 이에 대해 더 읽고 싶다면 아래에서 공유한 자료들을 따라보세요. 이외에도 우리는 애플리케이션에 복잡성을 도입한 multiprocessing 라이브러리를 사용해 보기도 했어요. 우리는 FastAPI와 uvicorn 그리고 기본적으로 하나의 워커 프로세스로 실행되는 gunicorn 워커를 사용하고 있었는데, multiprocessing을 실행하기 위해 각각 FastAPI 애플리케이션의 인스턴스를 갖는 여러 워커 프로세스를 구성해야 했고, uvicorn을 사용함으로써 교차 플랫폼 호환성 문제에 부딪히기도 했었어요. 결국 우리는 hypercorn을 사용하게 되었어요.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

마침내, 우리는 asyncio를 사용하기로 결정했어요. FastAPI는 asyncio를 완전히 지원하는 비동기 웹 프레임워크인 Starlette 위에서 구축되었어요.

![이미지](/TIL/assets/img/2024-07-07-MyGSoCJourneyPhase1_1.png)

이러한 결정들은 커뮤니티, 팀 및 멘토의 피드백을 기반으로 시간이 지남에 따라 개선되었어요.

## 3. 데이터베이스 설계



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

전통적인 이미지 갤러리 데스크톱 애플리케이션으로, 구조화된 방식으로 작업을 수행하기 위해 일종의 데이터베이스 스키마가 필요했습니다. 이미지에 대한 경로를 키로 원래 저장하면서(이는 클라이언트로부터의 페이로드이기도 합니다), 이미지를 처리하여 모델이 감지한 클래스를 기반으로 해당 객체에 속하는 인덱스를 추가했습니다. 이미지의 메타데이터(생성 날짜, 크기, 형식 등)도 저장하고, 미래에는 이미지에서 발견된 얼굴 임베딩 목록(파란색으로 표시)을 저장할 예정입니다.

![이미지](/TIL/assets/img/2024-07-07-MyGSoCJourneyPhase1_2.png)

이렇게 구성된 상태에서 우리는 앨범 스키마를 정의하여 앞으로 나아갔는데, 이는 많은 이미지와 일부 앨범 기능으로 이루어져 있었습니다. 여기서 주요 키는 앨범 이름 자체이며, 사용자가 필요한 경우 제공할 수 있는 간단한 설명이 함께 포함된 앨범의 경로입니다.

![이미지](/TIL/assets/img/2024-07-07-MyGSoCJourneyPhase1_3.png)



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

우리 갤러리 앱의 특성과 모델과의 호환성 때문에 이러한 스키마는 시간이 지남에 따라 계속 변화합니다. 더 구체적인 매핑을 얻기 위해 더 많은 스키마를 생성할 계획이며, 예를 들어 이미지 경로의 숫자/uuID를 포함하는 별도의 테이블을 생성하여 이를 모든 곳에서 주 키로 사용할 예정입니다. 미래에 예상되는 어려움 중 하나는 사용자가 파일 시스템을 통해 응용 프로그램 외부에서 이미지를 수동으로 삭제하는 경우에 대처해야 할 것입니다.

# 우리의 미래 목표

다양한 얼굴 인식 모델을 탐색하면서 이러한 모델이 ONNX 형식과 호환되는지 확인해야 했습니다. 이를 위해 ONNX 저장소에는 그러한 인식 모델의 예제가 있습니다. arcface가 그 중 하나입니다. 이것이 우리가 필요한 바로 그것이며, 우리 애플리케이션에 이를 통합할 것입니다.

우리가 흔히 하는 작업 흐름 중 하나는 아이디어를 고안하는 것, 이 아이디어에 대한 모델을 찾는 것, 이러한 모델의 ONNX 형식 지원을 찾는 것, 그리고 이를 통합하는 것입니다. 이 작업에 OpenVINO를 사용하는 것이 좋았습니다. 훌륭한 문서와 모델을 실행하는 데 사용할 수 있는 예제 노트북이 포함된 Model Zoo가 제공되었습니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

이것은 우리 응용 프로그램에 많은 가능성을 열어 주었습니다. Linux, Windows 및 MacOS에서 런타임을 사용하여 교차 플랫폼 호환성을 보장할 수 있습니다. 이것은 다양한 모델을 제공하며 중간 표현(IR)으로 변환하여 사용할 수 있습니다. 다행히도 arcface는 OpenVINO에서 문서화 된 모델 중 하나였습니다. 우리는 정렬 없이 LFW 데이터셋의 이러한 모델들을 테스트한 결과 얼굴 모델의 사이즈가 약 200MB 정도일 때 꽤 잘 동작합니다. 이것은 얼굴 정렬과 landmark detection (눈, 코, 입 등)을 위한 MTCNN을 지원하며, 우리는 이를 향후 통합할 계획입니다.

나중에 이러한 임베딩을 사용하여 비슷한 얼굴을 포함하는 사진을 클러스터링하여 사용자에게 구글 포토와 유사하게 특정인의 이미지를 반환하는 옵션을 제공할 수 있습니다. OpenVINO를 사용한다면 저장한 태그에 기반한 검색 기능도 추가할 수 있습니다.

# 도전과 배운점

내가 처음에 제안한 계획과는 달리, 환경 및 런타임의 변화로 인해 위에 설명한 기술들이 다르게 진행되었습니다. 이는 ONNX 및 OpenVINO의 문서를 찾아본 적이 없기 때문에 어려움을 겪은 첫 번째 경험이었습니다. 팀원들이 직면한 어려움과 그들이 그것을 해결하는 방법을 알게 된 것 또한 좋은 경험이었습니다. 파이썬에서의 다중 처리에 대해 사전에 알지 못했고, 동시성에 대한 초기 접근 방식이 달라졌기 때문에 지속적인 도전은 앞으로 이 프로젝트에 참여할 다른 기여자들을 고려하여 결정을 내리는 것이었습니다. 저는 딥러닝 모델을 기반으로 개발된 도구들과 Python 언어 전반에 대해 더 강한 이해를 가지게 되었습니다. 이러한 배움들을 다른 부수 프로젝트와 학업 프로젝트에도 적용할 수 있었으며, 전체적으로 배우는 것이 정말 즐거웠습니다. 이 프로젝트에서 작업하는 동안 참고한 자료 목록을 추가하고, 여러분에게도 도움이 되기를 바랍니다.



<ins class="adsbygoogle"
     style="display:block"
     data-ad-client="ca-pub-4877378276818686"
     data-ad-slot="1549334788"
     data-ad-format="auto"
     data-full-width-responsive="true"></ins>

<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>

## 자원

- 객체 검출을 위한 Ultralytics YOLO 모델
- ONNX 형식의 YOLOv8 모델 사용 예시를 보여주는 저장소
- ORM에 관한 블로그
- YOLOv8 얼굴 모델
- ONNX 모델의 모음
- OpenVINO Toolkit의 Open Model Zoo
- asyncio, concurrency 및 GIL에 대한 Real Python 튜토리얼
- 이미지에서 메타데이터 추출에 대한 Python 코드 튜토리얼

이 블로그 시리즈의 첫 번째 부분을 이 링크에서 확인하지 않으셨으면 확인하세요. 그리고 이 블로그 시리즈의 다음 부분을 기대해 주세요. GitHub 및 LinkedIn에서 저와 연락할 수 있습니다. 읽어 주셔서 감사합니다!

Posts