오픈 소스 프로젝트는 현대 소프트웨어 생태계의 중요한 부분입니다. 이러한 이니셔티브는 소스 코드를 자유롭게 볼 수 있고 수정하고 배포할 수 있는 곳으로, 기술 산업 전반에 걸쳐 혁신과 협력을 촉진합니다.
오픈 소스는 유용할 뿐만 아니라 필수적입니다. 이는 투명성을 촉진하여 동료 검토와 보안 취약성의 신속한 식별을 가능하게 합니다. 오픈 소스는 공유 지식의 문화를 조성하여 개발자들이 서로의 작업에서 배우고 발전할 수 있도록 돕습니다.
추가로 읽어볼 내용:
기본 기술 습득
6월 말을 위한 8가지 GitHub 프로젝트
새롭고 인기 있는 엘릭서 저장소들
인기있는 9가지 GitHub 프로젝트
그리고 구독이 무료인 AI 뉴스레터 BrainScriblr도 운영 중이에요.
저가 작성한 AI 노트 앱을 다룬 포스트가 있어요.
Graphrag
Microsoft Research에서 개발한 GraphRAG는 대규모 언어 모델(LLM)의 검색 및 생성 능력을 향상시키는 고급 검색-증강 생성(RAG) 기술입니다. 이는 지식 그래프를 활용하여 생성된 응답의 품질과 관련성을 개선합니다.
벡터 데이터베이스에만 의존하는 대신, GraphRAG는 구조화된 지식 그래프를 활용하여 생성된 응답의 품질과 관련성을 개선합니다. 이는 텍스트 추출, 네트워크 분석, LLM 프롬프팅 및 요약을 통합한 단일 시스템으로, 복잡한 데이터 분석 및 자연어 처리 애플리케이션에 강력한 도구로 작용합니다.
GraphRAG의 중요한 기능 중 하나는 텍스트에서 계층적 지식 그래프를 구축하는 것이며, Leiden 알고리즘과 같은 계층적 클러스터링 기술을 사용하여 정보를 요약하며, 질의 시간에 LLM에게 환경적으로 풍부하고 관련성 높은 정보를 제공하는 향상된 검색 기능이 있습니다.
이 접근 방식은 기본 RAG에 비해 상당한 장점을 제공합니다. 개선된 환경 이해력, 응답에 대한 증거 출처, 전체 데이터 질병 추론 수행 능력 등이 있습니다. 이는 비공개 데이터 집합을 분석하고 복잡한 질문을 처리하는 데 유용하며, 고급 챗봇, 가상 어시스턴트 및 상세한 데이터 분석 도구에 적합합니다.
Claude 엔지니어
Claude 엔지니어는 Anthropic의 Claude-3.5-Sonnet 모델을 활용하는 명령줄 인터페이스(CLI)로, 소프트웨어 개발 작업을 보조합니다. Anthropic에 의해 개발되었으며, 상호작용형 채팅, 파일 시스템 작업, 웹 검색, 구문 강조, 프로젝트 구조 관리 및 코드 분석과 같은 기능이 통합되어 있습니다.
Claude Engineer는 다양한 기능을 강력한 CLI로 통합하여 작업 흐름을 최적화하고 생산성을 향상시키며 전반적인 소프트웨어 개발 경험을 개선합니다.
TorToiSe
Tortoise TTS는 neonbjb에 의해 개발된 오픈 소스 텍스트 음성 변환(TTS) 시스템입니다. 이 도구는 강력한 다중 음성 기능을 갖추어 매우 현실적이고 표현력이 풍부한 음성 합성을 생성하도록 설계되었습니다.
이 시스템은 자동 회귀 및 확산 모델의 조합을 활용하여 텍스트를 자연스러운 음성으로 변환하며, 다양한 억양과 억양에 중점을 두고 있습니다. 또한 Tortoise TTS는 여러 언어를 지원하며 각각의 언어에 대해 많은 훈련 데이터가 필요하지 않고도 다양한 목소리를 모방할 수 있어 다양한 응용 프로그램에 유연하게 활용할 수 있는 도구입니다.
Tortoise TTS의 주요 기능은 제로샷 다중 음성 기능, 현실적인 프로소디와 억양, 몇 가지 예시를 기반으로 한 음성 클론 등이 있습니다. 또한 프로젝트 구조의 생성 및 관리를 지원하여 이 도구의 다재다능성을 향상시킵니다. Tortoise TTS는 높은 품질의 음성 합성으로 알려져 있지만, 처리 파이프라인이 복잡하기 때문에 병렬 TTS 모델에 비해 비교적 느립니다.
Omniparse
Omniparse는 비구조적 데이터를 구조화된 형식으로 변환하여 AI 응용 프로그램에 최적화된 오픈 소스 플랫폼입니다.
중요한 기능:
- 다양한 데이터 유형 (문서, 이미지, 오디오, 비디오, 웹 페이지) 처리합니다.
- 데이터 개인 정보 보호를 위해 로컬에서 작동합니다.
- Docker 및 Skypilot을 통해 배포할 수 있습니다.
- 사용자 친화적인 Gradio 인터페이스를 제공합니다.
- OCR, 레이아웃 감지 및 전사용 고급 모델을 사용합니다.
기능에는 테이블 추출, 이미지 캡션, 오디오/비디오 전사, 웹 크롤링, 스키마 기반 변환이 포함됩니다. 문서 처리, 미디어 분석, 웹 데이터 추출 및 AI 모델 준비에 이상적입니다.
Omniparse는 Linux 시스템에 설치하고 Docker를 사용하여 실행할 수 있습니다. 생성적 AI 및 대규모 언어 모델이 포함된 응용 프로그램에 특히 유용합니다.
OmniParser
안녕하세요! OmniParser는 다양한 데이터 형식을 처리하기 위한 Go 언어의 오픈 소스 ETL 라이브러리입니다.
중요한 기능:
- 다양한 입력 형식 지원 (CSV, XML, EDI, JSON 등)
- 성능을 위한 원시 Go 구현
- 효율적인 처리를 위한 스트리밍 파서
- 스키마 기반 변환
- 복잡한 변환을 위한 사용자 정의 함수
아주 유용한 내용이에요! 데이터 통합, ETL 프로세스, 데이터 정리, 그리고 API 데이터 처리에 활용할 수 있어요.
이 프로젝트는 포괄적인 문서와 커뮤니티 기여를 환영해요.
Autogroq
AutoGroq은 Autogen 및 CrewAI와 호환되는 플랫폼을 위해 AI 에이전트를 생성하고 관리할 수 있는 오픈 소스 도구에요.
시스템은 문제 분석 및 에이전트 생성을 위해 자연어 처리를 활용합니다. 다양한 언어 모델 및 내보내기 형식을 쉽게 통합할 수 있는 모듈식 아키텍처를 채택했습니다.
AutoGroq는 온라인 데모(autogroq.streamlit.app)와 로컬 설치용 GitHub 저장소로 제공됩니다. 작동을 위해서 Groq 개발자 API 키가 필요합니다.
이 도구의 아키텍처는 빠른 프로토타이핑, 워크플로 최적화 및 특화된 에이전트 생성을 용이하게 합니다. AI 기반 프로젝트 개발 및 테스트에 가치가 있는 도구입니다.
OpenAGI
오픈AGI는 자유로운 소스 플랫폼으로, 자율적 AI 에이전트의 개발과 배포를 진보시키기 위해 설계되었으며, 특히 대형 언어 모델 (LLMs)과 도메인 특화 전문 모델을 통합하는 데 중점을 두고 있습니다.
오픈AGI는 LLMs의 기능과 계획, 추론, 자립적 행동이 가능한 자율 에이전트에 대한 필요 사이의 간극을 줄이려고 노력하고 있습니다. 이는 실제 세계 상황에서 복잡한 다단계 작업을 처리할 수 있는 AI 에이전트의 생성을 용이하게 하는 데 목표를 두고 있습니다.
여기에는 OpenAGI의 작동 방식을 설명하는 논문이 있습니다.
Vanna
Vanna는 자연어를 사용하여 SQL 쿼리를 생성하는 오픈 소스 Python 프레임워크입니다. RAG(retrieval-augmented generation)를 사용하여 복잡한 데이터 세트에서 높은 정확도를 제공하며 데이터 프라이버시를 유지하고 다양한 SQL 데이터베이스를 지원합니다. Vanna는 데이터베이스 스키마와 샘플 쿼리를 학습하는 RAG 모델을 통해 자연어 질문에서 SQL을 생성합니다.
이 프레임워크는 pip를 통해 쉽게 설치할 수 있으며 다양한 LLMs 및 벡터 데이터베이스와 함께 사용할 수 있습니다. Jupyter 노트북 및 Streamlit 앱을 포함한 여러 사용자 인터페이스 옵션을 제공합니다. Vanna는 LLMs나 벡터 데이터베이스의 사용자 지정 구현을 허용하도록 설계되어 확장 가능합니다.
Vanna는 활발한 커뮤니티 개발과 포괄적인 문서화를 통해 비기술적 사용자를 위한 데이터베이스 쿼리 작업을 간소화하고 신속한 프로토 타이핑을 용이하게 하며 데이터 분석 워크플로우를 향상시키는 것을 목표로 합니다. 데이터베이스 상호 작용을 보다 접근 가능하게 만드는 중요한 단계를 나타냅니다.
Fine-tuning llama 3
This is a concept and not an open source project, but it is important to know this if you are building your own LLMs.
Fine-tuning Llama 3:
- 8B 및 70B 매개변수 버전으로 사용 가능
- MMLU 및 HumanEval과 같은 벤치마크에서 높은 성능
- 파인튜닝 방법: Full Parameter, LoRA, QLoRA
- 도구: Unsloth, PyTorch FSDP, TRL
- 과제: 베이스 모델 문제, 프롬프트 민감도
- 권장 사항: LoRA/QLoRA부터 시작하고, 학습률과 배치 크기 최적화
- 응용: 고객 지원 자동화, 의도 분류
- 자원: Hugging Face, Unsloth, YouTube에서 제공하는 튜토리얼
- 배포 시 윤리적 고려 사항 중요
Llama 3의 파인튜닝은 과업별 모델의 가능성을 제공하지만, 적절한 하드웨어 및 방법 선택과 적절한 데이터 준비가 필요합니다.
TensorRT
TensorRT는 NVIDIA가 개발한 오픈소스 딥러닝 추론 최적화 및 런타임 도구입니다. NVIDIA GPU에서 성능을 향상시키도록 설계되었으며, ONNX 및 TensorFlow SavedModel과 같은 다양한 입력 형식을 지원합니다. 이 소프트웨어는 레이어 퓨전 및 정밀도 보정과 같은 최적화 기술을 제공하며, C++ 및 Python API를 모두 지원합니다. 별도의 프로젝트인 TensorRT-LLM은 대규모 언어 모델의 최적화에 초점을 맞춥니다. 최신 버전인 TensorRT 10.1.0에는 파서, 플러그인 및 샘플 업데이트가 포함되어 있습니다.
커뮤니티 프로젝트들이 TensorRT의 기능을 확장하여 PyTorch와 같은 프레임워크와 통합했습니다. TensorRT 자체는 프로프리어터리이지만, 오픈 소스 구성 요소는 다양한 라이선스로 제공됩니다. NVIDIA 하드웨어에서 딥 러닝 추론을 최적화하려는 개발자들에게 TensorRT는 강력한 해결책을 제공하며, 강력한 커뮤니티 지원과 지속적인 개발을 제공합니다.
홈 어시스턴트 코어
홈 어시스턴트 코어는 홈 어시스턴트 생태계의 기반이되는 오픈 소스 홈 자동화 플랫폼으로서, 로컬 제어 및 개인 정보 보호에 중점을 두고 있습니다.
다양한 운영 체제에서 스마트 홈 기기를 추적, 제어 및 자동화하는 Python 기반 프로그램입니다. 홈 어시스턴트 코어는 로컬 작동, 다양한 기기 지원, 자동화 기능 및 사용자 정의 대시보드를 제공합니다.
사용자들은 홈 어시스턴트 코어를 홈 어시스턴트 운영 시스템, 컨테이너 기반 설치, 지도된 설치, 또는 Python 가상 환경을 사용한 수동 설정과 같은 다양한 방법으로 설치할 수 있습니다. 해당 프로젝트는 강력한 커뮤니티를 가지고 있으며, GitHub에서 소스 코드를 제공하고 정기적으로 업데이트됩니다.
오픈 소스 프로젝트는 소프트웨어 산업에서 계속해서 주요 동력이 되고 있습니다. 이들은 협업, 투명성, 혁신이라는 기본적인 원칙을 구현하며 기술 발전을 위해 필수적인 가치를 내포하고 있습니다.
다양한 프로젝트들을 통해 확인할 수 있듯이, 오픈 소스 솔루션은 종종 품질, 보안, 기능 면에서 사유 소스 제품을 능가하거나 맞먹습니다.
오픈 소스 모델은 개인 개발자와 기업 뿐만 아니라 기술 커뮤니티와 사회 전반에도 이익을 제공합니다. 강력한 도구와 기술에 대한 접근성을 둘려주며, 모든 규모의 개인 및 조직들이 혁신하고 경쟁할 수 있는 수준 playing field에서 수행할 수 있도록 합니다.