반응형
지난번에 RAG 기술을 활용해 Obsidian 노트를 검색하는 플러그인을 개발하기 위해 기존의 RAG 기반 Obsidian 플러그인들의 코드와 기능을 살펴봤습니다. 대부분의 플러그인들이 로컬 벡터 데이터베이스를 사용하고 있었습니다. 로컬 데이터베이스는 비용과 속도 면에서 효율적이지만, 제 경우 디바이스 간 동기화 문제로 불편함을 겪고 있습니다. 특히, 로컬 데이터베이스 크기가 커질수록 동기화 문제가 계속해서 발생하고 있습니다.
이러한 동기화 문제로 인해 저는 클라우드 기반 벡터 DB 서비스를 사용해봐야겠다는 생각이 들었습니다. 그래서 무료 플랜을 제공하는 파인콘(Pinecone) 벡터 DB의 Starter Plan에 대해 정리해보았습니다. 파인콘의 무료 Starter Plan은 매력적인 옵션이 될 수 있습니다.
https://www.pinecone.io/pricing/
스토리지 및 용량
- 총 2GB의 저장 공간 제공(약 300,000개의 1536차원 벡터 저장 가능)
- 월간 2백만 쓰기 유닛(Write Units) 제공
- 월간 1백만 읽기 유닛(Read Units) 제공
인프라 제한사항
- 최대 5개의 인덱스 생성 가능
- 인덱스당 최대 100개의 네임스페이스 사용 가능
- 조직당 1개의 프로젝트만 허용
- AWS us-east-1 리전에서만 사용 가능
추가 기능
- Pinecone 서버리스 기능 포함
- Pinecone Inference 서비스 이용 가능
- Pinecone Assistant 기능 사용 가능
- 콘솔 메트릭스 제공
- 커뮤니티 지원 제공
주의사항
- 7일 동안 비활성 상태인 인덱스는 자동으로 보관 처리됨
- 보관된 인덱스는 컬렉션으로 저장되며 몇 분 내에 복원 가능
마무리
Pinecone에는 Embed와 Rerank Inference도 무료로 일정량 사용할 수 있습니다. 하지만 해당 모델의 성능을 잘 모르기때문에 OpenAI의 임베딩 모델과 Cohere Rerank를 사용할 것 같습니다.
무료 플랜만으로도 Pinecone의 다양한 기능을 잘 활용할 수 있을 것으로 보입니다. 프로젝트 규모가 커지면 유료 플랜으로 전환할 수 있겠지만, 지금은 무료 플랜으로도 충분할 것 같습니다.
반응형
'개발 > 개발 로그' 카테고리의 다른 글
옵시디언 RAG 플러그인 임베딩 시점 조사하기 (0) | 2024.11.20 |
---|---|
옵시디언 Omnisearch 플러그인 검색 성능 비교 (2) | 2024.11.17 |
옵시디언 플러그인 개발에 Windsurf IDE 활용하기 (4) | 2024.11.16 |
최근 Grok AI를 사용해보니 Gemini보다 더 만족스러웠습니다 (2) | 2024.11.15 |
옵시디언 RAG 플러그인 분석을 통해 검색 관련 지식 쌓기 (4) | 2024.11.10 |