AI 임베딩 모델 한국어 성능 비교

테스트 임베딩 모델아래 임베딩 모델을 테스트했습니다. 상위 3개 모델은 ollama에서 가장 인기 있는 임베딩 모델입니다.nomic-embed-textmxbai-embed-largesnowflake-arctic-embedBAAI/bge-m3테스트 문서아래는 테스트에 사용한 텍스트입니다.texts = [ "오늘은 날씨가 참 좋아서 외출하기에 아주 좋은 날이에요.", "책을 읽는 것은 마음을 편안하게 해주고 지식을 넓혀줍니다.", "나는 미래에 대한 두려움을 가지지 않고 미래를 기대하며 살고 있습니다.", "나는 어제보다 오늘 더 나은 내일을 만들기 위해 노력하고 있습니다.", "음악을 들으며 산책하는 것은 스트레스를 해소하는 데에 효과적입니다.", "요리를 하며 시간을 보내는 것은 나에게 큰 즐..

• format_list_bulleted AI 개발
• · 2024. 5. 5.
• textsms

옵시디언 노트와 랭체인을 이용한 RAG 시스템 만들기

이 영상에서는 'LangChain’을 활용해 자신의 노트에 질문하는 방법을 소개합니다. Obsidian 메모 앱에서 노트를 로드하고 인덱스를 생성하여 자연어로 질문함으로써 원하는 정보를 쉽게 얻을 수 있습니다. 이 접근법은 메모의 복잡한 내용을 쉽게 탐색하고, 생각을 더 깊게 이해하는 데 도움을 줍니다. 메모 작성, 생각 정리, 그리고 생산성 향상에 있어 매우 효과적인 도구가 될 것입니다. 옵시디언 노트 가져오기 우선, Obsidian 앱에서 노트를 가져오는 방법부터 시작해 보겠습니다. LangChain에서는 langchain_community.document_loaders 모듈의 ObsidianLoader 클래스를 사용하여 이를 수행할 수 있습니다. 아래의 코드는 사용자의 시스템에 저장된 옵시디언 노트..

• format_list_bulleted AI 개발
• · 2024. 2. 21.
• textsms

한국어 임베딩과 제미니AI를 이용한 무료 RAG 시스템 구축하기

이 글에서는 랭체인(LangChain)의 RAG 문서를 참고하여 RAG 시스템을 구현하는 방법을 소개합니다. 필요한 패키지 설치하기 아래의 명령어를 사용하여 필요한 패키지를 설치합니다. 이러한 패키지들은 검색-증강 생성 과정을 구현하는 데 필요한 도구와 라이브러리를 제공합니다. pip install --upgrade --quiet langchain faiss-cpu tiktoken langchain-google-genai 패키지 가져오기 다음으로, 구현에 필요한 패키지들을 Python 코드 내로 가져옵니다. 이 과정에서 각각의 모듈에서 필요한 클래스와 함수를 임포트합니다. from langchain_community.vectorstores import FAISS from langchain_core.out..

• format_list_bulleted AI 개발
• · 2024. 2. 20.
• textsms

GPT 스토어가 오픈했습니다!

GPT Store가 드디어 오픈했습니다. 아래는 OpenAI 공식 블로그의 내용을 바탕으로 정리한 소식입니다. 인공지능 기술의 최전선에서 활동하는 OpenAI가 새롭게 선보이는 이 플랫폼은 사용자들에게 다양하고 혁신적인 GPT 사용 경험을 제공합니다. 이제부터 GPT Store의 주요 내용을 소개하겠습니다. 다양한 GPT 탐색의 장 GPT Store는 파트너 및 커뮤니티가 개발한 다양한 GPT를 선보입니다. 사용자들은 커뮤니티 리더보드에서 인기 있고 트렌드를 이끄는 GPT를 쉽게 찾아볼 수 있으며, DALL·E, 글쓰기, 연구, 프로그래밍, 교육, 생활 등 다양한 카테고리를 제공합니다. 매주 새로운 특집 GPT GPT Store는 유용하고 영향력 있는 GPT를 매주 하이라이트합니다. 초기 특집 GPT로는..

• format_list_bulleted AI 개발
• · 2024. 1. 11.
• textsms

오픈소스 Code Interpreter API를 활용한 데이터 시각화, 주식 차트 그리기, 이미지 편집 방법

소개 Code Interpreter API는 ChatGPT 코드 인터프리터를 LangChain으로 구현했다고 한다. 그리고 이 오픈소스는 파이썬 코드 실행을 위해 샌드박스가 적용된 CodeBox 사용합니다. 이 API를 통해 우리는 다음과 같은 작업을 수행할 수 있습니다: 데이터 세트 분석, 주식 차트, 이미지 조작 등 인터넷 액세스 및 Python 패키지의 자동 설치 텍스트나 파일 입력받아 -> 텍스트나 파일으로 출력 대화형 메모리: 이전 입력에 기반한 응답 설치하기 git clone https://github.com/shroominic/codeinterpreter-api.git cd codeinterpreter-api pip install streamlit pip install -e . 시작하기 st..

• format_list_bulleted AI 개발
• · 2023. 7. 24.
• textsms

GPT Engineer를 활용한 프로젝트 생성과 실행

소개 GPT-Engineer는 프로젝트 생성을 간편하게 도와주는 도구입니다. 사용자가 프로젝트의 내용을 자세하게 작성하면, AI가 그 요청에 따라 코드를 자동으로 작성합니다. 사용자는 복잡한 설정이나 명령어를 몰라도 되며, 간단한 프롬프트 작성으로 원하는 코드를 생성할 수 있습니다. 이러한 기능의 활용을 통해 프로젝트를 시작하고 진행하는 과정에서 생산성을 향상시킬 수 있습니다. 사용자는 빌드하고 싶은 것이 무엇인지 간단하게 적기만 하면 됩니다. 필요한 추가 정보가 있을 경우, AI가 자연스럽게 설명을 요청하여 정확한 코드베이스를 생성해줍니다. 설치 방법 stable 또는 development 중 하나를 설치하여 사용할 수 있습니다. stable pip install gpt-engineer developm..

• format_list_bulleted AI 개발
• · 2023. 7. 22.
• textsms