VSCode Github Copilot을 대체할 수 있는 무료 로컬AI Qwen 및 Groq Llama 70b

EvalPlus Leaderboard

EvalPlus는 AI 코더를 평가하는 엄격한 테스트를 통해 벤치마크를 제공합니다. 순위표를 살펴보면 GPT-4 다음으로 CodeQwen1.5-7B-Chat 모델의 점수가 가장 높습니다. 그리고 CodeQwen1.5-7B-Chat은 오픈소스 모델입니다.

 

LM Studio (Local LLM)

LM Studio 프로그램을 사용하여 모델을 검색하고 다운로드합니다. 제 맥북에서는 codeqwen-1_5-7b-chat-q8_0.gguf 모델까지 사용할 수 있습니다.

 

Ollama (Local LLM)

Ollama 프로그램도 사용할 수 있습니다. Ollama에서는 아래 명령어로 모델을 다운로드합니다.

ollama pull codeqwen:latest

# 또는, q8 모델을 사용하고 싶다면

ollama pull codeqwen:7b-code-v1.5-q8_0

 

VSCode 익스텐션: Continue - Llama 3, GPT-4, and more

VSCode 익스텐션에서 Continue를 검색하고 설치합니다.

 

왼쪽 사이드바에서 Continue 아이콘을 클릭하고, 하단의 + 버튼을 누릅니다.

 

Add new model에서 Ollama 를 선택합니다.

 

Configure Model에서 Autodetect를 선택합니다.

 

하단의 모델 선택 박스에서 Ollama - codeqwen:latest 모델을 선택합니다.

 

코드 자동완성 AI모델을 변경하려면, 하단의 톱니 바퀴 아이콘을 클릭합니다.

 

config.json에서 tabAutocompleteModel 부분을 아래와 같이 수정합니다.

  "tabAutocompleteModel": {
    "title": "Tab Autocomplete",
    "provider": "ollama",
    "model": "codeqwen"
  }

 

Continue 사용 방법

Continue 채팅창

Continue 채팅창에서 파이썬으로 스네이크 게임을 작성해달라고 요청할 수 있습니다. 한국어로는 정상적인 응답을 출력하지 않기 때문에 반드시 영어로 입력해야 합니다.

 

코드에 대해서 질문하기

코드를 드래그하여 선택하고 단축키 cmd+L(맥OS) / ctrl+L(윈도우)를 입력하면 채팅창에 해당 코드가 자동으로 입력되고, 요청사항을 입력할 수 있습니다..

 

코드 자동 완성

타이핑을 멈추고 잠시 기다리면 코드가 제안됩니다. 그 다음 탭을 누르면 코드가 자동으로 입력됩니다.

 

코드 리팩토링하기

코드를 선택하고 단축키 cmd+I(맥OS) / ctrl+I(윈도우)를 입력합니다. 그리고 프롬프트 창에 요청사항을 입력합니다.

 

코드베이스에 대해서 질문하기

채팅창에 @를 입력한 다음 Codebase를 선택하면, 현재 코드베이스에 대해 질문할 수 있습니다.

 

기술 문서 기반으로 질문하기

채팅창에 @를 입력하고 Docs를 선택합니다.

 

원하는 기술 문서를 선택하고 질문을 입력합니다.

 

Groq AI

컴퓨터 사양이 부족하여 Local LLM을 실행하지 못하는 사용자는 GroqCloud의 Llama3-70b 모델을 대안으로 사용할 수 있습니다.

 

Groq AI 사용 방법

GroqCloud는 다양한 AI 모델을 클라우드에서 손쉽게 사용할 수 있게 해주는 서비스입니다. GroqCloud는 무료 사용량을 제공하며, 무료 플랜에서는 1분에 30번 요청할 수 있고, 하루에 최대 14,400번 요청이 가능합니다. 1분당 사용할 수 있는 토큰 수도 제한되어 있습니다.

 

GroqCloud 서비스에 가입하고 API Key를 발급받습니다. API Key 발급 받으러 가기

 

VScode의 Continue에 Groq 설정하기

VScode의 Continue에서 add New Modal에서 Groq를 선택합니다.

 

모델 선택박스에서 Groq - llama3-70b-8192를 선택합니다.

 

아까와 동일하게 파이썬을 사용하여 스네이크 게임을 작성해달라고 요청했습니다. 응답 속도가 매우 빠릅니다.

 

Google Gemini 사용하기

구글도 Gemini 1.5 Flash, Gemini 1.5 Pro, Gemini 1.0 Pro를 무료로 사용할 수 있는 무료 플랜을 제공합니다.

 

Google Gemini APIKey 발급받기

 

VScode의 Continue에서 add New Modal에서 Google Gemini API 를 선택합니다.

 

Google Gemini는 알 수 없는 오류가 자주 발생하여 Google Gemini 무료 플랜으로는 사용하기 어려울 수 있습니다. 분당 요청 수가 15RPM으로 제한되어 있기 때문일 수 있습니다.

 

마치며

CodeQwen 모델은 EvalPlus 리더보드에서 높은 점수를 기록한 실력 있는 오픈소스 AI Coder입니다. 이 글에서 소개한 Continue 익스텐션을 활용하여 CodeQwen 모델을 효과적으로 사용하고 개발 과정을 더욱 효율적으로 만들 수 있습니다.

그리고 Groq AI와 Google Gemini와 같은 클라우드 기반 AI 서비스를 통해 무거운 리소스 요구 없이도 개발자는 고성능의 AI 기능을 활용할 수 있게 됩니다. 이러한 도구들을 효과적으로 사용하여 개발 과정을 개선해보세요.

이 글이 여러분들에게 도움이 되길 바랍니다. 추가적으로 필요한 내용이 있으면 언제든지 문의해주세요!