LLM을 로컬에서 실행할 수 있는 방법

[SeoMiYoung]

LLM(대규모 언어 모델)을 사용하여 작업을 하고 싶지만, Chat GPT나 Gemini는 돈이 많이 들기 때문에 사용하고 싶지 않은 게 현실입니다. 그렇다면 생각나는게 로컬에서 돌릴 수는 없을까?라고 생각하기 마련입니다. 그런 니즈에 맞게 여러 제품과 라이브러리리들이 출시가 되었는데, 그 중에서 가장 유명한 몇 가지 제품을 소개하려고 합니다.

이번 글에서는 LLM을 로컬에서 실행 가능하게 하는 제품과 라이브러리를 살펴보겠습니다.

글 링크

1. LM Studio
   • 데스크톱 애플리케이션으로, 로컬에서 LLM을 실행할 수 있게 해줍니다.
   • 로컬에서 다양한 LLM을 찾고, 다운로드하여 실험할 수 있습니다.
2. Ollama
   • 오픈 소스 도구로, 컴퓨터에서 로컬로 LLM을 실행할 수 있게 합니다.
   • Llama3, Phi-2 등의 최신 모델을 지원하며, 모델 가중치와 구성을 단일 패키지로 묶어 제공합니다.
3. Hugging Face와 Transformer
   • 개발자들이 많이 찾는 사이트로, 다양한 오픈 소스 모델을 제공하며, 이를 쉽게 사용할 수 있는 Python 라이브러리인 Transformer를 제공합니다.
   • Microsoft에서 제공하는 Phi-2모델 등 다양한 모델을 사용할 수 있습니다. 로컬에서 모델을 실행하려면 충분한 저장 공간이 필요합니다.
4. Llama.cpp
   • Meta의 Llama모델을 실행하는 LLM용 C 및 C++ 기반 추론 엔진입니다.
   • 모델을 실행하려면 CMake 컴파일러가 필요하며, 모델을 gguf형식으로 변환해야합니다. OS마다 환경변수 설정이 까다로울 수 있습니다.
   • 설치 방법: pip install llama-cpp-python