Ollama 설치 가이드

Ollama 설치

왜 Ollama를 사용해보고 싶었나요?

• 깃허브 프로젝트 진행 중: LLM(Large Language Model)의 가능성을 탐구하고 싶었습니다.
• 오픈 소스 진영의 발전: 최근 LLM 기술이 크게 발전했다고 들었기 때문에 이를 직접 확인하고 싶었습니다.

Ollama란 무엇인가요?

• 기본 개념: Ollama는 로컬 환경에서 LLM을 실행할 수 있게 해주는 프로그램입니다.
• 시각적 도움말:

설치 과정

• 개인 환경: 저는 M1 Mac Pro를 사용하기 때문에, macOS 기준으로 설명하겠습니다.
• 설치 방법:
  1. macOS용 Ollama 다운로드 페이지에 접속하여 운영체제에 맞는 설치 파일을 다운로드합니다.
  2. 압축된 Ollama.zip 파일을 다운로드 받아 압축을 해제하면 실행할 수 있는 앱을 얻습니다.
     • 
  3. 앱을 실행하면 라마가 나와서 환영해 주는 화면을 볼 수 있습니다.
     • 
  4. 커맨드 라인 툴 다운로드와 관리자 권한 요청 안내가 나타납니다.
     • 
  5. 사용자의 Mac 비밀번호를 입력합니다.

Llama 2 모델과의 첫 통신

• 실행 과정: ollama/ollama의 지침에 따라 ollama run llama2 명령어를 실행하여 llama2 모델을 다운로드 받습니다.
  • 
• 다운로드가 끝나면 바로 채팅을 할 수 있습니다
  • 

Llama 2 모델 소개

• 출시 배경: Llama 2는 메타 플랫폼에서 출시되었습니다.
• 학습 데이터: 2조 개의 토큰으로 학습되었으며, 기본적으로 4096개의 컨텍스트 길이를 지원합니다.
• 특징: Llama 2 채팅 모델은 100만 개 이상의 주석을 바탕으로 파인 튜닝되어 채팅용으로 개발되었습니다.

Outtro

• 도커 이미지 사용: 추가적으로, 빠른 실행을 원하시는 분들을 위해 ollama/ollama - Docker Image | Docker Hub도 제공되고 있습니다.

레퍼런스

• LLM Desktop app
  • LM Studio로 쉽게 언어 모델 활용하기