아주짧게 요약하면 오픈소스로 공개된 여러 LLM모델들을 쉽게 사용할 수 있게 해주는 녀석인거같다.
대표적으로 meta에서 공개한 llama가 유명한데 llama2, llama3 두개 사용해보고 싶어서 설치해봤다.
지금 M3 MAX사용중인데 결론적으로 8B모델의경우 거의실시간으로 답변이온다.
ollama 사이트 접속해서 우측 상단에 모델을 보면 엄청 많은데 역시 라마가 대표적이다. 여튼 결론적으로 내 기억을 위한 설명부터들어간다. (맥북기준, 윈도우도 아마 다를건 없음)
1.메인화면에서 다운로드를 누르고 들어가 운영체제에 맞게 설치해준다.
2.설치 다하면 터미널을 실행해주고 명령어 입력해주면되는데
ollama run llama3:8b 라고입력하면 대표적인 경량화 모델을 설치 해서 사용할 수 있다.
물론 ollama에서 모델 파일 직접 다운로드 받을 수 도 있는데 아래와같이 설치하는게 편하다.
그외 /? 명령어로 여러 명령어를 확인할 수 있고
/show 를 입력하면 모델정보를 볼 수 있다. ex) /show info
/ollama list 를 입력하면 설치되어있는 모델명을 볼 수 있다.
그리고 모델을 지우고싶으면
ollama rm llama3:8b 이와같이 입력하면된다.
그리고 아래 터미널창에 보면 바로 질문도 즉시 할 수 있다.
참고로 라마의 경우는 영어에 특화되어있어서 한국어 대답은 잘 못한다고한다.그래도 해달라고 해면 해줌! 한국어버전은
허깅페이스에보면 잘 튜닝되어있는게 있어서 해당 모델을 써보면 될거같다.
'LLM, AI' 카테고리의 다른 글
| Ollama에 허깅페이스에서 다운받은 모델 적용하기 (0) | 2024.06.22 |
|---|
