meta에서 공식으로 풀어준 llama3 말고도 사람들이 튜닝? 같은걸해서 여러 버전으로 특화해 놓은게 있다. 그중에서도 한국어 잘 알아먹게  데이터 넣어주시고 여러모로 잘 말아주셔서? 공개해주신 감사한 분들이 있음https://huggingface.co/MLP-KTLim/llama-3-Korean-Bllossom-8B/tree/mainhttps://huggingface.co/teddylee777/Llama-3-Open-Ko-8B-Instruct-preview-gguf 대표적으로 이 두개가 있는데 아래것을 사용해보도록하자. 왜냐하면 .gguf 확장자로 되어있어야 어케저케해서 모델로 잘 만드는데 이미 그렇게 되어있기 때문이다. 첫번째 링크것처럼 safetensors 확장자로 되어있으면 다시 gguf로 변환..

https://ollama.com/ 아주짧게 요약하면 오픈소스로 공개된 여러 LLM모델들을 쉽게 사용할 수 있게 해주는 녀석인거같다. 대표적으로 meta에서 공개한 llama가 유명한데 llama2, llama3 두개 사용해보고 싶어서 설치해봤다. 지금 M3 MAX사용중인데 결론적으로 8B모델의경우 거의실시간으로 답변이온다. ollama 사이트 접속해서 우측 상단에 모델을 보면 엄청 많은데 역시 라마가 대표적이다. 여튼 결론적으로 내 기억을 위한 설명부터들어간다. (맥북기준, 윈도우도 아마 다를건 없음) 1.메인화면에서 다운로드를 누르고 들어가 운영체제에 맞게 설치해준다. 2.설치 다하면 터미널을 실행해주고 명령어 입력해주면되는데ollama run llama3:8b 라고입력하면 대표적인 경량화 모델을 설..