ollama serve1 Ollama를 이용해서 llama3.1 8B(양자화 모델)을 리눅스 서버에서 사용하기 (feat. 테디노트) 목차0. Ollama 다운 및 설치1. 깃 클론2. "Llama-3.1-8B-Instruct" 폴더 생성3. Modelfile 복제 및 수정4. QuantFactory/Meta-Llama-3.1-8B-Instruct-GGUF 다운5. ollama serve6. ollama create llama3.1-instruct-8b -f Modelfile 최근에 라마3.1이 공개되었죠저도 지금 진행 중인 연구에 활용하기 위해서 라마3.1을 사용해보려고 합니다(서버 세션을 다시 띄우면서 올라마 설치 및 라마3.1 설치 등을 전반적으로 다시 해야하는 겸..해서 포스팅을 합니다 ㅎㅎ) 아직 저도 잘 모르지만,, 과정을 작성해보려고 해요 ㅎㅎ기본적으로 테디노트 "#llama3 출시🔥 로컬에서 Llama3-8B.. 2024. 8. 4. 이전 1 다음
