허깅페이스 모델 업로드하기 (feat. lfs 큰 용량 파일)

 

요즘 연구하거나 프로젝트하면서 허깅페이스를 사용하는 일이 많습니다.

깃허브로는 관리하지 못하는 모델을 관리할 수 있기도 하고,

다른 모델 사용하거나 데이터셋을 사용하는 경우가 많아서 허깅페이스에 자주 접속중인데 ㅎㅎ

 

 

오늘은 허깅페이스 모델 업로드하는 법에 대해 작성해보도록 하겠습니다.

 

이 글 참고하였습니다 ㅎㅎ

https://huggingface.co/docs/hub/repositories-getting-started#terminal

Getting Started with Repositories

 

 

+) 25.05.07 추가

huggingface-cli 로 업로드하는게 생겼더라고용

최소 1줄, 최대 3줄이면 업로드 가능해졌습니다~

new model한 다음에 기본 페이지에 하는법 나와있어용

 

 

 

 

 

 

 

 

 

 

1. 모델 레퍼지토리를 먼저 준비해주세요

(커맨드로 해도 되는데 저는 그냥 웹에서 만들어줬습니다.)

 

 

 

 

2. 모델 페이지에서 점 세개 누르시고 [Clone repository]부분 클릭

"git clone~" 부분 복사 후 커맨드에 붙혀넣기

 

 

 

 

 

3. clone 한 폴더로 이동 후,

git lfs install

huggingface-cli lfs-enable-largefiles .

 

 

4. git config 설정

git config user.name "자기 username"

git config user.email "자기 이메일"

 

이미 설정되어 있으시면 안하셔도 됩니다.

저는 공용 서버여서 할 때마다 입력하고 있어용

 

 

5. largefile track 필요한 파일 추가

저의 경우 tokenizer.json 만 추가하였습니다.

 

 

 

6. 업로드한 파일 복사 또는 이동

 

 

 

7. git add .

clone한 repository (폴더)에서 git add . 해주세용

 

 

8. git commit -m "커밋 메세지"

 

 

9. git push

username 에는 huggingface username 을 입력하면 되고

password 에는 huggingface access token 을 입력하시면 됩니다.

두 번씩 입력하라고 뜨는데 정상입니다. ㅎㅎ

 

 

 

깃허브랑 거의 비슷한데 차이는 lfs 를 사용해야한다는 점입니다.

5기가 이상의 파일에는 꼭 사용해줘야한다고 하네요

tokenizer.json의 경우에도 track 꼭 설정해야하는 것 같아요

 

감사합니다 ㅎㅎ