전체 글131 LLaVA-MoD Making LLaVA Tiny via MoE-Knowledge Distillation 논문 읽기 LLaVA-MoD: Making LLaVA Tiny via MoE-Knowledge Distillation날짜: 2024년 12월 26일ICLR 2025 Under Reviewhttps://openreview.net/pdf?id=uWtLOy35WD 멀티모달 LLM에 Knowledge Distillation 을 접목시키는거에 관심이 있어서 읽어보게된 논문입니다.원래 아카이브에서부터 조금 주목받던 논문인데 ICLR 2025에 게재될 것 같네용 1. Introduction멀티모달 LLM은 시각 인코더와 대형 언어 모델을 통합하여 좋은 성능큰 크기, 방대한 훈련 데이터 → 챌린징 요소많은 매개변수의 수는 고급 하드웨어 필요, 느린 추론 속도 → 모바일 장치와 같은 실제 배치 작업 어려움소형 MLLM 탐색 중.. 2024. 12. 26. [공부log 24.12.25] 연말 회고, 대학원생 졸업 주제, 데잇걸즈 네트워킹 모임 등의 근황 약 3개월만에 쓰는 블로그 일상글..껄껄..안쓰다보니까 계속 안쓰게 되는 듯하다사실 몇 번 임시저장 했는데 그래놓고도 안써서 날라간듯..((임시 저장이 아니라 그냥 저장하다가 증발..)) 근 3개월간의 내용을 휘리릭 정리해보고 연말 회고를 하고자 한다 1. 대학원 졸업 주제10월 초쯤부터 결국 눈독 들이고 있었던 졸업 주제를 시작하게 되었다.졸업 주제를 시작하려고 시작한 것이 아닌 그냥 연구하다가 이게 졸업 주제가 되었다. 3학기 시작할 즈음부터 졸업 주제 LLM 해야지라는 생각 정도만 했었는데 연구를 하다보니 이게 졸업 주제가 되었다. 졸업주제까지 오게 된 스토리가 있는데일단 원래 한 학회에 낼 목적으로 실험을 하고 있는 연구가 있었다 (=이상탐지 쪽)결론적으로는 너무나 결과가 무의미해서 .. 2024. 12. 25. BOAZ 24기 신입기수 모집 소식 (+엔지니어링 파트 23기 대학원생 후기글) 안녕하세요 ㅎㅎ조금 늦었지만.. 제가 속해있는 동아리 신입 기수 모집 소식을 가지고 왔습니다! 제 일상글을 틈틈히 보실 분들이라면 아시겠지만, 제가 올해 여름 방학부터 빅데이터 연합동아리 BOAZ 활동을 진행했었습니다. BOAZ 는 총 3가지 파트로 구성이 되어있는데요(분석, 시각화, 엔지니어링)저는 그 중에서 엔지니어링 파트로 활동을 했습니다. 먼저 모집 소식 올리고 아래에 간략 후기 남겨볼게요! 모집 글 국내 최초 빅데이터 연합동아리 🐘BOAZ🐘에서 24기 신입회원을 모집합니다! (~12/27(금)) 보아즈는 '데이터 분석', '데이터 시각화', '데이터 엔지니어링' 총 세 부문에서 신입 회원을 모집하고 있습니다. 각 부문별 신입 회원은 기본기를 익힐 수 있는 BASE Session, .. 2024. 12. 23. 허깅페이스 모델 업로드하기 (feat. lfs 큰 용량 파일) 요즘 연구하거나 프로젝트하면서 허깅페이스를 사용하는 일이 많습니다.깃허브로는 관리하지 못하는 모델을 관리할 수 있기도 하고,다른 모델 사용하거나 데이터셋을 사용하는 경우가 많아서 허깅페이스에 자주 접속중인데 ㅎㅎ 오늘은 허깅페이스 모델 업로드하는 법에 대해 작성해보도록 하겠습니다. 이 글 참고하였습니다 ㅎㅎhttps://huggingface.co/docs/hub/repositories-getting-started#terminal Getting Started with RepositoriesThis beginner-friendly guide will help you get the basic skills you need to create and manage your repository on the Hub. .. 2024. 11. 4. Visual Instruction Tuning (LLaVA 논문 리뷰) NeurIPS 2023 (Oral)에서 발표된 논문이고,멀티모달 LLM 중에 가장 유명한 논문 중 하나입니다. 최근에 이 LLaVA 모델 아키텍처를 활용해서 여러 실험을 하고 있는데, 정리겸 해서 다시 읽어보았습니다.구현의 경우 깃허브가 워낙 잘 관리되어 있어서 아래 링크 참고부탁드립니다.(워낙 유명해서 이슈 양이 많아서 거의 다 찾을 수 있음. 구현하면서 느낀점은 거의 다 의존성 문제임. 다른 에러 메세지여도 결국 해결책은 의존성 문제, 나중에 구현 관련해서도 적어볼 수 있으면 적어보겠습니다.) https://llava-vl.github.io/ LLaVABased on the COCO dataset, we interact with language-only GPT-4, and collect 158K un.. 2024. 11. 4. [공부log 24.09.28] 노트북 바꿈, 공모전 마지막날 포기, 그래도 잘 놀고 다니는 일상 등.. 1. 노트북 바꿈신나게 노트북 바꿨다고 행복하게 쓰고 싶지만 행복한 스토리가 아님 GenCon을 가던날,, 아침에 비가 분명 안내리고 있었는데 집 근처 역 도착 3분전 폭우가 내렸다나도 홀딱 젖고 가방도 젖었다.. GenCon 원하는 세션까지 시간이 비어서 카페에 들렸다이상했던 건 가방 안에 있던 화장품 지퍼백 (화장품 지퍼백에 들고다님 ㅋㅋㅋ) 겉면에 물기가 있어서뭐지 흐를게 없는데.. 했다노트북을 열었는데 키판에 살짝 물기가 있었다근데 안켜지는겨.. 컴퓨터가.. 그때까지만 해도 비 침수 때문이라고 생각은 못하고 그냥 큰일났다 싶었다.이미 코엑스 근처인데 노트북이 안되는 상황..그래서 HP 강남구청 서비스 센터에 급하게 가서 노트북을 분해하였는데..거기에도 물이 마른 흔적?이 있었다 최소 수리비 지.. 2024. 9. 28. [공부log 24.09.12] 세 번째 개강, 방학 회고, 학기 계획, 연구연구 1. 개강대학원 3기, 세 번째 개강이다. 저번 학기 때 너무 힘들게 보냈어서, 저번 학기 기말즈음부터 이번 학기 과목을 고민했었다. 대학원은 학교마다 차이가 있겠지만 우리 학교는 총 18학점을 이수해야하기에 보통은 각 학기마다 3/3/2/0 과목씩을 수강한다 이번 학기에는 지도교수님 수업 1개를 수강함과 동시에 조교로 수업을 일부 진행하기로 했기에 한 과목은 미리 결정되어 있었고 나머지 한 과목만 결정하면 되는 상황이였는데 그 1개를 정정기간에 3번 정정함..ㅎㅎㅎ 결론적으로는 적당히 관심사 + 적당한 시간 투입 + 적당한 꿀 수업을 잘 선택한 듯 하여 스스로 만족.. 비전쪽으로 도전적인 수업 신청도 해볼까도 했지만 지금 하는 LLM(NLP)랑 이상탐지나 열심히 하자라는 마인드.. 비전을 이번 기회가 .. 2024. 9. 12. Apache Spark RDD/Dataframe 정리 안녕하세요BOAZ 학기 Base 세션 발표를 하며 준비했던 자료를 포스팅해보려고 합니다제가 담당한 부분은 Spark RDD/DataFrame 이여서 이 자료를 업로드합니다 ㅎㅎ 목차1. Apache Spark의 개념과 등장 배경(1) Apache Spark의 등장 배경(2) Apache Spark(3) Apache Spark의 아키텍처2. RDD, DataFrame(1) RDD (Resilient Distributed Dataset)(2) DataFrame(3) Dataset 1. Apache Spark의 개념과 등장 배경 Apache Spark의 등장 배경초기에는 하둡의 맵리듀스(MapReduce) 모델이 대규모 데이터 처리에 널리 사용맵리듀스의 제한된 프로그래밍 모델과 반복적 작업에서의 비.. 2024. 9. 12. [논문 탐색하는 법] 인공지능융합학과 대학원 3기가 사용 중인 방법들 안녕하세요, 오늘은 제가 하는 논문 탐색법을 소개해드리려고 합니다.이전부터 한 번 써야지했던 글인데, 요즘 주변에서 여쭤보는 분들이 간간히 있던 김에 정리하였습니다. ⚠️ 자급자족 3기 대학원생이 최근 사용 중인 논문 탐색 과정을 작성한 글입니다.(누군가 알려준 방법이 아닌 혼자 알게된 방법들입니다. 김박사넷, 가방끈, 블로그 등을 참고하시면 더 정석적인 방법들도 많을 거예요)어떠한 시선에서는 당연한 이야기일 수도, 어떤 시선에서는 의문이 들 수도 있지만, 개인적인 방법을 작성한 글로 참고만 해주세요. 더 좋은 방법이나 꿀팁 있으면 알려주세용 :)국제 학회 및 저널을 기준으로 작성되었습니다. 목차학회 vs 저널범용적인 검색: google scholarbk21 논문 찾기1. 타겟하는 학회가 있을 때2... 2024. 9. 10. [카프카 핵심 가이드 #3] 4장 카프카 컨슈머: 카프카에서 데이터 읽기 목차0. 장을 시작하며1. 카프카 컨슈머: 개념2. 카프카 컨슈머 생성하기3. 토픽 구독하기4. 폴링 루프5. 컨슈머 설정하기6. 오프셋과 커밋7. 리밸런스 리스터8. 특정 오프셋의 레코드 읽어오기9. 폴링 루프를 벗어나는 방법10. 디시리얼라이저11. 독립 실행 컨슈머 standalone consumer 0. 장을 시작하며KafkaConsumer데이터를 읽는 애플리케이션은 토픽을 구독하고 구독한 토픽들로부터 메세지를 받기 위해 1. 카프카 컨슈머: 개념컨슈머와 컨슈머 그룹컨슈머 객체객체 생성하고, 토픽 구독, 메세지를 받아 검사하고 결과를 작성메세지가 빠르게 쓰이는 경우, 컨슈머가 하나뿐이라면, 메세지 속도 감당 불가→ 여러 개의 컨슈머가 같은 토픽으로부터 데이터를 분할해 읽어올 수 있도록컨슈.. 2024. 8. 22. [카프카 핵심 가이드 #2] 3장 카프카 프로듀서: 카프카에 메시지 쓰기 목차0. 장을 시작하며1. 프로듀서 개요2. 카프카 프로듀서 생성하기3. 카프카로 메세지 전달하기4. 프로듀서 설정하기5. 시리얼라이저6. 파티션7. 헤더8. 인터셉터9. 쿼터, 스로틀링 0. 장을 시작하며카프카를 사용할 때카프카에 데이터를 쓸 때 사용하는 프로듀서읽어올 때 사용하는 컨슈머두 가지 기능 모두를 수행하는 애플리케이션 생성개발자들이 카프카와 상호작용하는 애플리케이션을 개발할 때 사용할 수 있는 클라이언트 API와 함께 배포프로듀서디자인, 주요 요소KafkaProducer, ProducterRecord 객체 생성레코드 전송, 에러 처리작동 제어를 위한 중요 설정 옵션파티셔너와 시리얼라이저(객체의직렬화 방식 정의) 1. 프로듀서 개요카프카에 메세지를 써야하는 상황(목적): 다양사용자 행.. 2024. 8. 22. [카프카 핵심 가이드 #1] 1장 카프카 시작하기 목차0. 카프카에 대해 알아보기1. 발행/구독 메세지 전달2. 카프카 입문3. 왜 카프카인가?4. 데이터 생태계5. 카프카의 기원 0. 카프카에 대해 알아보기💡 **GPT 선생님은 아래와 같이 말씀하셨다**카프카(Apache Kafka)는 데이터를 실시간으로 처리하고 전달하는 시스템입니다. 쉽게 말해서, 카프카는 데이터를 빨리 주고받을 수 있게 해주는 '메신저' 같은 역할을 합니다.예를 들어, 어떤 쇼핑몰 웹사이트에서 사용자가 상품을 클릭하면 그 정보를 실시간으로 서버에 전달해야 할 때가 있습니다. 이 때 카프카가 사용됩니다. 사용자가 클릭한 정보는 카프카를 통해 바로 서버로 전달되고, 서버는 그 정보를 분석하여 적절한 광고를 보여주거나 재고를 관리하는 등의 작업을 할 수 있습니다.카프카는 다음과.. 2024. 8. 22. [공부log 24.08.19]논문 투고+=1, 여행여행, 개강 준비, 근황 등 1. 논문 투고 +=1지난 번 일상글과 똑같이 시작하는 일상글..다행히..? 논문을 무사히 투고완료했다 지난번 일상글에서 말한것과 같이 LLM으로 주제를 잡고 시작했다분명 괜찮아 보이는 주제였지만 150도 정도 주제를 돌려서 씀..ㅎ.... 간략 회고를 하자면..1. LLM 공부가 필요하다. 모르는 부분이 너무 많아서 이제 논문 읽고 논문 찾기보다는 기본적인 LLM에 대한 공부가 필요하다고 생각이 들었다.2. LLM은 자연어랑 다르다. 사용법이 조금 다르긴 하다. 앞으로 LLM을 활용해서 여러 태스크를 하려면 이 부분을 공부를 좀 해야한다고 생각이 들었다.3. 남은 방학은 공부만 해야지.. 아직까지는 워낙 LLM관련해서 아는게 많이 없어서 논문 작성하면서도 공부가 된 듯하지만, 연구!=공부 이기 때문에 .. 2024. 8. 19. Ollama를 이용해서 llama3.1 8B(양자화 모델)을 리눅스 서버에서 사용하기 (feat. 테디노트) 목차0. Ollama 다운 및 설치1. 깃 클론2. "Llama-3.1-8B-Instruct" 폴더 생성3. Modelfile 복제 및 수정4. QuantFactory/Meta-Llama-3.1-8B-Instruct-GGUF 다운5. ollama serve6. ollama create llama3.1-instruct-8b -f Modelfile 최근에 라마3.1이 공개되었죠저도 지금 진행 중인 연구에 활용하기 위해서 라마3.1을 사용해보려고 합니다(서버 세션을 다시 띄우면서 올라마 설치 및 라마3.1 설치 등을 전반적으로 다시 해야하는 겸..해서 포스팅을 합니다 ㅎㅎ) 아직 저도 잘 모르지만,, 과정을 작성해보려고 해요 ㅎㅎ기본적으로 테디노트 "#llama3 출시🔥 로컬에서 Llama3-8B.. 2024. 8. 4. [대규모 실시간 데이터 처리 #4] 대규모 시스템 설계 기초. 12장 채팅 시스템 설계 목차1단계 문제 이해 및 설계 범위 확정2단계 개략적 설계안 제시 및 동의 구하기3단계 상세 설계4단계 마무리 1단계 문제 이해 및 설계 범위 확정어떤 채팅 앱1:1 채팅 vs 그룹 채팅모바일 vs 웹트래픽 규모그룹 채팅 인원 제한중요 기능메세지 길이 제한종단 간 암호화채팅 이력 보관 등이 책의 이 장에서 설계하는 앱: 페이스북 메신저와 유사한 채팅 앱 2단계 개략적 설계안 제시 및 동의 구하기클라이언트: 모바일 앱 or 웹 애플리케이션클라이언트는 서로 통신 X기능을 지원하는 채팅 서비스와 통신채팅 서비스클라이언트들로부터 메시지 수신메시지 수신자 recipient 결정 및 전달수신자가 접속 online 상태가 아닌 경우, 접속할 때까지 해당 메세지 보관서버 ↔ 클라이언트HTTP 프로토콜 사용송신 .. 2024. 8. 4. [대규모 실시간 데이터 처리 #3] 대규모 시스템 설계 기초. 9장 웹 크롤러 설계 목차웹 크롤러1단계 문제 이해 및 설계 범위 확정2단계 개략적 설계안 제시 및 동의 구하기3단계 상세 설계4단계 마무리 웹 크롤러 web crawler로봇 robot, 스파이더 spider다양하게 이용됨검색 엔진 인덱싱 search engine indexing: 검색 엔진을 위한 로컬 인덱스. Googlebot웹 아카이빙 web archiving웹 마이닝 web mining웹 모니터링 web monitoring웹 크롤러의 복잡도: 웹 크롤러가 처리해야 하는 데이터의 규모에 따라 달라짐 → 데이터의 규모와 기능 파악 필요 1단계 문제 이해 및 설계 범위 확정주의 필요 속성규모 확장성웹은 거대→ 병행성 paralleism 활용안정성 robustness비정상적인 입력이나 환경에 잘 대응해야 함예절.. 2024. 8. 4. [패스트캠퍼스 베타러너 후기] 테디노트의 RAG 비법노트 : 랭체인을 활용한 GPT부터 로컬 모델까지의 RAG 가이드 안녕하세요 오늘은 베타러너로 미리 수강한 강의인"테디노트의 RAG 비법노트 : 랭체인을 활용한 GPT부터 로컬 모델까지의 RAG 가이드" 후기를 작성해보려고 합니다 패스트캠퍼스에 이 강의가 런칭되기 전부터 테디노트님의 랭체인노트를 알고 있었는데패스트캠퍼스에 강의가 나오길래오 패캠이 모셔갔군이란 생각을 했었던 강의였어용 ㅋㅋㅋㅋ 그만큼 랭체인 관련해서는 가장 유명하신 테디노트님이고,그래서 궁금했던 강의였답니다. 사실 테디노트님은 랭체인 이전에도 유명한 분이셨죠저도 처음 유튜브에서 테디노트님을 알게된건 깃허브 블로그 연동 뭐 그 영상이였던 것 같은데 ㅋㅋㅋ 그리고 이 강의에도 스트림릿을 적극적으로 사용하시는데저도 테디노트님의 유튜브 스트림릿 강의로 스트림릿을 입문한 사람인지라, 감사한 마음으로 강의.. 2024. 7. 31. [공부log 24.07.28]논문 투고+=1, 알바 끝, 향후 계획, 자기소개..? 1. 논문 투고+=15월달에 리젝되었던 논문을 리패키징을 해서 이번주 목요일 드디어 투고를 완료했다진짜 이번엔 최선을 했다고 생각함. 만약 리젝되면 투고한 학회가 추구하는 바랑 안맞았을 뿐.. 이라고 생각할 예정..아니 진짜다.. 이번엔 진짜 열심히 썼고 될 수도 있을 것 같은 느낌..안되면 너무 슬플것 같다 근데 투고한 학회가 서비스 지향 이런쪽이라 시스템 설계나 아키텍처 이런쪽 논문이 많아서..관련 부분을 최대한 극대화하려고는 했는데.. 후..워낙 다양한 분야를 모집하기도 하고 나는 신기술 분야쪽으로 넣었는데..훔.. 제발 투고가 되어서 포폴에도 내용 업데이트하고 블로그에도 자세히 써보고 싶다 ^^ 결론적으로 이 논문 때문에.. 방학을 갈아 넣었다 한 3주정도... 좋았던 점은 내용 보충을 위해.. 2024. 7. 28. [대규모 실시간 데이터 처리 #2] 대규모 시스템 설계 기초. 2장~3장 개략적인 규모 추정, 시스템 설계 면접 공략법 목차 2장 개략적인 규모 추정 3장 시스템 설계 면접 공략법 2장 개략적인 규모 추정태그: 대규모 시스템 설계 기초주차: 1 개략적인 규모 추정 back-of-the-envelope estimation보편적으로 통용되는 성능 수치상에서 사고 실험 thought experiments → 추정치 계산어떤 설계가 요구사항에 부합할 것인지규모 확장성 표현 이해 필요 2의 제곱수데이터 볼륨의 단위를 2의 제곱수로 표현최소 단위 1바이트, 8비트 구성ASCII 문자 하나 차지하는 메모리 크기: 1바이트 응답지연 값구글의 제프 딘: (2010년) 컴퓨터에서 구현된 연산들의 응답지연 값 공개결론메모리는 빠르지만 디스크는 느리다디스크 탐색은 가능한 피하라단순한 압축 알고리즘은 빠르다데이터를 인터넷으로 전송하기 전에.. 2024. 7. 28. [대규모 실시간 데이터 처리 #1] 대규모 시스템 설계 기초. 1장 사용자 수에 따른 규모 확장성 목차단일 서버데이터베이스수직적 규모 확장 vs 수평적 규모 확장콘텐츠 전송 네트워크 CDN무상태 stateless 웹 계층데이터 센터 data center메세지 큐로그, 메트릭 그리고 자동화데이터베이스의 규모 확장 단일 서버가장 간단한 시스템모든 컴포넌트(웹 앱, 데이터베이스, 캐시 등)가 단 한 대의 서버에서 실행되는 시스템사용자 → 웹 서버 접속도메인 이름 (ex. api.mysite.com) → 도메인 이름 서비스 DNS 질의 → IP 주소 변환 (ex. 15.125.23.214)DNS는 보통 제 3사업자가 제공하는 유료 서비스 이용IP 주소로 HTTP 요청 전달요청 받은 서버는 HTML페이지나 JSON 형태 응답 반환사용자 단말웹 애플리케이션: 서버 구현용 언어(자바, 파이썬등), 클라이언트.. 2024. 7. 28. 이전 1 2 3 4 5 6 7 다음
