본문 바로가기

전체 글129

[CS 전공지식 #9] 챕터3-2. 메모리 목차2. 메모리3.2.1 메모리 계층3.2.2 메모리 관리  챕터3. 운영체제 2. 메모리CPU는 “메모리”에 올라와있는 프로그램의 명령어들을 실행메모리 계층과 메모리 관리 3.2.1 메모리 계층메모리 계층 구성레지스터: CPU 안에 있는 작은 메모리. 휘발성, 속도 가장 빠름, 기억 용량 가장 작음캐시: L1, L2 캐시. 휘발성, 속도 빠름, 기억 용량 적음 (L3 캐시도 있음)주기억장치: RAM. 휘발성, 속도 보통, 기억 용량 보통보조기억장치: HDD, SSD. 비휘발성, 속도 낮음, 기억 용량 많음RAM: 하드디스크로부터 일정량 데이터 복사, 임시 저장, 필요시 CPU에 빠르게 전달계층 위로 올라갈수록 가격 비싸짐. 용량 작아지고 속도 빨라지는 특징계층 존재 이유: 경제성, 캐시캐시 cache데.. 2025. 2. 17.
[CS 전공지식 #8] 챕터3-1. 운영체제와 컴퓨터 목차1. 운영체제와 컴퓨터3.1.1 운영체제의 역할과 구조3.1.2 컴퓨터의 요소  챕터3. 운영체제운영체제(OS, Operating System): 사용자가 컴퓨터를 쉽게 다루게 해주는 인터페이스한정된 메모리나 시스템 자원을 효율적으로 분배cf) 펌웨어 firmware: 운영체제와 유사, 소프트웨어 추가 설치 불가 1. 운영체제와 컴퓨터하드웨어, 소프트웨어(유저 프로그램) 관리하는 운영체제, CPU, 메모리 등 3.1.1 운영체제의 역할과 구조운영체제의 역할 4가지CPU 스케줄링과 프로세스 관리메모리 관리디스크 파일 관리I/O 디바이스 관리운영체제의 구조유저 프로그램 → GUI → 시스템콜 → 커널 → 드라이버 → 하드웨어운영체제: GUI, 시스템콜, 커널, 드라이버 부분GUI 없고 CUI 만 있는 리.. 2025. 2. 17.
Multimodal Chain-of-Thought Reasoning in Language Models (논문 읽기) Multimodal Chain-of-Thought Reasoning in Language Models날짜: 2025년 2월 13일https://arxiv.org/pdf/2302.00923TMLR 2024(2023)요즘 인정받는 저널Neurips, icml ,iclr, ( aistats, colt, uai )~> tmlr >> aaai >>ijcai 라는 커뮤니티 글을 본 적이 있음Openreview 씀MemeMQA 에서 하도 언급돼서 읽어보려 함엄청 유명한 논문이고 인용수 423회CoT 방법론에 대해 먼저 검증, 분석해보고 해결책을 찾아가는 방식으로 서술되어 있는데해결책을 갑자기 멀티모달(비전)을 사용하는걸로 함근거는 제시되어 있는데 CoT 두 단계 프레임워크의 완전한 해결책?이라고 보기엔 음..예전에 .. 2025. 2. 13.
[CS 전공지식 #7] 챕터2-5. HTTP 목차5. HTTP2.5.1 HTTP/1.02.5.2 HTTP/1.12.5.3 HTTP/22.5.4 HTTPS2.5.5 HTTP/3  5. HTTPHTTP: 전송 계층 위에 있는 애플리케이션 계층, 웹 서비스 통신에 사용됨HTTP/1.0 ~ HTTP/3 2.5.1 HTTP/1.0한 연결당 하나의 요청을 처리하도록 설계됨→ RTT 증가 발생서버로부터 파일을 가져올 때마다 TCP의 3-웨이 핸드셰이크를 계속 열어야 하기 때문RTT: 패킷이 목적지에 도달하고 나서 다시 출발지로 돌아오기까지 걸리는 시간이며 패킷 왕복 시간서버 부담 증가, 사용자 응답 시간 증가RTT 증가를 해결하기 위한 방법이미지 스플리팅, 코드 압축, 이미지 Base64 인코딩 사용이미지 스플리팅: 많은 이미지를 다운로드받게 되면 과부하 → .. 2025. 2. 10.
[CS 전공지식 #6] 챕터2-4. IP 주소 목차4. IP 주소2.4.1 ARP2.4.2 홉바이홉 통신2.4.3 IP 주소 체계  챕터2. 네트워크 4. IP 주소인터넷 계층에 IP 주소 사용 2.4.1 ARP“ 컴퓨터와 컴퓨터 간의 통신: IP 주소 기반 통신”를 정확히 이야기 하자면→ IP 주소에서 ARP를 통해 MAC 주소를 찾아 MAC 주소를 기반으로 통신ARP (Address Resolution Protocol)IP 주소로부터 MAC 주소를 구하는 IP와 MAC 주소의 다리 역할을 하는 프로토콜ARP를 통해 가상 주소인 IP 주소를 실제 주소인 MAC 주소로 변환(반대로) RARP를 통해 실제 주소인 MAC 주소를 가상 주소인 IP주소로 변환(그림)장치 A가 ARP Request 브로드캐스트를 보내서 IP주소인 120.70.80.3에 해당.. 2025. 2. 9.
[CS 전공지식 #5] 챕터2-3. 네트워크 기기 목차3. 네트워크 기기2.3.1 네트워크 기기의 처리 범위2.3.2 애플리케이션 계층을 처리하는 기기2.3.3 인터넷 계층을 처리하는 기기2.3.4 데이터 링크 계층을 처리하는 기기2.3.5 물리 계층을 처리하는 기기   챕터2. 네트워크  3. 네트워크 기기네트워크는 여러 개의 네트워크 기기를 기반으로 구축됨  2.3.1 네트워크 기기의 처리 범위네트워크 기기는 계층별로 처리 범위 나눌 수 있음물리 계층 처리할 수 있는 기기, 데이터 링크 계층을 처리할 수 있는 기기 등상위 계층 처리하는 기기는 하위 계층 처리 가능하위 계층 처리하는 기기는 상위 계층 처리 불가애플리케이션 계층: L7 스위치인터넷 계층: 라우터, L3 스위치데이터 링크 계층: L2 스위치, 브리지물리 계층: NIC, 리피터, AP  2.. 2025. 2. 9.
MemeMQA: Multimodal Question Answering for Memes via Rationale-Based Inferencing 논문 읽기) MemeMQA: Multimodal Question Answering for Memes via Rationale-Based Inferencing날짜: 2025년 2월 6일https://aclanthology.org/2024.findings-acl.300.pdf이전ACL 2024밈 연구로 방향을 틀게 되어서 읽어본 논문밈이라는게 이미지, 텍스트 모두 이해해야하는 채널이라 멀티모달 LLM과의 조합이 좋지 않을까 싶음Multimodal COT라는 논문을 읽어야 할듯모듈식 구성이라 조금 복잡한 느낌이지만, 잘 작성된듯함.엄청 다양한 실험을 한 것이 인상깊음 (여러 요소를 고려한듯)  Abstract밈다양한 커뮤니케이션의 매체로 진화잠재적 위험성 탐구 필요성 증가기존 연구: 밈의 폐쇄된 환경에서 해악을 감지, 의.. 2025. 2. 8.
Hadoop/Spark 이론 정리 및 예제 안녕하세요BOAZ 방학 Adv 세션 발표를 하며 준비했던 자료를 포스팅해보려고 합니다제가 담당한 부분은 Hadoop/Spark여서 이 자료를 업로드합니다 ㅎㅎSpark의 경우 학기 Base 세션 발표 때 했던 내용이랑 유사해서 생략합니다. Spark 포스팅:https://uni-datastudy.tistory.com/87 Apache Spark RDD/Dataframe 정리안녕하세요BOAZ 학기 Base 세션 발표를 하며 준비했던 자료를 포스팅해보려고 합니다제가 담당한 부분은 Spark RDD/DataFrame 이여서 이 자료를 업로드합니다 ㅎㅎ   목차1. Apache Spark의 개념과 등장uni-datastudy.tistory.com  목차1. Hadoop(1) Hadoop의 정의(2) Hadoop.. 2025. 2. 4.
[CS 전공지식 #4] 챕터2-2. TCP/IP 4계층 모델 목차2. TCP/IP 4계층 모델2.2.1 계층 구조2.2.2 PDU   챕터2. 네트워크 2. TCP/IP 4계층 모델인터넷 프로토콜 스위트 internet protocol suite인터넷에서 컴퓨터들이 서로 정보를 주고 받는데 쓰이는 프로토콜의 집합TCP/IP 4계층 모델로 설명하거나 OSI 7계층 모델로 설명이 책에서는 4계층 모델을 중심으로 설명이 계층 모델은 네트워크에서 사용되는 통신 프로토콜의 집합으로 계층들은 프로토콜의 네트워킹 범위에 따라 네 개의 추상화 계층으로 구성됨  2.2.1 계층 구조TCP/IP 계층은 네 개의 계층을 가짐. OSI 7계층과 많이 비교함OSI 계층은애플리케이션 계층을 세 개로 쪼갬링크 계층을 데이터 링크 계층, 물리 계층으로 나눠서 표현인터넷 계층을 네트워크 계층으.. 2025. 2. 3.
[CS 전공지식 #3] 챕터2-1. 네트워크의 기초 목차1. 네트워크의 기초2.1.1 처리량과 지연 시간2.1.2 네트워크 토폴로지와 병목 현상2.1.3 네트워크 분류2.1.4 네트워크 성능 분석 명령어2.1.5 네트워크 프로토콜 표준화  챕터2. 네트워크네트워크: 컴퓨터 등의 장치들이 통신 기술을 이용하여 구축하는 연결망을 지칭하는 용어네트워크 기초, 네트워크 계층, 장치 등  1. 네트워크의 기초네트워크: 노드 node와 링크 link가 서로 연결되어 있거나 연결되어 있으며 리소스를 공유하는 집합을 의미노드: 서버, 라우터, 스위치 등 네트워크 장치를 의미링크: 유선 또는 무선   2.1.1 처리량과 지연 시간좋은 네트워크: 많은 처리량 처리 가능, 지연 시간이 짧고, 장애 빈도가 적고, 좋은 보안을 갖춘처리량 throughtput링크 내에서 성공적으.. 2025. 2. 3.
[공부log 25.01.30] GPU랑 헤어질 결심, 동아리 adv 시작, 연구 근황 등 설 연휴가 휘리릭 하고 끝났다..이제 진짜 빼도박도 못하는 2025년이야.. ^_ㅠ 도대체 시간이 어떻게 가는건지 싶은 요즘이다작년 10월, 11월, 12월 너무너무 진짜 너무 바빠서1월에 만끽하는 여유와 자유에 행복해 미쳐버리다가 너무 빠르게 그 리듬에 적응해버린 나다 연구나 프로젝트를 급하게 할 때에는 정신이 일에만 팔려서 정신이 없는 느낌이라면시간이 많을 때에는 무언가 하고는 있는데 정확히 뭐를 하고 사는지가 불명확한 느낌이다 이를 위해 매일 to do list 를 쓰지만 무용지물인듯..시간은 참 잘간다.. 여튼.. 최근 1달의 기록을 남겨보려고 한다 ㅎㅎ    1. GPU와 헤어질 결심이 글을 쓰는 지금 막 GPU가 사라졌다.작년 4월즈음부터 사용했던 NIPA 제공의 GPU 서버였는데 백업기간까지.. 2025. 1. 30.
DeepSeek-R1 Incentivizing Reasoning Capability in LLMs via Reinforcement Learning (DeepSeek-R1 테크니컬 리포트 논문 읽기) DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning날짜: 2025년 1월 30일https://arxiv.org/pdf/2501.12948technical report 논문?!?! 이고 방법론까지만 읽어보았습니다.요즘 난리난 그 딥시크입니다특징으로는DeepSeek-R1-Zero: 초반 학습할 때 SFT 방식 아니고 강화학습 방식으로 학습근데 DeepSeek-R1-Zero가 몇 가지 문제가 있어서 해결방안 탐색해서 진행한게 DeepSeek-R1DeepSeek-R1에서는 콜드스타트 데이터와 강화학습을 좀 더 발전시켜서 학습 + RL 학습 성능이 수렴되면 그 이후에 추가적인 SFT 학습distillation 진행하고.. 2025. 1. 28.
[CS 전공지식 #2] 챕터1-2. 프로그래밍 패러다임 목차2. 프로그래밍 패러다임2.1 선언형과 함수형 프로그래밍2.2 객체지향 프로그래밍2.3 절차형 프로그래밍2.4 패러다임의 혼합/a>  챕터1. 디자인 패턴과 프로그래밍 패러다임.  2. 프로그래밍 패러다임프로그래머에게 프로그래밍의 관점을 갖게 해주는 역할을 하는 개발 방법론예1) 객체 지향 프로그래밍프로그래머들이 프로그램을 상호 작용하는 객체들의 집합으로 볼 수 있게 함예2) 함수형 프로그래밍상태 값을 지니지 않는 함수 값들의 연속으로 생각할 수 있게 해줌언어에 따라 특정 패러다임을 지원하기도 함여러 패러다임을 지원하는 언어: C++, 파이썬, 자바스크립트자바의 경우,jdk 1.8 이전에는 객체지향 프로그래밍 지향 지원1.8부터는 함수형 프로그래밍 패러다임을 지원하기 위해 람다식, 생성자 레퍼런스, .. 2025. 1. 27.
[CS 전공지식 #1] 챕터1-1. 디자인 패턴 목차1. 디자인 패턴1.1 싱글톤 패턴1.2. 팩토리 패턴1.3 전략 패턴1.4 옵저버 패턴1.5 프록시 패턴과 프록시 서버1.6 이터레이터 패턴1.7 노출모듈 패턴1.8 MVC 패턴1.9 MVP 패턴1.10 MVVM 패턴    챕터1. 디자인 패턴과 프로그래밍 패러다임.라이브러리 & 프레임워크: 공통으로 사용될 수 있는 특정한 기능들을 모듈화한 것라이브러리: 폴더명, 파일명 등에 대한 규칙 X, 프레임워크에 비해 자유로움프레임워크: 규칙 존재, 라이브러리에 비해 좀 더 엄격 1. 디자인 패턴디자인 패턴: 프로그램을 설계할 때 발생했던 문제점들을 객체 간의 상호 관계 등을 이용해 해결할 수 있도록 하나의 “규약”형태로 만들어 놓은 것을 의미  1.1 싱글톤 패턴싱글톤 패턴 singleton pattern.. 2025. 1. 27.
How Far Are We to GPT-4V? Closing the Gap to Commercial Multimodal Models with Open-Source Suites (InternVL1.5 논문 읽기) How Far Are We to GPT-4V? Closing the Gap to Commercial Multimodal Models with Open-Source Suites날짜: 2025년 1월 23일https://arxiv.org/pdf/2404.16821CVPR 2024 OralLLaVA 아키텍처가 아닌 InternVL 을 사용한 논문이 있어서 궁금해서 읽어봄LLaVA 랑 다른 점은 인코더를 강화시키는 부분 (파라미터 크게, 지속적으로 학습 강조, freeze 안하고 같이 학습함)이 논문은 InternVL 1.5인데 현재는 2.5까지 나온 상황LLaVA github star 21.2k, InternVL 6.9k AbstractInternVL 1.5오픈 소스 멀티모달 대규모 언어 모델(MLLM)오픈 .. 2025. 1. 24.
LLaVA-Mini: Efficient Image and Video Large Multimodal Models with One Vision Token 논문 읽기 LLaVA-Mini: Efficient Image and Video Large Multimodal Models with One Vision Token날짜: 2025년 1월 16일https://openreview.net/forum?id=UQJ7CDW8nbICLR 2025 under review깃허브가 살짝 유명함대규모 멀티모달 모델을 MLLM, VLM 이라고 안하고 LMM이라고 함aihub 서버를 사용해야하는 상황인데 gpu 메모리가 32기가라 LLaVA 경량 방안을 알아보고 있는 중 (LLaVA 7b 기준 batch 1로 학습해도 37기가 이상 점유)근데 이 논문은 작게 서빙(추론)할 수 있는거에 의의가 있지 학습에는 오히려 학습할거 더 많아서 사용은 보류.. (추론 성능이 좋은 것 같음, 특히 비디오 .. 2025. 1. 15.
LLaVA-Med: Training a Large Language-and-Vision Assistant for Biomedicine in One Day (논문 리뷰) LLaVA-Med: Training a Large Language-and-Vision Assistant for Biomedicine in One Day날짜: 2025년 1월 9일NeurIPS 2023https://arxiv.org/pdf/2306.00890마이크로소프트에서 작성한 논문LLaVA 깃허브에서 연혁(history) 보면 LLaVA Med 도 언급되어 있음. 아마 첫 도메인 적용 예시여서 그런듯..? 아니면 협력?LLaVA NeurIPS 2023 Oral 로 발표됐는데 LLaVA-Med는 NeurIPS 2023 Spotlight로 발표됨..졸업 주제 말고 사이드로 하는거를 MRI 이미지 사용하려고 해서 읽어본 논문  Abstractbiomedical images멀티모달 대화형 AI일반 도메인의 .. 2025. 1. 9.
Benchmarking Multimodal Retrieval Augmented Generation with Dynamic VQA Dataset and Self-adaptive Planning Agent 논문 읽기 (멀티모달 RAG 벤치마크 관련) Benchmarking Multimodal Retrieval Augmented Generation with Dynamic VQA Dataset and Self-adaptive Planning Agent날짜: 2025년 1월 2일https://arxiv.org/pdf/2411.02937ICLR 2025 Under Review휴리스틱 방식은 고정된 단계로 진행되는 기존의 검색 전략을 의미하고, OmniSearch는 이를 개선하기 위해 설계된 에이전트 기반의 동적 검색 시스템(((뒤로 갈수록 나열식으로 글이 구성되어 있음 주의))) AbstractmRAG (Multimodal Retrieval Augmented Generation): 다중 모달 대형 언어 모델(MLLMs)에 내재된 "환각" 문제를 완화하는 데.. 2025. 1. 3.
LLaVA-MoD Making LLaVA Tiny via MoE-Knowledge Distillation 논문 읽기 LLaVA-MoD: Making LLaVA Tiny via MoE-Knowledge Distillation날짜: 2024년 12월 26일ICLR 2025 Under Reviewhttps://openreview.net/pdf?id=uWtLOy35WD 멀티모달 LLM에 Knowledge Distillation 을 접목시키는거에 관심이 있어서 읽어보게된 논문입니다.원래 아카이브에서부터 조금 주목받던 논문인데 ICLR 2025에 게재될 것 같네용   1. Introduction멀티모달 LLM은 시각 인코더와 대형 언어 모델을 통합하여 좋은 성능큰 크기, 방대한 훈련 데이터 → 챌린징 요소많은 매개변수의 수는 고급 하드웨어 필요, 느린 추론 속도 → 모바일 장치와 같은 실제 배치 작업 어려움소형 MLLM 탐색 중.. 2024. 12. 26.
[공부log 24.12.25] 연말 회고, 대학원생 졸업 주제, 데잇걸즈 네트워킹 모임 등의 근황 약 3개월만에 쓰는 블로그 일상글..껄껄..안쓰다보니까 계속 안쓰게 되는 듯하다사실 몇 번 임시저장 했는데 그래놓고도 안써서 날라간듯..((임시 저장이 아니라 그냥 저장하다가 증발..)) 근 3개월간의 내용을 휘리릭 정리해보고 연말 회고를 하고자 한다 1. 대학원 졸업 주제10월 초쯤부터 결국 눈독 들이고 있었던 졸업 주제를 시작하게 되었다.졸업 주제를 시작하려고 시작한 것이 아닌 그냥 연구하다가 이게 졸업 주제가 되었다. 3학기 시작할 즈음부터 졸업 주제 LLM 해야지라는 생각 정도만 했었는데 연구를 하다보니 이게 졸업 주제가 되었다. 졸업주제까지 오게 된 스토리가 있는데일단 원래 한 학회에 낼 목적으로 실험을 하고 있는 연구가 있었다 (=이상탐지 쪽)결론적으로는 너무나 결과가 무의미해서 .. 2024. 12. 25.

티스토리툴바