전체 글 103

MiniGPT-4 Colab

https://colab.research.google.com/gist/movie5/fe356735fb45c2e037422310e94659d1/use_minigpt4.ipynb use_minigpt4_final.ipynb Run, share, and edit Python notebooks colab.research.google.com 공식 github에서 제공하는 colab은 버전 문제, LLaMA 모델 다운받는 문제로 한번에 사용하기 힘들다. 그래서 이번에 Colab에서 requirements만 다운받으면 실행할 수 있도록 버전을 수정한 코드를 작성했다.

보이저엑스 개발자 인턴 기술 질문 대답 준비 with ChatGPT

당연한 말이지만 아는만큼 답해야하고, 내가 답할 수 있는게 맞는지 확인하기 위해 ChatGPT에게도 물어봤다. 하지만 전공서적, wiki, 내가 개발을 하면서 말할 수 있는 특성들 위주로 핵심만 짧게 얘기해보고자 한다. 면접 질문인데 구구절절 설명하는 것은 좋지 않다. PNG와 JPG의 차이점은? Dynamic Programming이란? Virtual Memory란? Semaphore란? Cache란? Database Index 추가의 장단점은? NoSQL의 장단점은? 공유기의 원리는? HTTP/2의 특성은? 비대칭 암호란? Node.js의 특징은? HDD, SSD, DRAM 각각의 성능은? Memory Leak 디버깅은? GIT의 장단점은?

파이토치 2.0 torch.compile() 이 얼마나 빠른지 알아보자

출처 : https://discuss.pytorch.kr/t/accelerating-large-language-models-with-accelerated-transformers/1417 파이토치 2를 사용한 가속화된 생성 확산 모델(Accelerated Generative Diffusion Models with PyTorch 2) 🎉 PyTorch 공식 블로그에 게시된 Accelerated Generative Diffusion Models with PyTorch 2 글을 퍼왔습니다. 🙂 아래는 원문과 함께 DeepL이 번역한 내용입니다 - Translated with DeepL Accelerated Generative Diffusion Models with PyT discuss.pytorch.kr Int..

Whisper

모든 데이터에서 최고의 성능을 뽑아낸다 Weakly supervised ASR : 음성 데이터 68만 96개 언어의 음성인식 지원, x-> en 지원 Self training 없이 결과를 달성 Whisper : 음성인식의 최종목적은 Out of Distribution data LibriSpeech is like ImageNet, but for Speech -Indomain 데이터로 관측 but Whisper는 Libri unseen으로 정확도를 높이겠다 인터넷에서 전사가 있는 데이터를 구축했다 다양한 화자, 환경 인식기가 만든거 같은 데이터는 버림 언어 검출기를 개발 ex 한국인이 한국어가 아닌 영어를 말하는 걸 검출해야한다 Hallucination 이 나온다. 한국어 8000시간 : low perfor..

2023 파이토치 한국 사용자 모임 2회 세미나

1. ChatGPT 추천시스템 연사 : 이수진 ChatGPT ; 1. 추천 엔진과 설명 로직을 결합해서 추천시스템을 간단하게 만들어볼까 2. 사용자 선호 태그, GPT에게 태그화해서 로직을 따라서 추천가능, 신규나 기존 혹은 과거 히스토리에 따라 적용 3. Hugging face 이용하면 빠르게 만들기 가능 4. movie metadata, genre, title, overview 데이터를 사용해서 임베딩 벡터 추철, simularity를 구함. Embedding vector 뽑기 위해 허깅페이스를 사용. Sentence Transfomer multilingual을 사용. 허깅페이스는 벡터사이즈가 작고 다양한 모델을 적극적으로 활용가능해서 이번에 사용했다. 사용자 의도 파악 - API, 인스타그램의 설명..

IT행사 후기 2023.03.18