전체 글 99

보이저엑스 개발자 인턴 기술 질문 대답 준비 with ChatGPT

당연한 말이지만 아는만큼 답해야하고, 내가 답할 수 있는게 맞는지 확인하기 위해 ChatGPT에게도 물어봤다. 하지만 전공서적, wiki, 내가 개발을 하면서 말할 수 있는 특성들 위주로 핵심만 짧게 얘기해보고자 한다. 면접 질문인데 구구절절 설명하는 것은 좋지 않다. PNG와 JPG의 차이점은? Dynamic Programming이란? Virtual Memory란? Semaphore란? Cache란? Database Index 추가의 장단점은? NoSQL의 장단점은? 공유기의 원리는? HTTP/2의 특성은? 비대칭 암호란? Node.js의 특징은? HDD, SSD, DRAM 각각의 성능은? Memory Leak 디버깅은? GIT의 장단점은?

파이토치 2.0 torch.compile() 이 얼마나 빠른지 알아보자

출처 : https://discuss.pytorch.kr/t/accelerating-large-language-models-with-accelerated-transformers/1417 파이토치 2를 사용한 가속화된 생성 확산 모델(Accelerated Generative Diffusion Models with PyTorch 2) 🎉 PyTorch 공식 블로그에 게시된 Accelerated Generative Diffusion Models with PyTorch 2 글을 퍼왔습니다. 🙂 아래는 원문과 함께 DeepL이 번역한 내용입니다 - Translated with DeepL Accelerated Generative Diffusion Models with PyT discuss.pytorch.kr Int..

Whisper

모든 데이터에서 최고의 성능을 뽑아낸다 Weakly supervised ASR : 음성 데이터 68만 96개 언어의 음성인식 지원, x-> en 지원 Self training 없이 결과를 달성 Whisper : 음성인식의 최종목적은 Out of Distribution data LibriSpeech is like ImageNet, but for Speech -Indomain 데이터로 관측 but Whisper는 Libri unseen으로 정확도를 높이겠다 인터넷에서 전사가 있는 데이터를 구축했다 다양한 화자, 환경 인식기가 만든거 같은 데이터는 버림 언어 검출기를 개발 ex 한국인이 한국어가 아닌 영어를 말하는 걸 검출해야한다 Hallucination 이 나온다. 한국어 8000시간 : low perfor..

2023 파이토치 한국 사용자 모임 2회 세미나

1. ChatGPT 추천시스템 연사 : 이수진 ChatGPT ; 1. 추천 엔진과 설명 로직을 결합해서 추천시스템을 간단하게 만들어볼까 2. 사용자 선호 태그, GPT에게 태그화해서 로직을 따라서 추천가능, 신규나 기존 혹은 과거 히스토리에 따라 적용 3. Hugging face 이용하면 빠르게 만들기 가능 4. movie metadata, genre, title, overview 데이터를 사용해서 임베딩 벡터 추철, simularity를 구함. Embedding vector 뽑기 위해 허깅페이스를 사용. Sentence Transfomer multilingual을 사용. 허깅페이스는 벡터사이즈가 작고 다양한 모델을 적극적으로 활용가능해서 이번에 사용했다. 사용자 의도 파악 - API, 인스타그램의 설명..

IT행사 후기 2023.03.18

네이버 부스트캠프 AI 5기 1차 테스트 후기

객관식 20문제 난이도 precourse를 제대로 못들었다. 그냥 1-4기 문제들과 답, 풀이를 보면서 최대한 외웠다. 그리고 precourse의 ppt를 보면서 용어들을 최대한 카테고리화해서 외웠다. 솔직히 다 맞은건 아니고 반타작 했으면 다행이다. 코딩 5문제 1, 3, 4문제는 풀었고, 5번 문제는 쳐다도 못봤다. 2번 문제는 괜히 겁먹었다가 나중에 보니까 쉬운 문제라서 풀라다가 시간초과 솔직히 시간초과 안할 수 있는데 너무 오랜만에 파이썬을 건드렸더니 어버버 해버렸다. 특히 다른 코테에서는 input에 대해서 내가 sys써야하는데 여기서는 input이 이미 파라미터로 줘서 그거 헤매느라 시간 다간거였다. 그래도 3문제는 적어도 테스트 케이스 통과했고, 객관식도 반타작은 한거 같으니 1차는 통과했을..

IT행사 후기 2023.01.18

Excel파일에서 Datafrmae으로 to_dict 딕셔너리만들기

내가 갖고 있는 엑셀파일에서 원하는 딕셔너리 만들기 여기가 key 첫번째 행이 딕셔너리의 key가 되고싶은 두번째 부터는 value로 넘어가게 되는데 이게 내가 꾸준히 하는게 아니라서 이렇게 끝날수도 있고 각 키마다 밸류가 다른 갯수로 리스트가 된다 self.rule.columns = self.rule.iloc[3] k = self.rule[4:] dict = k.to_dict('list') temp = {key: [v for v in value if v] for key, value in f.items()} del temp[None] dict.clear() 위 코드의 두개에 대한 것은 다른 것이다. 엑셀에 대해서 첫번째부터 세번째 행은 내용설명을 위해 빈칸 및 필요없는 칸이어서 내린 것이고 마찬가지로 r..

인턴 때 배운 코드들

1. xlsx 파일을 불러와서 sheet의 이름을 갖고 그 안의 내용을 모두 Dataframe화하기. master = openpyxl.load_workbook('파일이름.xlsx') master.sheetnames #sheet 이름을 수정하여 사용 가능 sheet = master['mando'] mando = pd.DataFrame(sheet.values) 2. 0행으로 header가 내려올 때, header를 올리는 방법 # 0행으로 header가 내려와서 다시 header로 올립니다. mando.columns = mando.iloc[0] mando = mando[1:] 3. parser를 통해서 terminal로 파이썬 코드를 실행하기 위한 작업 def __init__(self, item_name='..