랭체인 코리아 밋업 2023 후기

뷰 맛집인 MS korea 에서 경복궁과 서촌을 바라보며 랭체인 코리아 밋업에 참석했습니다!

 

실시간으로 강의를 들으면서 내용을 요약해서 작성해보겠습니다 :)

 

말랑말랑한 인트로

랭체인을 시작한 경로?

저는 유튜브로 시작해서 외국 유튜버들의 튜토리얼을 많이 참고했네요. 물론 공식문서도 보았고 블로그 글도 많이 참고해서 원하는 프로젝트를 시작했습니다. 

 

인공지능팩토리 김태영

마이크로소프트에서 장소 제공해주셔서 좋은 행사를 하게 되어서 기쁘다

운영진 소개 

전미정 MS AI MVP / 유현아 IT 교육 컨텐츠 제작 강사 / 이지혜&구지언 행사를 도와주셨다 / 장서연&김태영 AI factory

 

 

나의 시간을 절약해주는 유튜브 정리

chain_type : map_reduce 기법으로 자막을 요약해준다. 

함수를 만들어서 doc을 인수로 받고 템플릿을 넣었다. 

템플릿은 한글로 작성되었다. 

데이터 분석

numpy, matlab, csv, pandas 등을 불러와서 데이터를 분석해준다 쩐다...

내가 네이버 부스트코스에서 배웠던것들을 코드를 몰라도 바로바로 그래프를 만들어준다. 물론 코드도 만들어준다. 

 

최신 OpenAI API

openAI의 platform의 playground에서

system, user, assistant, function의 네가지 role이 있다.

 

• system과 user 메세지로 합쳐서 assistant가 답하는 방식이다. 
• 실질적인 대화는 Thread로 된다. Add and run으로 하면 assistant에 대화를 넣어서 실행하면 쓰레드에 맞게끔 대화를 결과를 얻을 수 있다. 
• 쓰레드에서 대화가 길면 입력 토큰단위로 잘리게 된다. 
• function calling이 사라지고, tool이 생겼다!

랭체인 OpenGPTs

Gizmo-agent

• 여기 tool에 gpu, deeplearning 등을 넣어서 agent를 구성해서 활용할 수 있다. 
• 프롬프트를 만드는 것은 대충 배워서 할 수 있는데... opengpt를 보면 이제는
• GPTs같은 플랫폼을 구성해서 사용자들이 원하는 chatbot을 만들어낼 수 있다. Tools는 DB, 정보들을 연결할 수 있다. Local LLM으로 진행되겠지만

워드가 아닌 AIF WERTs 살펴보기

발표평가

발표평가 연구계발계획서를 읽고 AI 기술과 관련해서

This is AMy your Reading guide!

강의 교재를 넣고 프롬프트를 작성해서 넣어주고 

우리 회사 홍보기자

홍보 문구를 쉽게 써보는 것

 

개발자가 아니어도 배포해서 링크를 주는 것이 대단하다!

 

김기현 LLM이 걸어온 길과 ~

되짚어볼 수 있는 발표가 되길 바란다. 

 

딥러닝을 활용한 자연어처리의 흐름

NLU~NLG~PLM~LLM

Word2Vec~Transformer~Bert~GPT3

 

LLM의 흐름

거대화 - 소형화 - Instruction Tuning - Better Reasoning

GPT-3 - Chinchilla - InstructGPT - CoT, Orca

 

소형화 : 최적화를 통한 효율화

친칠라에서 제안한 공식 Scalining law를 통한 크기 대비 학습량 최적화

뇌피셜 : GPT4도 크진 않을거 같아요 서비스할 때는 분산을 해서 올리면 

 

자연어는 모호함을 담고 있다

- 효율성 극대화를 위해, 생략 가능한 정보는 최대한 생략

- 상식, 화자간/사회적 합의, 선행 문맥에서 이미 나온 정보를 생략

- 생략된 정보를 메우고, 이를 바탕으로 질문/요청에 응답할 수 있다.

 

CoT

- 복잡한 추론 과제를 해결하는 과정에서 단계별 사고 과정을 확장/명시하는 방법

COT를 적용하는 방법

Few shot prompting, Instruction Tuning, Explanation tuning( e.g. Orca)

CoT는 모호성 해소에 도움이 된다. 

 

Autonomous Agents의 단점

추론과정이 너무 많다

SLLM의 성능의 극대화 필요

API의 경우 높은 비용이 발생

나만의 SLLM을 만들어보자!

 

한국어를 이해할 수 잇는 SLLM 구축

1. 토크나이저 확장

한글 문장을 더 적은 토큰으로 처리할 수 있도록 하자!

2. Large Language model

 

GPT-4 데이터셋 증강(Orca)

비교적 적은 데이터를 직접 정성 들여 만들자 (LIMA)

번역기를 활용한 영어 데이터셋 번역 및 활용(OpenOrca-KO)

 

혜림 - 음성 인공지능 ARG

Overview

Youtube -> Distil Whisper -> Chroma -> LLM 으로 질문에 대해서 답변

 

 

Distil-Whisper

model에서 flash attention2에 주목해서! True로 해야한다. 

pip install falsh-attn --no-build-isolation을

wsl2에 리눅스를 깔고 거기에 돌려서 flash attention을 돌려서 cuda 스펙 맞춰서 더 깔아서 실행된다!

 

Ampere GPU 최신 Nvidia GPU 3090, 4090, A100(코랩 프로)에서 가능하다. 

GPU는 런타임시 3가지 메모리(SRAM, HBM, CPU DRAM)으로 접근할 수 있다. 

 

Text splitter

Embedding

3D 차원으로 임베딩 되는거 보여주는 거 재밌다!

허깅페이스 임베딩을 사용했다. 

Vector Store -> 크로마, 파인콘, 베스파 등등이 있네. 의미상 유사항 항목을 검색할 때 사용할 수 있다. 

Pass가 Elastic search가 좋은데 결국 다 코사인 유사도 최적화 라이브러리에 따라 성능이 다르다. 

 

Load LLM과 RAG 수행

ChatGPT API를 사용해서 얻었다. 코드를 넣었다~~ 나중에 발표자료 받아야지