인공지능의 역사

230307 인입

 

Computer Science/Engineering > Artificial Inteligence > Machine Learning > Deep Learning > Transformer

 

Machine Learning 

• Supervised Learning : labeled datasets 사용
  
  • Classification : 분류, 특정 클래스를 예측
  • Regression : 스칼라 값(수치)을 예측.
• Unsupervised Learning : unlabeled data 사용
  • Clustering : 비슷한 특성을 가진 그룹으로 나눔
• Reinforcement Learning : reward를 최대화하는 방향으로 학습 진행
  • Exploration : Agent가 새로운 행동 수행, 더 많은 정보 얻음
  • Exploitation : 이미 알려진 정보 바탕으로 최대 reward를 얻기 위한 action

 

Alexnet

• 2012년 ImageNet 대회에서 우승한 심층 합성곱 신경망(CNN) 구조.
• GPU를 사용한 효율적인 학습.
• 컴퓨터 비전 분야에서 딥러닝의 중요성을 대중에게 알리는 데 큰 역할

 

AlphaGo

1920 CPUs, 280 GPUs 가 사용된 것으로 알려짐

 

Generative AI

• Generative adversarial neural network (GAN) : Generator 와 Discriminator가 서로 경쟁하면서 함께 학습하는 모델. Generator는 진짜와 구분이 안 될 정도의 가짜 이미지 생성하려고 시도, Discriminator는 이미지가 진짜인지 가짜인지 판별하려고 함. -> Generator가 진짜와 유사한 이미지를 더 생성할 수 있게 도와줌
• Diffusion Model : 무작위 데이터(노이즈)에서 시작하여 점차 목표 데이터 분포로 확률 분포를 조정.
• Large Language Model (LLM) : 대규모의 텍스트 데이터를 학습하여 인간과 같은 텍스트를 이해하고 생성하는 인공지능 모델.

 

Transformer Model

순차적으로 정보를 처리하지 않고 전체 시퀀스를 한 번에 처리할 수 있는 attention 기반의 아키텍처.

attention -> 어디에 집중할지

 

트랜스포머 모델의 등장으로, AI 연구와 응용이 크게 발전.

Cloude 3

LLaMA - 오픈소스로 공개

 

Generative agent

https://github.com/joonspk-research/generative_agents?tab=readme-ov-file

GPT 언어 모델로 사회화 실험, 언어 모델로 각 캐릭터에게 역할 알려줌.

알아서 NPC들끼리 상호작용하는 것 확인.

 

Transformer와 Mamba : 딥러닝 아키텍처

	Transformer	Mamba
매커니즘	Attention 매커니즘 : 입력 시퀀스의 각 요소가 서로 상호작용 -> 문맥 이해에 효과적	Structured State Space Models, S4 : 긴 시퀀스 데이터를 효율적으로 처리
계산 효율성과 확장성	- 복잡한 자연어 이해 작업에서 높은 성능 - 시퀀스 길이가 길어질수록 계산 비용과 메모리 요구량 크게 증가	- 하드웨어 인식 알고리즘 (하드웨어 특성과 한계를 고려하여 모델의 성능과 효율 최적화) -> 계산 효율성 극대화 - 긴 시퀀스 데이터 처리 동안 성능 유지
적용 분야	자연어 처리(NLP) : 기계 번역, 텍스트 요약, 질문 답변 시스템	긴 시퀀스 데이터 처리 분야 : 오디오 처리, 유전체학, 시계열 분석 등

 

+ GPT

https://www.gttkorea.com/news/articleView.html?idxno=4086

[강승우의 머신러닝 이야기] 챗GPT는 어떻게 교육받을까?

인공지능은 훈련을 통해 가중치(weight)라 부르는 매개변수를 배우게 된다.

가중치는 입력된 값이 인공지능의 판단에 영향을 주는 정도이다.

1750억개의 중요도(parameter)로 보다 정교한 작업을 훈련하는 챗GPT는 보다 정교하고, 효율적인 평가와 보상 시스템이 필요하다. 챗GPT는 지도학습(Supervised Learning) 과 강화학습(Reinforcement Learning)라는 2번의 학습 과정을 거친다.



출처 : 지티티코리아(https://www.gttkorea.com)

 

 

 

---

하고 싶은 분야에 따른 특화된 방법들이 있다.

크게는 Computer Vision / Speech / NLP / 등등.

최신 SOTA(state of the art) 모델 찾아보면 좋다.