본문 바로가기

LLM 챗봇

인공지능 비지니스를 위한 무료 강의 코스

반응형

 

안녕하세요

인공지능아카데미입니다.

 

젠스파크 GPT Gemini Claude 3.5 Flux 1.1 Ultra DeepL 번역 무료 (200만원 이상의 혜택) 20개월 무료사용 이벤트 링크 

https://www.genspark.ai/invite?invite_code=MzcxMzc4OGZMYzU4YUwyNDY0TGJiMTlMMjM1ZmUxZTYyYjk2

 

정말 멋진 AI 기업가의 이야기가 있어 소개합니다.

그가 깃헙에 만들어 올린 AI Crash Course입니다.

 

 

AI에 대한 충격적인 사실이 하나 있는데, 아무도 말해주지 않는다. 단 2주 만에 대중 AI 연구의 최전선을 따라잡을 수 있다는 것이다. 정말이다. 저는 지난 8년간 연수익 1억 5,000만 달러의 스타트업을 일궈냈습니다. 오늘 제가 회사를 만든다면, 모든 것을 포기하고 AI에 올인할 겁니다. 하지만 많은 바쁜 소프트웨어 빌더들처럼, 저는 길을 잃은 기분이었습니다. 시끄럽고, 붐비고, 빠르게 움직이는 현대 AI 환경에 압도당했습니다. 그리고 저만 그런 것은 아니었습니다. 그래서 저는 휴가 내내 AI 연구에 몰두했습니다. 30편 이상의 논문을 읽고, 수 시간 분량의 강의를 듣고, 동향을 분석하고, 연구의 최전선을 따라잡았습니다.

제가 배운 내용은 다음과 같습니다.

- 따라잡는 데 몇 달(혹은 몇 년)이 필요하지 않습니다.

- 박사 학위나 수십 년의 ML 경험이 필요하지 않습니다.

- 오늘날 AI를 형성하는 주요 혁신을 이해하려면 논문 20편과 2주도 채 걸리지 않습니다. 그 이유는 해당 기술이 아직 매우 초기 단계이고 이전에 등장했던 대부분의 기술은 더 이상 의미가 없기 때문입니다.

- ChatGPT는 출시된 지 겨우 2년밖에 안 되었고, 트랜스포머는 겨우 7년밖에 되지 않았습니다.

- 획기적인 발견의 대부분은 지난 4년 동안 이루어졌으며, 몇 가지 획기적인 아이디어, 스케일링 법칙, 효율적인 행렬 곱셈이 주요 원인이었습니다.

 

가장 큰 비밀은? 수천 건의 인용이 있는 획기적인 AI 논문 중 다수는 놀라울 정도로 간단하고 실천적입니다. 예를 들어, 프롬프트에 "단계별로 생각해 봅시다"를 추가하거나 LLM에게 답변을 개선하도록 반복해서 요청하는 것(자체 개선)과 같습니다. 저는 많은 창업자와 개발자들이 같은 처지에 있다는 걸 깨달았습니다. AI에 대해 더 깊이 파고들고 싶어 하지만 어디서부터 시작해야 할지 잘 모르는 거죠. 저는 단 2주 만에 공공 AI 연구의 최전선을 따라잡고 다음 기회와 격차가 어디에 있는지 파악하는 데 도움이 되는 필수 AI 가이드를 만들었습니다.

 

- 가장 중요한 논문만을 엄선한 목록

- 핵심 개념에 대한 간단한 설명

- 현대 AI의 최전선을 이해하기 위한 명확한 경로 다음 경우에 적합합니다:

- AI 분야로 확장하는 창업자

- AI의 최전선에서 혁신을 원하는 빌더

- 신호와 잡음을 분리하려는 투자자

AI-Crash-Course

AI Crash Course to help busy builders catch up to the public frontier of AI research in 2 weeks

Intro: I’m Henry Shi and I started Super.com in 2016 and grew it to $150MM+ in annual revenues and recently exited. As a traditional software founder, I needed to quickly catch up to the frontier of AI research to figure out where the next opportunities and gaps were. I compiled a list of resources that were essential for me and should get you caught up within 2 weeks.

 

 

Start Here:
Neural Network -> LLM Series

Then get up to speed via Survey papers:

  • Follow the ideas in the survey paper that interest you and dig deeper

LLM Survey - 2024
Agent Survey - 2023
Prompt Engineering Survey - 2024

AI Papers: (prioritize ones with star *)

Foundational Modelling:
Transformers* (foundation, self-attention) - 2017
Scaling Laws/GPT3* (conviction to scale up GPT2/3/4) - 2020
LoRA (Fine tuning) - 2021
Training Compute-Optimal LLMs - 2022
RLHF* (InstructGPT->ChatGPT) - 2022
DPO (No need for RL/Reward model) - 2023
LLM-as-Judge (On par with human evaluations) - 2023
MoE (MIxture of Experts) - 2024

Planning/Reasoning:
AlphaZero/MuZero* (RL without prior knowledge of game or rules) - 2017/2019
CoT* (Chain of Thought)/ToT (Tree of Thoughts)/GoT (Graph of Thoughts) - 2022/2023/2023
ReACT (Generate reasoning traces and task-specific actions in interleaved manner) - 2022
Let’s Verify Step by Step (Process > Outcome) - 2023
ARC-Prize* (Latest methods for solving ARC-AGI problems) - 2024
Scaling Test-Time Compute (Relationship between inference-time and pre-training compute) - 2024

Applications:
Toolformer (LLMs to use tools) - 2023
GPT4 (Overview of GPT4, but fairly high level) - 2023
Llama3* (In depth details of how Meta built Llama3 and the various configurations and hyperparameters) - 2024
Gemini1.5 (Multimodal across 10MM context window) - 2024
Deepseekv3 (Building a frontier OSS model at a fraction of the cost of everyone else) - 2024
SWE-Agent/OpenHands (OpenSource software development agents) - 2024

Benchmarks:
SWE-Bench (Real world software development) - 2023
Chatbot Arena (Live human preference Elo ratings) - 2024


Videos/Lectures:
3Blue1Brown on Foundational Math/Concepts
Build a Large Language Model (from Scratch) #1 Bestseller
Andrej Kaparthy: Zero to Hero Series
Yannic Kilcher Paper Explanations
Noam Brown (o1 founder) on Planning in AI
Stanford: Building LLMs
Why You’re Not Too Old to Pivot Into AI (motivation)

Helpful Websites:
Full Stack Deep Learning - courses for building AI products
Prompting Guide - extensive list of prompting techniques and examples
a16z AI Cannon - similar list of resources, but longer (slightly dated)
2025 AI Engineer Reading List - longer reading list, broken out by focus area
State of Generative Models 2024 - good simple summary of current state

Others (non LLMs):
Vision Transformer (no need for CNNs) - 2021
Latent Diffusion (Text-to-Image) - 2021

Obvious/easy papers (to get your feet wet if you're new to papers):
CoT (Chain of Thought) - 2022
SELF-REFINE: Iterative Refinement with Self-Feedback - 2023

 

 

원문 링크

https://github.com/henrythe9th/ai-crash-course?tab=readme-ov-file

 

GitHub - henrythe9th/AI-Crash-Course: AI Crash Course to help busy builders catch up to the public frontier of AI research in 2

AI Crash Course to help busy builders catch up to the public frontier of AI research in 2 weeks - henrythe9th/AI-Crash-Course

github.com

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

반응형