2023년 11월 현재 AI 기업의 현업 기술/요구역량 스펙(영어로는 Tech Stack이라고 불리는)을 살펴보기 위해 'AI Tech Stack'을 검색어로 구글링해서, 상위 노출된 아티클로부터 키워드와 기술명을 중심으로 가볍게 정리해보았습니다.

주요 구성

공통

• 데이터 저장 및 관리
  • SQL, NoSQL
  • Hadoop, Spark
• 데이터 전처리와 특성 엔지니어링
  • Pandas, Scikit-learn
• ML 알고리즘 지식
  • 선형 회귀
  • 의사결정 트리
  • K겹 중첩
  • 신경망
• 딥러닝 프레임워크
  • 텐서플로-케라스, 파이토치
• 자연어 처리 도구
  • NLTK, spaCy, GPT, Gensim
• 컴퓨터 비전 도구
  • OpenCV, 텐서플로 객체 인식 API, YOLO, Dlib, ImageAI
• 로보틱스
  • ROS, 로보틱스 텐서플로우, 파이로봇
• 클라우드 인프라
  • GCP, AWS, Azure

분야 특화

• 강화학습
  • OpenAI Gym, RLib, Stable Baselines, PySC2, Keras-RL
• 모델 분석
  • LIME, SHAP, Captum, ELI5
• AutoML
  • 구글 AutoML, H2O.ai, TPOT, DAtaRobot
• 모델 배포
  • Flask, Docker, Kubernetes, Jenkins
• 모니터링
  • 텐서플로 Serving, Prometheus, Grafana
• 모델 해석
  • IBM AI Fairness 360, Alibi Detect, 구글 What-If Tool
• 대용량 데이터
  • Hadoop, 아파치 Cassandra, 카프카

그 외

• 카프카
• 플라스크
• 엘라스틱서치
• 플링크(Flink)

트렌드

• 데이터 저장 및 관리: 아마존 S3, 구글 클라우드 스토리지, 애저 Data Lake
• 데이터 처리: 스파크, 플링크, 카프카
• 머신러닝 프레임워크: 텐서플로, 파이토치, 사이킷런
• 딥러닝 프레임워크: 텐서플로, 케라스, 파이토치
• 모델 제공 및 배포: AWS 세이지메이커, 구글 AI 플랫폼, MS 애저 머신 러닝, 쿠버네티스, Seldon, MLflow
• 모델 모니터링 및 관리: 프로메테우스, 그라파나, Kibana
• 주요 클라우드 제공사의 GPU 또는 TPU 하드웨어

알려진 AI기업의 테크 스택

OpenAI

• GCP / Azure / AWS
• CloudFlare, Amazon CloudFront, Prism
• Google Analytics, Segment

Jasper

• JavaScript/HTML/CSS, TypeScript, Python, Go, Rust
• GraphQL
• gRPC
• Next.js, Nest.js
• Docker, Kubernetes, Helm, Terraform, Webpack, Tilt
• React, Moment.js
• AWS, GCP, DigitalOcean, Hasura, OpenResty
• Splunk, PostgreSQl, Redis
• Embedly, Tensorflow, Pytorch, Keras, Webflow, Vercel, Typeform, Clearbit
• Optimizer, Google Tag Manager, Google Analytics, Facebook Pixel, Wistia
• Cloudflare, CloudFront, Fastly, jsDelivr
• DocuSign, Loom
• ProfitWell, Stripe

Deep6 AI

• React, Java, Springboot, Elasticsearch, and AWS
• Electronic Medical Records (EMR)
• knowledge of PHI and HIPPA compliance
• familiarity with CI/CD processes
• web development, software design, and DevOps principles

Abnormal Security

• Django ORM/REST framework
• React, Redux, or Next.js
• Familiarity with AWS services and deployment practices
• Knowledge of containerization using Docker or similar technologies
• Understanding of database systems and proficiency in SQL
• Experience with Golang

Konfuzio

• Strong Python knowledge
• Configure & debug CI pipelines in GitHub and GitLab
• Basic Django knowledge is a plus

기술이 참 많군요.