TIL_251127

Today I learned

 

 

1. 시계열 5회차 문제풀이

 

Q1. MVP(Minimum Viable Product)

일단 작동하는 최소한의 제품을 만들고 점차 확대해 나가는 방식

최종 목표 선정하기에 대한 내용으로, 최소 기능 제품을 만들고 기능을 점차 확대해 나가는게 중요함.

 

Q2. 가상환경 설정

프로젝트마다 필요한 패키지와 의존성을 분리하여 버전 충돌 이슈를 방지하고 독립된 환경을 구축하기 위해 사용함

 

Q3. API 통신방법

• GET : 서버의 데이터를 조회
• POST : 서버에 새로운 데이터를 추가/생성
• PUT : 서버 데이터를 갱신
• DELETE : 삭제

 

Q4. 머신러닝 모델을 파일로 저장하여 API에서 불러와 사용할 수 있게 해주는 파이썬 모듈

pickle: 로컬 서버 구축 단계서 학습된 모델과 라벨 인코더를 저장하고 다시 불러올 때 사용하는 모듈, .pkl 파일로 모델을 직렬화하여 저장할 수 있음

 

Q5. curl 명령어

• -X : 요청방식(method)
• -H : 헤더(Header)
• -d : 데이터(Data/Body)

 

2. [라이브세션] MLops

 

Mlops

기존의 DevOps는 개발과 운영이 합쳐진 용어

데브옵스: 개발과 운영의 경계를 허물고 협업하여 자동으로 배포하는 개발 환경과 도구

이를 머신러닝 시스템에 적용한 것이 MLops

요즘에는 머신러닝이 LLM으로 넘어와서 LLMops라고 하기도 함

ㅁㅓ신러닝 모델은 특징이 소프트웨어 개발과 다르게

 

소프퉤어 개발은 기능 하나를 개발 한다 - 그것만 한다

머신러닝 - 꾸준히 학습하여 모델이 업데이트된다 = 지속적으로 모델을 고도화, 상황에 따라 모델 변화

 

Mlops의 조건

데이터 사이언티스트 

소프트웨어 엔지니어

 

빌드: 건물 짓는거처럼 만든다는의미, 테스트, 모델을 통합시키고, 누구나 쓸 수 있게 배포

지속적 통합 CI

코드의 배포/제공 CD

지속적인학습 CT

 

최근엔 Dataops 직군도 생겨나는 추세

 

(2) 모델 서빙

서빙 방법

모델 학습이 되었으면 결과를 활용할 수 있도록

 

실시간 처리 : 데이터가 올 때마다 실시간으로 액션

ex) 배달 주문을 넣었다 - 현재 날씨 상태, 주문 메뉴, 가게 평균 배달 시간, 나와의 거리 변수를 넣어 실시간 배달 예측 시간 생성

 

배치처리: 주기적으로 데이터를 처리

ex) 은행에서 매일 12시에 잔고 처리, 유튜브의 알고리즘 정렬

 

백엔드와 프론트엔드

백엔드: 보이지 ㅇ낳는 곳에서 핵심 로직을 처리

데이터 수집, 연산, DB에 데이터 저장 등

프론트엔드: 사용자가 눈에 보이는 화면

사용자가 마우스로 누르는 화면

 

실습 - FastAPI + Streamlit 조합

 

도커

• 새로운 운영체제에 시스템을 설치하고자 한다면 새로운 컴퓨터를 구입해야할까? → No. 운영체제 가상화를 통해 해결. Docker 사용
• 독립적인 파이썬 환경을 구축하고 싶다면? → 가상환경 구축을 통해 서로 다른 프로젝트 간 독립성을 확보. venv 사용

• Linux, Window, Mac 등 운영체제가 다양하고 사용하는 명령어 기술이 다름.
• 때문에 로컬 개발마다 재현성 안 나올 수 도 있다. Docker를 이용하면 동일한 개발 환경에서 작업이 가능한 장점
• Docker Hub에서 공식으로 **도커 이미지(Docker Official Image)**를 제공하여 쉽게 도커 이미지를 가져올 수 있음
• 도커이미지: 어떤 어플리케이션에 대하서 단순히 어플리케이선 코드 뿐 아니라, 의존성이 있는 프로그래들을 함께 패키징하여 어느 환경에서든지 실행해볼 수 있도록 만든 데이터

 

도커