Home [BoostCamp AI Tech / Final] Day76 - 프로젝트 개요
Post
Cancel

[BoostCamp AI Tech / Final] Day76 - 프로젝트 개요

Final Project : 프로젝트 개요


목차

  • 프로젝트 주제 선정
  • 프로젝트 기본 설계
  • 역할분담

프로젝트 주제 선정

  • 깃허브 Repository You may also like
  • 사용자의 직군, 사용언어와 같은 기본 정보를 확인하고 이를 토대로 필요할 것으로 추정되는 repository를 추천
  • 기본적으로 item similarity나 user similarity를 기반으로 추천할 것으로 보임
  • 데이터 선정 과정에서 문제가 있을 것으로 보였으나 github에서 제공하는 API가 생각보다 갖고 있는 정보가 많음
  • API 데이터가 recursive한 형태를 띄므로 이를 활용하면 더 좋을 것으로 생각됨
  • 따로 페이지를 만드는 것은 재사용성도 떨어지고 가치가 높지 않을 것으로 생각해서 크롬 익스텐션 형태로 개발할 예정
  • Cold Start 문제를 해결할 필요가 있음
    • 필터링을 기본적으로 하는 것이 좋을듯

프로젝트 기본설계

  • 사용자가 특정 action을 수행하면 chrome extension이 메인 서버로 API를 호출
    • 사용자 정보 initialization API
    • Star 목록 변경 확인 및 업데이트 API
    • Repository Star API
    • Inference API
    • cold start API
  • 데이터베이스틑 따로 구축하는 문제로 Firestore를 고려중 (변경가능)
  • 데이터 파이프라인은 기본적으로 Github API를 기반으로 구축
    • Airflow로 데이터 수집 자동화 고려중
    • 데이터 구축은 현재 Node.js로 dummy data 형성
  • Main Server에서 Model Server로 Inference API 호출시 모델에서 Inference 결과를 Item id 리스트로 반환
  • 메인 서버에서 Item id로 DB에서 탐색 후 Object로 Front-End로 전달

역할분담 (내가 맡은)

  • 데이터 ETL 파이프라인 구축 및 자동화
    • Python, Airflow
    • 데이터는 prototype 개발시 Javascript 기반
      • Node.js, Deno, React, Next.js, Vue.js, Angular, Electron 정도 위주로 awesome 데이터 수집
  • 데이터베이스 설계, 구축 및 관리
    • Firebase or MySQL
  • Main back-end 개발
    • GCP, Upstage Server
  • back-end, DB 기술 스택 선정
    • Inference API : FastAPI
    • API : Node.js
This post is licensed under CC BY 4.0 by the author.

[BoostCamp AI Tech / Level 2 - DKT] Day67 - Sequence Modelling

[BoostCamp AI Tech / Final] Day77 - 더미데이터 제작 및 GCP 세팅

Comments powered by Disqus.