졸업프로젝트

졸프관련 최종 글!졸프는 2023/10-12 기획 단계,  2024/01-06 겨울방학부터 본격적으로 기능 구현에 들어갔다. 우선 졸업프로젝트 기획은 전 포스팅에 썼던 것처럼 뉴스 링크를 넣으면 뉴스의 신뢰도, 정치성향, 경제 개체명 인식과 감정(경제기사일때) 결과가 나온다. 사실 이 프로젝트는 사람들이 편의성을 고려하고 마케팅에 중심을 두는 것보다는 프로젝트를 하는 것에 더 의미를 두었다. 처음 써보는 프레임워크, 모델 연결, 배포까지 배운다는 생각으로 기능에 더 의미를 맞췄던 것 같다. 서비스 흐름은 다음과 같다.  사용자의 flowchart 이다  간단해 보이지만, 구글 로그인 또는 이메일 회원가입을 거치면 링크 내용에 대한 것을 크롤링을 해야 하고 (사실 스크래핑이 정확한 용어)  그 후, 내용을..

모델을 서빙하는 방법에는 여러 가지가 있지만, 그중 대표적으로 두 가지가 있다.    1. 배치 서빙 (Batch Serving)- 일정한 주기마다 한 번에 많은 데이터를 처리하는 방식- 일괄 처리- 대량의 데이터를 한꺼번에 처리하는 것이 효율적일 때 사용- 비실시간 응답 (ex. 야간에 하루 동안 수집된 데이터를 처리하여 다음 날 아침에 결과를 제공하는 경우) 2. 온라인 서빙- 실시간으로 데이터를 처리하는 방식- 실시간 응답- 상시 가동: 모델이 항상 실행되어 있어야 한다 그리고 어떤 도구를 사용할 것인지에 따라 크게 4가지가 있다. 1. REST API 기반 모델 서빙- HTTP 프로토콜을 사용하기 때문에 설정이 간단하고 널리 사용 2. gRPC 프레임워크를 이용한 모델 서빙- Google Remo..

겨울 방학 때 연동 했던건데 이제 쓰네,, 기억날 때 바로바로 쓸걸 반성합니다Fastapi에서 데이터베이스를 관리하는 방법을 먼저 알아본 후, PostgreSQL 연동하는 방법을 알아보자 🤓  PostgreSQL를 선택한 이유는?PostgreSQL 강력한 관계형 데이터베이스 관리시스템(RDBMS)이다. 복잡한 쿼리, 확장 가능성, 다양한 데이터 타입 지원(특히 json) 등의 기능을 제공하기에 선택했다.  Fastapi에서 데이터베이스를 사용하는 방법 -->  모델로 데이터베이스 관리하기Django에 비해 fastapi는 데이터베이스와의 통합을 직접적으로 관리하지 않지만, Python에서 사용 가능한 여러 데이터베이스 라이브러리와 잘 호환된다. fastapi에서 DB를 관리하는 파일은 주로 2개이다.d..

크롤링은 파이썬을 이용해서 했으며 BeautifulSoup을 이용했다.BeautifulSoup이란?  파이썬 라이브러리로, HTML 및 XML 파일에서 데이터를 추출해준다코랩으로 코드를 작성하였기에 따로 BeautifulSoup install은 해주지 않았었다. 왜 네이버뉴스를 크롤링을 하는 것인가? 우리가 가장 많이 사용하는 포털 네이버, 네이버에 모든 언론사들이 있기에 한 언론사를 지정하기 보다는 모든 언론사에 대해 분석을 하고 싶어 네이버뉴스를 선택했습니다. 프로젝트의 최종 목표는 "링크를 넣으면" --> "분석해준다" 였기에 크롤링이 필수였죠크롤링을 해서 추출하는 데이터는 뉴스 제목, 이미지, 본문, 날짜, 기자명, 카테고리, 언론사 였습니다. 먼저 네이버 뉴스를 들어가보겠습니다. 사실 eleme..

Bubblow 버블로우(Bubblow)는 'bubble'과 'low'의 합성어로, "버블을 날려버리자!"라는 의미를 담고 있다. 여기에서 'bubble'은 단순한 비눗방울이 아니라, 필터 버블을 지칭한다. 필터 버블이란 인터넷 정보 제공자가 사용자에게 맞춤형 정보를 제공함으로써 사용자가 필터링된 정보만을 접하게 되는 현상을 말한다. 알고리즘이 사용자가 최근에 관심 있어 하는 콘텐츠를 선별해 보여주는 것은 편리하다고 느껴질 수 있으나, 필터 버블에 갇혀버리면 사용자는 특정 주제와 편향된 정보만을 접하게 되며, 이는 위험도를 증가시킨다. 특히 우리 팀은 뉴스에서 나타나는 문제에 집중했다. 최근 미디어 환경에서 퍼져 있는 '가짜뉴스'까지 고려하면 확증편향의 문제가 더욱 심각해진다고 느꼈다. 그래서 가짜뉴스로 ..