이전까지에서 정리한 시대별 어휘들을 통해 제가 따로 네트워크 분석을 진행해 보았습니다. 우선 시대별 전체 어휘로 네트워크를 그려보면 시대별 전체 어휘 네트워크를 살펴보면 1960년대와 2010년대가 연관성이 제일 낮고, 그 다음 2000년대, 1990년대 순으로 연도가년대와 멀어질수록 연관성이 낮아지는 것을 알 수 있었습니다. 즉, 연도에서 각각 뻗어나가는 선들을 봤을 때 가장 가까운 연대와의 연관성이 가장 크다는 것입니다. 장소 어휘를 통해 네트워크 분석을 진행하니 모든 어휘와는 다르게 1960년대 장소 어휘는 1970년대를 제외한 연도들과 연관성이 거의 없으며, 1960년대를 제외한 연도들은 시대별 전체 어휘 네트워크와 비슷하게 가까운 연대와의 연관성이 가장 크다는 것이 더 분명하게 나타납니다. 이렇..

앞서 정리하여 직접 만든 장소 어휘 사전을 활용하여 시대별 언어분석을 진행하였습니다. 이와 같이 연도별 장소 어휘를 filter함수를 활용하여 추출하여 정리하였고, 시대별 시대성을 잘 나타내는 어휘를 시각화하여 나타내면 위의 코드를 활용하여 시각화를 하면 시각화하여 나타낸 그림을 보면 2000년대 이후부터 노래 가사에 영어가 많이 등장하기 시작하였다는 것을 알 수 있습니다. 위에서 정리한 장소 어휘를 통해 시각화를 하니 1960년대에는 항구, 지평선, 수평선 1970년대는 목화밭, 시골, 고향 1980년대는 돌담길, 덕수궁 1990년대는 학교 / 2000년대는 비행기 2010년대는 인스타그램의 시대별로 대표적인 단어들을 알아볼 수 있었습니다. 위의 제가 시각화 한 그래프와 팀원들이 시대별 상황을 조사한 ..

https://hyebit.tistory.com/23?category=903232 1-2. Melon 시대별 차트 크롤링 하기 앞서 https://hyebit.tistory.com/15?category=903232 1-1. 웹크롤링 준비하기 우선 저는 R selenium 패키지를 이용하였습니다. 제 주위 사람들 중에서 chromedriver만 설치하여도 가능한 사람이 있었고, 그렇게.. hyebit.tistory.com 멜론 노래 가사들을 크롤링하는데에 있어 앞서 사용했던 크롤링 코드와 바뀐부분이 있습니다. 노래 가사를 크롤링해오는 데 있어 결과들을 보니 깔끔하게 끊어져 있지 않아 코드를 수정하였습니다. 연도별로 데이터를 분할한 자료를 활용하여 문장부호는 제거하고, 명사만 추출하여 정리합니다. 여기까지 ..

https://hyebit.tistory.com/13?category=903232 1. 멜론 시대별 차트를 크롤링 하여 가사에 사용하는 단어 알아보기! 이번에 제가 웹크롤링을 하여 중간 과제로 제출하는 것이 '빅데이터 분석 및 실습' 수업의 중간고사 이기 때문에 제가 자주 듣는 음악 사이트를 활용하여 웹 크롤링을 해보자 라는 생각을 하였�� hyebit.tistory.com 위에 글을 보시면 이전에 앞서 멜론 시대별 차트에 있는 노래 가사들을 활용하여 많이 사용된 단어들을 알아보고, 데이터 시각화를 진행했었습니다. 이번에는 기말고사 팀프로젝트로 위의 크롤링 방법을 활용하여 1960년대부터 2010년대까지 대중가요 가사 속 장소 어휘 분석을 진행하였습니다. 이 주제로 선정한 이유로는 멜론 차트에 있는 노래..

https://hyebit.tistory.com/51 1-3. 해시태그 정리하기 https://hyebit.tistory.com/50 1-2. 중복데이터 제거 및 파일 합치기 https://hyebit.tistory.com/49 1-1. 인스타그램 크롤링하기 위의 그림 처럼 해시태그 관광을 찾으면 주소가 아래와 같이 나옵니다. https://.. hyebit.tistory.com 우선 시각화에 필요한 패키지를 불러오고 import matplotlib.pyplot as plt import seaborn as sns from matplotlib import font_manager, rc import sys 막대그래프에 사용될 글꼴을 설정해 줍니다. if sys.platform in ['win32', 'win..

https://hyebit.tistory.com/50 1-2. 중복데이터 제거 및 파일 합치기 https://hyebit.tistory.com/49 1-1. 인스타그램 크롤링하기 위의 그림 처럼 해시태그 관광을 찾으면 주소가 아래와 같이 나옵니다. https://www.instagram.com/explore/tags/관광/?hl=ko #관광 해시태그 • Insta.. hyebit.tistory.com 위의 글에서 정리한 엑셀 파일을 활용하여 시각화를 해 볼 것입니다. import pandas as pd raw_total = pd.read_excel('C:/Users/Desktop/Gyeongbuk.xlsx') raw_total['tags'] 크롤링할 때 해시태그를 [] 안에 불러오도록 설정해 주었기 때문..