스프링에서 jsoup를 이용해 크롤링 하는방법에대해 알아보자. 먼저 크롤링이란 크롤링 혹은 스크레이핑이라고 하며 어떠한 웹 페이지의 데이터를 추출해내는 행위이다. 주로 파이썬에서 많이 사용한다고들 하는데난 spring 에서 jsoup 라이브러리를 이용해크롤링을 해보겠다. 먼저 추출할 웹 페이지를 정한다. 예제를 위해난 내 블로그를 메인화면의 글 제목들을 추출하려했지만이상하게 내 블로그와 connect가 되지않아 그냥 네이버로 했다.오늘저녁 아시안게임 남자 축구대한민국 : 이란 의 경기가 있으므로 네이버의 국내축구 사이트의 주요뉴스를 한번 크롤링 해보자. 먼저 크롤링을 위해 pom.xml 에서 jsoup 메이븐을 추가해주자. 이제 소스코딩을 해보자.난 좌측 left메뉴에서 크롤링 탭을 누르면 아래의craw..
포스팅을 오랜만에 하는것 같다.마지막 포스팅이 7월 22일 이였으니 거의 한 달만인데저번달에 허리를 다쳐 컴퓨터에 오래 앉아 있지도 못하고 해서공부와 블로그에 손을좀 놓고 있었다. 회사도 알아보다가여름엔 비수기라 그런지 많이 나오지도 않고 해서 허리부터 어떻게 해보자하고 병원다니면서 치료하다가운동도좀 하니 한달이라는 시간이 지났다. 그러다 저번주에 봐놨던 글을 블로그에 올리려한다.이 글은 저번달에 올라온 글로 따끈따끈한 글이다. okky에서 퍼온 글이다.출처:(https://okky.kr/article/481534) -------------------------------------------------------------------------------------------- 안녕하세요 몽달이라는 닉..
깃 허브 에서 초기 프로젝트를 커밋한 후 중간에 몇 가지 파일을 수정했다면 해당 수정 파일만커밋을 시켜야한다. (SVN도 해당) 위와같은 방법으로 수정 파일만 골라서 커밋을 할 수 있다.
깃 허브 또는 SVN에서 프로젝트를 커밋할시 제외해야 할 파일,폴더 들이 몇 가지가 있다. 대표적으로 target 폴더인데 먼저 target 폴더에 대해 알아보면,Maven으로 빌드를 하면 생기는 jar 파일을저장하는 것이 주요 일이다. 개발을 할때는 이클립스 안에서 모든것이 이루어 지기 때문에 중요하지않지만 나중에 프로젝트 결과물인 jar또는 war를 실서버에 반영할 때에는target폴더 밑에 있는 jar나 war를 배포하게 된다. target 폴더를 모르고 삭제했다면 Maven Build를 하여 다시 만들수 있다.이러한 이유 들로 target폴더는 커밋의 대상이 아니다. target 폴더 이외에 .project .classpath .settings 등도커밋의 대상이 아니다. 먼저 이 파일들을 커밋하지..
컴퓨터를 하다가 갑자기 내가 최근에 만들었던 프로젝트가 생각 났다. 그래서 생각난 김에 한번 다시 실행시켜 보고프로젝트가 깃 허브에 있지만 그래도 USB로 한 번더 백업 시키고자실행을 시켜 보는데 게시판 조회수 부분에서 약간 오류가 있는거 같았다. 내가 쓴글을 내가 들어 갔을때 조회수가 늘어나지 않도록 했는데늘어나길래 컨트롤러에서 수정을 하고 기존에 쓰여있던 필요없는 sysout 이 있길래 sysout 을 지우고실행시켜봤다. 그런데 난 분면 sysout을 지우고조회수 부분도 확실히 수정을 했는데 프로젝트에 반영이 안되는것이다. 혹시 몰라 JSP부분을 수정했는데 JSP부분은 반영이 되는데JAVA파일과 sql문들이 반영이 안되는 것이다. 그리고 프로젝트 클린을 하고 실행을 하면404에러가 뜨면서 첫 화면도 ..
이번 포스팅에서는 프로젝트를 통으로 깃 허브에 올려 보도록 하자. STS나 전자정부프레임워크나방법은 비슷하니 아래의 글로 따라 할 수 있을 것이다. 먼저 난 전자정부프레임워크로 테스트를 할것 이다. 전자정부프레임워크에서 테스트로 올려볼프로젝트를 하나 생성했다. 다음 아래 처럼 우측 상단의 Open Perspective 버튼을 눌러Git을 선택해준후 OK 누르자. 그럼 아래처럼 깃 레퍼지토리 창이 나온다이제 아래에서 클론을 생성해준다 아래의 창이 뜨면 URL 에는 깃허브의 URL을 적어준다. 그럼 바로 밑의 Host 와 Repository path 는 자동으로 입력된다. 다음 밑에 User 와 Password 에는깃 허브의 아이디와 비밀번호를 입력하자. 계속 NEXT 눌러준다. Directory에는 내 컴..
이제 깃 허브 커밋과 푸쉬를 위한 GUI 툴인소스 트리를 사용해보자. 소스트리는 깃 허브로 파일 또는 프로젝트 등을 올리기 쉽게 해주는 GUI 툴이다. 이것을 안쓰면 터미널에서직접 명령어를 통해 커밋과 푸쉬를 해야한다. 소스 트리는 오라클의 디벨로퍼 같은 GUI툴이다. 먼저 소스트리를 다운받자. https://www.sourcetreeapp.com/ 다운받은 파일을 실행시키고 다음 버튼 눌러가면서다운을 하자 어렵진 않다 중간에 박스 2개가 뜨면서아틀라시안, bitbucket 관련 창이 뜨면bitbucket 는 신경 쓰지말고 아틀라시안에 가입 하라는것만해주자 근데 눌러보면 구글계정으로 로그인하기가 있어그냥 구글 계정으로 로그인해도 된다. 이제 설치가 완료되면 위 화면이 나오게 된다. + 버튼을 누르면 새로..
이번 포스팅에서 깃 허브 사용법에 대해서아주 초간단 방법으로 배워 보겠다. 사실 나도 SVN은 써봤지만깃 허브 써본지 1시간 밖에 안됬다. 때문에 글 의 신뢰성이 굉장히 떨어질 수 있다. 깃 허브는 워낙 유명해서 안배울수가 없다. GitHub에 대한 자세한 글은정말 널리고 널려서 내 블로그에서 따로 쓰진 않겠다. 왜 깃허브를 배워야하는지 간단하게 알아보면 1. 그냥 많은 개발자 분들이 쓴다웹 개발자분들은 거의 다 깃 허브를 쓴다. 2. 취업할때 제출한 나의 웹 사이트 소스를 깃 허브에올려 면접관분들이 보기 쉽다. (포트폴리오에 깃 허브 주소만 써주면 된다) 3. 깃 허브로 다른 개발자 분들이 올려놓은 것들로정말 많은 공부를 할 수 있다. 4. SVN과 같이 팀원들간의 협업 툴이다. (이번 포스팅은 깃 허..
