용오름체험휴양마을영농조합법인 / 홍천 용오름캠핑장 팸투어 다녀왔어요.

용오름체험휴양마을영농조합법인 / 홍천 용오름캠핑장 팸투어 다녀왔어요.강원도 홍천 서석면에 위치해있으며 1급수 용오름계곡 바로 옆에 있습니다.홍천군 1등 마을로 마을에서 직접 관리하는 용오름캠핑장,펜션 10개를 운영하고 있으며 각종 모임이 가능하도록 식당,회의실,야외무대가 설치되어 있습니다.홍천군 1등 마을답게 캠핑장,펜션 마을 전지역 wi-fi 사용이 가능하며 매년 봄 팸투어 실시, 여름엔 마을에서 재배한 홉으로 직접만든 맥주축제,마리소리 음악축제 를 열고 있습니다.계곡의 경우 수심이 다양하여 다이빙 포인트가 2곳이 있으며 아이들이 안전하게 물놀이를 할 수 있는 곳도 여러 곳 있습니다.홍천 용오름캠핑장 팸투어 다녀왔어요.요즘은 농산촌체험마을에서 캠핑과 여러프로그램을 같이 하는 곳이 추세더라고요. 아미산이 둘러쌓인 청정계곡이 흐르는 아름다운 용오름체험휴양마을 에서 운영하는 홍천 용오름캠핑장 팸투어 다녀왔어요. 테크 앞 강이...붕어빵 가족의 담너머 세상구경https://m.blog.naver.com/1092119/220711235599가을여행-홍천여행- 홍천 용오름 마을 첫째날여행의 계절 가을입니다. 요즘 저희는 강원도에 꽃힌 상태인지라...카페 행복한 이티씨와 함께하는 홍천 용오름 마을 1박2일 체험에 참가를 하였답니다! 평소 체험 시간보다 조금 늦은 출발을 해서 차가 밀리지 않으려나...귀여운 단지https://m.blog.naver.com/sanguidan/50181593653용오름마을 캠핑장여름휴가의 시즌이다.. 강원도의 계곡과 시원함을 만끽하기 위해 캠핑장을 검색하다 우연히 알게 된 홍천의 용오름 캠핑장.. 성수기라 캠핑장 요금들이 사악하다 용오름캠핑장 옆엔 해미르 캠핑장이 있는데...★살로몬의 잇츠캠핑★https://m.blog.naver.com/freeguy9040/20163628934맥주효모로 만든 용오름맥주마을 바쏘 맥주샴푸와 맥주마스크팩...1988년까지 맥주 원료인 홉을 재배하며 번성했던 강원도 홍천군 서석면 용오름 마을이란 곳이 있었습니다…

Lecture 92 - Hadoop(2) 기초, Yarn 서버 추가법

Lecture 92 - Hadoop(2) 기초, Yarn 서버 추가법

베니지오 IT 월드

갬성개발러 Bennyziio 2019. 8. 12. 10:23

빅데이터 개념 : 3V

1. Volume(볼륨) : 데이터 크기(헥터바이트 이상의 크기가 나올때, 한개의 서버에 저장하지 못할때)

2. Velocity : 데이터 가공속도 (데이터 생성 속도)

3. Variety : 데이터의 다양성(데이터 내부에 생성되는 데이터의 종류가 다양함)

+2가지를 추가한다.

complexity

value(데이터에 대한 가치성 - 비쥬얼라이제이션(시각화))

=> 정규적인 형태의 데이터베이스에서는 처리 불가

=> scale-out 형태의 병렬 처리구조(클러스터링) 형태의 데이터 처리구조가 나음(HDFS)

=> hadoop

=> 대용량(빅) 데이터를 분산(병렬) 처리할 수 있는 자바 기반의 오픈 소스 프레임워크(서버)

=> google - GFS, Map/Reduce 논문이 나옴

=> HDFS, mapreduce 개념으로 실제로 구현이 된다. 요걸 뭉쳐서 (HDFS + mapreduce)

하둡 에코시스템

저장(HDFS) -> 처리(map/reduce)

데이터가 들어오면 잡트레커가 task tracker에게 나눠서 분산으로 저장한다. 그리고 그걸 다시

통합시키는 것이 reduce이다. 각자 분산할 때 서버가 있고, 그 서버들 위에 namenode라는 것이 있다.

그런데 namenode가 부서지면 안되니깐 secondary namenode가 있다.

하둡 분산구조

namenode : datanode 서버 관리

datanode : 실제 분산 데이터 저장

jobtracker : 작업에 할당 및 수집

testracker: 작업에 할당 및 수집

하둡 에코 시스템

: 하둡을 활용한 추가 시스템

https://www.bogotobogo.com/Hadoop/Big Data_hadoop_Ecosystem.php

https://hadoop.apache.org

core-site.xml에서 하둡 설정되어 있는지 확인

hdfs-site.xml에서 하둡 설정되어 있는지 확인

레플레케이션 값이 1이면 pseudo mode이고 3이면 multi mode이다.

네임노드 초기화

하둡 시작

jps 치면 프로세스가 뜬다

hdfs dfs ls / 를 치면 루트안의 내용을 보여주는데 지금은 아무 것도 없다. 그래서 그 안에 test 파일을 만들어주고 다시 ls를 하면 나오진 않는다. 하둡내 저장공간에 저장된 것이기 때문이다.

하둡 서버 크롬에서 들어가서 확인해 보면 위와 같이 test로 만든게 있는걸 볼 수 있다.

이 하둡 파일시스템을 /user/hadoop으로 옮겨보자

datanode가 없어서 에러가 난다. datanode가 가동이 안될 때 처리 방법은 아래와 같다.

위와 같이 하여 tmp 파일이 없어야 한다.

jps 하였을 때 DataNode가 보이면 성공이다.

/user, /user/hadoop 디렉토리를 만들어 주고

/user/hadoop으로 hadoop 파일을 옮기고

위와 같이 옮겨진 것을 확인할 수 있다.

위와 같이 read는 되는데 수정은 안된다.

shell로 시작되는 파일이 있는지 없는지 확인하고 있다고 떴으며 이를 지우고 다시 검색해서 없다고 뜸. 이를 이용하여 word count를 할 수 있다. 어제는 로컬 파일을 했다면 오늘은 하둡내 파일을 해보자.

/user/hadoop 에 있는 모든 파일중에 'dfs[a-z.]+' 조건을 충족하는 내용을 grep(찾기)으로 확인해보는 방법으로 이를 자바로 해보려고 하면 무수히 많은 구문들이 필요할 것인데 하둡으로 단 한줄로 위와같이 표현할 수 있다. 우편번호 검색처럼 하나 검색할때는 자바로 해도 문제가 없겠지만 수가 방대해지면 자바로 수많은 구문들을 작성하게 되면 효율이 떨어진다.

모든 파일들을 열어보며 위와 같이 검색하여 결과를 알려준다.

hadoop jar ./hadoop-3.1.1/share/hadoop/mapreduce /hadoop-mapreduce-examples-3.1.1.jar grep /user/hadoop /output 'dfs[a-z.]+'

결과는 output에서 나오는데 그냥 ls하면 로컬위치이므로 안나오고 하둡 위치를 찾아서 검색해야 한다.

output/part-r-00000파일이 grep을 도출한 결과가 담긴 파일이다.

위와 같이 확인하면 정규식 조건에 부합하는 내용들을 확인할 수 있다.

이걸 이용하면 예를 들어 토익에서 출제가 잘 되는 빈도수가 높은 단어를 검색할 때 사용하기도 한다.

이제 이걸 외부로 뽑아보자

그냥 ls를 치면 output이라는 폴더가 생성이 되었다.

똑같은 결과가 나옴을 확인할 수 있다.

yarn 서버를 써보자

yarn 서버를 키지 않아서 8088은 안들어가진다.

yarn 설정을 해보자

서버를 띄어보자!

dsf 서버를 켜주고 이제 yarn을 따로 또 껴줘야 한다.

위와 같이 8088 Yarn 서버가 띄어졌음을 확인할 수 있다.

아까 했던 mapreduce를 Yarn을 이용해서 해보자

위와 같이 수행되었다.

apps 돌아가는 동작이 1이 추가 되었고,

아래 FinishedTime이 뜬걸 보면 동작이 Yarn에서 수행됨을 확인할 수 있다.

output내 결과를 확인해 보자

결과를 위와 같이 확인할 수 있다.

from http://bennyziiolab.tistory.com/111 by ccl(S) rewrite - 2020-03-07 09:54:31

댓글

이 블로그의 인기 게시물

용오름체험휴양마을영농조합법인 / 홍천 용오름캠핑장 팸투어 다녀왔어요.

[C언어] 백준 알고리즘 - 숫자의 개수(2577번)

[2020 정보처리기사 실기 - 프로그래밍 언어 활용] 2. 언어 특성 활용...