devwriter devwriter

스파크잡을 우지로 올렸더니 잘 동작합니다. 스파크잡을 spark-submit으로 올렸더니 에러가 납니다. httpclient사용하는 부분에서 문제가 발생합니다. 로컬에서도 잘되고 우지로 올려도 잘되는데 뭔 문제일까요. 에러 로그상으로는 httpcore 하위 버전을 사용해서 문제입니다. 왜? 도대체 어떤 버전을 사용하는데? val classLoader = classOf[Nothing].getClassLoader val resource = classLoader.getResource("org/apache/http/message/BasicLineFormatter.class") System.out.println(resource) 클라우데라에 올라가 있는 httpcore jar를 사용하네요.;;; 왜? 모르겠네. ..

개발환경 설정이 복잡한 경우 도커로 개발환경을 이미지하고 사용하면 편리해요. 이미지화한 도커를 마라톤이나 쿠버네티스에 올려서 해당 컨텐이너에 접속해서 쉘프로그래밍을 할 수 있어요. 이번에는 인스턴트로 한번씩 실행하는 방법을 알아 봐요. 로컬에서 도커이미지 띄워서 배시쉘로 접속하는 방법이에요. docker run -it --rm {도커이미지} /bin/bash 로컬에서 도커이미지 띄워서 배시쉘로 접속해서 쉘명령어 실행하고 끝내기 docker run -it --rm {도커이미지} /bin/bash -c {쉘프로그램} 이 방법은 어플리케이션 배포환경이 복잡한 경우 배포환경을 도커 이미지화하고 이 이미지를 이용해서 어플리케이션을 배포할 때 사용하면 좋아요. 위와 같은 방법을 kubectl로도 할 수 있어요. k..