카테고리 없음
어떤 버전의 jar를 사용하고 있는거야?
devwriter
2020. 5. 25. 14:32
스파크잡을 우지로 올렸더니 잘 동작합니다.
스파크잡을 spark-submit으로 올렸더니 에러가 납니다.
httpclient사용하는 부분에서 문제가 발생합니다.
로컬에서도 잘되고 우지로 올려도 잘되는데 뭔 문제일까요.
에러 로그상으로는 httpcore 하위 버전을 사용해서 문제입니다.
왜?
도대체 어떤 버전을 사용하는데?
val classLoader = classOf[Nothing].getClassLoader
val resource = classLoader.getResource("org/apache/http/message/BasicLineFormatter.class")
System.out.println(resource)클라우데라에 올라가 있는 httpcore jar를 사용하네요.;;;
왜?
모르겠네.
apache httpclient 못쓰겠다.
https://www.quora.com/How-do-I-send-an-HTTP-request-using-Scala-Apache-Spark
How do I send an HTTP request using Scala Apache Spark?
Answer (1 of 4): I’ve done this several times. I’ve used 3 HTTP clients: Apache HTTP client, OkHttp, and AsyncHttpClient. The way I made HTTP requests was the same for all 3 cases. I had to rate-limit my calls so I repartitioned my Dataset/RDD to N par
www.quora.com
scalaj-http 써야 겠다.