devwriter devwriter

https://ainote.tistory.com/17 GPT (Generative Pre-trained Transformer) 학습시키기 들어가며 오늘은 Generative Pre-trained Transformer (GPT) 의 구조에 대해 자세히 글을 써보려고 한다. 아래의 링크들은 참고하면 좋을만한 사이트들이다. 특히 유튜브 영상은 ETRI 임준호 박사님이 GPT-3에 ainote.tistory.com Generative 위는 Generative 라는 단어를 직관적으로 설해준다. 즉, 한 단어 (정확히는 토큰) 가 들어오면 다음에 올 적절한 토큰을 생성하는 언어 모델이라는 것이다. 예를들어, "오늘" 이라는 단어가 GPT 모델에 Input으로 들어가면, GPT는 "날씨가" 같은 뒤에 올 적절한 단어..

수열 수의 나열 등차수열 차이가 같은 수열 차이가 같은 수의 나열 가장 기본적인 수열은? 자연수의 나열 1, 2, 3, 4, 5, ... 수열은? 예측을 하는 것 다음 수는 무엇인가 예측하는 것 자연수의 나열은 1로 시작하고 1씩 더해지는 수열. N번째 수는 N 등차수열은 자연수의 나열로... 1, 3, 5, 7, 9,... 차이는 +2 1, 2, 2, 2, 2, ... 첫번째 차이 1에 임시로 1을 더해 주면... 2(2-1), 2, 2, 2, 2, ... N번째 수는 2N-1 4, 7, 10, 13, 16, ... 1, 2, 3, 4, 5, ... 시작은 4, 차이는 3 3(3+1), 3, 3, 3, 3, 3, ... N번째 수는 3N+1 https://www.youtube.com/watch?v=j3..

질문은 "인공지능 모델에서 '매개변수'란 정확히 무엇을 계산하는가?"였습니다. 대부분의 머신러닝 모델에는 두 가지 측면이 있습니다: 1) 모델을 정의하기 위해 숫자가 연결되는 구조, 2) 학습 데이터를 기반으로 학습(또는 조정 또는 조정)되는 숫자 자체 (2)의 숫자를 "매개변수"라고 하며, 때때로 사람들은 모델의 복잡성을 매개변수 수로 설명하기도 합니다. 모델의 가장 간단한 예는 2D 그래프에 그릴 수 있는 선의 방정식입니다: Y = MX + B 여기서 각 문자는 다음 사항에 해당합니다: 'x'는 모델에 입력되는 숫자입니다. 'y'는 모델의 출력 또는 모델이 예측하는 숫자입니다. 'm'은 선의 기울기입니다. 'b'는 선의 y-절편으로, x=0일 때 선이 x축에서 얼마나 위 또는 아래에 있는지를 제어합니..

https://blog.testworks.co.kr/natural-language-and-transformer-bert-gpt/ 자연어와 트랜스포머, BERT, GPT – 테스트웍스 사람과 동물의 가장 큰 차이점은 무엇일까요? 세심한 동작이 가능한 손, 보이지 않는 무언가를 믿을 수 있는 신앙심, 실존하지 않는 개념을 약속하고 지키는 법 등… 얼핏 생각하기에도 사람과 blog.testworks.co.kr 트랜스포머는 2017년 Attention Is All You Need라는 기념비적인 자연어 처리 논문에서 처음 제안 되었습니다. 이 논문에서 제안 된 트랜스포머 구조는 현재 사용되는 모든 자연어 처리 관련 모델의 선조격이라 해도 과언이 아닙니다. 등장 이후 자연어 처리 분야를 평정했을 만큼 트랜스포머는 ..

인류는 거대한 산업 혁명에서 살아남은 것부터 경제 패턴을 기계가 지배하는 세상으로 전환시킨 치열한 세계 대전에 이르기까지 먼 길을 걸어왔습니다. 세 차례의 혁명을 겪은 지금, 우리는 4차 혁명인 인공지능과 빅데이터 혁명의 한가운데에 서 있습니다. 앞서 살펴본 세계 패턴의 변화와 마찬가지로 인텔리전스 4.0은 디지털 혁신을 약속합니다. 인공지능은 비디오 게임을 플레이하든 코드 한 줄을 작성하든 모든 것을 대신 해줄 수 있는 힘을 가지고 있습니다. 오늘날 인공지능 기반의 대화형 모델인 OpenAI의 GPT3 챗봇은 이미 화제가 되고 있습니다. 반면, 2016년에는 딥마인드의 알파고가 새로운 화두로 떠올랐지만 OpenAI의 ChatGPT가 이를 단숨에 제압했습니다. 이제 두 회사 모두 엄청난 이점을 제공하는 ..

쿠버네티스(k8s : kubernates) 다른 네임스페이스(namespace : ns)로 인증서(secret) 복사하는 방법 kubectl get secret {시크릿 이름} -o yaml | grep -v namespace | kubectl apply -n {복사할 namespace} -f- 개별 명령어 설명 1. 시크릿 정보를 yaml 로 내보내기 kubectl get secret {시크릿 이름} -o yaml 2. yaml 정보에서 namespace 문자열일 있는 라인은 빼기 gres -v namespace 3. yaml 정보를 이용해서 secret 정보 반영하기 kubectl apply -n {적용할 namespace} -f-

RestTemplate 을 이용해서 GET, POST 호출을 해야 합니다. 아래가 가장 일반적인 방법의 GET, POST 호출하기 입니다. // POST 호출 시 body 포함 restTemplate.postForObject(url, body, String.class) // GET 호출 시 url, url에 쿼리파람(?a=1&b=2) restTemplate.getForObject(url, String.class) GET 호출 시 쿼리파람을 객체 인스턴스에서 뽑을 수 있을까? 쉽게 만들고 싶은데 말이죠. private String getUrlWithQuery(String url, T paramsObject) { LinkedMultiValueMap params = new LinkedMultiValueMap(..

취약점 설명 Rails 라이브러리(Action Dispatch) 대상 정규 표현식을 통한 DoS 취약점이 공개되었습니다. - 변조된 쿠키 및 X-FORWARDED-HOST 헤더(CVE-2023-22792) - 변조된 IF-None-Match(CVE-2023-22795) 헤더 사용시 정규식 엔진에 catastrophic backtracking으로 프로세스가 많은 CPU와 메모리를 사용하여 DoS가 발생할 수 있습니다. 대응 방법 - 6.1.7.1 또는 7.0.4.1 이상으로 패치 - 패치가 불가능할 경우 앞단에서 X-FORWARDED-HOST 및 IF-None-Match 헤더를 필터링할 수 있도록 조치