티스토리

랄라라

검색하기

블로그 홈

랄라라

unabated.tistory.com/m

적외선 님의 블로그입니다.

구독자: 13

방명록 방문하기

주요 글 목록

[URI] 한국어가 어떻게 URL에서 Percent-encoding 될까? 환경 및 선수조건 Percent-encoding의 개념 Character Set이 무엇인지 Character Set(Character encoding)이란? Character Set(문자셋) 그리고 Character encoding(문자 인코딩)은 같은 말로 쉽게 말해서 어떤 인코딩 시스템에 의해서 존재하는 문자들을 표현하려는 방법을 의미한다. ASCII나 Unicode가 문자 인코딩들의 대표적으로 알려진 예시입니다. Percent-encoding이란? Percent-encoding이란 URI 혹은 URL에 문자를 표현하는 인코딩 방식으로 RFC 3986에 따라서 알파벳이나 숫자 등 몇몇 문자를 제외한 문자들에 대해서 옥텟 값으로 묶어서 16진수 값으로 코딩하는 방식 예시 : "/internet url".. 공감수 0 댓글수 0 2019. 9. 11.
AdaGrad Deep Learning 책 참고 299page An overview of gradient descent optimization algorithms Stochastic Gradient Descent (SGD)는 convex 또는 non-convex function의 optimization에 일반적으로 사용되는 알고리즘입니다. SGD의 한가지 문제점은 learning rate에 매우 민감합니다. 특히 데이터가 sparse이며 features가 서로다른 frequencies (빈도수)를 갖고 있다면, 단 하나의 learning rate가 모든 weight update에 영향을 주는것은 문제가 될 수 있습니다. 이전의 Momentum update에서는 다음과 같은 공식을 사용했습니다. v=γvt−1+η∇θJ(.. 공감수 1 댓글수 0 2019. 8. 29.
Optimization Algorithms Neural network의 weight을 조절하는 과정에는 보통 ‘Gradient Descent’ 라는 방법을 사용한다. 이는 네트워크의 parameter들을 θθ라고 했을 때, 네트워크에서 내놓는 결과값과 실제 결과값 사이의 차이를 정의하는 함수 Loss function J(θ)J(θ)의 값을 최소화하기 위해 기울기(gradient) ∇θJ(θ)∇θJ(θ)를 이용하는 방법이다. Gradient Descent에서는 θθ 에 대해 gradient의 반대 방향으로 일정 크기만큼 이동해내는 것을 반복하여 Loss function J(θ)J(θ) 의 값을 최소화하는 θθ 의 값을 찾는다. 한 iteration에서의 변화 식은 다음과 같다. θ=θ−η∇θJ(θ)θ=θ−η∇θJ(θ) 이 때 ηη 는 미리 정해진 .. 공감수 0 댓글수 0 2019. 8. 29.
optimizer 원리 Gradient Descent 뉴럴 네트워크의 loss function의 현 weight의 기울기(gradient)를 구하고 loss를 줄이는 방향으로 업데이트(조정)해 나가는 방법을 통해서 뉴럴 네트워크를 학습하였습니다. loss(cost) function이라는게 나왔군요. 뉴럴 네트워크에서 loss function은 무엇일까요? 간단히 설명하면 지금 현재의 가중치에서 "틀린정도"를 알려주는 함수이죠. 즉, 현재 네트워크의 weight에서 내가 가진 데이터를 다 넣어주면 전체 에러가 계산 되겠죠? 거기서 미분을 하면 에러를 줄이는 방향을 알 수 있습니다. 바로 위의 그림과 같이 말이죠. 그 방향으로 정해진 스텝량(learning rate)을 곱해서 weight을 이동시킵니다. 이걸 계속 반복해서 학습을.. 공감수 0 댓글수 0 2019. 8. 29.
programmer 공감수 0 댓글수 0 2019. 3. 28.
Secure Shell: How Does SSH Work Taking remote shell, for carrying out different tasks is a norm, if you have multiple server machine's in your infrastructure. Different protocols and tools were made to accomplish this task of taking a remote shell. Although the tools made during the initial days were capable enough to carry out necessary shell related tasks, there were different design concerns, that resulted in advancements a.. 공감수 0 댓글수 0 2019. 3. 28.
Click Through Rate Prediction KaggleAvazu - Predict whether a mobile ad will be clickedDataBeat the benchmark with less than 1MB of memoryCriteoLabs - Display Advertising ChallengeDatamd5sum 확인용Beat the benchmark with less than 200MB of memoryKaggleAvazu - Predict whether a mobile ad will be clickedhttps://www.kaggle.com/c/avazu-ctr-predictionDatahttps://www.kaggle.com/c/avazu-ctr-prediction/data 에서 제공하는 test.gz, train.gz 파일.. 공감수 0 댓글수 0 2019. 3. 21.
부스팅 기법의 이해 공감수 0 댓글수 0 2019. 3. 6.
회귀분석 강의노트 권세혁 교수 - 회귀분석 강의노트한남대학교 통계학과 권세혁 교수http://wolfpack.hnu.ac.kr/lecture/Regression/1장 서론 2장 단순회귀, 추정 및 검정3장 잔차분석4장 다중회귀5장 지시변수 모형6장 다중공선성7장 변수선택8장 영향치, 이상치 진단9장 로지스틱 회귀10장 계량경제 공감수 0 댓글수 0 2019. 3. 6.
최대우도법(Maximum Likelihood) 정의어떤 확률변수에서 표집한 값들을 토대로 그 확률변수의 모수를 구하는 방법.즉, 어떤 모수가 주어졌을 때, 원하는 값들이 나올 가능도를 최대로 만드는 모수를 선택하는 방법.방법어떤 모수 θθ 로 결정되는 확률변수들의 모임 Dθ=(X1,X2,…,Xn)Dθ=(X1,X2,…,Xn) 이 있고, DθDθ 의 확률밀도함수나 확률질량함수가 ff 이고, 그 확률변수들에서 각각 값 x1,x2,…,xnx1,x2,…,xn 을 얻었을 경우의 가능도 L(θ)L(θ) 는 다음과 같다.L(θ)=fθ(x1,x2,…,xn)L(θ)=fθ(x1,x2,…,xn)여기서 가능도를 최대로 만드는 θθ 는 다음과 같다.^θ=argmaxθL(θ)θ^=argmaxθL(θ)이 때 X1,X2,…,XnX1,X2,…,Xn 이 모두 독립적이고 같은 확률분포.. 공감수 0 댓글수 0 2019. 3. 6.
로지스틱 회귀모델의 모수 추정 Sigmoid 함수 (logistic function)sigmoid(x)=11+e−xsigmoid(x)=11+e−x Sigmoid 함수 미분ddxsigmoid(x)=ddx(1+e−x)−1ddxsigmoid(x)=ddx(1+e−x)−1=(−1)1(1+e−x)2ddx(1+e−x)=(−1)1(1+e−x)2ddx(1+e−x)=(−1)1(1+e−x)2(0+e−x)ddx(−x)=(−1)1(1+e−x)2(0+e−x)ddx(−x)=(−1)1(1+e−x)2e−x(−1)=(−1)1(1+e−x)2e−x(−1)=(−1)1(1+e−x)2e−x(−1)=(−1)1(1+e−x)2e−x(−1)=(−1)1(1+e−x)2e−x(−1)=(−1)1(1+e−x)2e−x(−1)=(1+e−x)(1+e−x)2−1(1+e−x)2=(1+e−x)(1+e.. 공감수 0 댓글수 0 2019. 3. 6.
로지스틱 함수 로지스틱 함수y=11+e−zy=11+e−z 선형 회귀 분석의 경우 모델을 위해 만들어 지는 함수는 아래와 같다.y=Wx+by=Wx+by=W1⋅x1+W2⋅x2+...+Wi⋅xi+by=W1⋅x1+W2⋅x2+...+Wi⋅xi+by=W∙Xy=W∙X이 1차 함수는 독립변수 xx 가 변화할때 종속변수 yy 의 변화를 관찰하는 것이 목적인 함수라고 할때 독립변수 xx 와 종속변수 yy 는 모두 음의 무한대 −∞−∞ 에서 양의 무한대 ∞∞ 의 범위를 갖는다.혈압과 나이에 대한 상관 관계를 확인/예측하기 위해 선형 회귀 분석을 사용 할 수 있고 이때 나이와 혈압은 연속형 변수로 1차 함수 그래프로 표현하기에 문제가 없다.그러나 암의 경우와 같이 발병 여부가 데이터로 주어졌을 경우 종속변수 yy 는 발병=1, 정상=0 과.. 공감수 0 댓글수 0 2019. 3. 6.
주요 개념 및 관련 문서 섀넌 엔트로피, 크로스 엔트로피, KL Divergencehttps://ratsgo.github.io/statistics/2017/09/22/information/http://norman3.github.io/prml/docs/chapter01/6.htmlhttp://dongwonshin.net/kullback-leibler-divergence-%EC%84%A4%EB%AA%85/http://solarisailab.com/archives/2237https://ratsgo.github.io/deep%20learning/2017/09/24/loss/https://taeoh-kim.github.io/blog/cross-entropy%EC%9D%98-%EC%A0%95%ED%99%95%ED%95%9C-%ED%99%9.. 공감수 1 댓글수 0 2019. 1. 29.
spark architecuture Understanding Spark: Part 2: ArchitectureAfter introducing the spark in the previous blog, I will try to explain the architecture of the spark in thi blog. The objective is to give an quick overview of various components in spark architecture, what their functinalities and how they enable spark to process large amount of data fast.The assumtion is that the reader must have prior understanding of.. 공감수 0 댓글수 0 2019. 1. 16.
The multi-Armed Bandit Problem이란? #2 Multi-armed를 이해하기 위해 one-armed를 알아봅시다. 가장 흔하게 예로 들어지는 one-armed는 슬롯머신입니다. 카지노에서 볼 수 있는 슬롯머신에는우측에 당길 수 있는 긴 레버가 하나 달려 있습니다. (기계식 슬롯머신은 영화나 박물관에서 볼 수 있고 요즈음은 전자식으로 버튼을 누르는 슬롯머신을 쓰고있기는 합니다.) 그 레버를 잡아 당겼다 놓으면 게임이 시작됩니다. 실제로 카지노에서 빠른 시간 안에 많은 돈을 슬롯머신에서 잃을 수 있습니다. 만약에 그 슬롯머신에서 돈을 딸 수 있는 기회가 50:50라고 한다면 실제로 돈을 잃을 기회도 50: 50일 것입니다. 하지만 카지노에서 슬롯머신에 bug를 넣고 사람들은 실제로 50%보다 더 빠른 속도로 돈을 잃게 되며 이 기계가 돈을 강탈해 가기.. 공감수 0 댓글수 0 2018. 2. 28.
The Multi- Armed Bandit Problem이란? #1 [출처] The Multi- Armed Bandit Problem이란? Reinforcement learning은 쉬운 예를 들어본다면 robot dog에게 걷기 연습을 시키는 algorithm입니다. Robot dog에게 우측 앞발을 움직이고 다음에 좌측 뒷발을 움직이고 그 다음으로 좌측 앞발을 움직이게 프로그래밍을 하고 실제적으로 연속적으로 수행하도록 할 수 있습니다. 또 다른방법으로 Reinforcement learning algorithm을 이용하여 robot dog이 걷도록 training시킬 수 있습니다. 기본적으로 robot dog에게 모든 가능한 action tool 들에 대해 알려줍니다. 이렇게도 움직일 수 있고 저렇게도 움직일 수 있다는 정보를 줍니다. 그리고 robot dog의 목표는 앞으로 나아가는 것이라고 알려줍니다. 앞으로 나아가는 매 순간마다 re.. 공감수 1 댓글수 0 2018. 2. 28.
더치 옥션 (Dutch auction) 두산백과더치 옥션[Dutch auction음성듣기]요약 매도자가 최고 호가로부터 점차 가격을 낮추어 가다가 매수 희망자가 나오면 최초의 매수 희망자에게 매도하는 경매 가격결정 방법.네덜란드식 경매라고도 한다. 일반적으로 경매는 최저 호가로부터 점차 가격을 높여 가다가 최고 호가의 매수 희망자, 곧 마지막 매수 희망자에게 매도하는 방식을 취한다. 그러나 더치 옥션은 이와는 반대로 매도자가 최고 호가로부터 점차 가격을 낮추어 가다가 매수 희망자가 나오면 최초의 매수 희망자에게 일괄 매도하는 가격결정 방법이다. 이는 채권을 매각할 경우에도 마찬가지로 적용된다. 즉 경매에 참여한 매수 희망자가 자신이 떠안을 수 있는 물량과 가격 조건을 제출하되, 최저 금리를 제시한 물량부터 차례로 채우다가 마지막 물량을 떠안은.. 공감수 0 댓글수 0 2018. 2. 28.
비커리 경매(Vickery Auction) 잠재적 구매자는 입찰가를 비밀리에 제출하고, 가장 높은 가격을 제시한 사람이 경매에서 이기지만 자신의 입찰가가 아니라 제출된 가격 중 두번째로 높은 가격을 지불한다. 공감수 0 댓글수 0 2018. 2. 28.
CTR (Click-through rate) ICT 시사상식 2015클릭률[Click-through rate]약어CTR온라인 광고의 노출횟수 대비 클릭 수를 의미한다. 배너광고가 노출된 횟수(Impression) 중, 실제 클릭을 통해 배너광고에 연결된 웹페이지(웹사이트)로 이동한 경우의 비율을 일컫는다. 어떤 온라인 광고의 웹페이지 게재 횟수(노출된 횟수, impression)가 100번이고, 그 광고 클릭 횟수가 1번이면 CTR(CTR=(클릭 수/ 노출된 횟수)×100)은 1%라는 얘기가 된다. 온라인 광고 효과를 측정하는 데 있어 CTR은 중요 지표다. 웹사이트의 방문자를 광고주가 원하는 최종 웹페이지까지 이동하도록 클릭을 유도하는 데 성공한 광고라면, 방문자의 호기심을 자극하는 데 성공했다고 볼 수 있기 때문이다.현재 온라인상 광고 클릭률(.. 공감수 0 댓글수 0 2018. 2. 28.
Java 8 - Interface의 변화 요즘 카이 호스트만의 코어 자바8로 Java 8을 공부하고 있다. 작년 초에 개발자로 전향하여 Java 8의 stream 같은 것을 매우 신기해하며 어깨너머로 배워 사용했었는데 알고보니 Java 8이 처음 출시된 것은 2014년 3월 18일이었다.(Java 릴리스 페이지 참고) 지금은 Java 9가 나오려고 몸을 들썩이는 중이다. Java 8을 제대로 공부도 해보지 않았는데 벌써 Java 9가 나온다고 하니 젊은 나이에 뒤처지는 것 같은 기분이 들었다. 이런 까닭에 황급히 서점에서 책을 사서 공부하는 중이다. 원저의 제목 Core Java for the Impatient가 내 상황에 잘 들어맞는 것 같다. 더 늦기 전에 Java 8을 공부하면서 중요하다고 생각하는 것들을 정리해보려고 한다.인터페이스객체 .. 공감수 0 댓글수 0 2018. 2. 28.
왜 자바에서 static의 사용을 지양해야 하는가? 자바에서 데이터를 가공하거나 특정 메서드를 수행할 때 새로운 클래스를 만들어서 이를 인스턴스화 해서 쓸건지 아니면 static 으로 쓸건지 고민하게 될 때가 있다. 사실 후자는 객체지향적 관점에서 그리 좋은 선택은 아니다. Vamsi Emani라는 프로그래머가 stack overflow에 남긴 질문 Why are static variables considered evil? 과 가장 많은 지지를 받은 두개의 답변을 번역했다.Q by V. EmaniI am a Java programmer who is new to the corporate world. Recently I’ve developed an application using Groovy and Java. All through the code I’ve u.. 공감수 33 댓글수 6 2018. 2. 22.
Generic 메서드 Generic 메서드 Generic MethodsGeneric 메서드는 자신의 타입매개변수를 가진 메서드이다. generic 타입을 선언하는 것과 비슷하지만 타입매개변수의 스코프는 메서드로 제한된다. 일반 메서드, 정적 메서드 generic 클래스의 생성자는 이 룰을 동일하게 적용된다. Generic methods are methods that introduce their own type parameters. This is similar to declaring a generic type, but the type parameter's scope is limited to the method where it is declared. Static and non-static generic methods are al.. 공감수 0 댓글수 0 2017. 10. 20.
클래스 리터럴, 타입 토큰, 수퍼 타입 토큰 클래스 리터럴, 타입 토큰, 수퍼 타입 토큰이 글은 토비님의 방송 채널에서 소개해주신 수퍼 타입 토큰에 대한 내용을 바탕으로 Oracle의 리터럴과 런타임 타입 토큰 튜토리얼, 수퍼 타입 토큰 기법의 창시자로 알려진 Neal Gafter의 글과 Jackson에 사용되고 있는 TypeReference 클래스의 소스 코드를 참고로 작성했다.클래스 리터럴과 타입 토큰의 의미클래스 리터럴(Class Literal)은 String.class, Integer.class 등을 말하며, String.class의 타입은 Class, Integer.class의 타입은 Class다.타입 토큰(Type Token)은 쉽게 말해 타입을 나타내는 토큰이며, 클래스 리터럴이 타입 토큰으로서 사용된다.myMethod(Class cl.. 공감수 0 댓글수 0 2017. 10. 20.
Super type token Super type tokenPosted on 2017년 7월 9일오늘은 Super type token에 대해서 알아보자.Super type token을 알기전에 일단 type token을 알아야 되는데 type token 이란 간단히 말해서 타입을 나타내는 토큰(?)이다. 예를들어 String.class는 클래스 리터럴이라하며 Class가 타입토큰이라 말할 수 있다. 실제 Class은 String.class를 이용해서 메서드를 호출 할 수 있다.Super type token 경우에는 제네릭과 관련이 많다. 일단 제네릭을 잘 모른다면 여기를 한번 보고 이글을 봐야 할 듯 하다.Type token타입 토큰의 간단한 예제를 만들어서 살펴보자.public static T typeToken(T value, Cl.. 공감수 0 댓글수 0 2017. 10. 20.
Introduction to Spring Converters and Formatters IntroductionIn this article, we will provide introductory details on Spring Converters and Formatters. Converter components are used for converting one type to another type and also to provide a cleaner separation by forcing to place all such conversion related code in one single place. Spring already supports built-in converters for the commonly used types and the framework is extensible enough.. 공감수 0 댓글수 0 2017. 10. 19.
Formatter Spring MVC - Creating a new Formatter[Updated: Nov 19, 2016, Created: Feb 26, 2016]Previous PageNext PageIn this example we are going to define our own formatter using spring Formatter SPI. Spring Formatter interface extends Printer and Parser interfaces: package org.springframework.format; public interface Formatter extends Printer, Parser { }We have to implement print() and parse() methods of .. 공감수 0 댓글수 0 2017. 10. 19.
Convertor 13.Data Binding and Type ConversionSpring에서 타입 변환이 발생하는 영역은 크게 2가지이다. 하나는 Bean 정의 XML에서 를 이용해 설정한 값을 실제 Bean 객체의 Property에 바인딩 시킬 때인데, XML에 String으로 정의한 값을 해당 Property의 타입으로 변환해서 셋팅해야한다.예를 들어, Movie 클래스가 다음과 같이 정의되어 있고,public class Movie { String id; String name; int ticketPrice; }'movie' Bean을 아래와 같이 정의했다고 하면, 'name'이라는 Property는 같은 String 타입이기 때문에 문제가 없지만, 'ticketPrice'의 경우 String으로 작성된 '7500'.. 공감수 0 댓글수 0 2017. 10. 19.
WebMvcConfigurerAdapter spring mvc의 xml과 java config를 비교해서 한번 살펴보겠다.EnableWebMvc@Configuration @EnableWebMvc public class WebConfig { } xml의 은 @EnableWebMvc과 같은 설정이다. 위의 설정은 해주는게 많다. messageConverter, formatting, validating 기타 등등 아주 여러가지를 해주는 어노테이션 및 xml 설정이다. 나머지는 인터넷에서 쉽게 찾을 수 있으니 참고만 하길 바란다.@Configuration @EnableWebMvc public class WebConfig extends WebMvcConfigurerAdapter { } 우리는 WebMvcConfigurerAdapter을 상속받아서 커스터마.. 공감수 1 댓글수 0 2017. 10. 19.
Spring support for @Controller given by <context:component-scan /> vs <mvc:annotation-driven> Both elements serve an entirely different purpose. is, as the name implies, for component scanning. It by default scans for all beans with the @Component annotation (or "sub"annotations like @Controller, @Serviceetc.). It will only register instances of those classes in the application context as beans. That is all. is for bootstrapping Spring MVC and it registers, amongst others, a RequestMappi.. 공감수 0 댓글수 0 2017. 10. 19.
Difference between <context:annotation-config> vs <context:component-scan> is used to activate annotations in beans already registered in the application context (no matter if they were defined with XML or by package scanning). can also do what does but also scans packages to find and register beans within the application context.I'll use some examples to show the differences/similarities.Lets start with a basic setup of three beans of type A, B and C, with B and C bei.. 공감수 0 댓글수 0 2017. 10. 19.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.