랄라라

 Reinforcement learning은 쉬운 예를 들어본다면 robot dog에게 걷기 연습을 시키는 algorithm입니다. Robot dog에게 우측 앞발을 움직이고 다음에 좌측 뒷발을 움직이고 그 다음으로 좌측 앞발을 움직이게 프로그래밍을 하고 실제적으로 연속적으로 수행하도록 할 수 있습니다. 또 다른방법으로  Reinforcement learning algorithm을 이용하여 robot dog이 걷도록 training시킬 수 있습니다. 기본적으로 robot dog에게 모든 가능한 action tool 들에 대해 알려줍니다. 이렇게도 움직일 수 있고 저렇게도 움직일 수 있다는 정보를 줍니다. 그리고 robot dog의 목표는 앞으로 나아가는 것이라고 알려줍니다. 앞으로 나아가는 매 순간마다 reward를 받고 넘어지는 순간마다 punishment를 받습니다. 당근이나 간식을 주는 것은 아니고 algorithm에서  reward 는 1이고 punishment는 0 입니다. 기본적으로 robot dog은 모든 가능한 random sets의 action을 시도하게 되고 매 순간 1 과 0 의 평가를 받게 됩니다. Machine은 이러한good action들을 기억하게 되고 반복함으로써 실제로 개가 걷는 것처럼 앞으로 걸을 수 있게 됩니다.
 
Multi-Armed Bandit Problem은 무엇일까요?
기본적인 가정을 두가지 해보도록 하겠습니다.
1)      우리는 세상에 대해 잘 모른다.
2)      세상은 계속 변한다.
Machine learning에서 지도학습이란 잘 모르는 세상에 대해 기존의 지식을 training하고 일반화를 통해 최적화된 모델을 만드는 것이지만 이 모든 일반화된 모델 역시 두 번째 가정 세상은 계속 변한다에 의해 지속적으로 업그레이드 되어야 하는 경우가 발생하게 됩니다.
이때 필요한 중요한 개념은
Exploration(탐험하기) : 최적 안을 결정하기 위해 다른 안들을 계속 평가하는 것
Exploitation( 뽑아먹기): 최적 안이 나왔다면 이곳으로 사용자를 몰아주고 최대의 이익이 나올 수 있도록 하는 것.
반복적으로  검증가능한 현상을 과학이라고 부르지만 비즈니스 환경 등에서는 계속되는 변화 속에 있고 추세의 변화를 빠르게 찾아낼 필요가 있게 됩니다. 얼마만큼의 시간과 재화의 투자를 exploration(탐험하기)에 몰아주고 얼마만큼의 시간과 재화를 exploitation(뽑아먹기)에 몰아주어야 이익이 최대가 될 것인가를 알고 또한 시간의 흐름에 따라 얼마의 비중으로 exploration과 exploitation의 비율을 바꾸어갈지 판단해야 하며 이는 어려운 문제가 됩니다. 이와 같은 딜레마의 대표적인 예가 multi-armed bandit problem입니다.
 

잠재적 구매자는 입찰가를 비밀리에 제출하고, 가장 높은 가격을 제시한 사람이 경매에서 이기지만 자신의 입찰가가 아니라 제출된 가격 중 두번째로 높은 가격을 지불한다.

ICT 시사상식 2015

클릭률

[Click-through rate]

약어	CTR

온라인 광고의 노출횟수 대비 클릭 수를 의미한다. 배너광고가 노출된 횟수(Impression) 중, 실제 클릭을 통해 배너광고에 연결된 웹페이지(웹사이트)로 이동한 경우의 비율을 일컫는다. 어떤 온라인 광고의 웹페이지 게재 횟수(노출된 횟수, impression)가 100번이고, 그 광고 클릭 횟수가 1번이면 CTR(CTR=(클릭 수/ 노출된 횟수)×100)은 1%라는 얘기가 된다. 온라인 광고 효과를 측정하는 데 있어 CTR은 중요 지표다. 웹사이트의 방문자를 광고주가 원하는 최종 웹페이지까지 이동하도록 클릭을 유도하는 데 성공한 광고라면, 방문자의 호기심을 자극하는 데 성공했다고 볼 수 있기 때문이다.

현재 온라인상 광고 클릭률(CTR)은 대략 0.2%~0.3%로 매우 낮은 편이나, 아직 그 어떤 예측 분석 솔루션도 어느 광고 캠페인이 어떤 개인으로부터 최고의 클릭률을 유도할 수 있는지 식별하지 못한다. 광고 클릭 과정은 변덕스러우며, 대개 광고를 접할 당시 개인의 기분 과 요구사항이 반영되는 경우가 많다. 전반적으로 모바일 기기가 PC보다 더 높은 배너광고 클릭률을 기록했다. 안드로이드 기기의 평균 클릭률은 PC의 두 배로 나타나 전 세계적으로 안드로이드 기기에서 더 많은 매출이 발생했다.

반면, 미국과 유럽에서는 iOS 기기 매출이 안드로이드를 앞서는 것으로 조사되었다. 모바일 기기는 PC 사용량을 보완하여 추가적인 매출을 창출한다. 일례로 일요일에 발생하는 전자상거래 중 아이패드 내 구매율은 16% 더 높은 반면, 데스크톱 내 구매율은 10% 낮아진다고 발표했다. 또한 모바일 기기에서 가장 높은 평균 구매가는 호텔 및 렌터카 예약과 의류구매에서 발생했으며 각각 약 365달러, 209달러, 105달러(한화 약 36만원, 22만 원, 11만 원)로 조사되었다.

출처 - http://terms.naver.com/entry.nhn?docId=3586054&cid=59277&categoryId=59282