ML

読んだ本メモ

ML

1章 ある確率分布を仮定して, 異常度を設計して, 異常検知できるようにパラメータをデータから推定する 確率分布に基づくモデル化がメインっぽい 2章 2.2節 一次元データの正規分布への当てはめ 平均/分散を求める 推定したパラメータを用いて,未知データ…

やっぱり肌色動画の変換も試してみたかったので試した

ML

original ノイズとる 2x + ノイズ取る https://dl.dropboxusercontent.com/s/vkhh6q8lfnm0vjx/hadairo_org.gif https://dl.dropboxusercontent.com/s/apgb6elcu8wp8kl/hadairo_noise.gif https://dl.dropboxusercontent.com/s/e6721rc6ty0oqgb/hadairo_noise…

waifu2x の ami を spot instance で動かして遊んだ話

ML

動画を高解像度にしたいんじゃ! というモチベーションで http://waifu2x.udp.jp/ で ポチポチ画像を変換していたのだけれども, 流石に人手では辛いので, 課金で何とかしようということにしました ec2 あまり知らない勢なのですが, 最近の ec2 では gpu イ…

xgboost を触る

ML

sklearn の gbdt は密にデータを展開していて, web scale なデータには使えず,つらぽよなので, 他の gbdt を使ってモデルを作る前段階として, xgboost を install して使ってみる dmlc/xgboostgithub.com いままで xgboost はチェックしてなかったけど,…

GroundHog tutorial を動かすぞい

ML

pylearn2 を開発している lisa-lab が Theano を使って開発している RNN 実装をインストールして, tutorial を動かす話 結構辛かったのでメモしておく... 環境 IDCフロンティアの最小インスタンスS1 \500/month Ubuntu 14.04 install pip で色々インストー…

GBDT(scikit-learn) で特徴量抽出したかった話

ADKDD2014 の Facebook や Kaggle の 3 idiots solution で使われている, GBDT を使って特徴量抽出(次元削減)するような方法です やっぱり python 界から外に出たくないよね, ということで scikit-learn(v0.15.x) 内で解決する gbdt_embedding.py というわ…

Thompson Sampling のシュミレーション

ML

専ら上手くいくという Thompson Sampling のシュミレーションをする Thompson Sampling ベイズ戦略で MAB の腕を決める方法 事後確率から sampling して最大となる腕を選ぶ 参考 確率的バンディット問題 多腕バンディット問題の 理論とアルゴリズム シュミレ…

FTRL-Proximal も書いてみたのです

ML

FTRL-Proximal http://static.googleusercontent.com/media/research.google.com/ja//pubs/archive/41159.pdf に書いてあるアルゴリズムを実装した https://gist.github.com/laughing/e874813a34d9b50ce52f/revisions 論文に書かれているアルゴリズムでは,…

オンライン学習周りを調べている

ML

ADAGRAD *1 学習率をいい感じに調節してくれるスゴイやつ 過去の gradient の2乗和で,今の gradient を割る ADADELTA *2 adagrad をちょっと変更していて,ある程度直近の gradient の2乗和を見て,学習率を求めるやつ adagrad は学習率 を設定する必要があ…

sentence2vec 動かした

paragraph vector の実装が Qiita で紹介されていたので,ホイホイと動かしてみたという話 動くか動かないかというところを試しただけで,分析はまた今度 参考 【自然言語処理 NLP】word2vec の次は、Paragraph2vec (Mikolov氏論文)~ Google発の実装ソー…

Bandit algorithm memo

広告や推薦で使われるバンディットアルゴリズムの論文を読む際に死なないように調べた LinUCB を調べて死んだ バンディットアルゴリズム 利得が確率的に決まるものは stochastic,利得が恣意的に決められてしまう(悪魔が決める)ものは adversarial というら…

pylearn2 入門したい編

vagrant install とか pylearn2 install 済みの vm 作成など vagrant install する 手早く vagrant 環境を整えて*1 (ref:http://blog.papix.net/entry/2013/04/27/141608 ), github にある pylearn2 用の box を使って pylearn2 が実行出来る環境を作る *2 …