Juliaによる機械学習の予測モデル構築・評価

Julia 機械学習

これは，Julia Advent Calendar 2014 14日目の記事です．MLBaseパッケージを用いて機械学習の予測モデルを構築し，評価する方法について説明します．以下では，Julia0.3.2，MLBase0.5.1，DecisionTree0.3.4，RDatasets0.1.1を使用しています． Juliaで使用…

2014-12-06

mlrパッケージによる予測モデルの構築・評価

R 機械学習

これは，R Advent Calendar 2014 6日目の記事です．本記事では，Rで機械学習の予測モデルの構築・評価を統一的なフレームワークで実行するmlrパッケージについて入門的な説明を行います． mlrパッケージとは mlrパッケージは，Michael Lang氏によって開発さ…

2014-09-28

Javaで分散処理

Java 並列計算分散計算

Javaで分散処理する必要が生じたので、調査のメモ。今回は、以下のページを参考にCORBA+RMIで分散処理をしてみることにする。OSはUbuntu14.04。クラウドで再注目の「分散コンピューティング」の常識上記のリンク先の説明を読むと、Java SE 5以前は、クライア…

2014-09-23

doParallel関数に直接ワーカープロセス数を指定するとゾンビプロセスが残る件

R 並列計算

次から次へと迫り来る原稿の嵐に追われている休みの昼下がり、何気なく目を向けたTLにこんなつぶやきが。並列化した残骸のRScrpt.exeどうやって処分したらいいの…#メモリを圧迫し続けています— Hadleyに憑依されてるテラモナギ (@teramonagi) 2014, 9月 22 …

2014-09-15

Juliaで並列計算

Julia 並列計算

Juliaでの並列計算に関する調査メモ。 Juliaでの並列計算の概要 Juliaでのマルチプロセッシング環境は、メッセージパッシングに基づいている。MPIなどの通常のメッセージパッシングは、プロセス間でデータや命令などを相互にやりとりする。しかし、Juliaのメ…

2014-06-02

R2DOCXによるレポート作成

R 分析レポート ReproducibleResearch

RでMicrosoft Wordのレポートを作成するには，いくつかの方法がある．Markdown+Pandocを使った方法，R2wdパッケージを用いた方法などである．ここでは，David Gohel氏によるR2DOCXパッケージを用いたレポート作成について取り上げる．インストール R2DOCXパ…

2014-06-01

caretで独自アルゴリズムの実行

機械学習データマイニング R

caretパッケージは，機械学習のモデル構築・評価を統一したフレームワークで実行するための機能を提供している．caretのバージョン6.0.29では150個のアルゴリズムが利用できる． > library(caret) > packageVersion("caret") [1] ‘6.0.29’ > head(modelLooku…

2014-05-18

高次元データの外れ値検出

データマイニング ELKI

高次元データの外れ値検出についてのメモ．高次元データと次元の呪い次元が大きくなるほど，点の間の距離は均一になっていく．例として，2000個の点の各座標を一様乱数で発生させて，次元を変えながら点の間の距離の平均値，最大値，最小値，平均値±1σ，…

2014-05-14

dplyrでcolwise

R

dplyrを使って，plyrのcolwiseのような処理をしたい．このようなときはHadley Wickham氏がgithubで公開しているdplyrパッケージのsummarise_each関数を使用すればよい． > library(devtools) > install_github("hadley/dplyr", ref = "colwise") > library(d…

2014-03-23

冗長性が低く重要度の高いパターンの抽出(1)

データマイニング C++

パターンマイニングはデータマイニングを代表する手法の一つで，特にアソシエーションルールを適用した「ビールとおむつ」などの例が有名です．最近は，Rなどのデータ分析ツールでもAprioriやEclat(頻出パターンマイニング), CSPADE(系列パターンマイニング…

2014-03-08

頻出アイテムセット間のJaccard係数の計算

データマイニング C++

Jaccard係数(Jaccard index, Jaccard similarity coefficent)は，2つの集合間の類似性を表す指標．パターンマイニングでは，2つの頻出パターンの共起を表す指標として用いられ，両方のパターンが現れるトランザクション数に対して，少なくとも一方のパターン…

2014-01-29

knitr+LaTeXでPDFを作成するmakefile

R

以前，TokyoRで「RでReproducible Research」というタイトルの発表を行いました．Reproducible Researchとは再現性のある研究のことで，そのためには処理に再現性が担保されている必要があります．RでReproducible Researchを実現する上で，動的なレポート生…

2014-01-19

Rcppによるbigmemoryの拡張

R C++

RのbigmemoryパッケージはC++で実装されているため，ユーザが新たな機能を開発して追加することが可能です．Rcpp Galleryの"Using bigmemory with Rcpp"（各列の合計値を算出する例）をそのまま実行してみます．BigColSums.cpp #include <Rcpp.h> // [[Rcpp::depends</rcpp.h>…