オブジェクトをファイルに保存したい時、JSON便利ですよね。 パフォーマンスが欲しい時はprotobufやpickleを使いますが、そうでもない時はJSONやxml。 私的にはJSONが一番見やすいので、断然JSONを使います。 今日はJSONで自作クラスを保存したい時の話です。
以前の紹介記事はこちら。 改良点 pip install rgf_pythonだけでインストールできます。(C++コンパイルはやってくれる) memoryオプション（メモリ節約する代わりに遅くなる）の追加 n_classes > 2の時のパラレル学習 gridsearchを並列実行した時に動かなくな…
数ヶ月前、chainerがガラパゴスである、という文言をインターネットで見たchainer信者である私は衝撃だった。 だってchainerは公式ドキュメント全部英語じゃん！githubで全世界に公開してるじゃん！コードレビューだって英語でやってるじゃん！英語のgoogle …
準教師学習とは一部のデータにのみ正解ラベルがつけられていて、残りはラベルがないという状態で、学習を行うことです。 ディープラーニングに必要な1クラスあたり数千のラベルを用意するのは大変なので、準教師学習の応用範囲は広いと考えています。 全ての…
一行のPRを送ってくれる人も非常にありがたいのだが、コードを読み込めて理解して機能提案してくれる有力コントリビューターがいるとプロジェクトにも技術者としての自分にも非常にいい影響がある。 例えば、 ■コード、ドキュメントの量が増える。二人で書く…
ディープラーニングは各層の種類、活性化層の種類、オプティマイザの種類、オプティマイザのハイパーパラメータ、などなどたくさんあり、手で最適化していくのは大変です。 そんなとき、 1. グリッドサーチ:パラメーターの候補の組み合わせパターンを全て調…
GitHub - fukatani/ChainerWing: GUI deep learning IDE based on chainer. ※一応動きます。 こんな感じ。 ぽちぽちやってるとニューラルネットが組みあがります。chainerベースです。 めちゃ機能が少ないですが、今後充実する予定。たぶん。
先日このグラフで世界を驚かせたchainerMNの中身の話をchainerMNによる分散学習 - YouTubeでやっています。 chainerは分散ディープラーニングフレームワークとして現在世界最速だそうです。 視聴したのでメモ。おもしろかったです。 語り手はchainerMNの作者…
年末年始にテンソル積と格闘しわけがわからなくなったのでメモ。 numpyのいわゆる積と呼ばれるAPIには、 numpy.multiply, numpy.dot, numpy.vdot, numpy.inner, numpy.cross, numpy.outer, numpy.matmul, numpy.tensordot, numpy.einsumとまあ結構たくさんあ…
C++メインで作られているシステムからchainerだったり、scikit-learnだったりを使って機械学習をしているPythonモジュールを呼び出しとデータをやりとりさせたいとします。 すると、C++の入力データ(n次元array)をnumpyに変換してPythonに渡し、Pythonからnu…
RCNN (Regional Convolutional newral networks)などの機械学習モデルを使って画像から物体検出するには、"どこ"に"なにが"あるのか、すなわちバウンディングボックスの四角の座標(x, y)および正解ラベルが画像とセットで必要となります。 10000枚単位の画像…
機械学習をやるときに結構良く使うところだなと思っていた、クロスバリデーションのスプリッター系モジュールのインターフェースが変わることに気づいたのでメモ。 scikit-learnの従来のクロスバリデーション関係のモジュール(sklearn.cross_vlidation)は、s…
以前 【機械学習】Regularized Greedy Forest(RGF)で多クラス分類を試してみました - verilog書く人 の記事で紹介させていただいたRegularized Greedy Forest及びそのwrapperであるrgf_pythonがKaggle Kernel (旧Kaggle Scripts)でサポートされました。 Kagg…
kaggleの本番コンペはデータが大きくて、AzureやAWSなどのクラウドサービスで、メモリ数十GBのモンスターマシンの力を借りたくなることがあります。 この前参加したデータ分析ハッカソンなどで、Azureの使い方をおぼえて来たのでメモ。 Azureは本家のチュー…
Travis CIでscipyをインストールして使うとき、pipでもapt-getでもインストールできなくて、Travis CIのログがエラーだらけになったのでメモ。 調べてみると、 (1)minicondaを使う(2)addons.apt.packagesを使う の二つの選択肢がありそうでした。
先月末まで、Shelter Animal Outcomes | Kaggleに参加していました。 同僚の力も借りつつ、なんとかTOP2%に入り込む結果になりました。 トップはほぼパーフェクトに近いスコアの方もいたり、leak多すぎて実態がよくわからん、という印象。 データの前処理は…
先日大型OSSへのコミットという自分の中での一つの目標を達成することができました。 といってもまだまだ変更は小規模ですが、小さなコミットでも考えさせられる事があって収穫は大きく楽しいので習慣にしたいと思ってます。 コードレビューも丁寧にやってい…
RGFとは 中身 インストール 実行ファイルの入手 Perlのインストール Wrapperのインストール 多クラス分類に使ってみた 手早くチューニングしたいとき RGFとは RGFはランダムフォレストや勾配ブースティングのように多数の決定木(Forest)を使った分類/回帰の…
【機械学習】スタッキングのキホンを勉強したのでそのメモ - verilog書く人の続きです。 実践、モデルのバリデーションなどについてです 。
そもそもスタッキングとは 機械学習において、単一の学習器をそのまま使うのではなく、複数の学習器を組み合わせることで、予測エラーを小さくする手法をアンサンブル学習といいます。 アンサンブル(混合学習手法の)には複数の学習器の平均や多数決を取るvot…
環境：Windows 7 32bit Visual Studio 2010 Express Python 2.7 いろいろとショボい環境にてKaggle界のロトの剣ことXGboostを漸くインストールできましたのでメモ。 64bitの方がらくだと思います。 また、XGBOOSTはWindows 32bit環境では正式サポートはされ…
以前作ったChainerのラッパーであるPreTrainingChain chainerで気軽にスケールできる事前学習器付きニューラルネット生成 - verilog書く人 をscikit-learnの学習器ライクに使えるようにしたのとGridSearchに対応しました。
最近ちょいちょいニュースで見かけるようになったSOINN株式会社の機械学習アルゴリズムSOINNを試しました。 コードはこちらのtrain_mnist.pyです SOINNとはSelf-Organizing Incremental Neural Network（自己増殖型ニューラルネットワーク)の略で、クラスタ…
「できらあ！！」 「え！！同じデータ構造をPythonで！？」 というわけでJavaのTreesetに当たるデータ構造がPythonで欲しくなったので、自分で実装してみました。 treeset.pyをコピーして使ってください。 Treesetはsetのように、重複が存在しないデータ集合…
chainerで遊んでいてつまづいたところのメモ。 インストール編、動作速度編、ランタイムエラー編、動作するけど学習結果がうまくいかないよ編の四つです。
のためのコードを書きました。 やりたいこと 1.スケーラブル/コンフィギュラブルなニューラルネット生成 ニューラルネットでは難しい問題を解かせるためには中間層の数を増やす必要があります、 chainerでは普通は↓こんな風にハードコーディングして層を増や…
raspberry Pi2を最近いじっているのですが、GPIOピンからクロックをチップに供給したいことがありました。 そのためには、例えばGPIOピン5を通常の入出力ではなく、ALT0 (alternative function 0)に設定する必要があります。 他にもクロック出力を設定できる…
Pythonでは標準出力(いわゆるprint関数の中に入れると文字がコンソールに出ちゃう奴)の出力先をファイルに変える(=リダイレクトする)のも簡単だ。 <a href="http://d.hatena.ne.jp/FGtatsuro/20110120/1295540221" data-…
以前から気になっていたshtaxxx氏作Veriloggenを実際に使ってみた。 これは…熱い！ <a href="https://github.com/shtaxxx/veriloggen" data-mce-href="https://github.com/shtaxxx/veriloggen">shtaxxx/veriloggen</a>
pyverilog_toolboxにverilog向けコードメトリクス算出機能をリリースしました。 <a href="https://github.com/fukatani/Pyverilog_toolbox/blob/master/pyverilog_toolbox/docs/metrics.md" data-mce-href="https://github.com/fukatani/Pyverilog_toolbox/blob/master/pyverilog_toolbox/docs/metrics.md">fukatani/Pyverilog_toolbox</a> モジュール/ファン…
