この記事は自然言語処理 Advent Calendar 2017の19日目の記事です。

概要

• （隠れ）セミマルコフモデルの前向き・後ろ向き確率のアンダーフローを防ぐ

概要

• Face Alignment at 3000 FPS via Regressing Local Binary Featuresを読んだ
• C++で実装した

概要

• Chainerのモデル定義クラスを新たに作った

概要

• Training RNNs as Fast as CNNsを読んだ
• Simple Recurrent Unitを実装した

概要

• Inducing Word and Part-of-Speech with Pitman-Yor Hidden Semi-Markov Modelsを読んだ
• C++で実装した

概要

• Inferring State Sequences for Non-linear Systems with Embedded Hidden Markov Modelsを読んだ
• C++で実装した

概要

• Chainerの小ネタ

概要

• Connectionist Temporal Classificationを読んだ
• 利用する際の注意点など

概要

• Quasi-Recurrent Neural Networksを読んだ
• Chainerで実装した

概要

• ガウス過程に基づく連続空間トピックモデルを読んだ
• C++で実装した
• Doc2Vecとの比較など

概要

• BEGAN: Boundary Equilibrium Generative Adversarial Networksを読んだ
• Chainerで実装した

概要

• NPYLMの小ネタ

概要

• ChainerでPixel Shufflerを実装した

概要

• Learning Discrete Representations via Information Maximizing Self Augmented Trainingを読んだ
• Chainerで実装した

概要

• 無限木構造隠れMarkovモデルによる階層的品詞の教師なし学習を読んだ
• C++で実装した

概要

• Least Squares Generative Adversarial Networksを読んだ
• Chainerで実装した

概要

• The Infinite Hidden Markov Modelを読んだ
• C++で実装した

概要

• Wasserstein GANを読んだ
• Chainerで実装した

概要

• Unrolled Generative Adversarial Networksを読んだ
• Chainerで実装した

概要

• A Fully Bayesian Approach to Unsupervised Part-of-Speech Taggingを読んだ
• C++で実装しPythonのラッパーを作った
• 日本語・英語のデータセットで教師なし品詞推定の実験を行った

概要

• NPYLMでワードクラウドを作る

概要

• 様々なモデルでMNISTの半教師あり学習（10ラベル）を行った

概要

• Improved Techniques for Training GANsを読んだ
• Chainer 1.18で実装した
• アニメ顔画像を学習させた
• MNISTの半教師あり学習を実験した

概要

• ベイズ階層言語モデルによる教師なし形態素解析を読んだ
• NPYLMの実装方法の解説

概要

• Distributional Smoothing with Virtual Adversarial Trainingを読んだ
• Chainer 1.18で実装した

概要

• Chainerのネットワーク構造をKerasのように書きたい
• 構造を保存したい

概要

• Categorical Reparameterization with Gumbel-Softmax を読んだ
• Auxiliary Deep Generative Modelsに組み込んで実験した

概要

• Deep Directed Generative Models with Energy-Based Probability Estimation を読んだ
• Chainer 1.17で実装した

概要

• Weight Normalization: A Simple Reparameterization to Accelerate Training of Deep Neural Networksを読んだ
• Chainer 1.17で実装した（→GitHub）

概要

• Pitman-Yor言語モデルのハイパーパラメータのサンプリングにおける更新式の詳細な導出について

概要

• WaveNet: A Generative Model for Raw Audio を読んだ
• Chainer 1.12で実装した

概要

• Auxiliary Deep Generative Models を読んだ
• Chainer 1.12でADGMとSDGMを実装した

概要

• 仮想ビデオデバイスを作るためのカーネルモジュールv4l2loopbackを入れる

概要

• NVIDIA SHIELD Android TVにUbuntu 14.04を入れた
• Chainerを動かしてみた
• 2万円でJetson TX1とほぼ同等な開発環境を構築した

概要

• Adversarial Autoencoders を読んだ
• Chainer 1.12で実装した

概要

• Pitman-Yor過程に基づく可変長n-gram言語モデル を読んだ
• C++でVPYLMを実装した

概要

• A Hierarchical Bayesian Language Model based on Pitman-Yor Processes を読んだ
• A Bayesian Interpretation of Interpolated Kneser-Ney を読んだ
• C++でHPYLMを実装した

概要

• Semi-Supervised Learning with Deep Generative Models を読んだ
• Chainer 1.8で実装した
• モデルM1、M2、M1+M2の実装方法の解説
• モデルM2で100ラベルのエラー率9%を達成した
• モデルM1+M2で100ラベルのエラー率4%を達成した

概要

• Auto-Encoding Variational Bayes を読んだ

概要

• ChainerのEmbedIDを拡張した
• コサイン類似度をもとに埋め込みベクトルから単語IDを求める

概要

• LSTMに日本語の文章を学習させた
• LSTMでミニバッチ学習をするための実装の紹介

概要

• Dueling Network Architectures for Deep Reinforcement Learning を読んだ
• Double DQNにDueling Networkを組み込んだ
• DQN・Double DQNと比較した

概要

• n次元ベクトルのVariableにone-hotなラベルベクトルのVariableを付加する方法
• 追記あり

概要

• Deep Reinforcement Learning with Double Q-learning を読んだ
• Double DQNをChainerで実装した
• DQNと比較した

概要

• Human-level control through deep reinforcement learning を読んだ
• Deep Q-Network（DQN）をChainerで実装した

概要

• Adversarial Autoencoders を読んだ
• Chainerで実装した