グレンジャー因果検定について

概要 仕事でグレンジャー因果検定を使う機会があったので、グレンジャー因果検定について勉強したことを記載します。また、statsmodelsのAPIを使い、株式データを使って簡単な検定をしてみました。 概要 グレンジャー因果検定 考え方 ARモデル(自己回帰モデ…

確率予測とCalibrationについて

概要 確率予測とCalibration(キャリブレーション)に関する勉強会に参加したので、学んだことの一部と、自分で調べてみたことについてまとめました。 概要 Calibrationとは Calibration Curve Calibrationの方法 Sigmoid / Platt Scale Isotonic Regression …

画像の半教師あり学習について整理した

概要 勉強会で画像の半教師あり学習について取り上げられるたびに、あれ、これ似たやつなかったっけ?と混乱するので、整理してみました。同じような内容のネット記事や資料はありますが、自分のために記載します。 概要 半教師あり学習とは MixMatch MixUp …

kaggleで強化学習をやってみた

概要 現在、kaggle に Connect X という強化学習の Getting Started コンペ があります。このコンペを通じて強化学習を少し勉強したので、その内容を記載したいと思います。こちらの書籍をもとに強化学習について理解したことと、Connect Xコンペでの実装を…

Kaggle Google QUEST Q&A コンペ 振り返り

はじめに Kaggleで開催されていた Google QUEST Q&A Labeling Competition 、通称 QUEST コンペ、QA コンペに参加したので、コンペの概要を記載します。また、このコンペで、 78位 / 1579チーム中でギリギリ銀メダルを獲得できたので、取り組んだことを記載…

自然言語処理におけるEmbeddingの方法一覧とサンプルコード

NLP

概要 自然言語処理における単語や文章のEmbeddingの方法を勉強したので概要を記載しました。 また、学習済みモデルからEmbeddingベクトルを取得するサンプルソースコードも一部記載しました。 概要 Word2vec fastText GloVe Skip-thought SCDV USE ELMo BERT…

すぐに試せる日本語BERTのDocker Imageを作ってみた

NLP

はじめに 学習済みBERTを試しに触ってみたいんだけど、日本語使えるBERTの環境整えるの面倒!っていう人向けに、お試しでBERTを使える Docker Image 作ってみました。BERT はTransformers(旧pytorch-transformers、旧pytorch-pretrained-bert) を使用。 黒橋…

Kaggle 雲コンペ 反省録

はじめに Kaggle で Understanding Clouds from Satellite Images Competition、通称、雲コンペに参加しました。9月5日の First Sub からコンペ終了11月18日(GMT) までの約3ヶ月、真剣に取り組んだのですが 130位/1553で銅という辛い結果でした。次に繋げた…

なぜ疑似ラベルが効果的か調べてみた

はじめに なぜ疑似ラベル ( Pseudo-Label ) が効果的かを知るために、「Pseudo-Label : The Simple and Efficient Semi-Supervised Learning Method for Deep Neural Networks」を読んだので、内容を記載します。http://deeplearning.net/wp-content/uploads…

推薦のアルゴリズムを調べた

はじめに 基本的な推薦のアルゴリズムについて勉強しました。「推薦システム: 統計的機械学習の理論と実践」を参考に、一部ピックアップして、要点を記載しました。Pythonで実装する場合、使えそうなライブラリも一緒に記載しています。www.kyoritsu-pub.co.…

画像認識でよく使われるライブラリ一覧

概要 画像コンペ初参加につき、画像認識でよく使われているライブラリを調べました。 言語はPython、ディープラーニング関連はPyTorchに限って記載してます。 今後も便利なライブラリを見つけ次第、追記していきますφ(・ω・ ) 概要 画像処理全般 OpenCV Pill…