読者です 読者をやめる 読者になる 読者になる

よしだのブログ

サブタイトルはありません。

書評 - 実践 機械学習 レコメンデーションにおけるイノベーション

どうも!久しぶりに書評にチャレンジしてみます。今回は e-Book の「実践 機械学習 レコメンデーションにおけるイノベーション」です。フリーで読めます。ダウンロードは以下から。 http://www.hadoop-times.com/technology/pdf-practical-machine-learning.…

Java のアプリを、Windowsでサービス化する

どうも!最近プロジェクトが始まって忙しく過ごしています。そのプロジェクトで使用する予定の OS が Windows なのですが、その関連で Solr と Zookeeper をサービス化する方法を調べました。*1 結論としては、nssm というツールで、かなり簡単に実現するこ…

機械学習ライブラリのアルゴリズム一覧 - 勉強メモ - 機械学習

Apache Mahout https://mahout.apache.org/ - Hadoop MapReduce で稼働するライブラリ - 次バージョンからは Spark で、とのこと。 - バージョンは 0.9 アルゴリズム https://mahout.apache.org/users/basics/algorithms.html レコメンデーション 協調フィル…

勉強メモ - パターン認識 - その1

ども!ご無沙汰しております。最近、機械学習の勉強をはじめました。その最初の入口として、パターン認識を勉強しています。今回は勉強メモを公開しようと思います。なお、裏テーマは数学の分からないエンジニアでもわかる機械学習です。 勉強中なので、間違…

勉強会メモ -【東京】JJUG ナイトセミナー 「6.11 ドメイン駆動設計特集! 」

どうも!今日も勉強会に来ています。初めての JJUG ですが、かなり面白いです。 DDD本、読まなきゃーー。。。 感想 実際に使うにあたって、何が重要か?何に気を付けなければいけないか?をたくさん聞くことができてかなり有用性の高い公演だったと思います…

AWS Certified Solutions Architect - Associate 合格しました!

どうも!AWS 認定のソリューションアーキテクト・アソシエイトレベルに合格しました。やったね!*1というわけで、感想を書いておきます。 基本的な対策は様々なブログで書いてあるので、そちらをご参考にしていただければと思います。基本的には、以下のサイ…

AWS への Billing DDoS攻撃について。有効な対策はなさそう。

Billing DDoS攻撃とは、よしだの造語です。データ転送やリクエスト数に課金されるAWSサービスへ DDoS 攻撃を受けると、サービスはダウンしないかもしれません。でも、インターネットにエンドポイントを持つサービスの多くが、データ転送量やリクエスト数に対…

Amazon CloudSearch 用 deleteByQuery を書きました。

どうも!だいぶ間が空きました。。 Amazon CloudSearch で色々やっていると、まとめてドキュメントを削除したくなることってありませんか?例えば、ドメインを削除せずに、ドキュメントだけ全て消したい、など。ドメインを作り直すのが確実ではあるのですが…

Maven の jar の依存関係のリストを作る。

どうも!Apache ManifoldCF で Amazon CloudSearch のコネクターを作っているのですが、先日記事にしたテキスト展開ライブラリの Apache Tika を組み込むにあたって、依存する jar ファイルの一覧を作る必要がでてきました。というわけで、今日は Maven から…

勉強会メモ - 第21回 AWS User Group - Japan 東京勉強会

どうも!JAWS の勉強会に参加してきましたのでメモを公開します。 今回のテーマは「Startup CTO AWS Battle」。これだけの数のスタートアップの話を、5分とはいえ、一度に聞けるのはかなり貴重でした。登壇者のCTOの皆様、ありがとうございました。あと、か…

Apache Tika で "なんでもファイル展開" してみる。

どうも!最近、色々といじっている Apache ManifoldCF ですが、その中で Apache Tika を使用しています。Apache Tika とは、word や excel などのバイナリーファイルから、メタデータや本文を抽出することができる便利ライブラリです。一般に検索エンジンが…

Amazon でしゃべらせて頂きました!

どうも!去る15日木曜日に Amazon でしゃべらせていただきました。誘っていただいた、篠原さん、大須賀さん、CloudSearch の開発チームの皆さん、お越しいただいた皆様、とても楽しかったです。 以下、スライドです。 ちょっと足りなかったもの。 グルーピ…

Amazon CloudSearch どうもすいませんでした。レンジファセットは可能です!

どうも! 今日は、謝らなければいけません。以前のエントリー Amazon CloudSearch インプレッション - よしだのブログ で、Amazon CloudSearch は数値や日付のレンジでのファセット検索ができない、と記載しましたが間違いであることがわかりました。。 訂正…

Amazon CloudSearch インプレッション

追記:5/11 ファセットをレンジで絞り込むことは可能です。確認不足でした。Amazon CloudSearch どうもすいませんでした。レンジファセットは可能です! - よしだのブログ どうも! Amazon CloudSearch 関連のエントリを連投しています。これは、調査で作っ…

名刺を作った

どうも!Amazon のセミナーで個人的に発表させていただくこととなったので、名刺をかの有名な前川企画印刷にお願いして、作成しました。モザイクがかかっているところは、本名とメールアドレスです。知りたい方がいらっしゃれば、是非セミナーにお越しくださ…

ManifoldCF in Action がフリーで公開!

どうも!データを収集して、Solrなど検索エンジンに送信するコネクター、もしくはスパイダーのオープンソース、Apache ManifoldCF の本、「ManifoldCF in Action」がオンラインで公開されました。フリーです!英語ですが。 https://manifoldcfinaction.googl…

実家から帰ってきたら NAS のハードディスクが壊れていた

どうも!実家に帰っていたので、久しぶりの投稿です。 先ほど実家から自宅に帰ってきました。今回は、子供を二人連れての初めての帰省でした。2歳のイヤイヤ期真っ最中の子供を連れて、飛行機に乗るのはなかなかしんどかった〜。。。自宅から羽田までの移動…

5月15日に、Amazon CloudSearch ネタでしゃべることになりました!

どうも! 先日より、Amazon CloudSearch を色々といじっていたら、Amazon で喋らせていただく機会をいただくことが出来ました。時間は20分と、いわゆる LT になるのですが、デモなども盛り込みたいと思っています。 また、Apache Solr の contributor で、…

Elasticsearch の日付検索を検証

どうも!昨日に引き続き Elasticsearch の入門ネタです。 以前の記事で書きましたが、検索エンジンである Apache Solr では日付の扱いが上手く行かず、実プロジェクトで痛い目にあったことがありました。Solr の場合、日付は UTC でしか扱うことができない、…

Elasticsearch キックスタート!

どうも!昨日、Elasticsearch*1の勉強会に行ったし、いい加減やり始めました。日本語破綻(笑)。 参考:勉強会メモ - 第4回elasticsearch勉強会 2014/04/21 - よしだのブログ 早速の感想から。Elasticsearch は全てのインターフェースをRESTで固めています…

勉強会メモ - 第4回elasticsearch勉強会 2014/04/21

どうも!Elasticsearch の勉強会に参加しました。勉強会メモです。上の写真は勉強会でのいただきものです。ステッカーげっと(笑)。その場で、MacBook Air に貼りました(笑)。 追記:早速 ES にトライしました。こちらもどうぞ! Elasticsearch キックス…

ニコニコ大百科でCloudSearchの日本語精度を探ってみる。

どうも!Amazon CloudSearch の日本語の精度はどの程度なのか軽く検証してみました。データはニコニコ大百科です。 追記 4/24:5月15日に、Amazon CloudSearch ネタでしゃべることになりました! - よしだのブログ 手順 1.ニコニコ大百科のデータを入手し…

Amazon Route53 で、はてなブログに独自ドメインを設定する

どうも!AWS を使っているのですが、いちいち IP を毎回入力するのも面倒くさかったので、独自ドメインを取ることにしました。そこで、レコードを追加すればブログに独自ドメインを設定できるんじゃね?ということでやってみました。 ちなみにかかった費用と…

勉強会メモ - 第20回 AWS User Group - Japan 東京勉強会

どうも!今日は JAWSUG の勉強会に参加しています。というわけで、メモです。アップデートしました。 http://jawsug-tokyo.doorkeeper.jp/events/10139 Update と AWS Summit @SF まとめスライド: Aws update jawstokyo-public R3インスタンス追加。メモリ最…

Pull Request 後の顛末

どうも!間が開いてしまいました。 前回の記事、Apache ManifoldCF の Amazon CloudSearch 用コネクター書いた! - よしだのブログ で、人生初のプルリクを投げましたが、その後の続きを書いてみようと思います。今後、Apache 系の OSS に参加、コントリビュ…

Apache ManifoldCF の Amazon CloudSearch 用コネクター書いた!

どうも! 先日、日本語対応された Amazon CloudSearch ですが、クロールする機能が全くありません。そこで、汎用コネクターフレームワークである ManifoldCF に Amazon CloudSearch 用のコネクターを書いてみました! そして、人生初のプルリクエスト送信!…

GitHub上の Apache ManifoldCF を、eclipse でビルドするまでの手順

eclipse のバージョンは Kepler を前提とします。 追記 4/9: プロジェクトのインポートとビルドの順番を逆にして、ビルドを先にやるように修正しました。ビルドを先にやると jar へのクラスパスまで自動で通ります。 forkする GitHub上で fork します。 git …

オープンソースに参加しようとした時に感じた GitHub の良さ。

どうも! 前回書いた、CloudSearch を触ったついでに Apache ManifoldCF に CloudSearch 用のモジュールを思い立って追加してみようと思って四苦八苦しています。*1 関連:祝!日本語対応 Amazon CloudSearch をさわってみた。 - よしだのブログ せっかくな…

祝!日本語対応 Amazon CloudSearch をさわってみた。

どうも!先日、Amazon から CloudSearch の日本語化対応が発表されました。これは触らなければ!ということで、ざっと触った感じをメモします。今日は、あんまりまとまっていませんが参考になれば。 Amazon Web Services ブログ: 【AWS発表】Amazon CloudSea…

Cloudera Search で実現できる検索方式3パターン

どうも!昨日のユーザーガイドの意訳から、Cloudera Search で可能な検索方式を整理しました。 関連:オレオレ意訳。Cloudera Search ユーザーガイド / Introducing Cloudera Searcn - よしだのブログ 検索方式3パターン User Guide のイントロダクションを…

オレオレ意訳。Cloudera Search ユーザーガイド / Introducing Cloudera Searcn

どうも!Cloudera Search を調べてますが、その続きです。 関連:(Hadoop/Cloudera) Cloudera Search のセットアップ - よしだのブログ 今日のお題は User Guide のイントロを意訳すること。 前回は Cloudera Search のインストール〜セットアップまでやりま…

Immutable Infrastructure とは?

15日(土)に Amazon AWS の日本ユーザー会(JAWS)によるフォーラム、JAWS DAYS 2014 に参加してきました。その中でも特に盛り上がっていたトラックの キーワード Immutable Infrastructure について、自分用に簡単にまとめたものを公開します。長文なので、…

Windows 向けパッケージ管理ツール「Chocolatey」を使ってみた。

どうも!今日はEC2から離れて、Chocolatey というなんともファンシーな名前のツールを使ってみたのでメモ。 Chocolatey http://chocolatey.org/ どんなツール? windows向けのパッケージ管理ツールです。Linuxが分かる人には、 apt-get / yum みたいなもん、…

JAWS DAYS 2014 レポート

JAWS DAYS 2014 JAWS DAYS 2014に来ています。半リアルタイムレポートします。感想や推敲は、また別途行ってエントリーを起こす予定です。 関連エントリ:Immutable Infrastructure とは? - よしだのブログ What Would OFA do Now? Miles Ward[Amazon Web S…

(Hadoop/Cloudera) Cloudera Search のセットアップ

どうも!今日は、EC2 からちょっと離れ、Hadoop + Solr のコンビネーションである、Cloudera Search のセットアップについてです。本当はこっちが本題。 Cloudera Search なんですが、Hadoop + Solr*1はもちろん、Flume*2など話題のコンポーネントを一度にセ…

(AWS/EC2) Cloudera のインストールの時はセキュリティグループに VPC default を追加するといい感じ。

どうも!今日も、EC2 とイチャイチャしていました。 先日から、EC2 に Cloudera Search をインストールしようとトライしているところです。が、Qiita の記事やマニュアル通りにやると、なぜかインストールウィザードのハートビートを確認するところでエラー…

(AWS/EC2) t1.micro はすごくメモリが少ない・・・!!

どうも! 今日は、EC2 に Cloudera をインストールする作業トライしています。いきなりインストール作業に引っかかってしまったのでメモを残しておきます。先に結論をいうと、t1.microにはインストールできないと思っていたほうがいいようです。 作業メモ cl…

【追記あり】ワイプカメラ Panasonic W850M + ロードバイク は使えるか?

どうも!はてなの企画でお借りしてきた、ワイプカメラこと Panasonic W850M で動画を撮ってきました。今日は、動画と感想をアップしようと思います。 関連記事:ブロガーイベントに参加してきた! - 『サブカメラでワイプ撮りできる新ビデオカメラ、4週間お…

パワポの大量のオブジェクトとアニメーションの管理が楽になる方法!

どうも!みなさん、PowerPointは好きですか?私は大嫌いです! eラーニングのコンテンツをパワポで作ることが多いのですが、大量のオブジェクトとアニメーションの嵐で、ヘタすると編集で氏ねます。例えば、一つ画像を張りかえるだけでも、いくつものオブジ…

【追記あり】(AWS/EC2) UserDataを使って、自動でイントラからSSHログインできるインスタンスを作る!

どうも! 前回の記事では、EC2 でインスタンスを作った時、イントラからそのままではアクセス出来ないことがわかり、対処法の1つを記載しました。それなら、ユーザーデータを使って、自動的にその作業を出来ないかと試してみました。 結論としては、今のと…

(AWS/EC2) ポート22での接続が禁止されているイントラから EC2 インスタンスにSSH接続する

どうも! 今日も技術ネタ&AWS EC2 入門です。まあ、厳密には EC2 関係ないんですけどね。 追記 このエントリの作業内容を EC2 の User Data という機能を使って、自動で行うことができます。詳しくは以下のエントリから。 【追記あり】(AWS/EC2) UserDataを…

iTunesすげえ!と一瞬思ったけど、中途半端なコンプリート・マイ・アルバム。

どうも!久しぶりの日記です! 先日、勢いでこんなエントリーを上げた件の続きです。一応、前回の記事の補足ですが、決して!決して!BABYMETAL を叩いているわけではありません。崇拝してます!全て貧乏性な私が悪いのです! 新譜が安い?! 悩んだ末、安い…

AWS EC2 調査③:実プロジェクトの開発環境をAWSで運用した場合、いくら掛かるか計算してみた。

どうも!いつもの、AWS入門シリーズです。 今回は、現在開発中の実プロジェクトでレンタルしているサーバーのレンタル費と、AWS で同様の環境を作った場合の見積もりを比較してみました。一般的にも、実際の本番システムと比べ、開発環境はずいぶんシンプル…

AWS EC2 調査②: ユーザーガイド読経~その2~

ども。EC2のユーザーガイドを読んでいます。メモの第二弾です。 色々と便利なんだけど、オンプレミスでサーバーを持つ場合と比較して本当に安いのかがよくわからなくなったきました。実際に使ってみるか、もしくは、過去に開発したシステムの事例で持って、…

iPad Safari + javascript でプルダウンの値を変更できない(解決!)

ども。今日は技術ネタ。 未解決なので、解決したら更新しようと思います。 ※解決しました!&追記しました。 iPad Safari でプルダウンの値を javascript で変更しようとしたのですが、何故かうまく設定できない現象があり、はまっています。 要件 プルダウ…

ブロガーイベントに参加してきた! - 『サブカメラでワイプ撮りできる新ビデオカメラ、4週間お貸しします!』

どうも! 先日はてなで募集していた、ブロガーイベントに当選したので参加してきました。レビュー記事の投稿でディズニーペアチケットプレゼントだって!やったね! サブカメラでワイプ撮りできる新ビデオカメラ、4週間お貸しします! パナソニック「W850M」…

熱心なファンほど損をする不思議

ども。いつもありがとうございます。久しぶりに普通の日記です。 ところで、私はアイドルが好きです。メタルも好きです。いつものようにネットを徘徊していたら、大好きなアイドルのアルバムが出るというではありませんか!やったー!と思い、収録曲を眺めて…

AWS EC2 調査メモ①:ユーザーガイド読経 ~その1~

AWS 上に Solr を構成したいと思い立って、EC2 のユーザーガイドを読みながら触っているところです。以下、ユーザーガイドからのメモ書き。 Amazon EC2 とは - Amazon Elastic Compute Cloud メモ書き EC2の起動からSSHログインが出来る状態まで実際に構築。…

入門!ドメイン駆動設計(今更かい!)

ホットエントリに上がっているドメイン駆動設計ですがなかなか手を付けられずにいたテーマでした。 Developers Summit 2014 で「Play2/Scalaでドメイン駆動設計を利用した大規模Webアプリケーションのスクラム開発の勘所」という内容で発表してきました - si…

CPU監視について、下がった場合の監視も必要。

お客様から、サーバーのCPUの使用率が通常より低下しているという連絡が来て、調べてみたらプロセスが落ちていたことが判明しました。幸いにも二重化していたし、プロセスの再起動で簡単に復旧しました。 今日は、システム監視の教訓の話です。 理想は ”いつ…