よしだのブログ

サブタイトルはありません。

IT、プログラミング

AWS への Billing DDoS攻撃について。有効な対策はなさそう。

Billing DDoS攻撃とは、よしだの造語です。データ転送やリクエスト数に課金されるAWSサービスへ DDoS 攻撃を受けると、サービスはダウンしないかもしれません。でも、インターネットにエンドポイントを持つサービスの多くが、データ転送量やリクエスト数に対…

Amazon CloudSearch 用 deleteByQuery を書きました。

どうも!だいぶ間が空きました。。 Amazon CloudSearch で色々やっていると、まとめてドキュメントを削除したくなることってありませんか?例えば、ドメインを削除せずに、ドキュメントだけ全て消したい、など。ドメインを作り直すのが確実ではあるのですが…

Maven の jar の依存関係のリストを作る。

どうも!Apache ManifoldCF で Amazon CloudSearch のコネクターを作っているのですが、先日記事にしたテキスト展開ライブラリの Apache Tika を組み込むにあたって、依存する jar ファイルの一覧を作る必要がでてきました。というわけで、今日は Maven から…

勉強会メモ - 第21回 AWS User Group - Japan 東京勉強会

どうも!JAWS の勉強会に参加してきましたのでメモを公開します。 今回のテーマは「Startup CTO AWS Battle」。これだけの数のスタートアップの話を、5分とはいえ、一度に聞けるのはかなり貴重でした。登壇者のCTOの皆様、ありがとうございました。あと、か…

Apache Tika で "なんでもファイル展開" してみる。

どうも!最近、色々といじっている Apache ManifoldCF ですが、その中で Apache Tika を使用しています。Apache Tika とは、word や excel などのバイナリーファイルから、メタデータや本文を抽出することができる便利ライブラリです。一般に検索エンジンが…

Amazon でしゃべらせて頂きました!

どうも!去る15日木曜日に Amazon でしゃべらせていただきました。誘っていただいた、篠原さん、大須賀さん、CloudSearch の開発チームの皆さん、お越しいただいた皆様、とても楽しかったです。 以下、スライドです。 ちょっと足りなかったもの。 グルーピ…

Amazon CloudSearch どうもすいませんでした。レンジファセットは可能です!

どうも! 今日は、謝らなければいけません。以前のエントリー Amazon CloudSearch インプレッション - よしだのブログ で、Amazon CloudSearch は数値や日付のレンジでのファセット検索ができない、と記載しましたが間違いであることがわかりました。。 訂正…

Amazon CloudSearch インプレッション

追記:5/11 ファセットをレンジで絞り込むことは可能です。確認不足でした。Amazon CloudSearch どうもすいませんでした。レンジファセットは可能です! - よしだのブログ どうも! Amazon CloudSearch 関連のエントリを連投しています。これは、調査で作っ…

名刺を作った

どうも!Amazon のセミナーで個人的に発表させていただくこととなったので、名刺をかの有名な前川企画印刷にお願いして、作成しました。モザイクがかかっているところは、本名とメールアドレスです。知りたい方がいらっしゃれば、是非セミナーにお越しくださ…

ManifoldCF in Action がフリーで公開!

どうも!データを収集して、Solrなど検索エンジンに送信するコネクター、もしくはスパイダーのオープンソース、Apache ManifoldCF の本、「ManifoldCF in Action」がオンラインで公開されました。フリーです!英語ですが。 https://manifoldcfinaction.googl…

実家から帰ってきたら NAS のハードディスクが壊れていた

どうも!実家に帰っていたので、久しぶりの投稿です。 先ほど実家から自宅に帰ってきました。今回は、子供を二人連れての初めての帰省でした。2歳のイヤイヤ期真っ最中の子供を連れて、飛行機に乗るのはなかなかしんどかった〜。。。自宅から羽田までの移動…

5月15日に、Amazon CloudSearch ネタでしゃべることになりました!

どうも! 先日より、Amazon CloudSearch を色々といじっていたら、Amazon で喋らせていただく機会をいただくことが出来ました。時間は20分と、いわゆる LT になるのですが、デモなども盛り込みたいと思っています。 また、Apache Solr の contributor で、…

Elasticsearch の日付検索を検証

どうも!昨日に引き続き Elasticsearch の入門ネタです。 以前の記事で書きましたが、検索エンジンである Apache Solr では日付の扱いが上手く行かず、実プロジェクトで痛い目にあったことがありました。Solr の場合、日付は UTC でしか扱うことができない、…

Elasticsearch キックスタート!

どうも!昨日、Elasticsearch*1の勉強会に行ったし、いい加減やり始めました。日本語破綻(笑)。 参考:勉強会メモ - 第4回elasticsearch勉強会 2014/04/21 - よしだのブログ 早速の感想から。Elasticsearch は全てのインターフェースをRESTで固めています…

勉強会メモ - 第4回elasticsearch勉強会 2014/04/21

どうも!Elasticsearch の勉強会に参加しました。勉強会メモです。上の写真は勉強会でのいただきものです。ステッカーげっと(笑)。その場で、MacBook Air に貼りました(笑)。 追記:早速 ES にトライしました。こちらもどうぞ! Elasticsearch キックス…

ニコニコ大百科でCloudSearchの日本語精度を探ってみる。

どうも!Amazon CloudSearch の日本語の精度はどの程度なのか軽く検証してみました。データはニコニコ大百科です。 追記 4/24:5月15日に、Amazon CloudSearch ネタでしゃべることになりました! - よしだのブログ 手順 1.ニコニコ大百科のデータを入手し…

Amazon Route53 で、はてなブログに独自ドメインを設定する

どうも!AWS を使っているのですが、いちいち IP を毎回入力するのも面倒くさかったので、独自ドメインを取ることにしました。そこで、レコードを追加すればブログに独自ドメインを設定できるんじゃね?ということでやってみました。 ちなみにかかった費用と…

勉強会メモ - 第20回 AWS User Group - Japan 東京勉強会

どうも!今日は JAWSUG の勉強会に参加しています。というわけで、メモです。アップデートしました。 http://jawsug-tokyo.doorkeeper.jp/events/10139 Update と AWS Summit @SF まとめスライド: Aws update jawstokyo-public R3インスタンス追加。メモリ最…

Pull Request 後の顛末

どうも!間が開いてしまいました。 前回の記事、Apache ManifoldCF の Amazon CloudSearch 用コネクター書いた! - よしだのブログ で、人生初のプルリクを投げましたが、その後の続きを書いてみようと思います。今後、Apache 系の OSS に参加、コントリビュ…

Apache ManifoldCF の Amazon CloudSearch 用コネクター書いた!

どうも! 先日、日本語対応された Amazon CloudSearch ですが、クロールする機能が全くありません。そこで、汎用コネクターフレームワークである ManifoldCF に Amazon CloudSearch 用のコネクターを書いてみました! そして、人生初のプルリクエスト送信!…

GitHub上の Apache ManifoldCF を、eclipse でビルドするまでの手順

eclipse のバージョンは Kepler を前提とします。 追記 4/9: プロジェクトのインポートとビルドの順番を逆にして、ビルドを先にやるように修正しました。ビルドを先にやると jar へのクラスパスまで自動で通ります。 forkする GitHub上で fork します。 git …

オープンソースに参加しようとした時に感じた GitHub の良さ。

どうも! 前回書いた、CloudSearch を触ったついでに Apache ManifoldCF に CloudSearch 用のモジュールを思い立って追加してみようと思って四苦八苦しています。*1 関連:祝!日本語対応 Amazon CloudSearch をさわってみた。 - よしだのブログ せっかくな…

祝!日本語対応 Amazon CloudSearch をさわってみた。

どうも!先日、Amazon から CloudSearch の日本語化対応が発表されました。これは触らなければ!ということで、ざっと触った感じをメモします。今日は、あんまりまとまっていませんが参考になれば。 Amazon Web Services ブログ: 【AWS発表】Amazon CloudSea…

Cloudera Search で実現できる検索方式3パターン

どうも!昨日のユーザーガイドの意訳から、Cloudera Search で可能な検索方式を整理しました。 関連:オレオレ意訳。Cloudera Search ユーザーガイド / Introducing Cloudera Searcn - よしだのブログ 検索方式3パターン User Guide のイントロダクションを…

オレオレ意訳。Cloudera Search ユーザーガイド / Introducing Cloudera Searcn

どうも!Cloudera Search を調べてますが、その続きです。 関連:(Hadoop/Cloudera) Cloudera Search のセットアップ - よしだのブログ 今日のお題は User Guide のイントロを意訳すること。 前回は Cloudera Search のインストール〜セットアップまでやりま…

Immutable Infrastructure とは?

15日(土)に Amazon AWS の日本ユーザー会(JAWS)によるフォーラム、JAWS DAYS 2014 に参加してきました。その中でも特に盛り上がっていたトラックの キーワード Immutable Infrastructure について、自分用に簡単にまとめたものを公開します。長文なので、…

Windows 向けパッケージ管理ツール「Chocolatey」を使ってみた。

どうも!今日はEC2から離れて、Chocolatey というなんともファンシーな名前のツールを使ってみたのでメモ。 Chocolatey http://chocolatey.org/ どんなツール? windows向けのパッケージ管理ツールです。Linuxが分かる人には、 apt-get / yum みたいなもん、…

JAWS DAYS 2014 レポート

JAWS DAYS 2014 JAWS DAYS 2014に来ています。半リアルタイムレポートします。感想や推敲は、また別途行ってエントリーを起こす予定です。 関連エントリ:Immutable Infrastructure とは? - よしだのブログ What Would OFA do Now? Miles Ward[Amazon Web S…

(Hadoop/Cloudera) Cloudera Search のセットアップ

どうも!今日は、EC2 からちょっと離れ、Hadoop + Solr のコンビネーションである、Cloudera Search のセットアップについてです。本当はこっちが本題。 Cloudera Search なんですが、Hadoop + Solr*1はもちろん、Flume*2など話題のコンポーネントを一度にセ…

(AWS/EC2) Cloudera のインストールの時はセキュリティグループに VPC default を追加するといい感じ。

どうも!今日も、EC2 とイチャイチャしていました。 先日から、EC2 に Cloudera Search をインストールしようとトライしているところです。が、Qiita の記事やマニュアル通りにやると、なぜかインストールウィザードのハートビートを確認するところでエラー…

(AWS/EC2) t1.micro はすごくメモリが少ない・・・!!

どうも! 今日は、EC2 に Cloudera をインストールする作業トライしています。いきなりインストール作業に引っかかってしまったのでメモを残しておきます。先に結論をいうと、t1.microにはインストールできないと思っていたほうがいいようです。 作業メモ cl…

パワポの大量のオブジェクトとアニメーションの管理が楽になる方法!

どうも!みなさん、PowerPointは好きですか?私は大嫌いです! eラーニングのコンテンツをパワポで作ることが多いのですが、大量のオブジェクトとアニメーションの嵐で、ヘタすると編集で氏ねます。例えば、一つ画像を張りかえるだけでも、いくつものオブジ…

【追記あり】(AWS/EC2) UserDataを使って、自動でイントラからSSHログインできるインスタンスを作る!

どうも! 前回の記事では、EC2 でインスタンスを作った時、イントラからそのままではアクセス出来ないことがわかり、対処法の1つを記載しました。それなら、ユーザーデータを使って、自動的にその作業を出来ないかと試してみました。 結論としては、今のと…

(AWS/EC2) ポート22での接続が禁止されているイントラから EC2 インスタンスにSSH接続する

どうも! 今日も技術ネタ&AWS EC2 入門です。まあ、厳密には EC2 関係ないんですけどね。 追記 このエントリの作業内容を EC2 の User Data という機能を使って、自動で行うことができます。詳しくは以下のエントリから。 【追記あり】(AWS/EC2) UserDataを…

AWS EC2 調査③:実プロジェクトの開発環境をAWSで運用した場合、いくら掛かるか計算してみた。

どうも!いつもの、AWS入門シリーズです。 今回は、現在開発中の実プロジェクトでレンタルしているサーバーのレンタル費と、AWS で同様の環境を作った場合の見積もりを比較してみました。一般的にも、実際の本番システムと比べ、開発環境はずいぶんシンプル…

AWS EC2 調査②: ユーザーガイド読経~その2~

ども。EC2のユーザーガイドを読んでいます。メモの第二弾です。 色々と便利なんだけど、オンプレミスでサーバーを持つ場合と比較して本当に安いのかがよくわからなくなったきました。実際に使ってみるか、もしくは、過去に開発したシステムの事例で持って、…

iPad Safari + javascript でプルダウンの値を変更できない(解決!)

ども。今日は技術ネタ。 未解決なので、解決したら更新しようと思います。 ※解決しました!&追記しました。 iPad Safari でプルダウンの値を javascript で変更しようとしたのですが、何故かうまく設定できない現象があり、はまっています。 要件 プルダウ…

AWS EC2 調査メモ①:ユーザーガイド読経 ~その1~

AWS 上に Solr を構成したいと思い立って、EC2 のユーザーガイドを読みながら触っているところです。以下、ユーザーガイドからのメモ書き。 Amazon EC2 とは - Amazon Elastic Compute Cloud メモ書き EC2の起動からSSHログインが出来る状態まで実際に構築。…

入門!ドメイン駆動設計(今更かい!)

ホットエントリに上がっているドメイン駆動設計ですがなかなか手を付けられずにいたテーマでした。 Developers Summit 2014 で「Play2/Scalaでドメイン駆動設計を利用した大規模Webアプリケーションのスクラム開発の勘所」という内容で発表してきました - si…

CPU監視について、下がった場合の監視も必要。

お客様から、サーバーのCPUの使用率が通常より低下しているという連絡が来て、調べてみたらプロセスが落ちていたことが判明しました。幸いにも二重化していたし、プロセスの再起動で簡単に復旧しました。 今日は、システム監視の教訓の話です。 理想は ”いつ…

継続案件にはテストケースの管理とメンテナンスが大事。もしくは、デグレで寸前の炎上の話。

タイトルの後半は釣り。 テストケースはメンテが大事だけど、メンテ難しいよね? テストケースをメンテナンスしたり、管理するのは継続プロジェクトにとっては重要。当たり前なので、いちいち言うのもあれなんですが、機能追加だったり改修だったりが入って…

chrome で UA を切り替える方法、または console drawer が表示出来ない場合の対処方法。

Google Chrome で UA を切り替えて、テストや開発をすることってよくあるのですが、新バージョンになってから切り替え方が変わっていたのでメモ。 私の環境では、console drawer という設定を変えるためのサブウインドウを開くのにハマったのでメモしておき…

荷物の追跡番号をゲットする方法

社内でECサイトの構築パッケージの紹介を聞いていて、ふと気になったのでちょっと調べてみました。 大体ECサイトのパッケージなんかには、画面だとか商品管理だとかは付いているんだけど、決済だとか、配送だとか、外部のシステムと連携する部分がついていま…

いいひとであることって大事よね・・ - 書評『超情報化社会におけるサバイバル術 「いいひと」戦略』

『超情報化社会におけるサバイバル術 「いいひと」戦略』を読みました。 超情報化社会におけるサバイバル術 「いいひと」戦略 増補改訂版作者: 岡田斗司夫 FREEex出版社/メーカー: マガジンハウス発売日: 2013/05/23メディア: 単行本(ソフトカバー)この商…

残念なUXとペルソナ

髭剃りの充電器がすごく残念だった。先に言っておくと、それ意外については素晴らしい製品です。切れ味も、掃除のしやすさも、電池の持ちも最高。朝の忙しい時間の、髭剃り時間の短縮に繋がって本当に嬉しい。最高なだけに充電だけがものすごく残念。。 (画…

git clone コマンドが何故か進まない。

今日もプログラムネタ。IRCサーバーを社内にトライアル導入して布教中ですが、導入のハードルを下げるために WebIRC(http://github.com/yuanying/WebIRC.git)を試してみました。で、インストールの手順で git を使って clone して、という手順があるのですが…

ant で JUnit のテスト結果をHTMLで出力する

前回の続きです~。 [java] ant の junit でテストクラスの ClassNotFoundException が出る場合の対処法。 - よしだのブログant で JUnit を回せるようになると、今度はテストの履歴を残すようにしたくなりますよね?というわけで、テスト結果をHTMLで吐き出…

今年買ってよかったものは iPad mini というか、電子書籍リーダー。

今週のお題「2013年に買って良かったもの」ということで、投稿。 私の今年買ってよかったものナンバー1は、iPad mini です!というか、厳密には電子書籍リーダーです。 iPad mini を買ったきっかけ。vs Nexus 7 買ったのは今年の1月ごろかな?販売された後…

[java] ant の junit でテストクラスの ClassNotFoundException が出る場合の対処法。

今日は技術ネタ。 #コードを貼ると、デザインが崩れたのでテーマを戻しました。。junit の実行ログを取るために、ant で実行するように build.xml を書いていたのですが、実行時にテストクラスそのものに対して、ClassNotFoundException が出てましたので、…

オバマ大統領の”プログラミング”発言について

読んだー。和訳です。 米大統領「全ての人よ、プログラミングを!」 | Life is Tech!(ライフイズテック) 一体、アメリカの大統領がわざわざ何を言いたいんだろうなというのが正直な個人的な感想。どこを向いてしゃべっているんだろうか?アメリカのIT業界…