読者です 読者をやめる 読者になる 読者になる

よしだのブログ

サブタイトルはありません。

Apache Spark 2.0 はスマホで動く?!

今年ぐっと来た エイプリルフールネタ。本気だと思って深夜に読んでしまいましたw 字が小さいよ! JIRA のチケットまであるから本気だと思ったわ! 昨日 4/1 エイプリルフールの日に Spark の開発主体である、databrics 社のブログで Apache Spark 2.0 の目指…

詳説 4 Tips of using Apache Spark (LT してきました!@ 第2回 Learning Spark 読書会)

こんばんは! 去る日曜日に行われました、Learning Spark 読書会にてお時間を頂いて LT をさせていただきました。手持ちの小ネタを集めたコネタ集的な LT でしたが、参考になったなどの感想いただき、とても嬉しかったです!また、ネタがまとまったら機会を…

Spark 1.2.0 を Amazon EMRで動かす。

どうも!今年の初エントリーです。今年もよろしくお願い致します。 今回は、Apache Spark 1.2.0 を Amazon EMR で動かしてみることに挑戦しました。Spark ではずっと遊んでいたんですが、MLLib をつかうのが目的だったので開発中はクラスタで動かすひつよう…

Elasticsearch と NewRelic の連携について (うまくいきませんでした。。)

これは Elasticsearch Advent Calendar 2014 - Qiita 、8日目の記事です。 Elasticsearch については、このブログや ES Advent Calendar を見ている方には不要かと思います。NewRelic とは、パフォーマンス監視サービスで、ユーザー登録を行い、サーバー上…

Amazon CloudSearch 値下げ! 2014年11月

どうも!Amazon CloudSearch が値下げされたようなので、内容をまとめてみました。 なお、内容の正誤については一切こちらでは保証しませんので、きちんとご自分でご確認くださいますようお願いします。 http://aws.amazon.com/jp/blogs/aws/cloudsearch-pri…

AWS EC2 東京リージョン vs GCP Google Computing Engine アジアリージョン: 仮想マシンのレイテンシー調査。

AWS の Tokyo リージョンに作った仮想マシンとと、GCP こと Google Cloud Platform の Asia リージョンに作った仮想マシンのレイテンシを比較しました。 AWS の Tokyo リージョンは 10ms ほど。さすがは国内DS。 Google も 45ms 程度と思ったほど遅くない。…

勉強会メモ - 第23回 AWS User Group - Japan 東京勉強会

今日は、久しぶりにAWSの勉強会に参加してきましたのでいつもどおり勉強メモをお送りします!今回のテーマは AWS の歴史を振り返る、でした。 Jeff & Ken & Hideki による、AWS振り返りスペシャル Jeff Barr さん、玉川さん、小島さん Jeff Barr さんは、チ…

AWS Certified Solutions Architect - Associate 合格しました!

どうも!AWS 認定のソリューションアーキテクト・アソシエイトレベルに合格しました。やったね!*1というわけで、感想を書いておきます。 基本的な対策は様々なブログで書いてあるので、そちらをご参考にしていただければと思います。基本的には、以下のサイ…

AWS への Billing DDoS攻撃について。有効な対策はなさそう。

Billing DDoS攻撃とは、よしだの造語です。データ転送やリクエスト数に課金されるAWSサービスへ DDoS 攻撃を受けると、サービスはダウンしないかもしれません。でも、インターネットにエンドポイントを持つサービスの多くが、データ転送量やリクエスト数に対…

Amazon CloudSearch 用 deleteByQuery を書きました。

どうも!だいぶ間が空きました。。 Amazon CloudSearch で色々やっていると、まとめてドキュメントを削除したくなることってありませんか?例えば、ドメインを削除せずに、ドキュメントだけ全て消したい、など。ドメインを作り直すのが確実ではあるのですが…

勉強会メモ - 第21回 AWS User Group - Japan 東京勉強会

どうも!JAWS の勉強会に参加してきましたのでメモを公開します。 今回のテーマは「Startup CTO AWS Battle」。これだけの数のスタートアップの話を、5分とはいえ、一度に聞けるのはかなり貴重でした。登壇者のCTOの皆様、ありがとうございました。あと、か…

Amazon でしゃべらせて頂きました!

どうも!去る15日木曜日に Amazon でしゃべらせていただきました。誘っていただいた、篠原さん、大須賀さん、CloudSearch の開発チームの皆さん、お越しいただいた皆様、とても楽しかったです。 以下、スライドです。 ちょっと足りなかったもの。 グルーピ…

Amazon CloudSearch どうもすいませんでした。レンジファセットは可能です!

どうも! 今日は、謝らなければいけません。以前のエントリー Amazon CloudSearch インプレッション - よしだのブログ で、Amazon CloudSearch は数値や日付のレンジでのファセット検索ができない、と記載しましたが間違いであることがわかりました。。 訂正…

Amazon CloudSearch インプレッション

追記:5/11 ファセットをレンジで絞り込むことは可能です。確認不足でした。Amazon CloudSearch どうもすいませんでした。レンジファセットは可能です! - よしだのブログ どうも! Amazon CloudSearch 関連のエントリを連投しています。これは、調査で作っ…

5月15日に、Amazon CloudSearch ネタでしゃべることになりました!

どうも! 先日より、Amazon CloudSearch を色々といじっていたら、Amazon で喋らせていただく機会をいただくことが出来ました。時間は20分と、いわゆる LT になるのですが、デモなども盛り込みたいと思っています。 また、Apache Solr の contributor で、…

ニコニコ大百科でCloudSearchの日本語精度を探ってみる。

どうも!Amazon CloudSearch の日本語の精度はどの程度なのか軽く検証してみました。データはニコニコ大百科です。 追記 4/24:5月15日に、Amazon CloudSearch ネタでしゃべることになりました! - よしだのブログ 手順 1.ニコニコ大百科のデータを入手し…

Amazon Route53 で、はてなブログに独自ドメインを設定する

どうも!AWS を使っているのですが、いちいち IP を毎回入力するのも面倒くさかったので、独自ドメインを取ることにしました。そこで、レコードを追加すればブログに独自ドメインを設定できるんじゃね?ということでやってみました。 ちなみにかかった費用と…

勉強会メモ - 第20回 AWS User Group - Japan 東京勉強会

どうも!今日は JAWSUG の勉強会に参加しています。というわけで、メモです。アップデートしました。 http://jawsug-tokyo.doorkeeper.jp/events/10139 Update と AWS Summit @SF まとめスライド: Aws update jawstokyo-public R3インスタンス追加。メモリ最…

Apache ManifoldCF の Amazon CloudSearch 用コネクター書いた!

どうも! 先日、日本語対応された Amazon CloudSearch ですが、クロールする機能が全くありません。そこで、汎用コネクターフレームワークである ManifoldCF に Amazon CloudSearch 用のコネクターを書いてみました! そして、人生初のプルリクエスト送信!…

祝!日本語対応 Amazon CloudSearch をさわってみた。

どうも!先日、Amazon から CloudSearch の日本語化対応が発表されました。これは触らなければ!ということで、ざっと触った感じをメモします。今日は、あんまりまとまっていませんが参考になれば。 Amazon Web Services ブログ: 【AWS発表】Amazon CloudSea…

Cloudera Search で実現できる検索方式3パターン

どうも!昨日のユーザーガイドの意訳から、Cloudera Search で可能な検索方式を整理しました。 関連:オレオレ意訳。Cloudera Search ユーザーガイド / Introducing Cloudera Searcn - よしだのブログ 検索方式3パターン User Guide のイントロダクションを…

Immutable Infrastructure とは?

15日(土)に Amazon AWS の日本ユーザー会(JAWS)によるフォーラム、JAWS DAYS 2014 に参加してきました。その中でも特に盛り上がっていたトラックの キーワード Immutable Infrastructure について、自分用に簡単にまとめたものを公開します。長文なので、…

JAWS DAYS 2014 レポート

JAWS DAYS 2014 JAWS DAYS 2014に来ています。半リアルタイムレポートします。感想や推敲は、また別途行ってエントリーを起こす予定です。 関連エントリ:Immutable Infrastructure とは? - よしだのブログ What Would OFA do Now? Miles Ward[Amazon Web S…

(AWS/EC2) Cloudera のインストールの時はセキュリティグループに VPC default を追加するといい感じ。

どうも!今日も、EC2 とイチャイチャしていました。 先日から、EC2 に Cloudera Search をインストールしようとトライしているところです。が、Qiita の記事やマニュアル通りにやると、なぜかインストールウィザードのハートビートを確認するところでエラー…

(AWS/EC2) t1.micro はすごくメモリが少ない・・・!!

どうも! 今日は、EC2 に Cloudera をインストールする作業トライしています。いきなりインストール作業に引っかかってしまったのでメモを残しておきます。先に結論をいうと、t1.microにはインストールできないと思っていたほうがいいようです。 作業メモ cl…

【追記あり】(AWS/EC2) UserDataを使って、自動でイントラからSSHログインできるインスタンスを作る!

どうも! 前回の記事では、EC2 でインスタンスを作った時、イントラからそのままではアクセス出来ないことがわかり、対処法の1つを記載しました。それなら、ユーザーデータを使って、自動的にその作業を出来ないかと試してみました。 結論としては、今のと…

(AWS/EC2) ポート22での接続が禁止されているイントラから EC2 インスタンスにSSH接続する

どうも! 今日も技術ネタ&AWS EC2 入門です。まあ、厳密には EC2 関係ないんですけどね。 追記 このエントリの作業内容を EC2 の User Data という機能を使って、自動で行うことができます。詳しくは以下のエントリから。 【追記あり】(AWS/EC2) UserDataを…

AWS EC2 調査③:実プロジェクトの開発環境をAWSで運用した場合、いくら掛かるか計算してみた。

どうも!いつもの、AWS入門シリーズです。 今回は、現在開発中の実プロジェクトでレンタルしているサーバーのレンタル費と、AWS で同様の環境を作った場合の見積もりを比較してみました。一般的にも、実際の本番システムと比べ、開発環境はずいぶんシンプル…

AWS EC2 調査②: ユーザーガイド読経~その2~

ども。EC2のユーザーガイドを読んでいます。メモの第二弾です。 色々と便利なんだけど、オンプレミスでサーバーを持つ場合と比較して本当に安いのかがよくわからなくなったきました。実際に使ってみるか、もしくは、過去に開発したシステムの事例で持って、…

AWS EC2 調査メモ①:ユーザーガイド読経 ~その1~

AWS 上に Solr を構成したいと思い立って、EC2 のユーザーガイドを読みながら触っているところです。以下、ユーザーガイドからのメモ書き。 Amazon EC2 とは - Amazon Elastic Compute Cloud メモ書き EC2の起動からSSHログインが出来る状態まで実際に構築。…