hikozaemonchan

Custom XmlAdapter for Joda Time with xjc

2011-01-26T01:00:00.000+09:00

JAXBを使ってますか？
JAXBとJoda-Timeを連携してみましょう。

以下のクラスとXMLをBindするのが目標です。

public class Foo {
  private DateTime bar;
  private DateTime baz;
}

<foo>
  <bar>2011-2-3</bar>
  <baz>2010-3-4T05:06:07</baz>
</foo>

JAXBでは面倒な点がいくつかありました。
1. @XmlType(propOrder)にフィールドを列挙する必要がある。
2. xs:dateはXmlGregorianCalendarに割り当てられている。

うーん、面倒ですね。GroovyだったらとかClojureだったらとか、思わずにはいられない。
それぞれの対策を書いていきます。

1. @XmlType(propOrder)にフィールド名を列挙する必要がある。
アノテーションでは順序が保たれないため、フィールドとpropOrderの双方に書く必要がある。
とりあえず生成するGroovyコードを書いたのですが、調べたらxjcなんてものがあったので、移植してみました。
かんたんなスキーマを書いてみます。

<xs:schema xmlns:xs="http://www.w3.org/2001/XMLSchema">
  <xs:element name="foo">
    <xs:complextype>
      <xs:sequence>
        <xs:element name="bar" type="xs:date" />
        <xs:element name="baz" type="xs:dateTime" />
      </xs:sequence>
    </xs:complextype>
  </xs:element>
</xs:schema>

生成されたbar,bazの型は、見慣れないXmlGregorianCalendar なんだこれ。

2. xs:dateはXmlGregorianCalendarに割り当てられている。
http://weblogs.java.net/blog/kohsuke/archive/2006/03/how_do_i_map_xs.html
xjcの開発者であるkohsukeのブログでXmlGregorianCalendarを使わない方法があったので参考にしました。

<xs:schema elementFormDefault="qualified" version="1.0" xmlns:xs="http://www.w3.org/2001/XMLSchema" xmlns:jaxb="http://java.sun.com/xml/ns/jaxb" jaxb:version="2.0" targetNamespace="calendar-schemalet">
  <xs:annotation><xs:appinfo>
    <jaxb:globalBindings>
      <jaxb:javaType name="java.util.Calendar" xmlType="xs:date"
        parseMethod="javax.xml.bind.DatatypeConverter.parseDate"
        printMethod="javax.xml.bind.DatatypeConverter.printDate"
        />
    </jaxb:globalBindings>
  </xs:appinfo></xs:annotation>
</xs:schema>

なるほど。変換するメソッドを呼び出すことができるわけですね。
この例では準備されたメソッドですが、任意のメソッドを呼び出すことができます。
標準のはCalendarなので、java.util.Dateに変換するのを書けばいいだけ。
簡単ですね。
これでどんな型でも自由自在。
xs:appinfoを別のファイルに移し、xs:includeすると共通化できて便利です。
うまく名前空間を利用するとインクルードなしでもいけるんでしょうが。

ここで一つ別の問題が出てきました。

3. 余計なAdapterが生成される
Adapter1やAdapter2が勝手に生成されてしまいます。
できればこれらの名前も指定したいところ。
最終的にはこうなりました。

<xs:schema xmlns:xs="http://www.w3.org/2001/XMLSchema" xmlns:jaxb="http://java.sun.com/xml/ns/jaxb"
  xmlns:xjc="http://java.sun.com/xml/ns/jaxb/xjc" jaxb:extensionBindingPrefixes="xjc" jaxb:version="2.0">
  <xs:annotation>
    <xs:documentation>custom datetime adapter</xs:documentation>
    <xs:appinfo>
      <jaxb:globalBindings>
        <xjc:javaType name="org.joda.time.DateTime" adapter="hikoz.xml.DateAdapter" xmlType="xs:date"/>
        <xjc:javaType name="org.joda.time.DateTime" adapter="hikoz.xml.DateTimeAdapter" xmlType="xs:dateTime"/>
      </jaxb:globalBindings>
    </xs:appinfo>
  </xs:annotation>
  <xs:element name="foo">
    <xs:complexType>
      <xs:sequence>
        <xs:element name="bar" type="xs:date" />
        <xs:element name="baz" type="xs:dateTime" />
      </xs:sequence>
    </xs:complexType>
  </xs:element>
</xs:schema>

Adapterはこんな感じ。
日付の形式も自由自在。ただしおすすめはできないけど。
読みたいこともあるよね。

public class DateTimeAdapter extends XmlAdapter<String, Datetime> {
 private static final DateTimeFormatter YMDHMS = DateTimeFormat.forPattern("yyyy/MM/dd HH:mm:ss");
 @Override
 public DateTime unmarshal(String v) throws Exception {
  return YMDHMS.parseDateTime(v);
 }

 @Override
 public String marshal(DateTime v) throws Exception {
  return YMDHMS.print(v);
 }
}

以下はテストコードと、xjcの実行。
Antタスクもあったんだけど、最近build.xmlを書いてないから構文を忘れた。
Gradleかわいいよ

@Test
  public void readwrite() throws Exception {
    StringWriter sw = new StringWriter();
    Foo foo = new Foo();
    foo.setBar(new DateTime(2011, 2, 3, 4, 5, 6, 7));
    foo.setBaz(new DateTime(2012, 3, 4, 5, 6, 7, 8));
    JAXB.marshal(foo, sw);
    StringReader sr = new StringReader(sw.toString());
    Foo foo2 = JAXB.unmarshal(sr, Foo.class);
    assertThat(foo2.getBar(), is(new DateTime(2011, 2, 3, 0, 0, 0, 0)));
    assertThat(foo2.getBaz(), is(new DateTime(2012, 3, 4, 5, 6, 7, 0)));
  }

  public static void main(String[] args) throws Exception {
    com.sun.tools.xjc.Driver
        .main("-no-header -extension -d src/test/java -p hikoz.xml src/test/java/hikoz/xml/foo.xsd"
            .split("\\s+"));
  }

Werkzeugのデバッガ

2010-12-22T00:01:00.005+09:00

鹿に尻をかじられたりもしましたが、
三日間の奈良旅行で、8万歩以上も歩き、とても充実した休暇をすごしました。

Python Web フレームワークアドベントカレンダー2010 のバトンがまわってきたので、Werkzeugの紹介をします。
http://werkzeug.pocoo.org/

Werkzeugはみなさんご存知のFlaskの作者であるArminが作ったWEBフレームワークです。
実はFlaskのベースでもあります。
単体で使っても便利ですが、非常によい機能が詰め込まれているため、各種フレームワークに組み込んで使う人が多いようです。
たとえば、django-extensionsでDjangoに組み込んで使う人も多いでしょう。
私も、どんなWEBアプリケーションでもほとんどの場合、開発時に組み込んでいます。
運用時にも使うケースは少なくありません。

丁寧なチュートリアルもついているのですが、なにぶん、生のWSGIが露出しているフレームワークなので、
分かりやすいとは言えません。
今回は、便利な機能の一部に焦点を合わせて解説します。

さて、解説前に少し準備しましょう。
まず、ごく小さなアプリを一つ書きます。
hello.py

#!/usr/bin/env python
# -*- coding: utf-8 -*-
from werkzeug import Response, script

def app(environ, start_response):
    response = Response('Hello, World!')
    return response(environ, start_response)

action_runserver = script.make_runserver(lambda: app)
action_shell = script.make_shell(lambda: {})

if __name__ == '__main__':
    script.run()

pythonでライブラリを試すときはVirtualenvが便利です。

wget https://bitbucket.org/ianb/virtualenv/raw/eb94c9ebe0ba/virtualenv.py
python virtualenv.py ~/.virtualenvs/pyadvc
source ~/.virtualenvs/pyadvc/bin/activate
pip install werkzeug
python hello.py runserver

http://localhost:5000/にアクセスするとHello, World!と表示されるはずです。

デバッガ

JavaやC#ではステップ実行を使ってデバッグするケースがあると思います。
Pythonでもpdbを使ってステップ実行ができますが、ブレークポイントを設定するのが面倒ですね。
WerkzeugではアプリケーションがExceptionをWerkzeugに投げたのを捕まえて、WEB画面上でステップ実行をすることができます。
ためしに一つエラーを起こしてみましょう

def app(environ, start_response):
    a = 'Hello'
    response = Response('%a, World!'%a)
    return response(environ, start_response)

app関数を書き換えてもう一度起動してみましょう
するとおなじみのInternal Server Errorが出るはずです。
これではエラーの原因がわかりません。
ただ、コンソールでは

response = Response('%a, World!'%a)
 ValueError: unsupported format character 'a' (0x61) at index 1

というように表示されているので、エラーの推測はできるでしょう。
ここで、%aが正しくないことはわかったのですが、なにが正しいのでしょうか。
そこでデバッガです。

python hello.py runserver --debugger

という引数をつけて起動しましょう。
再度表示してみると、カラフルな画面が表示されるようになりました。

Traceback (most recent call last)

File "/home/spam/ws/python/wz/hello.py", line 7, in app
```
response = Response('%a, World!'%a)
```

response = Response('%a, World!'%a)

と書かれた行をクリックしてみましょう。
これでソースが確認できます。

さらに、その行の右にコンソールっぽいアイコンがありますのでクリックします。
すると[console ready]と表示されました。
これはPythonのコンソールです。
たとえば 1 + 1とすると2と返答があるはずです。
さて、直したいのは
'%a, World!'%a
の部分です。
まず、dump()とすると、変数一覧が表示されます。

>>> dump()


Local variables in frame




a 'Hello'
start_response 
environ {'wsgi.multiprocess': False, 'SERVER_SOFTWARE': 'Werkzeug/0.6.2', 'SCRIPT_NAME': '', 'REQUEST_METHOD': 'GET',   }

a	'Hello'
start_response
environ	{'wsgi.multiprocess': False, 'SERVER_SOFTWARE': 'Werkzeug/0.6.2', 'SCRIPT_NAME': '', 'REQUEST_METHOD': 'GET', }

aに'Hello'が入っているのがわかりますね。

ここで、 '%a, World!'%a と入力すると先ほどと同じエラーが出ます。

a,b,cといろいろ試したり、マニュアルを確認したところ、%sが正しいとわかりました。

>>> '%s, World!'%a
'Hello, World!'

これで、正しい文がわかったので、ソースを書き換えて終了です。

その他、Context LocalsというJavaでいうThreadLocalを便利にした機能から、WEBアプリに必須なルーティング機能まで、すばらしい品揃えです。
そのWerkzeugの機能を丁寧にラップして、高速+多機能テンプレートエンジンであるJinja2と組み合わせたのがFlaskです。

ぜひ試してみてください。

次は@lirisさんお願いします。

Why Corel MovieWriter sucks

2010-08-19T12:44:00.000+09:00

プライベートのDVDを作成していたんだけど、CorelのDVD作成ソフトであるMovieWriterがひどすぎて、怒りが収まらない。
たった一枚のDVD-Videoのために、友人たちが取ってくれた合計40本程度の動画を細かく繋いだところ、
重すぎて映像を選択するだけで3分待たされるのはまだ許す。
映像の再生もしてない、ただタイトルをマウスでクリックするたびになんの計算をしてるんだと考えると腹立たしいけど。

イライラを抑えながらなんとか最後のDVD出力までたどり着く。
出力開始40分後、今度は突然、異常終了する。
なんのエラーメッセージも吐かないから対応も取りづらい。
MP4からHDまで多様な形式をつないでいるので、相性の悪いフォーマットがあるのかなと、
とりあえずチャプターを減らして、正常に終了したところとかかった時間から、不具合のあるチャプターを特定する。
しかし、不具合のあるチャプターも、本来の3分の1程度の長さでDVDをつくれば正常に出力されてしまうので
特定が難しいのに加えて、テストに時間がかかる。

つないだ映像の本数が多いし、形式も多様だから難しいのだろうと気を使わせる時点で
すでに値段の価値もないソフトウェアですね。
最初から対応してないって分かっていれば全部一度ffmpegでmpegに統一するよ。
しょうがないから作れる範囲の短いDVDで出力し、あとから自分でインポートしなおせば、
形式も統一だし、ソース本数が減るから焼けるようになるはず。

しかし、ここでも問題が発生。
チャプターの数も30に満たない数しかないのに、チャプター数の限界に達したとして
DVD書き込み中に中断。

これも何度か繰り返して特定。
原因は、映像に暗転をいれていたところ、0秒のチャプターが存在していたため。
エラーメッセージ間違ってるよ。
そもそも映像変換中に気づいてくれよ。
DVD書き込み中に中断したらDVDが一枚無駄になるんですけど。

それまでは警戒して、ファイル出力にしていたけど、今回は映像の編集も変換もないので
問題がないだろうと、つい油断してDVD出力に設定し寝てしまっていた。
信じちゃいけなかった。

そして、数々の試練を乗り越えて、ついに一枚出力完了。
ここまで2週間もかかった。
しかし、すでに疑心暗鬼の私は安心をしない。
もちろん再生して確認する。
どこでどんなトラブルがあっても驚かないぞと思っていたけどまさかね。
なんとまあ、あきれてしまう。
自分で作ったものをインポートしたら音声が全て消えるのはひどすぎるないか？

一回出力するのに40分程度はかかるから、一晩なんてあっという間。
あんな重いソフトウェアでも一応映像の切り貼りだけは三日で終わったのにそこからが長すぎる。
結果として、5GのDVD一枚をまともにつくることができずに2週間経過。
これでBlu-ray対応なんて笑わせる。

ここまでの数々の問題でも使えないことが明白ですが、もっとひどい問題もある。
MTSという形式があります。
HD動画の形式だけど、その動画も読み込んで編集することができるのはすばらしい。
出力も成功するのですが、実際は内部のデコードで失敗していて、映像が乱れてそれ以降の映像はとび、音声がずれるという悲惨な状態。
これを成功として、再生するまでわからないようにするのは良識を疑う。

金返せじゃすまない。
2週間の睡眠時間とその間の体調不良をどうしてくれる。

Play framework is a full stack framework

2010-01-22T15:26:00.000+09:00

Play frameworkで楽しんでます。
フルスタックとはテンプレート、データベース補助があるだけでは不足

clean url routing, test, fixture, message after redirect, background job, cache, i18n程度あたりがそろっていないとFullとは言えない時代だと思う。
Playはその点、完璧だろう。
reverseまで持ってるんだから、私は当然お気に入り。

ただ、欠点もある。

background jobがスレッドで走ってしまうので、重くなる。
Hibernateとは別れたい。
ほかには、先日書いた内容など。

やはり私はpublic fieldを積極的に使いたい。
メソッドではなくフィールド
redirect(BookPage.find, 1)とかでリダイレクトしたいし、
tx(BookService.reserve, 2)とかでトランザクションを開始したい。

Routingもフィールドを使えばリファクタリング効くしね。

メソッドをフィールド扱いできるScalaには期待しています。

ANA-Amex

2010-01-21T17:41:00.003+09:00

JALが沈没したのでクレジットカードを整理することにしました。

次はANA-AMEXにします。

12月までは大盤振る舞いだったようだけど、まだ大丈夫か

1. 100円で2マイル
3ヶ月間ポイントが倍

2. 入会2000+1000マイル

3. オンライン明細で1000マイル
ただし、入会時は紙にしておいて、入会したあとに変更すること

4. 公共料金や電子マネー、携帯などの引き落としでそれぞれボーナス
合計すると10000マイルの予定

5. Edyチャージでポイントがつく
ただし6ヶ月間

6. 年会費がAMEXにしては安い
5250円

Hello, Play framework

2010-01-15T16:03:00.000+09:00

Play frameworkを使ったことがある人はどれぐらいいるんだろうか。
こんなに面白いフレームワークとは思わなかった。
いや、フレームワークというより、プラットフォームです。

まえにJava on Railsなんて宣伝を見てしまったせいでスルーしていた。
たしかに「Rails使いに媚びてDjangoをJavaにポートした」と言えないこともないけど。
ためしてから宣伝してください。迷惑です。
見所はコマンドラインなんかじゃない。まあ、Python for Windowsがついてくるのは確かに面白いけど。
なんといってもJavaの使い方が革命的に面白い。

なんと表現すればいいのか。
「コンパイルさえ通せば、あとはまかせとけ」
といったところか。
staticメソッドを積極的に使い、記述をシンプルにすることが使命であるようだ。

まずはこの三つの機能を見てみます。
1. Bind an HTTP parameter to a Java method parameter
リクエスト引数をメソッド引数に名前で結びつけちゃいます。
メソッド引数名ですよ？
アノテーションなんて不要です。
まさしく名前つき引数なのです。

routesに

GET  /show/{name}  Application.show

とあったとして、

/show/Tom?page=2

にアクセスがあったならば

public static void show(String name, Integer page)

では、nameにTomが入り、pageは2になるのです。
型や順番や偶然を使っているわけではありません。
引数名を見ているのです。

2. Redirect to an action by calling the corresponding Java method
一度でもDjangoのreverseを使ったことがあれば、URLなんて直接書きたくないと思うことでしょう。
この場合ならばControllerのメソッド名で指定したいところ。
しかし、文字列でredirect(reverse("Books.list", page))では芸がない。
redirect(Books.list, page)と書くことができればいいけど、残念ながらコンパイルエラーになるでしょう。
Javaのメソッドとフィールドの名前空間と同じであれば、もっとまともなフレームワークを作れたのですけどね。
そこでPlayは突き抜けました。
Books.list(page)
と書けば勝手にリダイレクトされます。

staticメソッドだからといって気を抜いてはいけません。
フォワードではなく、間違いなくブラウザにResponseがかえります。

3. Don’t Repeat Yourself when passing Java objects to templates
Spring MVCではデフォルトの名前というものが存在します。
User => user, List<User> => userList
というように、型から名前をつけてくれるので、テンプレートに名前をつけながら渡す必要がありません。
しかし、Playでは1と同様に型ではなくローカル変数名を取得します。
ローカル変数名ですよ。
pythonでもrender(article=article, user=user)と書かなきゃいけないってのに。
bytecode enhanceってレベルじゃないですね。
ただ、残念ながら実行時に解決なので、いっそコンパイラを作って変数名をbytecodeに埋め込んでほしいと思います。

と
以上のようにJavassistの黒魔術を駆使して理想郷を追い求めます。

だがちょっと待ってほしい。
この黒魔術
まさにDIでやっていることそのままではないか。
DIの黒魔術を許してこれを許さないなんて、なんという傲慢。
フィールドに準備しておくか、staticで呼び出すかの違いしかない。
ルールを決めておけばOKとはどの口が言ったものか。
Mockitoを見て便利だといっていたじゃないか。
staticであればコードがそのまま追えるなんて、いつまで20世紀にしがみついているんだ。
もうそんな時代じゃないんだ。
EJB2信者なんて、もういないでしょ？

DIに飼いならされた開発者たちなら、ルールだと説得すればすぐ納得するね。
賭けてもいい。
逆に、「Proxyを使って実現できるDIとは違う」と反論するような人が相手なら、
メリットを比較してあげれば、いずれは「ひでえ」といって納得するはず。

残念なところもいくつか挙げておく。

1. アプリの構造が貧弱
Djangoのアプリを引き継いでほしかった。
一定以上の規模のものを作れるのだろうか。
心配です。
2. formが貧弱
ModelとはべつにFormクラスを作ってください。
ModelべったりのFormだと画面や権限に応じてValidationや項目を変えづらい。
3. Bytecode拡張される範囲が不明
Bytecode拡張される範囲が明確でないため、自分で拡張しようとすると
なかなか恐ろしい。
たとえば、もう少し複雑で動的なFormがあって、複数のControllerで共有したいとすると、
自分で独自のクラスを作りたくなるけど、どこまで拡張してくれるのか試すまで、
いや、試してもよくわからない。
returnをなくそうとしたり、Javaの言語仕様をとことん無視しようとしているので、
なかなか機能拡張は難しそう。

まとめ

二週間以内で作るものにはちょうどいいかも。
どうしてもJavaがいい。
Javaじゃなきゃいやと根拠なく言われたときに使うことを考えてもいいかもしれない。
Springの起動が遅くて、決別したいとは常々思っているので、
こういうアプローチが流行ってくれば面白いとは思っています。
Bytecode拡張以外は使いやすく、わかりやすい機能がてんこ盛りなのでお勧めです。
Bespinとうまく連携すれば、全文検索つきのCMSが結構簡単に作れるかも。

aws with python

2009-12-16T16:38:00.000+09:00

botoがよろしい
boto
結構パッチを取り込んでもらったのでだいぶ使いやすくなった。

botoドキュメント

amiをEBSへ変換する
Amazon EC2 – Boot from EBS and AMI conversion

botoで変換するとこんな感じ
Creating an EBS-backed AMI from an S3-backed AMI

いろいろ自動化できて楽しい。
AMI内でサーバを再起動するより、裏で立ち上げてElastic IPをすりかえてしまうとか
いろいろ試せて楽しい
Spot Instanceにも、とりあえずだけど対応してもらった

felica with python

2009-12-16T16:19:00.002+09:00

felicalibが主流。
felicalib
ただしWindowsのみ

Pythonからの使用例(ctypes)
FeliCa の Id を python で読む(その2)
Python: PaSoRiでSuicaの履歴を読み出す

Javaからの使用例(JNA)
'PaSoRi'を使用して、FeliCaカード内の'IDm'を読み取る
Javaの応用：Felicaカードリーダ

libpafe(Linux用)
libpafe

2ch
■◇FeliCa でソフトを作りまくるスレ◇■
FeliCa でソフトを作りまくるスレ 2ブロック目

追記 12/24 18:00
三者間通信
三者間通信 - 新・招き猫のページ
PaSoRi「パソリ」(RC-S320/RC-S330)三者間通信サンプル

SDK For Felica + AIR
SDK for FeliCa & Adobe AIR
FlashDevelop.jp
フリーのFlash統合開発環境 FlashDevelop (+flex 3 SDK)を入れてみました

String concatenation in Python

2009-09-30T12:09:00.000+09:00

文字列連結の効率の話
addのほうが早かったよなと思って、色々試してみた。


def str_mul():
    return name * count

def str_join():
    lst = []
    append = lst.append
    for i in xrange(count):
        append(name)
    return ''.join(lst)

def str_map():
    lst = map(lambda x:name, xrange(count))
    return ''.join(lst)

def list_comp():
    return ''.join(name for i in xrange(count))

def str_add():
    s = ''
    for i in xrange(count):
        s += name
    return s

import cStringIO
def cstring_io():
    io = cStringIO.StringIO()
    write = io.write
    for i in xrange(count):
        write(name)
    return io.getvalue()

import StringIO
def string_io():
    io = StringIO.StringIO()
    write = io.write
    for i in xrange(count):
        write(name)
    return io.getvalue()

from array import array
def str_array():
    a = array('c')
    add = a.fromstring
    for i in xrange(count):
        add(name)
    return a.tostring()

from mmap import mmap
def str_mmap():
    m = mmap(-1, count * len(name))
    write = m.write
    for i in xrange(count):
        write(name)
    m.seek(0)
    return m.read(count * len(name))

def main():
    global count, name
    func_list = (str_mul, str_join, str_add, string_io, cstring_io,
                 str_map, list_comp, str_array, str_mmap)

    # test
    count = 2
    name = 'hello'
    assert all((name * count).__eq__(f()) for f in func_list)

    import timeit
    for c in (10, 1000):
        for b in (1, 1000):
            for f in func_list:
                count = c
                name = 'hello' * b
                print '%10s x %4s, "hello"*%4s: %9.4fms'%(
                    f.func_name, c, b, timeit.timeit(f, number=100)/100*1000)

if __name__ == '__main__':
    main()

   str_mul x   10, "hello"*   1:    0.0006ms
  str_join x   10, "hello"*   1:    0.0042ms
   str_add x   10, "hello"*   1:    0.0033ms
 string_io x   10, "hello"*   1:    0.0312ms
cstring_io x   10, "hello"*   1:    0.0072ms
   str_map x   10, "hello"*   1:    0.0059ms
 list_comp x   10, "hello"*   1:    0.0077ms
 str_array x   10, "hello"*   1:    0.0081ms
  str_mmap x   10, "hello"*   1:    0.0180ms
   str_mul x   10, "hello"*1000:    0.0108ms
  str_join x   10, "hello"*1000:    0.0131ms
   str_add x   10, "hello"*1000:    0.0126ms
 string_io x   10, "hello"*1000:    0.0411ms
cstring_io x   10, "hello"*1000:    0.0364ms
   str_map x   10, "hello"*1000:    0.0146ms
 list_comp x   10, "hello"*1000:    0.0167ms
 str_array x   10, "hello"*1000:    0.0377ms
  str_mmap x   10, "hello"*1000:    0.1105ms
   str_mul x 1000, "hello"*   1:    0.0017ms
  str_join x 1000, "hello"*   1:    0.2352ms
   str_add x 1000, "hello"*   1:    0.2235ms
 string_io x 1000, "hello"*   1:    2.4272ms
cstring_io x 1000, "hello"*   1:    0.5111ms
   str_map x 1000, "hello"*   1:    0.3591ms
 list_comp x 1000, "hello"*   1:    0.2296ms
 str_array x 1000, "hello"*   1:    0.5338ms
  str_mmap x 1000, "hello"*   1:    0.4778ms
   str_mul x 1000, "hello"*1000:    8.5971ms
  str_join x 1000, "hello"*1000:    8.3908ms
   str_add x 1000, "hello"*1000:   29.4590ms
 string_io x 1000, "hello"*1000:   10.6351ms
cstring_io x 1000, "hello"*1000:   28.7235ms
   str_map x 1000, "hello"*1000:    8.8407ms
 list_comp x 1000, "hello"*1000:    8.2300ms
 str_array x 1000, "hello"*1000:   38.9228ms
  str_mmap x 1000, "hello"*1000:   18.6053ms

addは50kB程度までは、文字列長や回数にかかわらず早い。
'str' * nをjoinが逆転するのは見てびっくり。
StringIOは1MBを超えたあたりで突然加速、理由不明。
cStringIOを余裕で追い抜き、100MBあたりではjoinに並ぶ。
ただし、1MBを超えるようなものはPythonで扱うべきではないかも。
for, map, list内包は勝ったり負けたり。
disってみたところ、早そうなのはfor-join。
psycoも使ってみたけど、速度はあまりかわらず。

結論:
addでもjoinでも扱いやすいほうを使おう。
速度はPythonを使う上では気にしない。

Interpolation surprise — And now for something completely Pythonic...

2009-09-14T11:15:00.000+09:00

Interpolation surprise — And now for something completely Pythonic...

おそろしや


class Surprise(object):
    def __str__(self):
        return "[str]"
    def __unicode__(self):
        return u"[unicode]"

surprise = Surprise()

print "%s %s %s" % (surprise, u"foo", surprise)

出力:
[str] foo [unicode]

つまり、途中でUnicodeが来ると、それ以降は__unicode__が呼ばれるようになるわけです。

ちなみにPython2.3なら
出力:
[str] foo [str]
となります。

setuptools

2009-09-03T18:25:00.002+09:00

SolaceがPlurkからリリースされました。

Stack Overflowのクローンです。
あいかわらず仕事が早いしソースが読みやすい。

しかし今回、最も驚いたのが、setup.pyの使い方。
こんな便利なものだったんですね。
なお、正しい手順はREADMEやInstallationを見てください。

私の手順は以下のとおり。

$ hg clone http://bitbucket.org/plurk/solace
$ mkvirtualenv solace
(solace)$ cd solace
(solace)$ python setup.py develop
(solace)$ echo SECRET_KEY = \'`mkpasswd -l 40`\' > config.py
(solace)$ SOLACE_SETTINGS_FILE=config.py python setup.py reset
(solace)$ SOLACE_SETTINGS_FILE=config.py python setup.py runserver

はやい！本当に早い！
setup.pyってこんなに便利だったんだ。
拡張コマンドを追加できるなんて知らなかったよ！

さて、setup.pyを読んでいきます。
まずはここ。


try:
    from solace import scripts
except ImportError:
    pass
else:
    extra['cmdclass'] = {
        'runserver':        scripts.RunserverCommand,
        'initdb':           scripts.InitDatabaseCommand,
        'reset':            scripts.ResetDatabase,
        'make_testdata':    scripts.MakeTestData,
        'compile_catalog':  scripts.CompileCatalogEx
    }

コマンドの実装はこんな感じ


from distutils.cmd import Command
class InitDatabaseCommand(Command):
    description = 'initializes the database'
    user_options = [
        ('drop-first', 'D',
         'drops existing tables first')
    ]
    boolean_options = ['drop-first']

    def initialize_options(self):
        self.drop_first = False

    def finalize_options(self):
        pass

    def run(self):
        from solace import database
        if self.drop_first:
            database.drop_tables()
            print 'dropped existing tables'
        database.init()
        print 'created database tables'

わかりやすい！

もう一つ勉強になったのがtests_require


setup(
    name='Plurk_Solace',
    version='0.1',
    url='http://opensource.plurk.com/solace/',
    license='BSD',
    author='Plurk Inc.',
    author_email='opensource@plurk.com',
    description='Multilangual User Support Platform',
    long_description=__doc__,
    packages=['solace', 'solace.views', 'solace.i18n', 'solace.utils'],
    zip_safe=False,
    platforms='any',
    test_suite='solace.tests.suite',
    install_requires=[
        'Werkzeug>=0.5.1',
        'Jinja2',
        'Babel',
        'SQLAlchemy>=0.5',
        'creoleparser',
        'simplejson',
        'webdepcompress'
    ],
    tests_require=[
        'lxml',
        'html5lib'
    ], **extra
)

ここで、テストのときだけ必要なライブラリを書くことができる。
python setup.py test
とすると依存ライブラリをとりにいきます。
すばらしい！

setuptoolsをもっと勉強します。
deploy+setup Scriptとして、今後活用していくことを誓います。

eclipse WTP encoding

2009-08-06T10:19:00.002+09:00

eclipse

WTP encoding

最近、Javaの仕事が増えたせいでEclipseをよく使います。
WTPのencoding設定で困ってほかのプラグインに移ってしまう人が多いので、
まとめておきます。

その1. JSPがISO-8859-1になってしまって困っちゃう
Window => Preferences => General => Content Types
より
Text => JSP を選んで"Default encoding"にUTF-8を指定し、Updateを押す。

その2. HTMLがShift_JISに決め打ちされて困っちゃう。
eclipse.iniに
-Duser.language=en
と書いておく。

mercurial

http://www.vectrace.com/mercurialeclipse/
ためしにインストールしてみたmercurialプラグインは比較で文字化けしてしまい、
使い物になりません。

http://bitbucket.org/mercurialeclipse/main/
bitbucketが使われているのならば、対応は私がしようと思って、最新版をとってみたら
あれれ？使える。
というわけで、しばらくmercurial用クライアントとして、Eclipseも使ってみようと思います。

しかし、他のクライアントを使ってみるとわかるのですが、
Subversiveは本当によくできている。
Syncronize with Repositoryが本当に使いやすい。
あれをmercurialに使えたらどれほど幸せか。
まあ、ほしい機能はIssuesに全て登録してあるので、生ぬるく見守ります。

merge

分散型にした一番のメリットはマージ。
多人数で開発するときは、最初はpush --forceを使ってもらって、headを作りまくってもらう。
あとはこちらで全部マージできる。これは安心だ。
でも、この方式ならdarcsのほうがいいのかなー。

まだマージのBest Practiceを見つけられない。
試行錯誤の連続だけど、ツールとしてはextdiff=WinMergeが今のところ楽かな。

Java detect Encoding for Japanese

2009-06-19T19:12:00.007+09:00

javaにはエンコード自動認識が標準ではなかったので、探し回った。
* jchardet
* juniversalchardet
などが見つかったけど、とりあえず、標準で逃げる方法。


private final List<CharsetDecoder> decoders;
 {
 // 色々試した結果、この順序が必須
 String[] names = new String[] { "ISO-2022-JP", "EUC-JP", "UTF-8",
   "windows-31j" };
 decoders = new LinkedList<CharsetDecoder>();
 for (String name : names) {
  decoders.add(Charset.forName(name).newDecoder());
 }
}
public Charset detectEncoding(byte[] bytes) throws Exception {
 for (CharsetDecoder d : decoders) {
  try {
   d.decode(ByteBuffer.wrap(bytes));
  } catch (CharacterCodingException e) {
   continue;
  }
  return d.charset();
 }
 throw new IllegalArgumentException("デコードできませんでした。");
}

public void testDetectEncoding() throws Exception {
 String[] samples = new String[] { "平", "カ", "１", "ひ", "ｂ", };
 for (String s : samples) {
  assertEquals("windows-31j", detectEncoding(s.getBytes("sjis")).toString());
  assertEquals("UTF-8", detectEncoding(s.getBytes("utf-8")).toString());
  assertEquals("EUC-JP", detectEncoding(s.getBytes("euc_jp")).toString());
  assertEquals("ISO-2022-JP", detectEncoding(s.getBytes("jis")).toString());
 }
}

timeit on java

2009-05-25T16:01:00.002+09:00

SpringのAutoWireの有無による速度差と、CGLIBとProxyの速度差を調べたくなった。
AutoWireの有無による速度差はなし。
CGLIBとProxyも十分無視してよい速度差。

上の目的のためにtimeitみたいに、適当な回数分だけループして時間を計測してくれるツールを作った。
一定の時間を越えるまで回数を増やしてループし続けます。
最初は500msにしたら、テストスイートが終わらなくなったので、50ms。
比較用に交互に実行する機能があるといいかも。


public abstract class Timeit {
 protected String name;

 public Timeit(String name) {
  this.name = name;
 }

 public void timeit() {
  int before = 0;
  int count = 1;
  long sum = 0;
  prepare();
  while (true) {
   int loop = count - before;
   long start = System.nanoTime();
   for (int i = 0; i < loop; ++i) {
    this.invoke();
   }
   long end = System.nanoTime();
   long current = end - start;
   sum += current;
   if (current > 50 * 1000 * 1000) {
    break;
   }
   before = count;
   count = count * 2;
  }
  long time = sum / count;
  System.out.print(name + ": ");
  if (time < 1000) {
   System.out.printf("%dns\n", time);
  } else if (time < 1000 * 1000) {
   System.out.printf("%.3fμs %dtimes\n", time / 1000.0, count);
  } else if (time < 1000 * 1000 * 1000) {
   System.out.printf("%.3fms %dtimes\n", time / 1000.0 / 1000, count);
  } else {
   System.out.printf("%.3fs %dtimes\n", time / 1000.0 / 1000 / 1000,
     count);
  }
 }

 public void prepare() {

 }

 public abstract void invoke();

 public static class TimeItTest extends TestCase {
  public void testSimple() throws Exception {
   new Timeit("simple") {
    public void invoke() {
     try {
      Thread.sleep(2);
     } catch (InterruptedException e) {
     }
    }
   }.timeit();
  }
 }
}

Mockito

2009-05-25T15:15:00.002+09:00

Mockito便利です。
jMockの変態構文に慣れない方は、EasyMockを使ってらっしゃると思います。
EasyMockのスタイルは素敵ですね。
ただ、人に勧めるときに、replayとかverifyとか、定義以外に文をはさむのってなんかいやですよね。
お勧めしづらいですね。
expectLastCallなんかもみっともない。

そこでMockito


    // モック作成
    @SuppressWarnings("unchecked")
    List mockedList = mock(List.class);

    // あらかじめ、何が起こるかを書く
    when(mockedList.add("one")).thenReturn(true);
    // voidはwhenの引数として受け取れないのでdo*で書き直す。
    doNothing().when(mockedList).clear();

    // モックに対して実行
    assertEquals(true, mockedList.add("one"));
    mockedList.clear();

事前に定義する方法のほかに、あとからVerifyする方法もあります。


    // モック作成
    @SuppressWarnings("unchecked")
    List mockedList = mock(List.class);

    // モックに対して実行
    mockedList.add("one");
    mockedList.clear();

    // 検証
    verify(mockedList).add("one");
    verify(mockedList).clear();

呼び出し回数も限定しておきます。


    @SuppressWarnings("unchecked")
    LinkedList mockedList = mock(LinkedList.class);
    // モックに対してメソッド呼び出し
    mockedList.add("once");

    mockedList.add("twice");
    mockedList.add("twice");

    mockedList.add("three times");
    mockedList.add("three times");
    mockedList.add("three times");

    // 回数指定で検証開始
    verify(mockedList).add("once");
    verify(mockedList, times(1)).add("once");
    verify(mockedList, times(2)).add("twice");
    verify(mockedList, times(3)).add("three times");

    // 呼ばれてない確認。times(0)でもOK
    verify(mockedList, never()).add("never happened");

    // 細かい数は不要。一度でも呼ばれたらOK
    verify(mockedList, atLeastOnce()).add("three times");

すでに存在するオブジェクトに対して、部分的にモックを割り当てます。
名づけて"spy"


    // 部分的に書き換える。
    LinkedList spyList = spy(new LinkedList());
    when(spyList.size()).thenReturn(100);

    // addやgetは本来の動き
    spyList.add("one");
    assertEquals("one", spyList.get(0));
    
    // sizeは置き換えました。
    assertEquals(100, spyList.size());

    verify(spyList).add("one");

Mock作成が楽しくなりました。
Javaの構文による呼び出し順序を利用したマジックですが、
ここまできれいな構文で書けるなら、受け入れるしかないでしょう。
Mock内で引数に加工したり、詳しく検証する場合は、Anythingというインターフェースを使って実装するのですが、そこはまだありがちな構文。

PowerMockもMockitoに対応中。
まあ、PowerMockなんて、一時的に使うことはあっても、すぐ書き直してMockitoだけで通るように変更するのでいらないけど。

How Fast is JRuby

2009-04-08T15:18:00.003+09:00

How JRuby Makes Ruby Fast


def tak x, y, z
 if y >= x
   return z
 else
   return tak( tak(x-1, y, z),
               tak(y-1, z, x),
               tak(z-1, x, y))
 end
end

tak(24, 16, 8)を10回分の時間はいかほど？


 user     system      total        real
0.524000   0.000000   0.524000 (  0.524000)
0.338000   0.000000   0.338000 (  0.338000)
0.325000   0.000000   0.325000 (  0.325000)
0.299000   0.000000   0.299000 (  0.299000)
0.310000   0.000000   0.310000 (  0.310000)

JRubyはええええええ。
と思ったけど、Rubyの速さをよく知らないので、わからない。
あまりベンチマークに興味を持ったことがない。

一応、手元のJRubyでも試したよ。
jruby --server --fast tak.rb


      user     system      total        real
  1.281000   0.000000   1.281000 (  1.219000)
  0.906000   0.000000   0.906000 (  0.906000)
  0.906000   0.000000   0.906000 (  0.906000)
  0.922000   0.000000   0.922000 (  0.922000)

とりあえずPythonと比較してみた。
ここはさくっと1秒をきってもらいたいところ。


def tak(x, y, z):
    if y >= x:
        return z
    else:
        return tak(tak(x-1, y, z),
                tak(y-1, z, x),
                tak(z-1, x, y))

python tak.py


4.68799996376s
4.67199993134s
4.71900010109s
4.70300006866s

。。。

気を取り直して、Jython。
まあ、期待してないっす。Pythonの倍ぐらい遅くてもぜんぜん気にしないっす。
だって、お金かかってないっすからね。
Pythonと同じソースが走るのは優秀っすね。
jython tak.py


12.2509999275s
12.1879999638s
12.2030000687s
12.1879999638s

。。。

Ironのじつりきに期待したいけど、ビルドしたことなかった。
いつか誰かがやります。

ところでさ、Javaだとどんなもんかな。
0.3秒が数倍遅いって言ってるんだから、0.08秒ぐらいか。
そりゃはやいね。


    static int tak(int x, int y, int z) {
        if (y >= x)
            return z;
        else
            return tak(tak(x - 1, y, z), tak(y - 1, z, x), tak(z - 1, x, y));
    }

java Tak.java


0.107289151s
0.107325477s
0.107177706s
0.10697179s

JRubyはえええええ！
しかし、ここはJavaのすごいところが見たい！
java -server Tak.java


0.094475588s
0.081646268s
0.081483518s
0.08147525s

やっぱりJRubyはええええ。
ええい、他にオプションはないのか。

というわけでJRubyの速さを際立たせるだけでした。
あ、そうだ。
Dubyが早いならGroovyも型を指定すれば早いんじゃね？
cp Tak.java Tak.groovy
groovy Tak.groovy


6.369433797s
6.266855432s
6.264844057s
6.277156358s

本気か？
事前にコンパイルしないとだめか、そうかそうか。

groovyc Tak.groovy
groovy Tak


6.336249071s
6.235964946s
6.235621352s
6.233301473s

ち、ちょっと早くなったのかしら。

型を指定してあげてるのにこんなに遅いって、Groovyは駄目な子なのか。
ちなみに型を指定しなかったらJythonより遅いのか。
SpringSourceしっかりしろよ。
怖いもの見たさでチェック


def tak(x, y, z) {
    if (y >= x)
        return z;
    else
        return tak(tak(x - 1, y, z), tak(y - 1, z, x), tak(z - 1, x, y));
}


3.599673454s
3.504575443s
3.504178545s
3.503208614s

おおおおおお！どうなってるんですか？
速くなりました。
倍近く早いよ。
ってか、Pythonより速い。
Groovyやるな！
ってか、なんで？

ここまできたらScalaも試そうか。


def tak(x: Int, y: Int, z: Int): Int = {
  if (y >= x) z else tak( tak(x-1, y, z),
             tak(y-1, z, x),
             tak(z-1, x, y))
}

scala Tak_scala


0.191174899s
0.185557729s
0.18544463s
0.185426475s

思ったより少しだけ遅いけど、悪くないね。
serverモードはないのかな？

というわけでGroovyの変態さが伝わったかな？
本当はIokeでも試したんだけど、まったく答えが返ってこないのでなかったことにしました。

このまま終わると晩御飯をおいしく食べられないので、Pythonでもうチョイがんばります。
まずはご存知psyco


import psyco
psyco.full()

と先頭につけるだけ。


0.281000137329s
0.296999931335s
0.296999931335s
0.281000137329s

おお、いいね。JRubyに勝った！

つづいてCython


cdef int ctak(int x, int y, int z):
    if y >= x:
        return z
    else:
        return ctak(ctak(x-1, y, z),
                ctak(y-1, z, x),
                ctak(z-1, x, y))


0.155999898911s
0.171999931335s
0.156000137329s
0.155999898911s

よし、Scalaに勝った！

やっぱりPythonだね。

ごらんのスポンサーの提供でお送りしました。
java version "1.6.0_11"
Scala code runner version 2.7.3.final
jruby 1.3.0 (ruby 1.8.6p287) (2009-04-08 r)
Jython 2.5b1 (trunk:5903:5905, Jan 9 2009, 16:01:29)
Python 2.6.1
Groovy Version: 1.6.1

TODO
グラフを貼る

結論。
Groovyは型を指定すると遅くなる。

sax with HTMLParser

2009-03-31T17:05:00.003+09:00

expatでShift_JISが扱えればベストなのですが、どうにもならない。


<?xml encoding="Shift_JIS"?>

これが書いてあると引っかかるので、本文をutf-8にして回避することもできない。
んがー、どこもめ。
一行目削るしかないかなー。

2.6のxmlパッケージにはexpat以外のXMLパーサがないのが不思議。
xmllibはdeprecatedついてるけど、パーサはまだ生きている。
ココから引っ張るか、あるいはmarkupbaseからがんばるかな。
xml.sax.saxutils.XMLGeneratorを使いたいから、頭が痛い。

saxの構文は面倒くさいし、sax風のXMLFilterを書くのが一番早いかも。

つらい。
意外とPythonは不便。
Jythonに乗り換えたくなってきた。

あと、なんか知らんけどRailsの仕事が舞い降りてきそうだ。
すべて明示的に書いてきたPython文化から、暗黙文化に移るのはかなり抵抗がある。
でも1.9とcapとmerbには興味があるので、ひさしぶりにRuby触るのもいいのかもしれないな。

Real World Django

2009-03-27T20:56:00.000+09:00

Real World Django

LJWorldcom運営における体験談か。
Modelをハードコーディングするなとか、拡張性にまつわる話。
スケーリングや構成にまつわる話など、興味深い。
PDFだけじゃなくて、お話も聞きたいなー。
Podcastとか公開してほしい。

昨日、駅前でホットペッパーの人が武富士の人に怒られていた。
何をしたのか知らんけど、駅前ばら撒きの一日の長というやつか。
けんかするなら端っこでしてほしかった。

parrot 1.0.0

2009-03-18T17:16:00.001+09:00

http://www.parrot.org/news/2009/Parrot-1.0.0

きっと何かが起こっていると思うけど、何が起こっているのかわからない。
早くつながるといいなー

Seasar2

2009-03-12T23:29:00.001+09:00

ためしてみた。
軌道に乗れば確かに結構早いですね。
HotDeployすばらしい。
しかし、開発はGroovyで進めて、
後にテストしながらJavaに移行すればHotDeploy同然なのではないかと思うのです。
ずっと書きやすいし。
Groovy大好きです。

サクサクとそこらじゅうに書いてあるけど、サンプルがちっとも見つからない。
さくさくならそれこそDjangoのように掃いて捨てるほどサンプルが出るはずなのに。
最初のマニュアルはあるけど、何もわからない人向けと、用語がわかる人のどっちつかずで
中途半端。
非常に読みづらい。
だれもサンプルを作ってくれなくても、サクサクならBlogやWikiぐらい作っておいておけばいいのに。

たとえば、EclipseのPluginで必要なものは何かを一望できる場所がない。
JEE対応Eclipse3.3以降で、
・Kijimuna
・Dolteng
・SAStrutsPlugin
・PropertyEditor
が必要と、さっと書いてあれば進めるのに、インストールの仕方を逐次読まなければならない。
初心者に親切だと思うかもしれないけど、書いてあるとおりに進めても完成しない。
突然、状況にあわせて書き換えろと書かれる。

どうせならEclipseもDIもわかる人にSeasarはどう便利なのか訴えるページを書けばいいのに。
ない。

Doltengで作ったプロジェクトはFreemarkerでコンパイルエラー発生しますね。

NetBeansのゆくえ

2009-03-12T23:26:00.001+09:00

Tor Norbye's Weblog
JRubyもだめなのかなー。
やっぱりSunってJavaFXに本気なんだね。
NetBeansには期待してたんだけど、完成は遠いですね。
たまにアップデートして試用してますけど、重いし落ちるし。
Torがいなくなるのは残念です。

さて、いつかの安定のために、みんなつかってフィードバックしてあげてください。
dailyがHudsonから落とせて、すぐ試すことができます。
NetBeans Wiki: Python

good bye fabric

2009-03-10T18:15:00.003+09:00

paramikoがCTRモードに対応していないので、別れることにした。

どうしてもparamikoを使いたい人、
あるいはIncompatible ssh serverと出てしまう人のための記録。

pycryptoを最新版にしましょう。

paramiko.transport._cipher_info.update({
'aes128-ctr':{ 'class': AES, 'mode':
AES.MODE_CTR, 'block-size': 16, 'key-size': 16 },
'aes256-ctr':{ 'class': AES, 'mode':
AES.MODE_CTR, 'block-size': 32, 'key-size': 32 },
})

Capistranoって便利なのかな。
でも、とりあえずbashでいくわ。

10 minutes topic

2009-03-02T15:30:00.005+09:00

http://d.hatena.ne.jp/CortYuming/20090224/p1


def deal(member, data):
    """
    >>> deal(3, "123123123")
    ['111', '222', '333']
    >>> deal(4, "123123123")
    ['12', '23', '31', '12']
    >>> deal(6, "012345012345012345")
    ['000', '111', '222', '333', '444', '555']
    >>> deal(4, '111122223333')
    ['123', '123', '123', '123']
    >>> deal(1, '012345012345012345')
    ['012345012345012345']
    >>> deal(6, '01234')
    ['', '', '', '', '', '']
    >>> deal(2, '')
    ['', '']
    """
    from itertools import izip, cycle
    a = [''] * member
    for d, m in izip(data[:len(data) - len(data) % member],
            cycle(range(member))):
        a[m] += d
    return a

見ないようにしたのに、似たような回答になってしまった。
本当は初期値を準備せずにうまいことやりたかったんだけど。
たとえばreduceは、どんな理論か知りませんが、適切に初期値を準備してくれますよね。
文字列の += もいやな感じ。
行数を増やさずにjoinにしたい。

ワンライナーがかけるようになりたい。

python code reading for WEB

2009-02-17T12:55:00.004+09:00

Python力を高めるためのライブラリコードリーディング

私もDjangoからPythonに入った口ですが、
今もDjangoからPythonにはいる人が多いと思います。

まず読みたいのがこの記事。
Why so many Python web frameworks?

いかにフレームワークを作るのが簡単かがわかり、自分で作ってみたくなる。
「ここで、Djangoなんかたいしたことないじゃん。
もっといいのを私は作れるよ！」
といって色々便利なフレームワークを組み合わせてみると、
ほかのフレームワークのよいところがはじめて見えてくる。

こうして色々試すとようやく「仕事」で使う上でのDjangoの魅力をようやく理解できる。
もちろん、Djangoには欠点がある。
contrib.authの融通の利かなさとか、
modelsがややお間抜けとか、
Routingのエラーメッセージとか、
templatetagの仕様だとか、
動的なFormとか。
解決したライブラリををそれぞれ作ってみたけど、個人使用ならともかく公開はできない。
ただ、解決方法をIRCでねちっこくつぶやくだけ。
だって、メンテしたくないから。
もっといい方法を思いついたら飛び移りたいじゃん。

っと、脱線してしまったけど、
とりあえず、最初にDjangoを読むよりは、個別のライブラリを読むほうが入門しやすい。
フレームワーク以前のPythonの言語自体については、
Code Like a Pythonista: Idiomatic Pythonを読んでください。

みんな、Pythonを愛してください。

Tag Filesystem

2009-02-13T12:40:00.002+09:00

stowを使って新しいパッケージなどを試験的に導入したりしていますが、
インストールやらアンインストールって面倒です。

ふと、ファイルシステムがタグベースならアンインストールが楽なのにと気づいた。
インストールして、依存ライブラリにタグをつけていけば明快です。
reference countingと同じ。

実行属性やPATHなどの環境変数、シンボリックリンクの問題も解決するのにな。

まあ、タグだけだとファイルの指定が大変になりそうなので、
適切な解決方法が出るまでは階層構造と併用になりそうですが。

TagFSなど、すでに実装もあるみたいですね。

Clojure

2009-02-12T10:20:00.002+09:00

InfoQ: JRuby and Clojure - A Good Match?
Clojureの1.0が近い。

Compojure : RubyのSinatra風WEBフレームワーク

Ring: WSGIやRackにあたるもの

clj-record: ActiveRecord-likeなORM mapper

Lancet: Rakeっぽい

clj-haml: HAML風clojure実装

WSGIやRakeみたいなものがあると、俄然やる気が出てくる。
LancetはAntがLisp風になっただけ。
Rakeのインパクトには勝てません。
Ringを見てみたけど、サンプルも少ないのでいまいち。
あまりよさそうには見えない。

SinatraみたいにRouteが散ると、多人数でカオスになっちゃうんだよね。

Clojureはまだまだだと思っているけど、使ってみた人いるかな？

個人的にはJVM言語はGroovyが圧倒的にお勧め。
Pythonよりも好きかも。
Javaの大規模開発もGroovyで始めて徐々にJavaに移行するようにすればいいのにと思っている。
今度、Javaで仕事がきたらやってみたいな。

Django for PHP

2009-02-03T00:46:00.005+09:00

Pluf
出ました。
いや、出てました。
すばらしい。

テンプレートエンジン以外はPure PHPと言うところがウリの一つです。

まずURL設定。


$ctl = array();
$base = Pluf::f('idf_base');

$ctl[] = array('regex' => '#^/p/([\-\w]+)/review/$#',
               'base' => $base,
               'priority' => 4,
               'model' => 'IDF_Views_Review',
               'method' => 'index');

$ctl[] = array('regex' => '#^/p/([\-\w]+)/review/(\d+)/$#',
               'base' => $base,
               'priority' => 4,
               'model' => 'IDF_Views_Review',
               'method' => 'view');

$ctl[] = array('regex' => '#^/p/([\-\w]+)/review/create/$#',
               'base' => $base,
               'priority' => 4,
               'model' => 'IDF_Views_Review',
               'method' => 'create');
return $ctl;

うん、まあこんな感じだろうね。
重複も多いし、modelとmethodで分かれているから、少し長い。
あと、分割も標準の方法が見つからないのでもう一工夫ほしいところ。

viewは見慣れたコード。
名前付き引数がないので$match[1]になることと、
名前空間がないので、名前が長くなることがおしい。


    public function updateItem($request, $match)
    {
        $item = Pluf_Shortcuts_GetObjectOr404('Todo_Item', $match[1]);
        $new_data = $item->getData();
        if ($request->method == 'POST') {
            $form = Pluf_Shortcuts_GetFormForModel($item, $request->POST);
            if ($form->isValid()) {
                $item = $form->save();
                $url = Pluf_HTTP_URL_urlForView('Todo_Views::viewList',
                                                array($item->list));
                return new Pluf_HTTP_Response_Redirect($url);
            }
        } else {
            $form = Pluf_Shortcuts_GetFormForModel($item, $item->getData());
        }
        return Pluf_Shortcuts_RenderToResponse('todo/item/update.html',
                                 array('page_title' => 'Update a Todo Item',
                                       'item' => $item,
                                       'form' => $form));
    }

テンプレート


{extends 'todo/base.html'}

{block body}
<h2>{$list.name}</h2>

{if $items}
<ol>
{foreach $items as $item}
<li><a href="{url 'Todo_Views::viewItem', array($item.id)}">{$item.item}</a></li>
{/foreach}
</ol>
{/if}

<p><a href="{url 'Todo_Views::addItem', array($list.id)}">Create a new item</a> | <a href="{url 'Todo_Views::updateList', array($list.id)}">Update the list</a></p>
{/block}

すばらしい。
文句のつけようがありません。
まあ、テンプレートエンジンだから当然か。
ところどころPHPの流儀を守っているところがさすがです。

しっかりテストクライアントが付いているところが粋です。


$client->post('/login/', array('login' => 'toto', 
                               'password' => 'secret'));
$client->get('/privatepage/');
$reponse = $client->get($url, array('optional_get_param' => 'toto'));
$this->assertEqual(200, $response->status_code);
// print $response->content;
// print_r($response->template);

モデル


class Todo_Item extends Pluf_Model
{
  public $_model = __CLASS__;
  // ここに定義を書く
  function init()
  {
    // テーブル名。設定ファイルでprefix設定可能
    $this->_a['table'] = 'todo_items';

    // クラス名を書く。PHPって自分のクラス名を取れなかったっけ？
    $this->_a['model'] = 'Todo_Item';

    // フィールド定義
    $this->_a['cols'] = array(
         // 残念ながらID定義は必要
        'id' =>
        array(
              'type' => 'Pluf_DB_Field_Sequence',
              'blank' => true, 
              ),
        'item' => 
        array(
              'type' => 'Pluf_DB_Field_Varchar',
              'blank' => false,
              'size' => 250,
              'verbose' => __('todo item'),
               ),
        'completed' => 
        array(
              'type' => 'Pluf_DB_Field_Boolean',
              'default' => false,
              'verbose' => __('completed'),
              ),
        'list' => 
        array(
              // おまちかね。関連設定。verboseがrelated_nameになる。
              'type' => 'Pluf_DB_Field_Foreignkey',
              'blank' => false,
              'model' => 'Todo_List',
              'verbose' => __('in list'),
              'help_text' => __('To easily manage your todo items,'.
                'you are invited to organize your todo items in lists.'),
              ),
        );
}

get_ + lower case name of the related model + _list
で関連リストが取れます。
でもどうでしょうね。
定義も単純だし、Selectも弱いので、こればっかりは様子見か。

FormはDjangoに忠実。
すばらしいです。
これは使いやすい。
ちゃんとFormForModelがあるので安心。
このFormと他ORMのアダプタをいくつか書いたほうがいいんじゃないのかな。
clean_nameなどのValidationも健在。

middlewareもあるし、
Dispatcherも「おっ！」と思うほどシンプル。
さらになんと、CodeIgniterよりも速い！
残念ながら、Djangoとディレクトリ構成が違うため、
規模が大きくなると散らかってしまうかも。
このあたりはLoaderを書き直してほしい。

面白いことに、このソースが配布されている
http://projects.ceondo.com/自体がPlufで書かれています。
git,svn,hgに対応したSourceBrowser,CodeReviewerにIssueTracker。
非常によいサンプルになり、なおかつ、読みやすいことがわかるのでとてもよい。
http://projects.ceondo.com/p/indefero/
この規模がこれだけ読みやすいなら個人的な用途は十分まかなえそうです。
PHPのソースで読みやすいと感じたのは久しぶりです。

これが広まれば、きっとPHPからDjangoへ流れる人が増えるはず。
PHP派もDjango派も目いっぱい布教しましょう。
オススメです。

web2py

2009-01-27T14:29:00.004+09:00

これほどまでに万能（変態）の名がふさわしいフレームワークがあるだろうか。

・フルスタック
・1からアプリケーションを開発できるエディタつき万能WEBADMIN
・GUIでER図を描くSQL Designer
・Stan-likeなHTML BuilderとDjangoとPSPのいいとこどりテンプレート
・とりあえずBEAUTIFY
・Railsのflash
・Model連動Form
・SQLAlchemyに対抗心メラメラなORM
・gae-likeモデル連動自動スキーマ変換
・GQL生成するので、GAEでもModel変更不要。
・ついでにCASも提供しておきます。
・Exceptionから自動Ticket発行
・Rails-likeのURL-RoutingにReverseがつき、Regex機能も併せ持つ完ぺき主義。
・request,responseなど、実用性だけを考えた大量のglobalオブジェクト
・ValidatorまでGlobalはマジでやめてくれ、IS_EXPR … 恐ろしい子

必要な機能はすべてそろっている。
後は勇気だけ。

変態だから人に勧めにくい。
GAEで使うフレームワークを探していたときに見つけた。
この豊富な機能は感動。

個人でいくつかGAEように作ったけど、会社では使いたくない。

------
ようやく書いた。
書こうと思ってメモ書きだけして、放置してあるのが多数。
ブログの使い方を間違えているな。

もういいやと思ってメモを消してしまったことも多いし、
メモでもいいからとりあえず公開して、その後追加、あるいはまとめを書くスタイルに変えなければ。

書きかけで放置してあるメモはあと5つ。
・django command拡張
・django-things
・Seasar2
・ipython
・本文抽出

download mass images 3

2009-01-23T01:08:00.003+09:00

download mass images 2のつづき

前回で問題としてあがったこと。
1. タプル
2. 出力の乱れ

まず、q.put((download, urljoin(url, a[-1].get('href'))))を書き換えます。
今は引数ひとつしか受け入れられないので、
q.put(func, args, kwargs)
と
func, args, kwargs = q.get()
になればいいですね。


q = Queue()
def worker(func):
    def inner(*args, **kwargs):
        print func, args, kwargs
        q.put((func, args, kwargs))
    return inner

@worker
def download(url):
    print 'down  '+url
    urllib.urlretrieve(url, url[url.rfind('/')+1:])

@worker
def parse(url):
    print 'parse '+url
    soup = BeautifulSoup(urllib.urlopen(url).read())
    a = soup('a', href=re.compile(r'^/images/pub/\d+/\w+\.jpg$'))
    download(urljoin(url, a[-1].get('href')))

@worker
def images(url):
    print 'image '+url
    soup = BeautifulSoup(urllib.urlopen(url).read())
    a = soup('a', {'class':'image_a'}, href=re.compile(r'^/backgrounds/\d+$'))
    map(lambda a:parse(urljoin(url, a.get('href'))), a[:4])

def pages(url):
    print 'pages '+url
    soup = BeautifulSoup(urllib.urlopen(url).read())
    a = soup('a', href=re.compile(r'^/desktop/\w+\.php$'))
    map(lambda a:images(urljoin(url, a.get('href'))), a[:4])

if __name__ == '__main__':
    def loop():
        while 1:
            func, args, kwargs = q.get()
            try:
                func(*args, **kwargs)
            except Exception, e:
                print e
            finally:
                q.task_done()
    for i in range(THREAD_MAX):
        w = Thread(target=loop)
        w.daemon = True
        w.start()
    pages(sys.argv[1])
    q.join()

なんとなく思いついたので、デコレータにしてみました。
これなら、呼び出しがシングルスレッドと同じになります。
引数も可変です。
読みやすいですね。
欠点はシングルスレッドと同じと言うことでしょう。
似たようなものは似た書き方をすべきではないかもしれません。

表示の乱れに関しては、


from threading import Lock
lock = Lock()
def p(s):
    lock.acquire()
    try:
        print s
    finally:
        lock.release()

ロックされた関数pを使って表示するようにします。
あとは、ご存知loggingモジュールはスレッドセーフなので、
loggingを使うのがもっとよい方法です。

ここまでを統合して、Workerクラスを書くとすれば、
このあたりでしょうか。


class Worker:
    def __init__(self, num):
        self.q = q = Queue()
        def loop():
            while 1:
                func, args, kwargs = q.get()
                try:
                    func(*args, **kwargs)
                except Exception, e:
                    logging.exception(e)
                finally:
                    q.task_done()
        for i in range(num):
            w = Thread(target=loop)
            w.daemon = True
            w.start()
    def put(self, func, *args, **kwargs):
        logging.debug(e)
        self.q.put((func, args, kwargs))
    def join(self):
        self.q.join()

workers = Worker(THREAD_MAX)

workersになにかputして作業が始まったらjoinで終了を待ってください。

これも大きな欠点があります。
Ctrl+Cで終了させることができません。

さてと、最後にeventletバージョン


from eventlet import coros, httpc, util
util.wrap_socket_with_coroutine_socket()
pages = coros.CoroutinePool(max_size=THREAD_MAX)
def download(url):
    a = httpc.get(url)
    # aにデータ入ってます。
pages.execute(alljpg, n, depth - 1)
pages.wait_all()

ごめん、最後は面倒なんで手抜き。

django2php

2009-01-14T13:32:00.004+09:00

PHPの仕事が来てしまったので、
Djangoと似た環境をPHPで探しました。

Djangoの基本要素は以下の4つかな？
・ORM
・Template
・Routing
・Form
DjangoのFormとRoutingは絶品だと思っています。
実際は両方とも書き換えてしまったので、絶品というのは変だけど、
基本設計は秀逸。今も感動しています。

あとの認証、セッション、Middleware(Filter)あたりは、
最初に書けば、あとはあまりいじらないから適当なライブラリから引用すればOK。

あとはディレクトリ構造。
appごとに分けられるDjangoは編集範囲が限定されていて見通しがよい。
rails風はコントローラとモデルが遠くて大変。

ORM

・Propel
・Doctrine
がいいらしい
Comparing Propel, Doctrine and sfPropelFinder
これはよい比較

YAMLでSchemaを書けて、HQLみたいなのもあるDoctrineがいい感じ。
でもやっぱりDjango-ORMがほしい。

途中、DoctrineでfindOneByTitleという、いかにもmethod_missingを使いました的な、メソッド名を発見。
調べてみたら、__callなんてあるんですね。
面白い。

Propelをメソッドチェーンで動くようにするなど拡張したsfPropelFinderもなかなか努力のあとがにじみ出ていていいですね。

php-django-like-db-abstraction/
「素晴らしい！」と思って、開いたら空っぽでした。
名前だけ取って手をつけない人は、それがどれぐらい迷惑な行為か早く学んでほしい。

template

生PHPが流行らしいです。
レイアウトとかどうするんだろう。
ヘッダとフッタを別々に読み込むの？

form

symfonyのformはDjangoと似ていていいですね。
まだ面倒に感じるのはMetaclassがないからかな？
単体で探したけど、似たものはないので、symfonyを使うか、単体用に取り出すか実装するか。
あるいは別の道を探すか。
inputタグなどを出力するためのHelper関数は多く準備されているようだけど、
ValidationやDBからの出力をこちらで考慮しなければならないのは面倒。
DjangoのFormは優秀。

Routing

Rails-likeが多いですね。
/controller/action/id
というやつね。
正規表現Routing、おまけに間接参照のやつがあれば素敵。
難しいものじゃないし、移植しようかな。

あと、ほしいのがpythonのimport
パスを考慮しながらのrequire_onceは難しい。
あと、まとめて数ファイルimportしたいときもある。

統合するとこんな感じか
urls.php


import('bloggy.views.*');
import('bloggy.form.EntryForm');

add_patterns(array(
'' => 'index',
));
add_patterns(array(
'new' => 'EntryForm.create',
'entry/(?P[0-9]+)' => 'EntryForm.edit',
), 'admin_required');

forms.php


class EntryForm extends Form {
    var $conf = array(
        'name' => Form::TextField(),
    );
}

PHPの構文が分からない、これでコンパイルとおるかな。
EntryFormをimportしたときに継承して拡張したEntryFormを渡すことってできるのかな。
同名だから無理かな。
じゃあ、定義は_EntryFormか。

やだねー、ほかの言語仕様に縛られて無理やり持ち込む人。
もっと柔軟になったほうがいいと思います。
symfonyおぼえよっと。

あと、Kohanaも結構優秀でした。
程よいimport(loading)、routing

download mass images 2

2009-01-13T17:00:00.002+09:00

download mass images 1のつづき

トップページから巡回して4ジャンルから3枚ずつのリストの取得。


def parse(url):
    print 'parse '+url
    soup = BeautifulSoup(urllib.urlopen(url).read())
    a = soup('a', href=re.compile(r'^/images/pub/\d+/\w+\.jpg$'))
    return urljoin(url, a[-1].get('href'))

def images(url):
    print 'image '+url
    soup = BeautifulSoup(urllib.urlopen(url).read())
    a = soup('a', {'class':'image_a'}, href=re.compile(r'^/backgrounds/\d+$'))
    return map(lambda a:parse(urljoin(url, a.get('href'))), a[:3])

def pages(url):
    print 'pages '+url
    soup = BeautifulSoup(urllib.urlopen(url).read())
    a = soup('a', href=re.compile(r'^/desktop/\w+\.php$'))
    return map(lambda a:images(urljoin(url, a.get('href'))), a[:4])

print pages(sys.argv[1])

前回の設定を引き継ぎ、上記のようなコードを書けば一覧が取得できます。
% python wally.py http://www.backgroundsarchive.com/desktop/|xargs -n1 -P6 wget
このコマンドがが動いて、取得してくるように変更することは難しいことではないでしょう。

しかし、このコマンドは遅いですね。
ダウンロードリストを生成する時間がかかりすぎです。
Python内でもスレッドを使いたい。

そして本題
これが書きたかっただけですが、前置き長い。

まずは、Queue。
Queue#getが呼ばれると待ちます。
中身が入るまで、死ぬまで待ち続けます。
中身が入ったら、嬉々として値を返します。
格納できる値はひとつずつです。
複数の値を入れたい場合は、タプルを使います。
これを利用して、Queueに呼び出してほしい関数と引数をタプルにして詰め込んでやります。
そして一定数のスレッドを、Queueから取り出しては実行する無限ループにします。
これでThreadPool完成です。
実装してみましょう。


import sys, re, urllib
from urlparse import urlparse, urljoin
from Queue import Queue
from threading import Thread, Lock
from BeautifulSoup import BeautifulSoup
THREAD_MAX = 6
class FFURLopener(urllib.FancyURLopener):
    version = 'Mozilla/5.0 (Windows; U; Windows NT 5.1; ja; rv:1.9.0.5) Gecko/2008120122 Firefox/3.0.5'
urllib._urlopener = FFURLopener()
q = Queue()

def download(url):
    print 'down  '+url
    urllib.urlretrieve(url, url[url.rfind('/')+1:])

def parse(url):
    print 'parse '+url
    soup = BeautifulSoup(urllib.urlopen(url).read())
    a = soup('a', href=re.compile(r'^/images/pub/\d+/\w+\.jpg$'))
    q.put((download, urljoin(url, a[-1].get('href'))))

def images(url):
    print 'image '+url
    soup = BeautifulSoup(urllib.urlopen(url).read())
    a = soup('a', {'class':'image_a'}, href=re.compile(r'^/backgrounds/\d+$'))
    map(lambda a:q.put((parse, urljoin(url, a.get('href')))), a[:3])

def pages(url):
    print 'pages '+url
    soup = BeautifulSoup(urllib.urlopen(url).read())
    a = soup('a', href=re.compile(r'^/desktop/\w+\.php$'))
    map(lambda a:q.put((images, urljoin(url, a.get('href')))), a[:4])

if __name__ == '__main__':
    def loop():
        while 1:
            func, args = q.get()
            try:
                func(args)
            except Exception, e:
                print e
            finally:
                q.task_done()
    for i in range(THREAD_MAX):
        w = Thread(target=loop)
        w.daemon = True
        w.start()
    pages(sys.argv[1])
    q.join()

これで4ジャンルから3枚ずつ最大サイズを取得します。

問題がいくつかあります。
1. タプル
2. 出力の乱れ

まずタプル。
読みづらいですね。
私はたいてい括弧を読み飛ばしてしまい、悩みます。
あと、引数の数の変更にも対応できません。

q.put((func, [a1], {}))
と
func, args, kwargs = q.get()
func(*args, **kwargs)
にすれば引数に対応できますが、煩雑です。
ここは、ラッパーを書きましょう。

次へ続く

rst2a

2009-01-13T11:54:00.002+09:00

django-lockのトップページで使われていたのを見て知った。

rst2a

reStructuredTextをHTMLやPDFに変換してくれるサービス。

そこのAPIを使ってこんなブックマークがあると便利。
rst2html

download mass images 1

2009-01-09T20:57:00.002+09:00

突然壁紙がたくさんほしくなったので、
壁紙がいっぱい集まっているところからちょいといただきます。

少し眺めていれば、以下のURLのように連番が発見できます。
http://www.backgroundsarchive.com/backgrounds/9124

まあ、ざっと見て20000以下なので、そこからbashを使います。
まずは10ほどで試してみましょう。
% echo http://www.backgroundsarchive.com/backgrounds/{1..10}
なんかたくさん表示されましたね。
OK、続けて
% echo http://www.backgroundsarchive.com/backgrounds/{1..10}|xargs -n1 echo
Bravo! これで分かりましたね。

あとはBeautifulSoupでいただいてしまいましょう。


import sys, re, urllib
from urlparse import urlparse, urljoin
from BeautifulSoup import BeautifulSoup

def download(url):
   print 'down  '+url
   urllib.urlretrieve(url, url[url.rfind('/')+1:])

def parse(url):
   print 'parse '+url
   soup = BeautifulSoup(urllib.urlopen(url).read())
   a = soup('a', href=re.compile(r'^/images/pub/\d+/\w+\.jpg$'))
   map(lambda a:download(urljoin(url, a.get('href'))), a)

if __name__ == '__main__':
   parse(sys.argv[1])

wally.pyとでも命名して即実行。
% time echo http://www.backgroundsarchive.com/backgrounds/{1..10}|xargs -n1 python wally.py
echo http://www.backgroundsarchive.com/backgrounds/{1..10} 0.00s user 0.00s system 42% cpu 0.001 total
xargs -n1 python wally.py 1.52s user 0.84s system 3% cpu 1:16.55 total
うーむ、信じられないほど遅い。
ブラウザだと少し早いからUAによる制限でしょうか。
まあ、しょうがない。

同時にダウンロードしちゃえば早いじゃんというのは自然な発想です。
コネクションが多すぎるとダメって聞いたことがあるので6つぐらいにしましょう。
% time echo http://www.backgroundsarchive.com/backgrounds/{1..10}|xargs -n1 -P6 python wally.py
echo http://www.backgroundsarchive.com/backgrounds/{1..10} 0.00s user 0.00s system 40% cpu 0.001 total
xargs -n1 -P6 python wally.py 1.48s user 1.45s system 11% cpu 26.645 total
これで六本同時に走ります。
うん、多少早くなりましたね。

念のため、User-Agentをかえてみます。
こんなのをimport urllibの下に書いておけばいいでしょう。


class FFURLopener(urllib.FancyURLopener):
    version = 'Mozilla/5.0 (Windows; U; Windows NT 5.1; ja; rv:1.9.0.5) Gecko/2008120122 Firefox/3.0.5'
urllib._urlopener = FFURLopener()

そして実行
% time echo http://www.backgroundsarchive.com/backgrounds/{1..10}|xargs -n1 -P6 python wally.py
echo http://www.backgroundsarchive.com/backgrounds/{1..10} 0.00s user 0.00s system 45% cpu 0.001 total
xargs -n1 -P6 python wally.py 1.52s user 1.32s system 82% cpu 3.428 total
げええ。
というわけで最適化に教科書なし。
遅いところに適切に対応しましょう。

さて、単純な連番ならこれでいいのですが、今回は全件取るつもりはありません。
序盤を集めたところマーブルばっかりで、動物とか風景がもっとほしい。
トップ画面からクロールしてほしい画像の一覧を作ったほうが好みの画像が集まりそうです。
トップページを見ると21ジャンルほどありますね。
巡回して21ジャンルから100枚ずつぐらいのリストを作るプログラムを書いて、
% python wally.py http://www.backgroundsarchive.com/desktop/|xargs -n1 -P6 wget
でうまくいきそうです。

予想外に長くなってしまってので次回へ続く。

Ajax file upload

2009-01-08T14:01:00.007+09:00

byteflowのデコレータから引用していたけど、FileUploadに対応させました。

Ajaxでは
request.META.get('HTTP_X_REQUESTED_WITH') == 'XMLHttpRequest'
が成り立つのですが、FileUploadはiframeを使いますのでつきません。
iframeでsubmitした場合、application/jsonにすると、ダウンロードが始まってしまうため、逃げます。


def ajax_request(func):
    def wrapper(request, *args, **kw):
        if request.method == 'POST':
            response = func(request, *args, **kw)
        else:
            response = {'error': {'type': 403,
                'message':'Accepts only POST request'}}
        if isinstance(response, dict):
            if request.META.get('HTTP_X_REQUESTED_WITH') == 'XMLHttpRequest':
                class JsonResponse(HttpResponse):
                    def __init__(self, data):
                        super(JsonResponse, self).__init__(
                                content=simplejson.dumps(data),
                                mimetype='application/json')
                return JsonResponse(response)
            else:
                # for file upload
                class IframeResponse(HttpResponse):
                    def __init__(self, data):
                        super(IframeResponse, self).__init__(
                                content='%s'%simplejson.dumps(data))
                return IframeResponse(response)
        else:
            return response
    return wraps(func)(wrapper)

jquery.form.jsを使うと、具合が大変よろしいです。


    $('#image_form').ajaxForm({
        dataType: 'json',
        beforeSubmit: function() {if (!$('#icon').val()) return false},
        success: function(data) { render(data) },
        resetForm: true
    })

dataTypeは'json'で。
beforeSubmitの第1引数のformDataはnameで引けないので不便。
第2引数のjqFormで、jqForm[0].icon.valueでもOK。
もっといい指定方法は知りたい。
clearFormがなぜか効かなかったのでresetForm。

jquery.blockUI.jsで画像選択やアップロード画面を出すときれい。

jquery.js必須

ブログ作成3個のヒント

2009-01-08T13:38:00.002+09:00

10 Killer WordPress Hacks

1. 広告は検索エンジンからの訪問にのみ表示しろ
ブックマークから来る人は広告なんて見ない、押さない。
でもどうせRSSで読むから関係ないけど。

2. 連投を防げ
連投かっこ悪い。
でもどうせならタイトルをSlugFieldとかにして、同じタイトルのものがないほうがインデックスとかもろもろで気持ちいいな。

3. NextやPrevはやめて、Paginationにしよう。
1,2,3,...Lastみたいなやつね。
AutoPagerが効かなくなる可能性がありそうだけど、<link rel="next">とかに対応してくれたら幸せだね。

など。
ほかはどうでもよかった。

Waf

2009-01-05T19:19:00.002+09:00

OMake つかったらC言語でプログラム書く手間がバカみたいに減った
いまさらだけど、それWafでできるよ

Guido's new method definition idea

2008-12-07T23:53:00.005+09:00

http://groups.google.com/group/comp.lang.python/browse_thread/thread/5457b8649040f7ea

最近のホットな話題


class C:
   def self.method( arg ):
       self.value = arg
       return self.value

というシンタックスシュガーを3.1で入れようかっていう話題。


self.method = lambda arg: foo(arg)

に似てていいじゃんってな意見もある。
ただ、そこから、Rubyチックにしろとかみんながすき放題言いまくって大盛況。
とりあえず、現時点ではまとめ人おつ。

Pythonの配列操作

2008-12-04T23:42:00.001+09:00

http://d.hatena.ne.jp/tachikawa844/20081204/1228381610

joinについては
",".join(str(s) for s in score)
か
",".join(map(lambda s:str(s), score))
が主流なはず

あと、
spliceについて
removed = array[1:5]
array[1:5] = xyz
とすれば実現できるはずだけど、1:5の指定を一度にしたいなー。
よく考えたら配列の切り出しと改変を両方行っているわけか。
こんな風に使ったことがないけど、どういうときに便利なんだろうか。
spliceって変な関数だな。
あ、popと一緒か。
でも代入だしなー。

tailfでエンコード

2008-12-04T15:09:00.002+09:00

tailf log|iconv -feucjp -tutf8

ではバッファリングされて出力されない。

nkfがあれば

tailf log|nkf -wu

perlがあれば

tailf log|perl -MEncode -pe'$_=decode('eucjp',$_)'

シェルでがんばるなら

tailf log|while read LINE;do echo $LINE|iconv -feucjp -tutf8;done

iconvにnobufオプションがほしい

python urllib.urlretrieve で進捗表示しつつダウンロードのメモ

2008-11-21T13:59:00.011+09:00


import sys
import urllib

def _reporthook(blocknum, bs, size):
    sys.stdout.write("%4d%%\r"%(blocknum*bs*100/size))
    sys.stdout.flush()

if __name__ == "__main__":
    uri = sys.argv[1]
    dest = uri[uri.rfind('/')+1:]
    urllib.urlretrieve(uri, dest, _reporthook)
    print

参考: http://subtech.g.hatena.ne.jp/cho45/20081120/1227178806
http://blog.livedoor.jp/dankogai/archives/51141631.html
printfやputsはflushいらんの？
pythonはprintでもダメだった
よくわからない

傷んだ野菜は大嫌い

2008-07-30T13:54:00.005+09:00

http://mono.kmc.gr.jp/~yhara/d/?date=20080730#p01
天才発見。
帰ったら即、携帯メール=>Gmail=>iCalのPyhabuプラグインを書く。
収納場所も書けるかも。
いろいろ応用範囲が広そうだな。
http://codespeak.net/icalendar/
このライブラリは使えるかな？

RTMみたいなあいまいな日付解析ライブラリはないかな。
数値のみ入力可能にして
2桁以下 => 当日以降でもっとも近いn日
4桁以下 => mmdd
5桁 => Ymmddで、Y年後のmmdd
6桁以上 => YYmmdd
が妥当かな。
5桁を入れるか悩ましい。

これを機会にレシート打ち込んで家計簿作るかな。
やっぱ面倒だから無理

Djangoとメールサーバ

2008-07-08T10:39:00.003+09:00

簡易なSMTPDを作った。
appname/management/commands/smtpd.py


class Command(BaseCommand):
    def handle(self, *args, **options):
        daemon_kwargs = {}
        daemon_kwargs['out_log'] = options.get('outlog', 'smtp_out.log')
        daemon_kwargs['err_log'] = options.get('errlog', 'smtp_err.log')
        from django.utils.daemonize import become_daemon
        become_daemon(**daemon_kwargs)

        foo = MySMTPServer((settings.EMAIL_HOST, settings.EMAIL_PORT),
                (settings.PARENT_SMTP_HOST, settings.PARENT_SMTP_PORT))
        try:
            asyncore.loop()
        except KeyboardInterrupt:
            pass
class MySMTPServer(smtpd.SMTPServer):
    def process_message(self, peer, mailfrom, rcpttos, data):
        """ なんか素敵なことをする """

たった1行でDaemon化できるのが素敵。

数字キーと記号を入れ替える

2008-07-05T12:40:00.004+09:00

キーボードカスタマイズの魅力
数字と記号を入れ替えるとは。
思いついたことはあったけど、やっている人がいるとは思わなかった。
窓使いの憂鬱で設定してみたが、使いづらい。
一週間使ってみる。


# SandS SpaceをShiftとして使う。押しっぱなしで取り消し
mod shift += !!space
key R-*Space = &Ignore

# 数字を記号と入れ替え
key _1 = $EXCLAMATION_MARK
key _2 = $QUOTATION_MARK
key _3 = $NUMBER_SIGN
key _4 = $DOLLAR_SIGN
key _5 = $PERCENT_SIGN
key _6 = $AMPERSAND
key _7 = $APOSTROPHE
key _8 = $LEFT_PARENTHESIS
key _9 = $RIGHT_PARENTHESIS
key _0 = BackSpace
key S-*_1 = _1
key S-*_2 = _2
key S-*_3 = _3
key S-*_4 = _4
key S-*_5 = _5
key S-*_6 = _6
key S-*_7 = _7
key S-*_8 = _8
key S-*_9 = _9
key S-*_0 = _0

# via t.masui
key semicolon = Enter
# 右下の\をセミコロンに
key BackSlash = semicolon

ぐぐらんとす

2008-06-23T13:43:00.001+09:00

http://satoshi.blogs.com/life/2008/06/post-2.html
回答を、楽をして手に入れることがなぜいけないの？

時代が違うから課題の出し方を変えればいいのに。
ぐぐること前提で、それでヒットすることに対する意見とか。
得られる知識の不備を予測して出題するとか。

出題者がぐぐり不足ではないのかな。
なぜ調べて出てくるようなことを求めるのか。

VimのPythonコメント

2008-06-20T15:06:00.001+09:00

vimでPython編集中にコメントを入力しようと"#"を入力すると、行頭にカーソルが移動してしまう。

~/.vim/indent/python.vimに以下を入力すれば、適切な位置でコメントを書ける。

setlocal indentkeys=!^F,o,O,<:>,0),0],0},=elif,=except,0#

via http://henry.precheur.org/2008/4/18/Indenting%20Python%20with%20VIM.html

netmask

2008-06-11T12:40:00.004+09:00

IPアドレスの制限で、ネットマスクの対応が見つからなかった。
128.255.63.0/24なら
アドレスを16進数に直して80ff3f00と2**24-1<<(32-24) & targetを比較すればいいのかな？

式はいくつか思いつくけど、正攻法はどんなものだろうか。

2**32-(1<<32-m)
2**m-1<<32-m


def ip_valid(addr):
  for s in IP_RANGE:
    t = s.split('/')
    if len(t) == 1:
      ip = t[0]
      mask = '32'
    else:
      ip = t[0]
      mask = t[1]
    mask = int(mask)
    n = ip2num(ip)
    if ip2num(addr) & 2**32-(1<<32-mask) == n:
      return True
  return False

def ip2num(ip):
    n = 0
    for i in ip.split('.'):
        n <<= 8
        n += int(i)
    return n

IP_RANGE = [
'210.153.84.0/24',
'123.108.237.9',
'202.179.204.0/24',
'61.202.3.0/24',
]

2008-06-03T15:00:00.003+09:00

sqldiffが非常に便利
./manage.py sqldiff appname
とすると、DBとappname/models.pyの相違を表示してくれる。
今まで、models.pyを変更すると差分がつかみづらい部分があったのでこれは便利。
Migrationまでの道のりは遠いけど。

DBMigrationが使えればもっと便利なんだろうけど、とりあえずはこれでOK。