PYTHONPATHの挙動を正確に把握する ぎじゅっやさん

ちなみに本文は長いので。暇な人だけ読むと良い。

(ノ・・)ン。。。。。。(((●コロコロッ

Python使うとハマる原因になりそうなもの、

PHPでいうとinclude_pathと同じで、
パスが通らない問題が発生する。

PYTHONPATHとは、環境変数として定義して置くことで、
内部利用してくれるPATHを指定してくれるもの。
しかし、このPYTHONPATHの挙動を正確に理解している人は、
熟練のPython使いでも少ない気がする。
それとも昔のPythonとでは挙動が違うのかもしれない。
私が調べた時の環境はさくらインターネットのPython2.4。

きっかけはさくらインターネットでCGI利用した時のこと。
コマンドラインで動作するのを確認してから、
CGIで実行しようとした時にパスが通ってない問題が発生した。
.htaccessにSetEnvディレクティブでPYTHONPATHを定義するのが定石の様だが、
さくらインターネットはSetEnvディレクティブの定義を全部認めてくれないらしく、
PYTHONPATHは見事にスルーされていた。
(cgitbを知る前だったから原因がわかるまで異常に時間がかかったのは余談です)

対策を施そうといろいろ調べたが、
SetEnvで設定すればいいよとしか書いてない。
代替案を提示してくれている以下のサイトを発見し、
「さくらのレンタルサーバ」で Python 外部モジュールを使う
さっそく試してみたが、
全部ダメだった。 ...orz
(アイデアその２は論外)
二年以上前の記事だから仕方がないか。


調査結果を先に言うと
正確には

• Python起動後import site時に読み込まれる
• PYTHONPATHで指定されたディレクトリとそのディレクトリ下にある*.pthに登録されているサブディレクトリをsys.pathリストに登録する
• コンポーネントを呼び出す時、システムは環境変数PYTHONPATHを見ていない

らしい。

また、OSに依るのかもしれないが、

• インタプリタ行でPYTHONPATHは指定出来ることは少ない

様で、
今のところうまくいった試しがない。
Linux, Freebsd両方ダメだった。

私なりの結論としては、
さくらインターネットなどSetEnvディレクティブが使えないサーバや、
いろんな環境を想定しなきゃならない配布用アプリケーションでは、
でPYTHONPATHを(擬似的に)指定するには、

#!/usr/bin/env python
site.addsitedir('/home/xxx/local/lib/python2.4/site-packages')
# main content

という感じで行こうと思う。
site.addsitepackages()という線もあるかな。
(実際は、前回の記事を踏まえているが)


PYTHON起動時に利用されるとか、
sys.path.append()と等価だとか、
putenvでPYTHONPATHを登録すればいいなどの、
誤情報に散々惑わされてヘトヘト。

[More:]

以下ではPYTHONPATHを環境変数に登録してあることを前提にしている。
登録内容は

PYTHONPATH=/home/xxx/local/lib/python2.4/site-packages

適当なコンポーネントをインストールしている。

●Python起動後import site時に読み込まれる
Pythonはコマンドライン引数に-Sを付けるとimport siteを省いた状態で起動することが出来る。
これは以前の記事setdefaultencodingの謎で書いた。
-Sオプション付きで起動しsys.pathの情報を確認する。
その後siteをimportしsys.pathの情報をもう一度確認する。

$ python -S
>>> import sys; print sys.path
['', '.', '/home/xxx/local/lib/python2.4/site-packages', '/usr/local/lib/python24.zip', '/usr/local/lib/python2.4/', '/usr/local/lib/python2.4/plat-freebsd6', '/usr/local/lib/python2.4/lib-tk', '/usr/local/lib/python2.4/lib-dynload']
>>> import site; print sys.path
['/home/xxx/local/lib/python2.4/site-packages/setuptools-0.6c7-py2.4.egg', ・・・, '/home/xxx/local/lib/python2.4/site-packages/wsgiref-0.1.2-py2.4.egg', '/home/xxx/local/lib/python2.4/site-packages', '/usr/local/lib/python24.zip', '/usr/local/lib/python2.4', '/usr/local/lib/python2.4/plat-freebsd6', '/usr/local/lib/python2.4/lib-tk', '/usr/local/lib/python2.4/lib-dynload', '/usr/local/lib/python2.4/site-packages']

となり、
import siteする前と後ではsys.pathの内容が異なっているのが解る。
つまりPYTYONPATHはシステム内部で動作しているものではなく、
siteコンポーネントを経由して(つまりスクリプト上)呼び出せれていることがわかる。

●PYTHONPATHで指定されたディレクトリとそのディレクトリ下にある*.pthに登録されているサブディレクトリをsys.pathリストに登録する
PYTHONPATHで指定しているディレクトリにdummy.pthというファイルと、
dummy.eggというディレクトリを作り、
それが呼び出されるかどうかを確認する。

$ mkdir ~/local/lib/python2.4/site-packages/dummy.egg
$ cat > ~/local/lib/python2.4/site-packages/dummy.pth
./dummy.egg
$ python
>>> import sys; sys.path
['', '/home/dozo/local/lib/python2.4/site-packages/setuptools-0.6c7-py2.4.egg', ・・・, '/home/dozo/local/lib/python2.4/site-packages', '/home/dozo/local/lib/python2.4/site-packages/dummy.egg', '/usr/local/lib/python24.zip', '/usr/local/lib/python2.4', '/usr/local/lib/python2.4/plat-freebsd6', '/usr/local/lib/python2.4/lib-tk', '/usr/local/lib/python2.4/lib-dynload', '/usr/local/lib/python2.4/site-packages']

dummy.eggというディレクトリが追加されていることが解る。
省略しているが拡張子をtxtなど変えると追加されなくなる。


では、sys.path.appendで追加した場合はどうか？
-Sオプションを付けてPYTHONを起動する。
その後sys.path.appendでPYTHONPATHに登録しているパスを追加してみる。

$ python -S
>>> import sys; sys.path
['', '.', '/home/xxx/local/lib/python2.4/site-packages', '/usr/local/lib/python24.zip', '/usr/local/lib/python2.4/', '/usr/local/lib/python2.4/plat-freebsd6', '/usr/local/lib/python2.4/lib-tk', '/usr/local/lib/python2.4/lib-dynload']
>>> sys.path.append('/home/xxx/local/lib/python2.4/site-packages'); print sys.path
['', '.', '/home/xxx/local/lib/python2.4/site-packages', '/usr/local/lib/python24.zip', '/usr/local/lib/python2.4/', '/usr/local/lib/python2.4/plat-freebsd6', '/usr/local/lib/python2.4/lib-tk', '/usr/local/lib/python2.4/lib-dynload', '/home/xxx/local/lib/python2.4/site-packages']

一つ増えただけでサブディレクトリは登録されていないのが解るだろうか？
('/home/xxx/local/lib/python2.4/site-packages'がダブっているのはinstall_dirを設定しているため)

間違って認識している人が多いようで、
国内海外問わずsys.path.appendで提案する人が多かった。
どちらかというとsite.addsitedirの方が近い動作をする。


●コンポーネントを呼び出す時、システムはPYTHONPATHを見ていない
もしimport時にPYTHONPATHを見ているのだとすると、
-Sオプションを付けてもキチンと呼び出されるはずである。
setuptoolsというコンポーネントがインストールされているので、
それを呼び出してみることにする。

$ python -S
>>> import os; print os.environ['PYTHONPATH']
/home/xxx/local/lib/python2.4/site-packages
>>> import setuptools
Traceback (most recent call last):
File "<stdin>", line 1, in ?
ImportError: No module named setuptools
>>> import site; import setuptools
>>>

environにはPYTHONPATHがキチンと定義されているが、
setuptoolsを呼び出してもエラーが出ている。
しかし、import siteをした後、つまりsys.pathに展開された後では、
キチンとimportしエラーが出なくなっているのが解る。

つまりコンポーネントを呼び出す時システムはPYTHONPATHを見ておらず、
展開されたsys.pathだけを見ていると言うことになる。

●インタプリタ行でPYTHONPATHは指定出来ることは少ない
これは成功した試しがないので、
憶測の域を出ないのだが、
プログラムの先頭に

#!/usr/bin/env PYTHONPATH=/home/xxx/local/lib/python2.4/site-packages python

と記述することで、
PYTHONPATHを環境変数を設定出来るという記述がいくつか見つかった。

一番すっきりした方法でいいのだが、
OS環境なのかenvのバージョンなのか。
環境に大きく左右されるっぽい。
実際やってみると入力待ち状態で止まってしまう。
改行コードの問題でNot Foundとかになるならまだすっきりするが、
はて・・・。

なので、この方法で使うことは避ける方が良いだろう。

---

まとめると、

• Python起動後import site時に読み込まれる
• PYTHONPATHで指定されたディレクトリとそのディレクトリ下にある*.pthに登録されているサブディレクトリをsys.pathリストに登録する(sys.path.append()と等価ではない)
• コンポーネントを呼び出す時、システムはPYTHONPATHを見ていない

ということだ。
PYTHONをCGIで利用する、
または配布用のアプリケーションを利用する際は、
この辺りを考慮しておく必要がありそうだ。


・・・そういえば過去tracが動かせなかった理由は、
ひょっとするとこれかな。。。




関連リンク：