Django Python csv エラー

質問

下記のようなエラーでて解決できないです。
Unicodeのエラー？
解決できるやり方がわからなくて困っています。誰かがご教授お願いいたします。
データベースに保存しょうと思ったら不正な文字列値のエラーがでてきました。
ご教授お願いいたします！

エラー：
(1366, "Incorrect string value: '\\x8E\\x81\\x96\\xBC\\x83J...' for column 'user_name' at row 1")

私のViews.py

def import_csv(request):
response = HttpResponse(mimetype='application/vnd.ms-excel; charset=UTF-8')
response['Content-Disposition'] = 'attachment; filename=file.csv'
reader = csv.reader(response)
with open('C:\Users\hasichaolu\Desktop\mkc\Py_meshi\sample.csv', 'r+b') as f:
reader = csv.reader(f)
for row in reader:
tmp = User.objects.create()
tmp.UserID = row[0]
tmp.user_name = row[1]
tmp.first_kana = row[2]
tmp.save()

回答No.1

kmee · ベストアンサー

とりあえず、Python Unicode で検索して、勉強してみてください。
pyhton公式のマニュアルやチュートリアルにも書いてあります。

Pythonの2.xでは、バイト列で記憶するstr文字列と、UNICODEで記憶する unicode文字列があります。

strは、日本語等のマルチバイト文字を、複数のバイト列として記憶します。
それがどの文字コードで書かれたものか、についての情報は記憶していません。
そのため、文字コードの変更が必要な場合は、元がどの文字コードであるかを指定する必要があります。

unicodeでは、文字は「文字」として記憶します。
そのため、文字コードの変更が必要な場合は、その文字がその文字コードで何番になるかを調べるだけなので、簡単にできます。

http://docs.python.jp/2/library/csv.html
Python2のcsv.readerはUnicode対応していません。
よって、
> tmp.user_name = row[1]
のrow[1]はstr文字列です。
これを登録する際に、DBが求めるコードに変換しようとするも、元のコードが分からないので変換できない、というエラーだと思われます。

対応策は、 row[1] をUnicode文字列にdecodeしてやることです。

前回の質問( http://okwave.jp/qa/q8492654.html ) で「登録日」はUnicodeになっているようです。
提示された部分に、日付を処理している部分が見当たらないのですが、そちらではUnicode対応していませんか?

お礼

ご指摘、ありがとうございます。とても勉強になりました。

>>前回の質問( http://oshiete.goo.ne.jp/qa/8492654.html ) で「登録日」は>>Unicodeになっているようです。
>>提示された部分に、日付を処理している部分が見当たらないのですが、そちら>>ではUnicode対応していませんか?
対応はしていませんでした。必要がなかったため、削除しました。
あとは、データベースのalin1からclient,databaseなどを全部UTF-8に変えただけです。

補足

codecs.open('C:\Users\hasichaolu\Desktop\mkc\Py_meshi\sample.csv', 'r+b',encode='utf-8') as f:

にしたら動いてくれたけど、なんか違和感があります！