本書のEfficientGANを試しています。
以下の症状ですが、知見がございましたら、よろしくお願いします。

１．
gray-scale画像、約250枚。サイズは256x256pxです。
このためmodelを少し修正してます。
layerを追加したり、kernel-sizeを変更したりしましたが、結果は同じでした。
10000 epochほど学習させました。

２．
reconstructした画像はお見せできませんが、ほぼ元の画像を再現できています。
しかしやや不鮮明です（medianをかけたような画像。）。
またimage_from_zの画像もコントラストが低く、不鮮明な画像が生成されます。

Encoderがうまく学習されていないのでしょうか？
また生成される画像のレンジ（0~256に収まっていない？）がおかしいのでしょうか。

３．
上記のためか、異常画像から生成される異常検知画像が不鮮明で、元画像の正常な部分もあまり正確に再現できていません。
このため、差分の画像も異常部は多少表現されていますが、不十分です。
Anomaly_scoreは20000~40000です。

昨年、別のEfficientGANを試したことがありましたが、異常検知画像は元画像の正常な部分をほとんど再現できませんでした。
Anomaly_scoreは4000~6000でした。

４．
参考までに、テンソルボードの結果は以下です（まだ学習途中です）。
・赤がmodelのlayerを１つ増やしたもの。
・橙色はlayerは増やさずに、kernelの大きさを修正したもの。

・・・・・・・・・・・・・・・・・・・・・・・・・・・・
4/2追記

確認の為、上記のkernel修正modelを使い、「鬼灯（ホオズキ）」約250枚をグレースケールにし、さらに100pxから256pxにして検証しみました。　2000epochの学習をさせました。

reconstrutの方（中段）は元の「鬼灯」（上段）がやや微けてますが、再現できています。
image_from_zもボケてはいますが、鬼灯らしい形が見えてきてます。
異常部の検出も悪くない。

すると、私のdataが問題なのでしょうか。

以下の画像を参照ください。

↓　reconstrust

↓　image_from_z

↓　異常部の検出

↓　Tensorboard
青が鬼灯（RGB）
空色が鬼灯（Gray）
赤色が私のdata

概要

素晴らしい本をありがとうございます。本書がLinux向けであることは承知していますが、一部の変更を加えた上でWindows 10 のローカルPCにて実行しようと試みたところ、解決できないエラーが発生しました(Google Colab上ではエラーなく動作しました)。Linux環境もPytorchも初学者で慣れず、見当違いな質問である可能性がありますが、アドバイスを頂けたら幸いです。

再現

環境

• Windows 10
• Anaconda 3
• GPU : GeForce RTX 2070 SUPER
• GPUドライバ : GeForce Game Ready ドライバー ver. 460.79
• python==3.6.12
• pytorch==1.7.0, tensorboard==1.15.0
• Cuda Toolkit : 10.0 (V10.0.130), cuDNN : 7.4.1

実行コード

chapter4/section4_3_ESRGAN.ipynb

↑ 超解像タスクに関心があるため、Chap4から実行しています。

コードの変更点

• ノートブック内の「はじめに」部分を省略。
• 作業ディレクトリの作成とデータセットのダウンロード・解凍を事前に手作業で(エクスプローラから)行う。適当な位置に配置。
• 「はじめに」内にあったinput_dir及びoutput_dirを定義。

As is

• データセットの読み込みをエラーなく行える。In[12]のラベルやIn[23]のデータセット画像の表示を正しく行える。学習時まではその他もエラーがない。
• 「学習」セクションでの In[44]「学習」でエラー

# In[44]
for epoch in range(1, opt.n_epoch + 1):
    for batch_num, imgs in enumerate(train_dataloader):
        batches_done = (epoch - 1) * len(train_dataloader) + batch_num
        # 事前学習
        if batches_done <= opt.warmup_batches:
            esrgan.pre_train(imgs, batches_done, batch_num)
        # 本学習
        else:
            esrgan.train(imgs, batches_done, batch_num)
        # 高解像度の生成画像の保存
        if batches_done % opt.sample_interval == 0:
            for i, imgs in enumerate(test_dataloader):
                esrgan.save_image(imgs, batches_done)
        # 学習した重みの保存
        if batches_done % opt.checkpoint_interval == 0:
            esrgan.save_weight(batches_done)

# エラー文
---------------------------------------------------------------------------
BrokenPipeError                           Traceback (most recent call last)
<ipython-input-70-22b6867ec45e> in <module>
      1 for epoch in range(1, opt.n_epoch + 1):
----> 2     for batch_num, imgs in enumerate(train_dataloader):
      3         batches_done = (epoch - 1) * len(train_dataloader) + batch_num
      4         # 事前学習
      5         if batches_done <= opt.warmup_batches:

~\Anaconda3\envs\pytorch17\lib\site-packages\torch\utils\data\dataloader.py in __iter__(self)
    350             return self._iterator
    351         else:
--> 352             return self._get_iterator()
    353 
    354     @property

~\Anaconda3\envs\pytorch17\lib\site-packages\torch\utils\data\dataloader.py in _get_iterator(self)
    292             return _SingleProcessDataLoaderIter(self)
    293         else:
--> 294             return _MultiProcessingDataLoaderIter(self)
    295 
    296     @property

~\Anaconda3\envs\pytorch17\lib\site-packages\torch\utils\data\dataloader.py in __init__(self, loader)
    799             #     before it starts, and __del__ tries to join but will get:
    800             #     AssertionError: can only join a started process.
--> 801             w.start()
    802             self._index_queues.append(index_queue)
    803             self._workers.append(w)

~\Anaconda3\envs\pytorch17\lib\multiprocessing\process.py in start(self)
    103                'daemonic processes are not allowed to have children'
    104         _cleanup()
--> 105         self._popen = self._Popen(self)
    106         self._sentinel = self._popen.sentinel
    107         # Avoid a refcycle if the target function holds an indirect

~\Anaconda3\envs\pytorch17\lib\multiprocessing\context.py in _Popen(process_obj)
    221     @staticmethod
    222     def _Popen(process_obj):
--> 223         return _default_context.get_context().Process._Popen(process_obj)
    224 
    225 class DefaultContext(BaseContext):

~\Anaconda3\envs\pytorch17\lib\multiprocessing\context.py in _Popen(process_obj)
    320         def _Popen(process_obj):
    321             from .popen_spawn_win32 import Popen
--> 322             return Popen(process_obj)
    323 
    324     class SpawnContext(BaseContext):

~\Anaconda3\envs\pytorch17\lib\multiprocessing\popen_spawn_win32.py in __init__(self, process_obj)
     63             try:
     64                 reduction.dump(prep_data, to_child)
---> 65                 reduction.dump(process_obj, to_child)
     66             finally:
     67                 set_spawning_popen(None)

~\Anaconda3\envs\pytorch17\lib\multiprocessing\reduction.py in dump(obj, file, protocol)
     58 def dump(obj, file, protocol=None):
     59     '''Replacement for pickle.dump() using ForkingPickler.'''
---> 60     ForkingPickler(file, protocol).dump(obj)
     61 
     62 #

BrokenPipeError: [Errno 32] Broken pipe

↑ エラー文のPATH内にあるpytorch17は私が設定した仮想環境名です。

• pytorchのisuue などを参考にしながら、 In[40]「パラメータ」内のself.n_cpuを8から0へ変更したところ、エラーをはかずに学習が進む。しかし、multiprocessingができないため訓練時間が長くなる。マシンのCPUのコア数は12なので、デフォルトのself.n_cpu = 8でも動作するはずなのですが...泣

• 上記リンク先(isuue)の議論によれば実行部分をif __name__ == "__main__"で括ればよいとの指摘もありますが、問題部分のセル(In[44])を括っても相変わらずエラーが出て正しく動作しません。In[42]「データセット」からIn[44]「学習」までをまとめてmainで括っても動作しません。

To be

コア数を減らすことなく、BrokenPipeError: [Errno 32] Broken pipeを出さずに学習を実行したい。

Note

長文の質問失礼しました。Pytorch初学者なので分からないことも多く、どんなアドバイスも歓迎します。どうぞよろしくお願い致します。

とても素晴らしい内容の書籍で、参考になる内容ばかりです！
さて、書籍内のコードでお伺いしたいことがあってIssueにあげさせていただきます。

コード内にVariable関数が頻出しています。
Variable関数はPyTorch 0.4でTensorに統合され、それからは非推奨の書き方とされています。
手元でVariable関数なしのコードを試してみましたが、結果に大きな違いはないようです。

何か意図があってのことなのでしょうか？
ご教示頂ければ嬉しいです。

電子書籍を出すとしたら、いつぐらいでしょうか？

section5_1_pix2pixのPix2Pixクラスの定義の
Pix2Pix.train
のGのパラメータ更新部のコードの下記部分

### ### ### ### ### ### ### ### ### ### ### ### ###

    # Generator
    # 評価フェーズなので勾配は計算しない
    # 識別器Dに生成画像を入力
    with torch.no_grad():
        pred_fake = self.netD(fakeAB)

    # 生成器GのGAN損失を算出
    lossG_GAN = self.criterionGAN(pred_fake, True)

### ### ### ### ### ### ### ### ### ### ### ### ###

with torch.no_grad():部で計算グラフが切れて、GANロスが逆伝搬しない気がしますが
私の認識あっているでしょうか？

始めまして。
素晴らしいGANに特化した書籍の出版おめでとうございます。そして素晴らしい学習ソースのご提供に感謝申し上げます。
大変分厚い著書ですのでこの値段でこれだけのことが学べるのかと驚いております。

3D-α-WGAN-GPの応用についてお伺いいたします。
本書では600種ほどのnifti形式データセットを用いてボクセルデータを生成を行っていますがこの生成ネットワークはnifti以外の形式のデータセットに対して有効でしょうか。個人興味としてパグといったスケールのボクセルデータを大量に作っています。このネットワークが自前のボクセルデータに適応可能かどうかお忙しいところ恐縮ですがご協力をお願いいたします。

section6_3_recycleGAN_pytorch_face.ipynbの、学習を行うコードブロックにてReplayBufferが間違っているのではないかと思ったので確認させていただきたいのですが、

（現在のバージョン）
fake_B1 = fake_A_buffer.push_and_pop(fake_B1)

ではなく

fake_B1 = fake_B_buffer.push_and_pop(fake_B1)

ではないでしょうか？(B2, B3についても同様）
書籍と異なるデータセットを用いたらうまく学習しなかったのでご連絡させていただきました。
ご確認のほどよろしくお願いします。

帰宅前に手元のPC-Linux（manjaro-Linux, 仮想環境のpythonは3.7.7）で試しに動作させたところ容易に動作しました。
（GPUが８GBしかないため、画像は128とし、保存する間隔もdefaultの4倍以上に設定しました。）

最後にscript全体を引数で走らせる記載は私も大好きです。
（他の人も真似してくれないかしら。）

同僚がこれを見て、大容量のGPUをつんだwndows10で試したいとせがまれました。
すでにanacondaはinstallされていますが、今回のStyleGANを動させるのに不足なmoduleを特定できませんでした。
可能であれば、何が必要なのか教えていただけませんか。

保存されるmodelですが、学習が完了するまですべてを保存する必要はないと考えてますが、正しいでしょうか。
fileサイズがかなり大きいので、defaultの４倍の間隔でも大変です。
今の所、学習を途中でとめる時点でのmodelのみを保存し、それ以前は消去します。
ただし学習が最終段階に近づいた時点で、保存間隔を狭め、modelも残していく予定です。
このやり方で大丈夫でしょうか。

今回のcodeを用いて、他のdata-setを試す事は可能でしょうか。
我々は工業材料の電子顕微鏡の画像を扱っており、対象は人ではなく、画像もgray-scaleです。
もし修正したほうが良い所があればご指摘くださると助かります。

以上よろしくお願いします。

PS:今回のdemo画像は個人的には楽しみですが、会社で結果みるには誤解を招きそうで少しハラハラしてます（笑）。

section5_2_cycleGAN.ipynbをGoogle Colabから、実行しようとしたのですが、以下のgdownのコマンドで、Access deniedのErrorが出てしまいました。

# photo2portraitデータセットのコピー
!gdown --id 1arF3guFms5tLiaIs8GtcV2dW0WAvrvLM

エラーの内容は、以下になります。

/usr/local/lib/python3.7/dist-packages/gdown/cli.py:131: FutureWarning: Option `--id` was deprecated in version 4.3.1 and will be removed in 5.0. You don't need to pass it anymore to use a file ID.
  category=FutureWarning,
Access denied with the following error:

 	Cannot retrieve the public link of the file. You may need to change
	the permission to 'Anyone with the link', or have had many accesses. 

You may still be able to access the file from the browser:

	 https://drive.google.com/uc?id=1arF3guFms5tLiaIs8GtcV2dW0WAvrvLM 

githubのリンクからもphoto2portraitデータセットにアクセスしようとしたのですが、やはり、アクセスできませんでした。
ご対応、よろしくお願いいたします。

素晴らしいコードを公開して頂きまして、ありがとうございます。
とても勉強になっております。

現在、　section7_1-training.ipynb　を試しています。
Colabolatory上、そしてローカルで実行するとともに、以下のエラーが出て止まってしまいます。

RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation: [torch.cuda.FloatTensor [4, 1, 1, 512, 4, 4]], which is output 0 of AsStridedBackward0, is at version 1; expected version 0 instead. Hint: enable anomaly detection to find the operation that failed to compute its gradient, with torch.autograd.set_detect_anomaly(True).

これは私だけでしょうか。
誠に恐縮ですが、アドバイスいただけると幸いです。

It might make more sense to update from ipython-sql to Jupysql.
Adding more context.

This transition should help you avoid compatibility issues and get access to newer features.
Just switching the name and version as backward compatibility is on.

感想から。
主要なGANについて、解説とpytorchでcodeを作製いただき、ありがとうございました。
またご苦労さまでした。
本書は実装重視のため、大変読みやすいです。
StyleGANの部分はまだ完全に読み切れてませんが、細かい部分まで説明されており、大変助かります。

１．
一昨日購入し、早速ESRGANとEfficientGANを試してみました。EfficientGANはほぼそのままのcodeを使って、colabで問題なく動作しました。今後はcodeを修正して、手元のデータを扱ってみたいと思います。
ESRGANはデータを外に出せないため、手元のPCで実施しました。このため、codeを少し変更しましたが、主要な部分に問題はなさそうです。

私は少し前にSRGANで電子顕微鏡画像の高解像度化を行っていたのですが、困った事にgray-scaleの画像では動作せず、止むえずRGBに変換して利用しておりました。このため、多くのメモリが必要で、計算に時間がかかるのが欠点でした。
本書のESRGANを見ると、画像のchannel数がparameter(P141）にあるので、期待しましたが、やはりgray-scale（channels=1）ではエラーになります。これはvgg19?を利用しているためでしょうか。
もしcodeの修正でgray-scaleを扱えるようでしたら、ぜひお教え下さい。

２．
本書に掲載されているcodeですが、商業利用は可能でしょうか。
code自体を販売するのではなく、得られた結果を使って学会発表や得られた結果自体をお客様に販売するのが目的です。

回答よろしくお願いします。

PS:　PCが会社にあるため、もし動作環境が必要でしたら月曜日以降にご連絡します。

環境の概略：
ESRGAN使用時.
OS: manjaro-Linux　（kernel 5.10）
仮想環境(pyenvで構築)：python3.7.7
pytorch: 1.7 ?
cuda : 11 ?
GPU: GeForce1080 (8GB)

EfficeintGAN: Google-Colab

simple_upfirdn_2d.py内のforward関数内の処理で、

＃ pad_all = batch_in_ch_pad + in_height_pad + in_h_in_w_pad + in_width_pad + in_w_minor_dim_pad + minor_dim_pad
pad_all = pad00 + pad01 + pad02 + pad03 + pad04 + pad05 + pad06
x_ = F.pad(x_, pad_all)

と書いてあるのですが、pytorchのF.pad(x,pad)はxの後ろの次元から、padの先頭から順に決められた数でpadを取るので、正式にはコメントは

#pad_all=minor_dim_pad+in_w_minor_dim_pad +in_width_pad+ in_h_in_w_pad + in_height_pad+batch_in_ch_pad

となるのではないのでしょうか。

また、

in_height_pad = [max(pady0, 0), max(pady1, 0)]
in_width_pad = [max(padx0, 0), max(padx1, 0)]
pad_crop = pad00 + in_height_pad + in_width_pad + pad06
x_ = F.pad(x_, pad_crop)

の処理も同様で、
この処理だと、in_height_padでwidthのpadを作り、in_width_padでheightのpadを作るようになっていると思われます。

間違っていたら申し訳ございません。

Hi, here is some issue when i run 'training.py'

RuntimeError: Given groups=4, weight of size [2048, 512, 3, 3], expected input[1, 8192, 4, 4] to have 2048 channels, but got 8192 channels instead

I used batch_size=4 and resolution=512 with endless_summer dataset. (python 3.8 / pytorch 1.8.1)

And it seems good with the default parameters.(batch_size=16, resolution=32)

Thank you.

勉強させていただいております。ありがとうございます！
初歩のところで質問させていただきます。
p.74
識別器Dで本物画像に対する出力は、fake画像のそれの出力の名称と同様にoutputとしているようです。
これってerrDの逆伝播を行うときにどのoutputに伝播するかなどの影響ないでしょうか（backwardsのoverwriteは発生しないですよね？）？
（make_dotとかで伝播の図を見てみたら問題ないようですが）
ご教示いただければ幸いです。

Arcurid

本書のAnoGANを試しています。
私のほうが初見者のため、恐れ入りますが下記を教えて頂きたいです。
Fruit-360 datasetのダウンロードが実施できない状態です。
以下の症状ですが、知見がございましたら、よろしくお願いします

＜コード：初めの所＞
!wget https://md-datasets-cache-zipfiles-prod.s3.eu-west-1.amazonaws.com/rp73yg93n8-1.zip -nc -P ./data/
!unzip -n ./data/rp73yg93n8-1.zip -d ./data/
!unzip -n -q ./data/fruits-360_dataset.zip -d ./data/

＜エラー内容＞
--2023-01-23 13:36:54-- https://md-datasets-cache-zipfiles-prod.s3.eu-west-1.amazonaws.com/rp73yg93n8-1.zip
Resolving md-datasets-cache-zipfiles-prod.s3.eu-west-1.amazonaws.com (md-datasets-cache-zipfiles-prod.s3.eu-west-1.amazonaws.com)... 52.92.2.34, 52.92.19.130, 3.5.69.108, ...
Connecting to md-datasets-cache-zipfiles-prod.s3.eu-west-1.amazonaws.com (md-datasets-cache-zipfiles-prod.s3.eu-west-1.amazonaws.com)|52.92.2.34|:443... connected.
HTTP request sent, awaiting response... 404 Not Found
2023-01-23 13:36:54 ERROR 404: Not Found.

unzip: cannot find or open ./data/rp73yg93n8-1.zip, ./data/rp73yg93n8-1.zip.zip or ./data/rp73yg93n8-1.zip.ZIP.
unzip: cannot find or open ./data/fruits-360_dataset.zip, ./data/fruits-360_dataset.zip.zip or ./data/fruits-360_dataset.zip.ZIP.