PyTorch モデルのロード エラーの修正: _pickle.UnpicklingError: 無効なロード キー、'x1f'

PyTorch モデル チェックポイント エラーの解決: 無効なロード キー

適切なファイル処理とモデル読み込みを使用した Python バックエンド ソリューション

import os
import torch
import numpy as np
import timm
import zipfile
import io
# Device setup
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
print('Device being used:', device)
# Correct method to load a corrupted or zipped model checkpoint
mname = os.path.join('./CDF2_0.pth')
try:
    # Attempt to open as a zip if initial loading fails
    if zipfile.is_zipfile(mname):
        with zipfile.ZipFile(mname) as archive:
            for file in archive.namelist():
                with archive.open(file) as f:
                    buffer = io.BytesIO(f.read())
                    checkpoints = torch.load(buffer, map_location=device)
    else:
        checkpoints = torch.load(mname, map_location=device)
    print("Checkpoint loaded successfully.")
except Exception as e:
    print("Error loading the checkpoint file:", e)
# Model creation and state_dict loading
model = timm.create_model('legacy_xception', pretrained=True, num_classes=2).to(device)
if 'state_dict' in checkpoints:
    model.load_state_dict(checkpoints['state_dict'])
else:
    model.load_state_dict(checkpoints)
model.eval()
print("Model loaded and ready for inference.")

代替解決策: チェックポイント ファイルを再保存する

破損したチェックポイント ファイルを修正するための Python ベースのソリューション

import os
import torch
# Device setup
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
print('Device being used:', device)
# Original and corrected file paths
original_file = './CDF2_0.pth'
corrected_file = './fixed_CDF2_0.pth'
try:
    # Load and re-save the checkpoint
    checkpoints = torch.load(original_file, map_location=device)
    torch.save(checkpoints, corrected_file)
    print("Checkpoint file re-saved successfully.")
except Exception as e:
    print("Failed to fix checkpoint file:", e)
# Verify loading from the corrected file
checkpoints_fixed = torch.load(corrected_file, map_location=device)
print("Verified: Corrected checkpoint loaded.")

両方のソリューションの単体テスト

チェックポイントの読み込みとモデルの state_dict の整合性を検証する単体テスト

import torch
import unittest
import os
import timm
class TestCheckpointLoading(unittest.TestCase):
    def setUp(self):
        self.device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
        self.model_path = './fixed_CDF2_0.pth'
        self.model = timm.create_model('legacy_xception', pretrained=True, num_classes=2).to(self.device)
    def test_checkpoint_loading(self):
        try:
            checkpoints = torch.load(self.model_path, map_location=self.device)
            if 'state_dict' in checkpoints:
                self.model.load_state_dict(checkpoints['state_dict'])
            else:
                self.model.load_state_dict(checkpoints)
            self.model.eval()
            self.assertTrue(True)
            print("Checkpoint loaded successfully in unit test.")
        except Exception as e:
            self.fail(f"Checkpoint loading failed with error: {e}")
if __name__ == '__main__':
    unittest.main()

PyTorch チェックポイントの読み込みの問題に関するよくある質問

1. なぜ得られるのか _pickle.UnpicklingError PyTorch モデルをロードするときは?
2. このエラーは通常、チェックポイント ファイルに互換性がない、または破損していることが原因で発生します。また、保存と読み込みの間に異なる PyTorch バージョンを使用した場合にも発生する可能性があります。
3. 破損した PyTorch チェックポイント ファイルを修復するにはどうすればよいですか?
4. 使用できます zipfile.ZipFile() ファイルが ZIP アーカイブであるかどうかを確認するか、チェックポイントを再保存するには torch.save() 修理した後。
5. の役割は何ですか state_dict PyTorchで?
6. の state_dict モデルの重みとパラメータが辞書形式で含まれています。常に保存してロードしてください state_dict 携帯性を向上させます。
7. PyTorch チェックポイントを CPU にロードするにはどうすればよいですか?
8. を使用します。 map_location='cpu' の引数 torch.load() テンソルを GPU から CPU に再マッピングします。
9. バージョンの競合により PyTorch チェックポイントが失敗する可能性はありますか?
10. はい、古いチェックポイントは新しいバージョンの PyTorch にロードされない可能性があります。保存およびロードする際には、一貫した PyTorch バージョンを使用することをお勧めします。
11. PyTorch チェックポイント ファイルが破損しているかどうかを確認するにはどうすればよいですか?
12. を使用してファイルをロードしてみてください torch.load()。それが失敗した場合は、次のようなツールを使用してファイルを検査します。 zipfile.is_zipfile()。
13. PyTorch モデルを保存およびロードする正しい方法は何ですか?
14. 常に使用して保存します torch.save(model.state_dict()) そして使用してロードします model.load_state_dict()。
15. 私のモデルが別のデバイスにロードできないのはなぜですか?
16. これは、テンソルが GPU 用に保存されているが CPU にロードされている場合に発生します。使用 map_location これを解決するには。
17. 環境全体でチェックポイントを検証するにはどうすればよいですか?
18. 次を使用して単体テストを作成します unittest さまざまなセットアップ (CPU、GPU、OS) でのモデルの読み込みを確認します。
19. チェックポイント ファイルを手動で検査できますか?
20. はい、拡張子を .zip に変更して、次のように開くことができます。 zipfile またはアーカイブ管理者がコンテンツを検査します。

PyTorch モデルの読み込みエラーの克服

PyTorch チェックポイントをロードすると、ファイルの破損やバージョンの不一致によりエラーがスローされる場合があります。ファイル形式を確認し、次のような適切なツールを使用します。 zipファイル またはテンソルを再マッピングすると、トレーニングされたモデルを効率的に復元し、再トレーニングにかかる​​時間を節約できます。

開発者は、ファイルを保存するなどのベスト プラクティスに従う必要があります。 state_dict 環境全体でモデルを検証するだけです。これらの問題の解決に費やす時間によって、モデルの機能性、移植性、およびあらゆる展開システムとの互換性が確保されることに注意してください。 🚀