Hugging FaceのTransformersのインストール

2024/05/272024/10/23

URLをコピーしました！

Hugging FaceのTransformersを使ってみようと思いインストールしてみました。インストール時にちょっと手間取ったのでノウハウとして残しておこうと思います。

Hugging Faceについて

自然言語処理（NLP）や他の機械学習分野で使用されるオープンソースライブラリとモデルを提供する企業およびコミュニティです。
Hugging Faceの主要な機能とコンポーネントについて説明します。

主要コンポーネントと機能

Transformersライブラリ:
Hugging Faceの最も有名なライブラリで、BERT、GPT、T5、RoBERTaなどの最先端のトランスフォーマーモデルを提供します。これらのモデルは、テキスト分類、質問応答、テキスト生成、翻訳など、さまざまなNLPタスクに使用できます。
Datasetsライブラリ:
様々な形式のデータセットを簡単にロード、処理、管理できるライブラリです。大規模なデータセットの効率的なハンドリングが可能で、データ前処理やデータ変換もサポートしています。
Tokenizersライブラリ:
テキストをトークンに分割するための高速で効率的なトークナイザを提供します。トークナイザは、BPE（Byte-Pair Encoding）、WordPiece、SentencePieceなどの様々なトークン化手法をサポートしています。
Model Hub:
Hugging Faceのウェブプラットフォームで、コミュニティと共有するためのモデルのリポジトリです。多くの事前学習済みモデルが公開されており、これを利用して自分のタスクに適用することができます。
Inference API:
Hugging Faceのモデルをクラウドでホスティングし、APIを通じて簡単にアクセスできます。これにより、自分のインフラストラクチャを持たずにモデルをデプロイし、利用できます。

Transformersのインストール

TransformersのインストールにはPyTorchかTensorFlow 2.0かFlaxがインストールされている必要があります。
私はPyTorchで進めたのですが、１つ落とし穴がありました。

仮想環境をアクティベイトして以下のコマンドでインストールを行います。
CPU環境で動かす場合です。
NVIDIAのCUDAが使える場合は PyTorch のページでCUDAのバージョンに応じたインストールをした方がよいかもしれません。

pip install transformers[torch]

以下のコマンドを実行して結果が表示されればインストール完了です。

python -c "from transformers import pipeline; print(pipeline('sentiment-analysis')('we love you'))"

[{'label': 'POSITIVE', 'score': 0.9998704195022583}]と表示されればTransformersのインストールは完了です。

ここで私は以下のエラーが発生しました。このエラーの対処方法はこちらに記載したので確認して下さい。

OSError: [WinError 126] 指定されたモジュールが見つかりません。 Error loading “C:\Users\username\python\openai-env\Lib\site-packages\torch\lib\fbgemm.dll” or one of its dependencies.