LLMのファインチューニングとRAG ―チャットボット開発による実践― 電子書籍版

2640円（税込）
初めての方
6回使える！最大70%OFFクーポン
※値引上限等条件あり
詳細・獲得はこちら
初めてではない方
何回でも使える5%OFFクーポン

詳細・獲得はこちら
購入はこちら試し読み
- 本作品について、無料施策・クーポン等の割引施策・PayPayポイント付与の施策を行う予定があります。
  この他にもお得な施策を常時実施中、また、今後も実施予定です。詳しくはこちら。
専門書　コンピューター
作品内容
※この商品はタブレットなど大きいディスプレイを備えた端末で読むことに適しています。また、文字だけを拡大することや、文字列のハイライト、検索、辞書の参照、引用などの機能が使用できません。※この電子書籍は紙版書籍のページデザインで制作した固定レイアウトです。ローカルLLMでファインチューニングとRAGを学ぼう！本書は、公開されている大規模言語モデル（LLM: Large Language Model）を使ってローカル環境に独自のチャットボットを構築することを目標に、LLM のファインチューニングと RAG (Retrieval Augmented Generation) の基礎と、そのプログラミングについて学ぶものです。ChatGPTの台頭により、高性能なチャットボットへの期待が急速に高まっています。しかし、そのチャットボットの核となるLLMは基本的に言語モデルであるために、幻覚（誤った情報）を生成してしまいます。とくに、LLMはローカルな情報や最新の情報は持っていないため、それらに関する質問に対しては正しい回答が期待できません。また、ChatGPTのようにLLMが外部のサーバにある場合、自社データや顧客データを入力することには抵抗があると思います。本書では、そういった課題を解決するために、公開LLMをファインチューニングしたり、公開LLMを使ったRAGを構築したりすることで、よりニーズに沿ったチャットボットを構築します。こういった調整を行って構築したチャットボットは、特定の分野について深く正確に回答してくれるようになります。＜本書のポイント＞・LLMについての基本事項を学べます。・LLMのファインチューニングの方法とRAGの構築方法を学べます。・解説したプログラムをウェブサイトで配布します。はじめに／目次第1章　大規模言語モデル1.1 言語モデルとは1.2 言語モデルとチャットボット1.3 日本語特化のLLM1.4 LLMの利用1.5 この章で使用した主なプログラム第2章　ファインチューニング：言語モデルの追加学習2.1 基本的な学習の処理2.2 Trainerの利用2.3 訓練データをDatasetへ2.4 collator2.5 保存されたモデルからの文生成2.6 Early Stoppingの導入2.7 この章で使用した主なプログラム第3章　Instruction Tuning：指示に基づくファインチューニング3.1 Instruction Tuningとは3.2 Instruction Tuningの学習データ3.3 Instruction Tuningの学習データの作成3.4 Instruction Tuningの実行3.5 Instruction Tuningモデルによる文生成3.6 この章で使用した主なプログラム第4章　大規模言語モデルのファインチューニング4.1 LoRA：低ランク行列によるファインチューニング4.2 PEFT：効率的にファインチューニングするためのライブラリ4.3 LoRAモデルによる文生成4.4 QLoRA：LoRAに量子化を利用する1 量子化とは2 bitsandbytesの利用4.5 Prompt Tuning：プロンプトの効率的なチューニング法4.6 この章で使用した主なプログラム第5章　RAG：検索を併用した文生成5.1 RAGとは5.2 FAISSによるデータベースの構築1 パッセージの作成2 パッセージのベクトル化3 ベクトルデータベースの構築5.3 RetrievalQAとOpenAIのLLMによるRAGの構築5.4 RetrievalQAと公開LLMによるRAGの構築1 プロンプトの作成2 HuggingFacePipelineを利用したLLMの設定3 プロンプトの変更5.5 RAGの各種パーツの変更1 WikipediaRetrieverクラスの利用2 Wikipediaからの自前データベースの作成3 Document LoaderとDocument transformersによるデータベースの作成4 キーワードデータベースの検索5 量子化モデルの利用5.6 HyDE：仮想的文書作成による検索法5.7 RAGの性能向上のために検討するべき要素5.8 この章で使用した主なプログラム第6章　ChainlitによるGUIのチャットボット6.1 インストール6.2 Chainlitの基本プログラム6.3 OpenAIのLLMを使ったチャットボットのGUI6.4 公開LLMを使ったチャットボットのGUI6.5 RAGを利用したチャットボットのGUI6.6 Chainlitのサーバでの稼働6.7 この章で使用した主なプログラムあとがき／索引／奥付