自然言語処理と言語モデル
応用データサイエンス学位プログラム
MADS7430
コース情報
担当教員: 川前 徳章
単位数: 2
年度: 2024
学期: 秋学期
曜限: 金6
形式: 対面授業
レベル: 500
アクティブラーニング: あり
他学部履修: 不可
評価方法
リアクションペーパー
60%
レポート
30%
その他
ユニークと思われる発言やアイ デアあるいは提案
10%
詳細情報
概要
AIの進歩,とりわけLLMと呼ばれる言語モデルにより自然言語処理の対象がテキストから言語モデルに代わるパラダイムシフトが進行中です。その結果,我々はテキスト等のデータよりもLLMを扱うことで自然言語処理をより使い易くなった一方,関連技術のキャッチアップのペースも上げる必要があります。このような背景から講義ではLLMをベースに最新の自然言語処理の技術やアプローチを概説します。講義を終えたらすぐに応用できるように演習中心ですが,この分野の理解に欠かせないAIや機械学習についても解説します。技術革新の早い分野ですので,通常回で扱えなかった内容はリクエスト回や,アップデートがあった技術はアンコール回で扱い,受講者の多彩なニーズに 応える予定です。参加者のニーズに応えて授業内容はフレキシブルに変更するだけで無く,質疑応答の時間を授業開始前に30分前後確保します。
目標
自然言語処理の概要を見渡し,その適用あるいは課題解決の方法を一人称で解決できるようになること。
授業外の学習
予習:自分で調査して,聞きたいことを明らかにすること。可能であれば自分なりの大胆な仮説を用意すること。 復習:演習回答,リアクションペーパー作成
所要時間: 可能な限り授業内で完結させたいと思います。
スケジュール
- イントロダクション:自然言語処理の最新状況とこの講座で学ぶこと ※以下は予定であり,授業の進捗状況により各テーマの回数は変更することがあり ます
- LLM登場以前の自然言語処理
- LLMと表現学習及びTransformer
- LLMを使ったapplicationを作ろう
- Prompt/In context learning
- RAG
- 前半の振り返り&リクエスト特集
- Transformer補完計画
- Tuningと学習
- 強化学習
- 生成AI /レコメンド
- マルチモーダル
- 後半の振り返り&リクエスト特集
- アンコール特集
教科書
特になし
参考書
書籍情報はありません。