マルチモーダルモデル入門 - ショッピング・ショップ | 通販検索

内容説明

コンピュータが世界を理解するしくみ。

目次

第１章 マルチモーダルモデルへの基礎

第２章 Ｖｉｓｉｏｎ ａｎｄ Ｌａｎｇｕａｇｅ

第３章 音データ

第４章 動画データ

第５章 ３次元データ

第６章 オムニモーダルモデル

著者等紹介

栗田修平［クリタシュウヘイ］

国立情報学研究所 コンテンツ科学研究系 助教。東京科学大学 情報理工学院 特任准教授。博士（情報学）（京都大学）。大規模言語モデルおよび実世界・物理世界を理解するための基盤モデル研究に従事

品川政太朗［シナガワセイタロウ］

ＳＢ Ｉｎｔｕｉｔｉｏｎｓ株式会社、奈良先端科学技術大学院大学 客員助教。２０２０年に奈良先端科学技術大学院大学 博士後期課程を修了。博士（工学）。マルチモーダル基盤モデルの研究開発に従事

柳凜太郎［ヤナギリンタロウ］

産業技術総合研究所 人工知能研究センター 研究員。２０２４年に東京大学 博士後期課程を修了（博士（情報科学））。視覚言語処理の研究に従事

塩野大輝［シオノダイキ］

東北大学大学院情報科学研究科博士後期課程３年。２０２４年３月に東北大学大学院情報科学研究科修士課程を修了。大学では、大規模視覚言語モデルの開発・応用・分析に関する研究に従事

高道慎之介［タカミチシンノスケ］

慶應義塾大学 准教授。２０１６年に奈良先端科学技術大学院大学 博士後期課程を修了。音声研究に従事

仁泉大輔［ニイズミダイスケ］

ＳＢ Ｉｎｔｕｉｔｉｏｎｓ株式会社（執筆時：ＮＴＴ株式会社）。東京都立大学客員研究員。２０２６年に東京都立大学大学院にて博士（情報科学）を取得（論文博士）。音の表現学習の研究に従事

中村友彦［ナカムラトモヒコ］

産業技術総合研究所主任研究員。２０１６年に東京大学博士後期課程を修了（博士（情報理工学））。音楽信号処理、音響信号処理の研究に従事

八木拓真［ヤギタクマ］

産業技術総合研究所人工知能研究センター主任研究員。２０２２年に東京大学博士後期課程を修了（博士（情報理工学））。動画理解の研究に従事

篠原崇之［シノハラタカユキ］

産業技術総合研究所レジリエントインフラ実装研究センター主任研究員。２０２２年に東京工業大学博士後期課程を修了（博士（工学））。コンピュータビジョンを活用した土木インフラ管理の研究に従事（本データはこの書籍が刊行された当時に掲載されていたものです）

出版社内容情報

本書は、画像や音声、動画など複数の異なるデータを扱う「マルチモーダルモデル」の入門書です。

自動運転やロボット、AIエージェントといった存在が、実世界の複雑な情報を理解して人間と円滑にコミュニケーションをとるために必要とする最先端技術を、基礎知識からその仕組みまで体系的に解説します。共通基盤となるTransformerの基礎からはじめ、視覚・音声・動画・3次元データの各モデルにふれたうえで、画像・音声・自然言語の融合モデルを解説します。

マルチモーダルモデルを用いた研究や開発に応用できる確かな力が身につく一冊です。

【目次】

第1章 マルチモーダルモデルへの基礎

1.1 Transformer

1.2 Transformerの処理単位としてのトークン

1.3 LLMが獲得した能力

1.4 LLMの学習手法

第2章 Vision and Language

2.1 視覚基盤モデルと視覚言語モデル

2.2 大規模視覚言語モデルの基礎

2.3 LLaVA

2.4 LVLM の性能に寄与する要素

2.5 LVLM の視覚トークンに関する内部分析

2.6 LVLM の評価

2.7 LVLM のリーダーボードと自動評価フレームワーク

2.8 V&L の課題と展望

第3章 音データ

3.1 音メディア処理の基礎

3.2 ニューラルオーディオコーデック

3.3 音声の基盤モデル

3.4 音楽の基盤モデル

3.5 可聴音一般の基盤モデル

3.6 音と言語の基盤モデル

3.7 音処理全体の課題と展望

第4章 動画データ

4.1 動画データとは

4.2 動画理解のタスク

4.3 動画基盤モデル

4.4 代表的な動画基盤モデル

4.5 動画基盤モデルの学習

4.6 データセットと評価

4.7 動画基盤モデルのテクニック

4.8 動画基盤モデルの課題と展望

第5章 3次元データ

5.1 3次元データとは

5.2 LLM/VLM 以前のマルチモーダル手法

5.3 3D データと LLM の統合技術

5.4 VLM との融合

5.5 3D データの課題と展望

第6章 オムニモーダルモデル

6.1 複数モダリティ対応の基本

6.2 NExT-GPTの学習

6.3 オムニモーダルモデルの評価

6.4 オムニモーダルモデルの課題と展望

著者：栗田 修平/品川 政太朗/柳 凜太郎/塩野 大輝/高道 慎之介/仁泉 大輔/中村 友彦/八木 拓真/篠原 崇之【著】

出版社：技術評論社