検索結果 48 件

石川, 智貴, 横田, 理央 第85回全国大会講演論文集 2023 (1), 591-592, 2023-02-16

2次の情報行列を用いて最適化を行う2次最適化は，深層学習の最適化を高速化することが報告されている．しかし2次最適化はメモリ消費量や計算量が多いことから研究例が少ない．また様々な2次最適化手法が提案されているが，それらを横断的に比較検討する研究はほとんどなされていない．そこでMLP，CNN，Vision …

情報処理学会

近江, 俊樹, 中村, 凌, 片岡, 裕雄, 井上, 中順, 横田, 理央 第85回全国大会講演論文集 2023 (1), 845-846, 2023-02-16

画像認識分野では、JFT-300Mなどの大規模実画像データセットを用いた事前学習が主流になっているが、実画像はラベリングコストや倫理的な問題を抱えている。そこで近年、実画像ではなく、数式から生成した人工画像を用いて事前学習済みモデルを構築する数式ドリブン教師あり学習(FDSL)が注目されている。しかしながら、現在のFDSLで生成される人工画像データセットは多様な画像表現を獲得できておらず、十分な…

情報処理学会

齋藤, 智和, 横田, 理央 第85回全国大会講演論文集 2023 (1), 29-30, 2023-02-16

量子乱流はたくさんの渦糸からなる非粘性流体であり、その解析は渦糸を直接モデリングする渦法が有効である。このとき速度の計算に用いられるBiot-Savartの法則はN個の渦粒子に対してO(N^2)の計算コストがかかる。そこで、本研究では高速多重局展開法を用いてこの計算量をO(N)に低減する。また、GPU上で高速多重曲展開法を実装することでさらなる高速化を実現する。

情報処理学会

浅倉 拓也, 井上 中順, 横田 理央, 篠田 浩一 人工知能学会全国大会論文集 JSAI2023 (0), 4I3OS1b05-4I3OS1b05, 2023

<p>近年の深層学習による画像処理分野において，畳み込みの代わりにAttentionを特徴抽出に用いるVision Transformer（ViT）が高い性能を発揮した．この成果はTransformerが自然言語と画像の両者に対応可能であることを示しており，データのモードに依存しない汎用的なモデルとして期待されている．一方，ViTの派生モデルの多くは特徴抽出の受容野を絞ることで画像処理における頑…

DOI

中村 祥大, 横田 理央 人工知能学会全国大会論文集 JSAI2023 (0), 1B5GS202-1B5GS202, 2023

<p>深層学習モデルとデータセットの増大により分散並列学習が必要になっている。データ並列化は各GPUがモデルを冗長に持ち、バッチを分散させる最も容易に実装できる分散学習手法である。しかし、GPU数が増えるとバッチサイズもそれに比例して増大しSGDのもつ陰的正則化効果が失われることで汎化性能が低下する。本研究では、勾配のノルムによる正則化を行うことでこのラージバッチ問題を緩和することを目指す。</…

DOI

石井, 央, 横田, 理央 第84回全国大会講演論文集 2022 (1), 699-700, 2022-02-17

深層ニューラルネットワークの最適化には通常1次の最適化手法である確率的勾配降下法（SGD）が用いられるが，自然勾配法のような2次の最適化手法が収束性を大幅に向上できるケースも報告されている．これまで，深層学習に2次最適化が用いられてこなかった理由としては，その計算コストが膨大であることと過学習しやすいことが挙げられる．大沢らは分散並列環境下ではFisher行列の計算を分散させることで計算コストを…

情報処理学会

中村, 秋海, 横田, 理央 第84回全国大会講演論文集 2022 (1), 243-244, 2022-02-17

画像認識の分野では，近年データセットやモデルが巨大化しているため訓練にかかる時間も増大している．データ並列学習では，訓練データをプロセスに分散し，その勾配をプロセス間で通信することで学習を高速化できる．ただし，プロセス数に比例して全体のバッチサイズが上昇するという問題がある．これまでに，CNNでバッチサイズの増大と汎化性能に関する研究はなされているが、Vision Transformer …

情報処理学会

張 新宇, 高島 空良, 横田 理央 人工知能学会全国大会論文集 JSAI2022 (0), 3J4OS3b03-3J4OS3b03, 2022

<p>画像認識では，Vision Transformer(ViT)モデルは，ImageNetの画像分類において最高精度を更新したが，そのモデルが非常に大きく，通常の計算機では推論すらできない．このような巨大なモデルを縮小するために，本研究ではChenらより提案されたAutoFormerに注目した．AutoFormerでは，スーパーネット学習と進化探索により，パラメータ数の少ないViTモデルで高い…

DOI

横田, 理央 数理解析研究所講究録 2167 19-24, 2020-07

HANDLE Web Site

所畑, 貴大, 長沼, 大樹, 横田, 理央 第82回全国大会講演論文集 2020 (1), 359-360, 2020-02-20

近年の深層ニューラルネットワークモデルの学習には膨大なパラメータやデータを用いるため、学習時間が増加する傾向にあり、学習の高速化が喫緊の課題である。単純に一度に用いるデータ量を増やすことで高速化を図るラージバッチ学習では、スモールバッチ学習でのNoiseの影響が少なくなるため、汎化性能の低いSharpな解への収束へと陥ることが経験的に示されている。本研究では、モデルのパラメータを確率的に平均化す…

情報処理学会

中田 光, 横田 理央 人工知能学会全国大会論文集 JSAI2020 (0), 2J5GS201-2J5GS201, 2020

<p>実世界では常に移り変わる分布から得られる膨大なデータを継続的に学習し，学習したデータから知識を蓄え，その知識を活用して学習を行うモデルの構築が求められる．しかし，継続的に学習を行ったモデルは致命的忘却により過去に学習したデータに対する精度が低下し，致命的忘却を防ぎつつ継続的に学習を行うことは深層学習および機械学習における長年の課題の一つとなっている． …

DOI

長沼 大樹, 井手 達朗, 横田 理央 人工知能学会全国大会論文集 JSAI2020 (0), 4Rin169-4Rin169, 2020

<p>深層学習では極めて冗長な数のパラメータを持つ深層ニューラルネットワーク（DNN）を膨大な学習データを用いて学習することで他の機械学習手法を圧倒する高い性能を発揮している。一方で、DNNの学習には膨大な計算時間がかかるため、大規模並列化によって学習時間を短縮するのが喫緊の課題である。高速化を目的とした大きなバッチサイズでの深層学習であるラージバッチ学習では、バッチサイズを大きくすることで学習…

DOI

大沢, 和樹, 横田, 理央, Chuan-Sheng, Foo, Vijay, Chandrasekhar 第81回全国大会講演論文集 2019 (1), 45-46, 2019-02-28

画像データセットImageNetを始めとする巨大データセットを用いる大規模深層学習においては，膨大な学習時間が最適なパラメータ探索の障害となっている．学習時間の短縮を目的とした既存研究では，コスト関数の最小化に単純な一次最適化手法が用いられ，計算機の性能に頼った高速化手法が提案されてきた．一方で，自然勾配法は深層学習における効率的な二次最適化手法として知られているが，パラメータ数に依存するFis…

情報処理学会

中田, 光, 大沢, 和樹, 横田, 理央 第81回全国大会講演論文集 2019 (1), 461-462, 2019-02-28

深層学習は与えられた膨大なデータに対し柔軟な学習を可能にする一方、学習を汎化させ未知のデータに対しても精度を保つことが一つの大きな課題となる。近年では、ベイズ推定を深層学習に適用し、学習によって得られたニューラルネットワークの重みの不確かさを推定することにより学習を汎化させる試みが注目されつつある。Zhangらによって提案されたNoisy …

情報処理学会

大友, 広幸, 横田, 理央 第81回全国大会講演論文集 2019 (1), 83-84, 2019-02-28

QR分解は固有値問題や最小二乗問題の解法として広く用いられている．QR分解の手法の1つであるHouseholder変換を用いたアルゴリズムでは行列積計算が行われる．本研究ではNVIDIA Voltaアーキテクチャなどに搭載されている混合精度行列計算回路であるTensorコアを用いて複数のQR分解を行うBatched …

情報処理学会

長沼, 大樹, 横田, 理央 第81回全国大会講演論文集 2019 (1), 315-316, 2019-02-28

深層学習では極めて膨大な学習データを用いて学習することで他の機械学習手法を圧倒する高い性能を発揮している一方， その膨大な計算時間のため，大規模並列化によって学習時間を短縮するのが喫緊の課題である． 深層学習における問題は訓練データとの誤差を表す関数の最小化問題に帰結するが， 近年の研究によって，大規模並列化に伴うバッチサイズの増加により得られる学習モデルの汎化性能が劣化することが示されている…

情報処理学会

横田 理央 映像情報メディア学会誌 73 (1), 58-61, 2019

DOI Web Site Web Site 参考文献17件

横田 理央 情報・システムソサイエティ誌 23 (2), 17-19, 2018-08-01

DOI Web Site

福田, 圭祐, Fukuda, Keisuke, Maruyama, Naoya, 横田, 理央, Yokota, Rio, Taura, Kenjiro, 松岡, 聡, MATSUOKA, SATOSHI The 22nd IEEE International Conference on Parallel And Distributed Systems 1100-1109, 2016-12

identifier:oai:t2r2.star.titech.ac.jp:50360976

機関リポジトリ

横田, 理央, Yokota, Rio 計算工学 21 (No. 4), 2016-10

identifier:oai:t2r2.star.titech.ac.jp:50354839

機関リポジトリ

横田, 理央, Yokota, Rio シミュレーション 35 (No. 3), 147-153, 2016-09

identifier:oai:t2r2.star.titech.ac.jp:50354840

機関リポジトリ Web Site

Ibeid, Huda, 横田, 理央, Yokota, Rio, Keyes, David International Journal of High Performance Computing Applications 30 (No. 4), 2016-03

identifier:oai:t2r2.star.titech.ac.jp:50333330

機関リポジトリ

Julio Castrillon-Candas, Genton Marc, 横田 理央, Yokota Rio Spatial Statistics (18) 2015-11

機関リポジトリ

横田, 理央, Yokota, Rio, Turkiyyah, George, Keyes, David Supercomputing Frontiers and Innovations 1 (No. 1), 2014-06

identifier:oai:t2r2.star.titech.ac.jp:50272229

機関リポジトリ

大野 洋介, Ohno Yousuke, 横田 理央, Yokota Rio, 小山 ひろし, Koyama Hiroshi, 森本 元太郎, Morimoto Gentaro, 長谷川 亜樹, Hasegawa Aki, 舛本 現, Masumoto Gen, 沖本 憲明, Okimoto Noriaki, 平野 秀典, Hirano Yoshinori, Ibeid Huda, 成見 哲, Narumi Tetsu, 泰地 真弘人, Taiji Makoto Computer Physics Communications 185 (10), 2014-06

機関リポジトリ

Ltaief, Hatem, 横田, 理央, Yokota, Rio Concurrency and Computation: Practice and Experience 26 (No. 11), 2013-09

identifier:oai:t2r2.star.titech.ac.jp:50272231

機関リポジトリ

横田, 理央, Yokota, Rio Journal of Algorithms and Computational Technology 7 (No. 3), 2013-09

identifier:oai:t2r2.star.titech.ac.jp:50272232

機関リポジトリ

横田, 理央, Yokota, Rio, Barba, Lorena, 成見, 哲, Narumi, Tetsu, 泰岡, 顕治, Yasuoka, Kenji Computer Physics Communications 184 (No. 3), 2012-09

identifier:oai:t2r2.star.titech.ac.jp:50272233

機関リポジトリ

横田 理央, Yokota Rio, Barba Lorena Computers and Fluids (80) 2012-08

機関リポジトリ

横田, 理央, Yokota, Rio, Barba, Lorena International Journal of High Performance Computing Applications 26 (No. 4), 337-346, 2012-01

identifier:oai:t2r2.star.titech.ac.jp:50272235

機関リポジトリ

横田, 理央, Yokota, Rio, Barba, Lorena Computing in Science and Engineering 14 (No. 3), 2012-01

identifier:oai:t2r2.star.titech.ac.jp:50272236

機関リポジトリ

横田 理央 アンサンブル 14 (2), 85-89, 2012

Treecode やFMM などのアルゴリズムはN 個の粒子同士の相互作用の計算量を精度と引き換えにO(N²) からO(N logN) もしくはO(N) に軽減することができる．これらの手法では，粒子をセルに分割し木構造を構築した後，その木構造を走査しながらセル単位で相互作用を計算する．このとき，木構造の走査は並列化が容易でありGPU …

DOI Web Site

Bardhan Jaydeep, 横田 理央, Yokota Rio, Knepley Matthew, Barba Lorena, 濱田 剛, Hamada Tsuyoshi Computer Physics Communications 182 (6), 2011-03

機関リポジトリ

横田, 理央, Yokota, Rio, 小尾, 晋之介, Obi, Shinnosuke Journal of Fluid Science and Technology 6 (No. 1), 2011-01

identifier:oai:t2r2.star.titech.ac.jp:50272617

機関リポジトリ

横田 理央, Yokota Rio, Barba Lorena, Knepley Matthew Computer Methods in Applied Mechanics and Engineering 199 (25), 2010-03

機関リポジトリ

横田,理央, 小尾,晋之介 日本流体力学会年会講演論文集 2009 253-, 2009-09-02

The vortex method is applied to the calculation of a turbulent channel flow of Re_b=5600, and the results are compared with a finite difference calculation. The fast multipole method was modified …

NDLデジタルコレクション

横田, 理央, Yokota, Rio, 小尾, 晋之介, Obi, Shinnosuke International Journal for Numerical Methods in Fluids 63 (No. 7), 2009-07

identifier:oai:t2r2.star.titech.ac.jp:50272241

機関リポジトリ

横田 理央, Yokota Rio, 成見 哲, Narumi Tetsu, 坂牧 隆司, Sakamaki Ryuji, 亀岡 瞬, Kameoka Shun, 小尾 晋之介, Obi Shinnosuke, 泰岡 顕治, Yasuoka Kenji Computer Physics Communications 180 (11), 2009-06

機関リポジトリ

田村 秀一, 横田 理央, 深潟 康二 計算力学講演会講演論文集 2009.22 (0), 546-547, 2009

We developed a numerical method based on the Level Set method, which can simulate biological cell behavior in micro channels. The isotropic compliant wall model is used to model the cell membrane …

DOI Web Site

横田,理央, 深潟,康二, 小尾,晋之介 日本流体力学会年会講演論文集 2008 337-, 2008-09-04

The vortex method is applied to the calculation of a turbulent channel flow of Re_b=5600, and the results are compared with a finite difference calculation. The mean velocity profile agrees …

NDLデジタルコレクション

シール・ タルン・クマー, 横田 理央, 泰岡 顕治, 小尾 晋之介 日本計算工学会論文集 2008 (0), 20080003-20080003, 2008-02-04

渦法はメッシュフリーの流体解析法として近年急速な発展を遂げているが、計算コストの面で多くの問題を抱えている。本研究では、高速多重極展開法(FMM)と分子動力学専用計算機(MDGRAPE-3)を併用した渦法計算の高速化手法を提案する。本手法の有効性を検証するために行った衝突渦輪の計算では、汎用計算機上の直接計算と比較して約2000倍の加速を得た。また、衝突後に起こる渦輪の繋ぎ換えも良好に再現され、…

DOI

横田,理央, 小尾,晋之介 日本流体力学会年会講演論文集 2007 195-, 2007-08-06

The vortex method is applied to the calculation of a homogeneous shear flow of Re_λ=25, and the results are compared with a finite difference calculation. The fast multipole method was modified for …

NDLデジタルコレクション

横田 理央, Yokota Rio, Sheel Tarun Kumar, 小尾 晋之介, Obi Shinnosuke Journal of Computational Physics (226) 2007-06

機関リポジトリ

横田 理央, 小尾 晋之介 東海支部総会講演会講演論文集 2007.56 (0), 323-324, 2007

DOI Web Site

横田 理央, 小尾 晋之介 流体工学部門講演会講演論文集 2006 (0), _1202-a_-, 2006

DOI Web Site

横田 理央, 小尾 晋之介 年次大会講演論文集 2006.1 (0), 31-32, 2006

The wake of a bluff body is calculated using a 3-D Vortex Method and turbulence statistics are calculated from the results, which are then compared with measurements by Particle Image Velocimetry …

DOI Web Site

横田 理央, 小尾 晋之介 流体工学部門講演会講演論文集 2006 (0), _1202-1_-_1202-4_, 2006

Fluid structure interaction of a circular cylinder is simulated by the coupling of a Vortex Element Method and Boundary Element Method. Both methods are volume-mesh-free, and thus alleviates the …

DOI Web Site

横田 理央, 外海 憲彦, 小尾 晋之介 計算力学講演会講演論文集 2004.17 (0), 731-732, 2004

DOI Web Site