趙 羽風

博士後期課程2年生 @ 北陸先端科学技術大学院大学, コンピューティング科学研究領域
リサーチアシスタント・メンター @ RebelsNLU, 指導教員: 井之上 直也 准教授

別名: Yufeng Zhao（漢字表記：「趙 羽風」）
生年: 1999年, 北京生まれ

E-mail: yfzhao [at] jaist.ac.jp
電話番号: +81-070-8591-1495
リンク: Twitter    GitHub    Google Scholar    ORCID    Researchmap    Blog   
住所: 石川県能美市旭台1-1 北陸先端科学技術大学院大学 情報科学研究科 I棟 I-52室

私は中国のトップ大学である北京理工大学を卒業し, 2021年に化学の学士号, 2023年にソフトウェア工学の修士号を取得しました.現在はJAISTにて博士課程に在籍しており, 2026年3月の早期修了を目指しています.
私の研究は, 人工ニューラルネットワーク, 特にTransformerベースのニューラル言語モデルにおける訓練・推論中の内部挙動を, 数学的および表現学習の手法によって解明し, その理解に基づく性能向上を目指すものです.
2023年以降, この分野において20本以上の論文を発表しており, その一部はICLRやNAACLといったトップカンファレンスで採択されています.

この研究分野に関心のある方との共同研究を積極的に募集しています. ご興味をお持ちの方は, ぜひお気軽にご連絡ください. 専門家だけでなく, 意欲と学習効率の高い初心者との協力も歓迎します. また, 他分野での共同研究についても柔軟に対応いたします.

English Site

研究関心

キーワード: 表現学習, 機械論的解釈可能性, 文脈内学習

• 人工ニューラルネットワークの解釈可能性: 機械論的解釈可能性, 低リソースモデル制御
• 大規模言語モデル: Transformer系大規模言語モデルの内部原理と改善
• その他: 多様体学習, 低数値精度ニューラルネットワーク, モデル訓練ダイナミクス

論文一覧

国際会議発表

1. Revisiting In-context Learning Inference Circuit in Large Language Models
   Hakaze Cho, Mariko Kato, Yoshihiro Sakai, Naoya Inoue
   The Thirteenth International Conference on Learning Representations (ICLR), 2025. 37 pages. [h5=304, IF=48.9]
   [PDF] [Code] [Poster]
2. Token-based Decision Criteria Are Suboptimal in In-context Learning
   Hakaze Cho, Yoshihiro Sakai, Mariko Kato, Kenshiro Tanaka, Akira Ishii, Naoya Inoue
   In Proceedings of the 2025 Annual Conference of the Nations of the Americas Chapter of the ACL (NAACL.main). 2025. 24 pages. [h5=132, IF=16.5]
   [PDF] [Code]
3. Understanding Token Probability Encoding in Output Embeddings
   Hakaze Cho, Yoshihiro Sakai, Kenshiro Tanaka, Mariko Kato, Naoya Inoue
   In Proceedings of the 2025 Conference on Computational Linguistics (COLING). 2025. 16 pages. [h5=65, IF=7.7]
   [PDF] [Poster]
4. Find-the-Common: A Benchmark for Explaining Visual Patterns from Images
   Yuting Shi, Naoya Inoue, Houjing Wei, Yufeng Zhao, Tao Jin
   In Proceedings of the 2024 Conference on Language Resources and Evaluation (LREC). 2024. 7 pages. [h5=59, IF≈5]
   [PDF]
5. Methods to Enhance BERT in Aspect-Based Sentiment Classification
   Yufeng Zhao, Evelyn Soerjodjojo, et al.
   In Proceedings of IEEE Euro-Asia Conference on Frontiers of Computer Science and Information Technology. 2022. 7 pages. Outstanding Oral Presentation Award
   [PDF]

プレプリント

1. Measuring Intrinsic Dimension of Token Embeddings
   Takuya Kataiwa, Hakaze Cho, Tetsushi Ohki
   Pre-print. 2025. 6 pages.
   [PDF]
2. Affinity and Diversity: A Unified Metric for Demonstration Selection via Internal Representations
   Mariko Kato, Hakaze Cho, Yoshihiro Sakai, Naoya Inoue
   Pre-print. 2025. 8 pages.
   [PDF]
3. StaICC: Standardized Evaluation for Classification Task in In-context Learning
   Hakaze Cho, Naoya Inoue.
   Pre-print. 2025. 20 pages.
   [PDF] [Code] [Package]
4. NoisyICL: A Little Noise in Model Parameters Calibrates In-context Learning
   Yufeng Zhao, Yoshihiro Sakai, Naoya Inoue.
   Pre-print. 2024. 20 pages.
   [PDF] [Code]
5. SkIn: Skimming-Intensive Long-Text Classification Using BERT for Medical Corpus
   Yufeng Zhao, et al.
   Pre-print. 2022. 14 pages.
   [PDF]

国内会議・その他
(† = 国際会議論文の日本国内再録; 通常: 査読なし, ▲= 査読あり)

1. †トークン埋め込みの内在次元を測る
   片岩拓也, 趙羽風, 大木哲史
   人工知能学会第39回全国大会. 2025.
2. ▲既知性を示す言語表現を伴う知識に関する内部表象の分析
   田中健史朗, 坂井吉弘, 趙羽風, 井之上直也, 佐藤魁, 高橋良允, Benjamin Heinzerling, 乾健太郎
   人工知能学会第39回全国大会. 2025.
3. ▲言語モデルにおける知識の既知性判断の内部表象
   佐藤魁, 高橋良允, Benjamin Heinzerling, 田中健史朗, 趙羽風, 坂井吉弘, 井之上直也, 乾健太郎
   人工知能学会第39回全国大会. 2025.
4. †大規模言語モデルにおける In-context Learning の推論回路
   趙羽風, 加藤万理子, 坂井吉弘, 井之上直也
   言語処理学会第31回年次大会. 2025. 6 pages. (Oral) 優秀賞
   [PDF] [Slides]
5. Beyond the Induction Circuit: A Mechanistic Prototype for Out-of-domain In-context Learning
   趙羽風, 井之上直也
   言語処理学会第31回年次大会. 2025. 5 pages.
   [PDF] [Poster]
6. 埋め込み表現の内在次元を測る
   片岩拓也, 趙羽風, 大木哲史
   言語処理学会第31回年次大会. 2025. 5 pages.
   [PDF]
7. 文脈内学習におけるデモの親和性と多様性の提案
   加藤万理子, 趙羽風, 坂井吉弘, 井之上直也
   言語処理学会第31回年次大会. 2025. 6 pages.
   [PDF]
8. †StaICC: 文脈内学習における分類タスクの標準的なベンチマーク
   趙羽風, 坂井吉弘, 加藤万理子, 井之上直也
   言語処理学会第19回YANSシンポジウム. 2024. (Poster Only)
   [Poster]
9. 画像特徴ベクトルは重みを固定した言語モデルで情報豊かなトークンである
   加藤万理子, 趙羽風, 閻真竺, 石钰婷, 井之上直也
   言語処理学会第19回YANSシンポジウム. 2024. (Poster Only)
10. †In-context Learning におけるトークンベース較正手法の用いる決定境界は最適でない
    趙羽風, 坂井吉弘, 加藤万理子, 田中健史朗, 石井晶, 井之上直也
    情報処理学会NL研第260回研究発表会. 2024. 17 pages. (Oral) 若手奨励賞
    [PDF] [Slides]
11. NoisyICL: A Little Noise in Model Parameters Can Calibrate In-context Learning
    趙羽風, 坂井吉弘, 井之上直也
    言語処理学会第30回年次大会. 2024. 6 pages. (Oral)
    [PDF] [Slides]
12. In-context Learning においてLLMはフォーマットを学べるか
    坂井吉弘, 趙羽風, 井之上直也
    言語処理学会第30回年次大会. 2024. 6 pages. スポンサー賞
    [PDF]
13. †Find-the-Common: Benchmarking Inductive Reasoning Ability on Vision-Language Models
    Yuting Shi, Houjing Wei, Jin Tao, Yufeng Zhao, Naoya Inoue
    言語処理学会第30回年次大会. 2024. 6 pages.
    [PDF]

学位論文

1. Fine-tuning with Randomly Initialized Downstream Network: Finding a Stable Convex-loss Region in Parameter Space
   Yufeng Zhao
   修士論文 - 評価A @ 北京理工大学, 2023. 81 pages.
2. Synthesis and Self-Assembly of Amphiphilic Aggregation Enhanced Emission Compounds
   Yufeng Zhao
   学士論文 @ 北京理工大学, 2021. 52 pages.

履歴

• 博士（情報科学）, リサーチアシスタント, 2023年10月 ～ 2026年3月 (予定)
  北陸先端科学技術大学院大学 コンピューティング科学研究領域
  指導教員: 井之上 直也 准教授

• 修士（ソフトウェア工学）, 2021年9月 ～ 2023年6月
  北京理工大学 情報科学技術研究科
  指導教員: 趙 羽風 (自主研究)

• 学士（化学）, 2017年8月 ～ 2021年6月
  北京理工大学 基礎科学部
  指導教員: 石 建兵 准教授

受賞歴

• 優秀賞 @ 言語処理学会 第31回年次大会 (NLP2025, ANLP), 2025 (全765件中上位15件, 2.0%)
• 若手奨励賞 @ 情報処理学会 第260回NL研究会 (SIG-NL260), 2024
• スポンサー賞 (SB Intuitions Awards) @ 言語処理学会 第30回年次大会 (NLP2024), 2024
• 優秀口頭発表賞 @ 2022年欧亜フロンティアコンピュータ科学技術国際会議
• 北京理工大学 年間優秀賞：2018, 2019, 2021, 2022, 2023