jl.陆俊如

腾讯优图实验室 · 上海

陆俊如Junru Lu

基础模型研究员

我的研究聚焦于基础模型、高效注意力与长程智能体的记忆管理。

我的工作涵盖模型架构、预训练、后训练与评测。我在华威大学获得计算机科学博士学位，导师是何瑜岚教授。

个人简历English /中文
陆俊如的个人照片
陆俊如 Junru Lu腾讯研究员

01 / 研究成果

代表性工作

从训练模型
到提升模型效率。

01 / 基础模型技术报告

Youtu-LLM

从零预训练的轻量语言模型，以常识、STEM与智能体任务组成训练课程，培养原生推理与规划能力。

了解这项工作
02 / 高效注意力ICML 2026

SSA

在训练中双向对齐全注意力与稀疏注意力的输出，缩小两种注意力模式之间的差距。

了解这项工作
03 / 智能体记忆EMNLP 2026

ContextPilot

面向长程智能体的主动上下文管理，结合规划、长期记忆、软卸载与动作级强化学习信用分配。

了解这项工作

近期动态

公开发布与研究进展

技术文章 / 研究思考

论文之外的思考

全部文章与笔记

02 / 学术论文

论文与技术报告

查看完整学术列表 Hugging Face

共 23 篇论文与技术报告

2026

Self-Distillation with Verbal Regularization

Jiazheng Li, Yawei Li, Junru Lu, Zhenyi Shen, Di Yin, Lin Gui, Xing Sun, David Rügamer, Xinpeng Wang, Yulan He

预印本智能体与对齐
论文
2026

Blind Men and the Elephant: Probing the Epistemic Myopia of LLMs under Long-Tail Divergent Knowledge

Zhuoshi Pan, Junru Lu, Yan Qian, H. Vicky Zhao, Di Yin, Xing Sun

预印本智能体与对齐
论文 代码
2026

ContextPilot: Teaching Agents for Proactive Context Management via Fine-grained RL

Zhuoshi Pan, Qizhi Pei, Junru Lu, Honglin Lin, H. Vicky Zhao, Di Yin, Xing Sun

EMNLP 2026 · Main智能体与对齐
论文 代码
2026

Toward Native Multimodal Modeling: A Roadmap

Siyu An, Junru Lu, Junnan Dong, et al.

EMNLP 2026基础模型
论文 项目
2026

Code-as-Room: Generating 3D Rooms from Top-Down View Images via Agentic Code Synthesis

Yixuan Yang, Zhen Luo, Wanshui Gan, Jinkun Hao, Junru Lu, Jinghao Yan, Zhaoyang Lyu, Xudong Xu

预印本其他研究
论文
2026

Youtu-VL: Unleashing Visual Potential via Unified Vision-Language Supervision

Zhixiang Wei, Yi Li, Zhehan Kan, et al. (including Junru Lu)

技术报告基础模型
论文
2026

SSA: Sparse Sparse Attention by Aligning Full and Sparse Attention Outputs in Feature Space

Zhenyi Shen, Junru Lu, Lin Gui, Jiazheng Li, Yulan He, Di Yin, Xing Sun

ICML 2026高效注意力
论文 代码
2025

Youtu-LLM: Unlocking the Native Agentic Potential for Lightweight Large Language Models

Junru Lu, Jiarui Qin, Lingfeng Qiao, et al.

技术报告基础模型
论文
2025

OptiScene: LLM-driven Indoor Scene Layout Generation via Scaled Human-aligned Data Synthesis and Multi-Stage Preference Optimization

Yixuan Yang, Zhen Luo, Tongsheng Ding, Junru Lu, Mingqi Gao, Jinyu Yang, Victor Sanchez, Feng Zheng

NeurIPS 2025其他研究
论文 项目
2025

Two Heads Are Better Than One: Dual-Model Verbal Reflection at Inference-Time

Jiazheng Li, Yuxiang Zhou, Junru Lu, Gladys Tyen, Lin Gui, Cesare Aloisi, Yulan He

EMNLP 2025智能体与对齐
论文 代码
2025

RoleMRC: A Fine-Grained Composite Benchmark for Role-Playing and Instruction-Following

Junru Lu, Jiazheng Li, Guodong Shen, Lin Gui, Siyu An, Yulan He, Di Yin, Xing Sun

ACL 2025 · Findings智能体与对齐
论文 代码
2025

Tell Me What You Don’t Know: Enhancing Refusal Capabilities of Role-Playing Agents via Representation Space Analysis and Editing

Wenhao Liu, Siyu An, Junru Lu, et al.

ACL 2025 · Findings智能体与对齐
论文
2025

LLplace: The 3D Indoor Scene Layout Generation and Editing via Large Language Model

Yixuan Yang, Junru Lu, Zixiang Zhao, Zhen Luo, James J.Q. Yu, Victor Sanchez, Feng Zheng

IROS 2025其他研究
论文
2025

FIPO: Free-form Instruction-oriented Prompt Optimization with Preference Dataset and Modular Fine-tuning Schema

Junru Lu, Siyu An, Min Zhang, Yulan He, Di Yin, Xing Sun

COLING 2025智能体与对齐
论文 代码
2024

Advancing Video Anomaly Detection: A Bi-Directional Hybrid Framework for Enhanced Single- and Multi-Task Approaches

Guodong Shen, Yuqi Ouyang, Junru Lu, Yixuan Yang, Victor Sanchez

IEEE Transactions on Image Processing其他研究
论文 代码
2024

SNFinLLM: Systematic and Nuanced Financial Domain Adaptation of Chinese Large Language Models

Shujuan Zhao, Lingfeng Qiao, Kangyang Luo, Qian-Wen Zhang, Junru Lu, Di Yin

预印本基础模型
论文
2024

Eliminating Biased Length Reliance of Direct Preference Optimization via Down-Sampled KL Divergence

Junru Lu, Jiazheng Li, Siyu An, Meng Zhao, Yulan He, Di Yin, Xing Sun

EMNLP 2024智能体与对齐
论文 代码
2024

FinVerse: An Autonomous Agent System for Versatile Financial Analysis

Siyu An, Qin Li, Junru Lu, Di Yin, Xing Sun

预印本智能体与对齐
论文 演示
2023

MemoChat: Tuning LLMs to Use On-the-fly Text Memos for Consistent Long-Range Conversations

Junru Lu, Siyu An, Mingbao Lin, Gabriele Pergola, Yulan He, Di Yin, Xing Sun, Yunsheng Wu

预印本智能体与对齐
论文 代码
2023

Event Knowledge Incorporation with Posterior Regularization for Event-Centric Question Answering

Junru Lu, Gabriele Pergola, Lin Gui, Yulan He

预印本其他研究
论文 代码
2023

NapSS: Paragraph-level Medical Text Simplification via Narrative Prompting and Sentence-matching Summarization

Junru Lu, Jiazheng Li, Byron Wallace, Yulan He, Gabriele Pergola

EACL 2023 · Findings其他研究
论文 代码
2022

Event-Centric Question Answering via Contrastive Learning and Invertible Event Transformation

Junru Lu, Xingwei Tan, Gabriele Pergola, Lin Gui, Yulan He

EMNLP 2022 · Findings其他研究
论文 代码
2020

CHIME: Cross-passage Hierarchical Memory Network for Generative Review Question Answering

Junru Lu, Gabriele Pergola, Lin Gui, Binyang Li, Yulan He

COLING 2020智能体与对齐
论文

03 / 学术背景

工作与教育经历

查看个人简历

工作经历

腾讯优图实验室

基础模型研究员

2023年5月至今 · 中国上海

构建预训练数据处理流水线，设计稀疏注意力与原生多模态架构，实现面向 GPU 的高性能加速算子，开展大规模 MoE 训练与模型评测。

LLM / MLLM稀疏注意力智能体记忆

教育经历

  • 华威大学

    计算机科学博士

    导师：何瑜岚教授
    2019–2024

  • 纽约大学

    应用城市科学与信息学硕士

    2018–2019

  • 北京大学

    经济学双学位

    2015–2018

  • 国际关系学院

    信息管理与信息系统专业工学学士

    导师：李斌阳教授
    2014–2018
早期笔记2017–2019

关于自然语言处理、问答、算法与学习的早期记录。

浏览历史笔记