|
|
数字媒体正在成为人们日常生活中不可缺少的一部分。随着媒体技术的快速发展和广泛应用，手持数字媒体采集及记录设备、丰富的数字媒体内容、可移动的媒体设备、有效的媒体编码和传输技术、友好的媒体创作软件以及多样化的共享及分布网络已经渐渐地走入了人们的生活。
微软亚洲研究院的网络多媒体组为了实现无缝的媒体生态系统，正在进行最前沿的研究。我们正在探索和构建以下几个方面的技术和系统：在无缝媒体系统中，通过审美指导，精致的数字多媒体能够容易地被采集到；通过媒体分析和模板，媒体创作只用轻轻一点就能做到；多媒体内容经过有效的、可伸缩的编码，能够自动适应不同的设备和网络，这样无论何时、何地、以何种方式，高质量的多媒体总是围绕在用户身边；基于媒体的内容和其它相关的、嵌入的媒体数据，媒体信息得到有效的组织而且易于搜索访问和高效存储；媒体数据在所有的层次上被灵活共享和发布，并且具有隐私保护和数字版权管理的功能。
- 多媒体处理和编码
- 自然媒体（音频/视频/语音）和合成媒体（图像/动画）的高效压缩
- 媒体的可伸缩和鲁棒编码
- 多媒体传输和共享
- QoS敏感的可伸缩多媒体传输
- 多媒体系统格式和码流打包
- 应用层传输协议
- 信道/网络的估计和自适应
- P2P辅助的多媒体传输和共享
- 媒体多路技术和同步
- 多媒体后处理及表征
- 错误恢复/隐藏
- 媒体质量增强
- 媒体合成
- 播放设备的无缝转换和跨网络的无缝转换
- 数字版权管理（DRM）和安全
- 媒体版权保护和管理
- 私密性保护
- 数字内容（如多媒体，电子书以及软件）的安全传递/分布
- 内容服务和传递网络的处理授权，数字认证和核查
- 数据安全，完整性检查，访问控制，分布式系统和P2P系统的管理
- 多媒体水印，用来支持版权保护、多媒体授权、完整性检查、指纹、数据标注和嵌入
- 内容分析和创作
- 媒体分割和结构化
- 媒体浏览和可视化
- 事件检测
- 语义分类
- 智能标注
- 质量评定和调整
- 自动或半自动媒体创作和编辑
- 在审美指导下的媒体采集
- 无缝媒体生态系统
- 媒体用户界面
- 媒体管理系统
- 媒体存储系统
- 媒体编码转换以及协同性
- 智能媒体定时管理和同步
- 媒体处理加速
- 设备自适应
SMART 音频及视频编码解码器
SMART是自扩展的媒体自适应和鲁棒传输（Scalable Media Adaptation and Robust Transport）的缩写。该项目不仅致力于提高可扩展性音视频编码的效率，而且也将拓展通用的可扩展性（如基于分辨率，帧率，码率及复杂度的可扩展性），同时也研究音视频编码中的容错和鲁棒性技术。在SMART-I系统获得成功后，目前，我们正在研究基于运动补偿的高维小波编码的第二代SMART音频及视频编码解码器：SMART-II。SMART-II编码技术已经被递交到MPEG SVC标准，并被评选为参考软件之一。
Liquidsilver:无缝媒体框架
此项目致力于为用户提供无缝的、跨平台的多媒体服务框架，从而实现用户在不同软件平台之间，不同硬件平台及不同应用环境之间无缝的媒体体验。此框架涉及多媒体信息处理的诸多方面，包括媒体内容的采集、编辑、编码、保护、传输、搜索、管理等，同时集成本组多项研究成果，是一套完整、有效、先进的多媒体服务解决方案。例如，可伸缩的编码技术使得该框架下的多媒体内容能够自动的适应不用的设备和网络；多媒体内容分析技术帮助用户进行有效的媒体编辑、创作、搜索和管理。
信息及系统安全
信息和网络技术的高速发展，在带给人们便利的同时，也带来了诸多的攻击方式和手段来获取用户的私密信息，来传播恶意软件和非授权数字产品。因此人们对于信息及系统安全的需求上了一个新的台阶，更注重保护私有信息，更尊重知识产权，更期望有很好的防范各种恶意攻击的方法。目前，我们正在致力于下面几大范畴的新技术研发：保护知识产权，增强网络安全，降低系统隐患。
基于内容分析的媒体搜索、管理、创作、共享和广告
该项目的目标是开发先进的数字多媒体技术，帮助用户进行高效媒体搜索、管理、采集、创作和共享，以及进行相关媒体推荐和媒体广告匹配。关键媒体技术包括媒体分割和结构化、媒体浏览和可视化、事件检测、语义分类、智能标注、质量评估和调整、半自动/自动创作，以及视频相关性匹配。
- LazyCut: Content-Aware Template Based Media Authoring
- 结合空间方向预测的基于提升小波变换
Wenpeng Ding, Feng Wu, Shipeng Li, “Lifting-based wavelet transform with directionally spatial prediction”, PCS 2004. - 视频传输中整幅图像丢失时的错误隐藏算法
Yu Chen, Keman Yu, Jiang Li and Shipeng Li, An Error Concealment Algorithm for Entire Frame Loss in Video Transmission, Picture Coding Symposium 2004, 15-17 December 2004, San Francisco, USA. - 基于线性模型的半像素运动估计免除法
Keman Yu, Shan Lu, Jiang Li and Shipeng Li, Half-pixel Motion Estimation Bypass Based on a Linear Model, Picture Coding Symposium 2004, 15-17 December 2004, San Francisco, USA. - 基于用户注意力模型的视频摘要方法
Yu-Fei Ma, Xian-Sheng Hua, Lie Lu, Hong-Jiang Zhang, “User Attention Model based Video Summarization,” to appear in IEEE Transactions on Multimedia - 运动补偿时域滤波中内容自适应的更新算法
Li Song, Jizheng Xu, Hongkai Xiong, Feng Wu, "Content adaptive update steps for lifting-based motion compensated temporal filtering," Picture Coding Symposium, San Francisco, CA, USA, Dec 2004. - 基于“杠铃”提升小波的高效可伸缩视频编码
Ruiqin Xiong, Feng Wu, Jizheng Xu, Shipeng Li, Ya-Qin Zhang, "Barbell lifting wavelet transform for highly scalable video coding," Picture Coding Symposium, San Francisco, CA, USA, Dec 2004. - 图像域做MCTF的三位小波视频编码中的分辨率可伸缩性
Ruiqin Xiong, Jizheng Xu, Feng Wu, Shipeng Li, Ya-Qin Zhang, "Spatial scalability in 3D wavelet coding with spatial domain MCTF encoder," Picture Coding Symposium, San Francisco, CA, USA, Dec 2004. - 三维小波视频编码中嵌入MPEG-4 AVC的体系结构
Xiangyang Ji, Jizheng Xu, Debin Zhao, Feng Wu, "Architectures of incorporating MPEG-4 AVC into three-dimensional wavelet video coding," Picture Coding Symposium, San Francisco, CA, USA, Dec 2004. - 美式足球电视节目的在线分割
Liexian GU, Xiaoqing DING, Xian-Sheng HUA, "Online Play Segmentation for Broadcasted American Football TV Programs," The Fifth Pacific-Rim Conference on Multimedia (PCM 2004), November 30-December 3, Tokyo, Japan, 2004 - 可用于多媒体检索的基于注意力的决策融合方法
Xian-Sheng HUA, Hong-Jiang ZHANG, "An Attention-Based Decision Fusion Scheme for Multimedia Information Retrieval," The Fifth Pacific-Rim Conference on Multimedia (PCM 2004), November 30-December 3, Tokyo, Japan, 2004 - 一个体育视频场景的在线分类框架
Jun WU, Xian-Sheng HUA, Jian-Min LI, Bo ZHANG, Hong-Jiang ZHANG, "An Online Learning Framework for Sports Video View Classification," The Fifth Pacific-Rim Conference on Multimedia (PCM 2004), November 30-December 3, Tokyo, Japan, 2004 - 在FGS增强层的可变块大小的变换和熵编码
Jungong Han, Xiaoyan Sun, Feng Wu, Shipeng Li, Zhaoyang Lu, “Variable block-size transform and entropy coding at the enhancement layer of FGS”, International conference on image processing, 2004 - 在高效地精细可伸缩性中的灵活P图像编码
You Zhou, Xiaoyan Sun, Feng Wu, Hong Bao, Shipeng Li, “Flexible P-picture (FLEXP) coding for the efficient fine granular scalability (FGS)”, International conference on image processing, 2004 - 基于次序度量的鲁棒视频印记
Xian-Sheng HUA, Xian CHEN, Hong-Jiang ZHANG, "Robust Video Signature Based on Ordinal Measure," International Conference on Image Processing (ICIP 2004), October 24-27, Singapore, 2004. - 视频自动编辑中的内容和变换特效的匹配
Xian-Sheng HUA, Hong-Jiang ZHANG, "Content and Transformation Effect Matching for Automated Home Video Editing," International Conference on Image Processing (ICIP 2004), October 24-27, Singapore, 2004. - 照片序列到视频的自动生成
Xian-Sheng HUA, Lie LU, and Hong-Jiang ZHANG, "Automatically Converting Photographic Series into Video," 12th ACM International Conference on Multimedia, New York City, USA, Oct. 2004. - 基于时间模式分析的自动音乐视频制作
Xian-Sheng HUA, Lie LU, and Hong-Jiang ZHANG, "Automatic Music Video Generation Based on Temporal Pattern Analysis," 12th ACM International Conference on Multimedia, New York City, USA, Oct. 2004. - 基于在线优化和增量学习的视频语义分类
Jun WU, Xian-Sheng HUA, Hong-Jiang ZHANG and Bo ZHANG, "An Online-Optimized Incremental Learning Framework for Video Semantic Classification," 12th ACM International Conference on Multimedia, New York City, USA, Oct. 2004. - P-Karaoke - 个性化卡拉OK系统
Xian-Sheng HUA, Lie LU, and Hong-Jiang ZHANG, "P-Karaoke: Personalized Karaoke System" 12th ACM International Conference on Multimedia, New York City, USA, Oct. 2004.
 更多论文……
|
|
|
