腾讯主攻政务市场数字化的WeCity项目，先后拿下广东省政府10亿大单、长沙政府市5.2亿和成都市政府8.7亿大单，如果没有微信这个超级入口，以及庞大的技术支撑，是根本不可能的。这背后体现的当然是一家公司C to B的综合能力。

时光荏苒，岁月如梭，然而技术的进步同样日新月异，转眼又来到总结一年的时刻，第八届数据技术嘉年华大会将于2018年11月16日~17日在北京市朝阳区东三环中路61号富力万丽酒店盛大开启。

这篇论文介绍了一种名为"低秩克隆"(LRC)的新型知识蒸馏方法，能极大提升小型语言模型的训练效率。哈尔滨工业大学深圳校区和百度公司的研究团队通过训练可学习的低秩投影矩阵，同时实现了软剪枝和激活克隆，避免了传统方法中的信息损失和对齐效率低下问题。实验证明，仅用100亿-200亿文本单元训练的LRC模型性能可匹配或超越需要万亿级训练数据的现有模型，训练效率提升1000倍以上，为资源受限场景下的高性能语言模型开发提供了突破性解决方案。

小米LLM-Core团队开源了两款强大的视觉语言模型MiMo-VL-7B-SFT和MiMo-VL-7B-RL，在通用视觉理解和多模态推理领域创下新纪录。仅有7B参数的MiMo-VL-7B-RL在40项评测中的35项上超越Qwen2.5-VL-7B，在OlympiadBench上达到59.4分，超越了参数量达78B的模型。研究采用四阶段预训练与混合在线策略强化学习相结合的方法，处理了2.4万亿个标记。研究发现，预训练阶段纳入高质量推理数据至关重要，而混合强化学习虽提升性能但存在多任务同步优化挑战。

目前，AIGC产业生态体系的雏形已现，呈现为上中下三层架构：①第一层为上游基础层，也就是由预训练模型为基础搭建的AIGC技术基础设施层。②第二层为中间层，即垂直化、场景化、个性化的模型和应用工具。③第三层为应用层，即面向C端用户的文字、图片、音视频等内容生成服务。

法国波尔多大学研究团队开发了一个突破性框架，用于神经退行性痴呆症的差异化诊断。该框架将3D脑部MRI转换为文本报告，并利用强化学习优化的大语言模型进行详细诊断推理。不同于传统"黑箱"方法，这一系统能生成透明、有因果关系的解释，同时保持高诊断准确率。研究显示，通过群组相对策略优化(GRPO)训练的轻量级模型能展现复杂推理行为，包括假设检验和非线性思考，提供与临床决策流程一致的排序诊断结果。

这个春天，基于大模型技术的应用成为科技圈的风暴眼，以ChatGPT为代表的生成式AI一瞬间成为科技圈顶流，而在其背后，更需要强大算力作为基础性支撑。

ISTA和Red Hat AI的研究团队在《Unified Scaling Laws for Compressed Representations》论文中提出了一个革命性的统一框架，揭示了AI模型压缩背后的数学规律。他们发现，无论使用什么压缩方法，模型性能都可以通过"表示容量"这一单一指标准确预测，而这一指标与表示法拟合随机高斯数据的能力直接相关。研究不仅证明了容量在组合表示中可以分解，还开发了基于容量的改进稀疏训练方法，在同等参数条件下显著提升模型性能。

文章讨论了算力网络的愿景，即算力标准化、统一计量，类比电力网络。强调算力基础设施对数字化转型的重要性，但也面临标准化难题、技术门槛高、快速迭代等挑战。提出开放技术栈和产业链，以及算力网公司的竞争态势，强调软硬件融合和算力芯片独立自主的重要性。

这项研究首次创建了CommonForms大规模表单数据集，从800万PDF文档中筛选出5.9万份高质量表单，涵盖20多种语言和14个领域。基于此训练的FFDNet模型在表单字段识别上超越Adobe Acrobat，能识别文本框、复选框和签名区域，训练成本仅500美元且完全开源，为自动化表单处理提供了经济实用的解决方案。

以Real Transformation为题，以其全面、创新、发展、开放的姿态，再次携手合作伙伴。

高岑说，“IBM试图在分布式架构和集中式架构之间打造这样一个‘桥梁’，为用户提供既保证高可用性、超强的纵向扩展能力，又提供快速顺应市场环境要求，缩短开发周期，灵活开源的最新横向扩展技术。”

M-A-P团队发布的COIG-P数据集包含100万个高质量中文偏好样本对，通过15个AI模型协作生成和8个AI评委评分构建。该数据集覆盖对话、编程、数学等六大领域，显著提升了中文AI模型性能，相关模型在AlignBench评测中获得2%-12%的性能提升。团队还开源了中文奖励模型CRM和评估基准CRBench，为中文AI社区提供了重要的开源基础设施。

如果问,在众多的中国出海赛道中哪一条拥有基数最大的粉丝拥趸?以网络游戏、社交媒体、直播、短视频为代表的泛娱乐赛道便成为当仁不让的领跑者。

浦项科技大学研究团队发现当前AI模型缺乏音频推理能力，仅凭文字描述无法判断声音属性。他们构建了AuditoryBench++测试平台，涵盖音调、音量比较等5类任务，发现主流AI模型表现接近随机猜测。研究团队提出AIR-CoT方法，通过两阶段训练让AI学会"想象"声音：先识别需要音频推理的文本片段，再调用音频知识模块生成声音特征。实验显示该方法显著提升了AI的音频推理能力。

本土EDA需要在差异化、“夹缝”中的需求里，获得成长的空间。

展望未来，XPU市场将呈现百花齐放的局面，各种芯片在各自的赛道发挥自身独特的价值。同时各种计算架构之间在聚焦自身优势的同时，也在相互融合协同，形成了“你中有我，我中有你”的局面。

Scale AI和UCLA研究团队发现AI训练中的"奖励过度优化"问题关键在于高分区域的准确性。他们提出基于评分标准的新方法，通过详细的评判标准而非简单偏好判断来训练模型。实验显示该方法在通用对话和医疗诊断任务中显著提升了模型表现，胜率分别达到39.7%和34.4%，并有效延缓了性能衰减现象。

4月23日，2023第九届华为软件精英挑战赛-“普朗克计划”全球总决赛及颁奖典礼圆满落幕。

英特尔新近召开的架构日活动可以用“琳琅满目”来概括。借此机会，芯片巨头发布了新的CPU核心、加速计算块、处理器与显卡背后的技术细节，同时介绍了与这些处理器及显卡对应的跨PC、服务器、存储及商业/消费应用网络的软件。总之，就是“琳琅满目”。