2025/12/31 19:06:33
网站建设
项目流程
百度网盟推广有哪些网站,网站备案简介怎么写,视频拍摄合同,wordpress 子页面 404该模型属于GLM-V系列模型家族#xff0c;相关论文详见《GLM-4.1V-思维与GLM-4.5V#xff1a;基于可扩展强化学习的通用多模态推理》。
GLM-4.6V技术博客#xff1a;https://z.ai/blog/glm-4.6v研究论文#xff1a;https://huggingface.co/papers/2507.01006GitHub代码库相关论文详见《GLM-4.1V-思维与GLM-4.5V基于可扩展强化学习的通用多模态推理》。GLM-4.6V技术博客https://z.ai/blog/glm-4.6v研究论文https://huggingface.co/papers/2507.01006GitHub代码库https://github.com/zai-org/GLM-V在线演示https://chat.z.ai/API接入Z.ai开放平台桌面助手应用https://huggingface.co/spaces/zai-org/GLM-4.5V-Demo-App模型介绍GLM-4.6V系列包含两个版本面向云端及高性能集群场景设计的GLM-4.6V基础模型1060亿参数以及针对本地部署和低延迟应用优化的轻量版GLM-4.6V-Flash90亿参数。GLM-4.6V在训练时将上下文窗口扩展至128k tokens在同等参数规模模型中实现了视觉理解能力的领先水平。关键突破在于首次集成了原生函数调用能力有效弥合了视觉感知与可执行动作之间的鸿沟为现实商业场景中的多模态智能体提供了统一的技术基础。超越在可比模型规模下实现了主要多模态基准的SoTA性能。GLM-4.6V引入了以下关键特性原生多模态函数调用实现视觉驱动的原生工具使用。图像、截图和文档页面可直接作为工具输入传递无需文本转换同时视觉输出图表、搜索图片、渲染页面会被解析并整合到推理链条中。这形成了从感知到理解再到执行的闭环。交错式图文内容生成支持从复杂多模态输入生成高质量的混合媒体内容。GLM-4.6V接收跨文档、用户输入和工具检索图像的多模态上下文合成符合任务需求的连贯图文内容。在生成过程中可主动调用搜索检索工具来收集整理额外文本和视觉素材产出丰富且视觉信息扎实的内容。多模态文档理解能处理长达128K token的多文档/长文档输入直接将富格式页面作为图像解析。联合理解文本、版式、图表、表格和图形无需预先转换为纯文本即可准确理解图像密集的复杂文档。前端复现与视觉编辑从UI截图重建像素级精准的HTML/CSS代码支持自然语言驱动的编辑。通过视觉检测布局、组件和样式生成简洁代码并根据简单用户指令进行迭代式视觉修改。本Hugging Face仓库托管GLM-V系列的GLM-4.6V-Flash模型。使用指南环境安装针对SGLangpipinstallsglang0.5.6.post1 pipinstallnvidia-cudnn-cu129.16.0.29sudoaptupdatesudoaptinstallffmpegForvLLM:pipinstallvllm0.12.0 pipinstalltransformers5.0.0rc0Transformers 快速入门fromtransformersimportAutoProcessor,Glm4vForConditionalGenerationimporttorch MODEL_PATHzai-org/GLM-4.6V-Flashmessages[{role:user,content:[{type:image,url:https://upload.wikimedia.org/wikipedia/commons/f/fa/Grayscale_8bits_palette_sample_image.png},{type:text,text:describe this image}],}]processorAutoProcessor.from_pretrained(MODEL_PATH)modelGlm4vForConditionalGeneration.from_pretrained(pretrained_model_name_or_pathMODEL_PATH,torch_dtypeauto,device_mapauto,)inputsprocessor.apply_chat_template(messages,tokenizeTrue,add_generation_promptTrue,return_dictTrue,return_tensorspt).to(model.device)inputs.pop(token_type_ids,None)generated_idsmodel.generate(**inputs,max_new_tokens8192)output_textprocessor.decode(generated_ids[0][inputs[input_ids].shape[1]:],skip_special_tokensFalse)print(output_text)评估设置我们主要使用vLLM作为模型推理的后端。为了在视频任务上获得更快更可靠的性能我们采用SGLang。要复现我们的榜单结果建议使用以下解码参数top_p: 0.6top_k: 2temperature: 0.8repetition_penalty: 1.1max_generate_tokens: 16K更多使用细节请参考我们的Github。已修复与现存问题自GLM-4.1V开源以来我们收到了社区的大量反馈并深知模型仍存在诸多不足。在后续迭代中我们尝试解决了几个常见问题——例如思维重复输出和格式错误——在新版本中这些问题已得到一定缓解。但模型仍存在若干局限与问题我们将尽快修复纯文本QA能力仍有较大提升空间。本次开发周期我们主要聚焦视觉多模态场景将在后续更新中增强纯文本能力特定情况下模型仍可能过度思考甚至自我重复尤其在处理复杂提示时某些情境下模型可能在结尾处重复陈述答案仍存在部分感知局限如计数准确性和特定人物识别等仍需改进感谢您的耐心与理解。我们也欢迎在issue区反馈建议——我们将尽可能回应改进引用若使用本模型请引用以下论文misc{vteam2025glm45vglm41vthinkingversatilemultimodal, title{GLM-4.5V and GLM-4.1V-Thinking: Towards Versatile Multimodal Reasoning with Scalable Reinforcement Learning}, author{V Team and Wenyi Hong and Wenmeng Yu and Xiaotao Gu and Guo Wang and Guobing Gan and Haomiao Tang and Jiale Cheng and Ji Qi and Junhui Ji and Lihang Pan and Shuaiqi Duan and Weihan Wang and Yan Wang and Yean Cheng and Zehai He and Zhe Su and Zhen Yang and Ziyang Pan and Aohan Zeng and Baoxu Wang and Bin Chen and Boyan Shi and Changyu Pang and Chenhui Zhang and Da Yin and Fan Yang and Guoqing Chen and Jiazheng Xu and Jiale Zhu and Jiali Chen and Jing Chen and Jinhao Chen and Jinghao Lin and Jinjiang Wang and Junjie Chen and Leqi Lei and Letian Gong and Leyi Pan and Mingdao Liu and Mingde Xu and Mingzhi Zhang and Qinkai Zheng and Sheng Yang and Shi Zhong and Shiyu Huang and Shuyuan Zhao and Siyan Xue and Shangqin Tu and Shengbiao Meng and Tianshu Zhang and Tianwei Luo and Tianxiang Hao and Tianyu Tong and Wenkai Li and Wei Jia and Xiao Liu and Xiaohan Zhang and Xin Lyu and Xinyue Fan and Xuancheng Huang and Yanling Wang and Yadong Xue and Yanfeng Wang and Yanzi Wang and Yifan An and Yifan Du and Yiming Shi and Yiheng Huang and Yilin Niu and Yuan Wang and Yuanchang Yue and Yuchen Li and Yutao Zhang and Yuting Wang and Yu Wang and Yuxuan Zhang and Zhao Xue and Zhenyu Hou and Zhengxiao Du and Zihan Wang and Peng Zhang and Debing Liu and Bin Xu and Juanzi Li and Minlie Huang and Yuxiao Dong and Jie Tang}, year{2025}, eprint{2507.01006}, archivePrefix{arXiv}, primaryClass{cs.CV}, url{https://arxiv.org/abs/2507.01006}, }