企业官网建设流程全解析

如何下载网站模板文件在哪里,oa官网下载,网络推广方案的参考文献,在线绘制流程图的网站数据清洗 (Data Cleaning)#xff0c;在大语言模型#xff08;LLM#xff09;的开发流程中#xff0c;属于预训练之前的准备工作。如果说预训练是 AI 的“正餐”#xff0c;那么数据清洗就是“备菜”——把买回来的菜里的烂叶子摘掉、泥土洗净、切好分类#xff0c;确保 …数据清洗 (Data Cleaning)在大语言模型LLM的开发流程中属于预训练之前的准备工作。如果说预训练是 AI 的“正餐”那么数据清洗就是“备菜”——把买回来的菜里的烂叶子摘掉、泥土洗净、切好分类确保 AI 吃到肚子里的是营养而不是垃圾。在 AI 界有一句至理名言完美解释了数据清洗的重要性Garbage In, Garbage Out (垃圾进垃圾出)。 如果你喂给模型的是垃圾数据那么无论你的模型架构多先进它吐出来的也只能是垃圾。1. ️ 为什么要清洗数据互联网真的很脏大模型的训练数据主要来自互联网Common Crawl。但原始的互联网数据是极度混乱、肮脏和低质的。如果不清洗直接把互联网数据喂给 AI会出现什么问题学坏了有害内容互联网上充斥着色情、暴力、仇恨言论、种族歧视。如果不删掉AI 就会变成一个满嘴脏话的“键盘侠”。变笨了低质内容到处都是广告弹窗“澳门首家线上...”、乱码、HTML 标签div.../div、毫无意义的流水账。这些噪音会浪费 AI 的脑容量。复读机重复数据互联网上有很多复制粘贴的内容比如同一篇新闻被 100 个网站转载。如果 AI 反复看同一句话 100 遍它就会死记硬背过拟合而不是理解规律。泄密隐私问题网页里可能包含真实的人名、电话、邮箱、身份证号。如果不擦除AI 可能会在聊天时把别人的隐私背出来。2. 数据清洗都在洗什么四大工序数据清洗通常是一个自动化的流水线Pipeline包含以下几个核心步骤A. 格式清洗 (Formatting)目标把乱七八糟的网页代码变成纯净的文本。操作去除 HTML 标签如br,nbsp;。修正乱码把é变回é。去除表情符号如果不需要的话。B. 去重 (Deduplication) ——最重要的一步目标让 AI 看到的每一条知识都是独一无二的。操作精确去重完全一样的句子直接删掉。模糊去重 (MinHash)两篇文章改了几个字内容99%相似也要删掉一篇。效果研究表明去重可以显著提升模型的智商防止它变成只会背书的书呆子。C. 质量过滤 (Quality Filtering)目标只保留“教科书级”的高质量文本。操作基于规则删掉太短的句子、删掉标点符号过多的句子、删掉非目标语言比如训练英文模型时删掉中文。基于模型用一个小模型先读一遍给文本打分。像“美女荷官在线发牌”这种广告文本打低分直接扔掉像“维基百科”这种打高分保留。D. 隐私与安全清洗 (Privacy Safety)目标打马赛克。操作使用正则表达式自动识别并替换掉所有的邮箱、电话号码、IP 地址、社保号。把它们变成[EMAIL],[PHONE]这样的占位符。3. ⚖️ 清洗前 vs. 清洗后为了让你直观感受到区别 清洗前Raw Datadiv 2023-10-01 /div p 大家好今天心情不错。。。买了个表⌚️。点击这里领取优惠券http://spam.com/ads。联系电话13800138000。联系电话13800138000。重复 /p✅ 清洗后Clean Data大家好今天心情不错买了一块手表。区别后者是人类正常的语言前者是噪音。模型学后者能学会写作学前者只能学会发小广告。4. 现代趋势合成数据 (Synthetic Data)由于互联网上的高质量数据书、论文、代码快被 AI “吃光”了而且清洗起来很累。现在 AI 界的一个新趋势是用最聪明的 AI如 GPT-4来生成高质量的教科书数据然后喂给小模型如 Llama 3吃。这叫“合成数据”。这就像既然外面的水太脏互联网数据不如我们自己蒸馏纯净水AI 生成数据给孩子喝。微软的Phi-3模型就是典型的例子它用了大量 AI 生成的“教科书级”数据虽然模型很小但极其聪明。总结数据清洗是 AI 工程师的“淘金”过程。他们从互联网这条充满了泥沙垃圾数据的大河里通过层层筛网清洗算法筛选出最后那一点点金沙高质量 Token。正是这些纯净的“金沙”铸就了 ChatGPT 们惊人的智慧。