摘要：早年，Facebook曾联合部分知名高校的学者做过一项研究：以689003名用户的好友动态信息流作为研究样本，通过修改信息分发的算法，人为区分出消极情绪偏向或积极情绪偏向的内容，强方向性地给研究样本中

早年，Facebook曾联合部分知名高校的学者做过一项研究：以689003名用户的好友动态信息流作为研究样本，通过修改信息分发的算法，人为区分出消极情绪偏向或积极情绪偏向的内容，强方向性地给研究样本中的用户进行曝光。

研究结果表明，获取更多消极倾诉偏向的用户，在发布动态等行为上也更偏向消极情绪，反之亦然。有的研究者把这种现象称之为“情绪蔓延”，简而言之，在社交媒体上你给人们曝光什么，人们的心智也会随之发生改变。

由此可见，社交媒体的影响力早已超出普罗大众的普遍认识，这些基于社会化网络的内容生产与交换平台早已在经意或不经意间给我们带来了深远的影响。

著名的《连线》杂志创始主编凯文·凯利在其成名作《失控》中曾表明一个犀利的观点，他认为人类历史曾经发生四次认知颠覆，其中就包含了来自弗洛伊德的研究理论：我们的意志不是一个独立的个体，它其实是多股意见和不同意识的综合体，实际上我们连自己的意识都不能完全主宰。

所以也不难理解，为什么全球范围内的社交媒体在内容管控上都在走向强干预。在信息爆炸的今天，如果社交媒体的内容走向过度倾向负面，那么集体意识走向失控的风险就会无比放大。

不同媒介的机器辅助审核

随着市场与行业的升级，社交媒体中信息传播的媒介与形式呈现了多样化、创新性的发展趋势。视频、音频媒介的广泛流行给内容审核工作带来了新的挑战，直播、去中心化的UGC内容相对以热门推荐算法主导的资讯流又有更高的即时性要求。

不过，得益于人工智能及算法技术近年来的迅猛发展，利用机器，互联网行业已经发展出基于不同媒介维度的辅助解决方案。

文本内容：最基础的处理工作是匹配词库进行分类处理，现有的词库按风险严重程度可以划分为涉政词与敏感词两大分类。尤其可能涉及政治违规的关键词需要严格进行处理，而敏感词中除了明确公众普遍不可接受的词汇外还有大量在不同场景下有不同语义的敏感词，如果完全统一处理就很容易给用户带来体验损害。

举个例子，“约”一词就需要根据其实际的词汇组合以及语境来进行判断，“明天去看电影，约吗？”就不是需要处罚的语句。在此基础上就衍生出利于上下文内容判定语义的语义分析，以及根据聚类分析判断与垃圾文本的相似性的结果判定。

图片内容：机器对图片类型的内容审核，其底层是图片识别的技术应用。所有的物品图像都有它的图形特征，图片识别则可以以其基础特征为基础进行判断。以足球为例，其球状圆形球形以及遍布五边形的图案就构成了其基础特征，图片识别通过算法提取图像的特征值，计算特征值的相似度匹配物品图像原型。

以此为基础逻辑，图片内容的各个场景得以被辨识并应用到内容审核中，比如下图以网易易盾的图片检测的产品介绍为例示意其应用场景。

（网易易盾的图片识别应用场景）

音频内容：音频内容审查包括音频与视频两个类型媒介的内容提取。音频识别的技术基础建立在以声学模型建立的发音模版，通过匹配发音模版判断出语种和对应表义，输出可被计算机理解的语言结果。

在内容审核应用上，一种通用方法是将语音识别为文本信息后复用文本内容的判断模型。在语音识别中，面临音频背景音嘈杂的场景还需要进行降噪，而多音轨发音场景下要实现准确识别也是一大难题。

视频内容：视频动画的实现终究是基于画面帧的连续播放，故对于视频画面内容的处理，目前通用的解决方案是截取画面帧进行识别，最终复用的是图片识别模型判断涉黄、暴力、血腥等违禁内容。一个仅仅几分钟视频所拥有的图片帧数量极多，其中截帧的频次越高，数量越多，该视频出现违禁内容的风险越小。

可见，以上几种不同媒介的机器审核目前于业界已经有基础方案。但实际应用可是复杂多样，机器审核无法完全解决诸如多音轨语音、完整图案干扰、文本植入变异敏感词、视频“闪现”违禁内容等场景的问题，其终究起到的是辅助审核的作用。根本逻辑即是通过机器审核剔除明确违规的内容，剩下的内容最终交由人工审核判定分发。

UGC内容风控设计

与热门推荐算法导向的“资讯”、“内容”向产品不同，微信、QQ及一众新兴社交软件的UGC动态内容生产高并发，用户体验有更高的时效性需求，如何把握用户体验和内容审查就成为其风控的一大要点。以下选取QQ、陌陌、Soul、Uki四款社交软件，以色情维度的信息为例，测评其在内容风控上的产品设计。

发布动态

在动态社区中，“聊骚”这样一个敏感词的判定标准上，4款软件有不同的定义。除了Soul已然将其判定为不可发布与传播的内容外，其他三者均能进行发布分发。而在非文本媒介上，行业标杆QQ与Soul已实现较为完善的内容风控，尤其Soul在发布明显可判定为“色情”的图片、音频、视频内容后，其发布账号会在内容审核后直接被采取封号处罚。

而Uki与陌陌在动态社区的内容风控上显然有所不足，两者的图片内容发布也会先经过机器审核，在图片识别为违规内容会阻断发布直接删除内容。但实测中在Uki发布一段娇喘音频会先分发到社区，在获得8分钟时间的分发经人工审核后方被通知内容违规进行删除，其审查逻辑是审查即时性的“先发后审”。

而实测中的陌陌对音频、视频的审查最为宽松，自期违规音频、视频内容发布后的数个小时后，其违规音频、视频内容都未进行删除处理，甚至可通过其小程序进行分享。

（陌陌通过其K歌功能发布音频内容）

（陌陌的违规视频动态自发布后数小时内无任何处理）

经以上实测，目前正进行整改的Soul在内容审查上的判定标准与惩处力度最为严厉，4款社交软件中在动态社区中达到了4种媒介的完善审查机制的仅为QQ与Soul。UGC内容行业要升级审查机制，绕不过真正“先审后发”的实现途径，尤其陌陌与Uki因为审查不严所带来的内容审查风险就极易失控。

价值观仍然是一根金线

上文之所以一直强调机器审核的辅助定位和“先审后发”的重要性，究其根本是因为如果在缺乏强有力的人工审核主导作用下，就无法实现内容全面风控，陌陌与Uki的实测案例就应该印证了这一点。

不同的敏感内容基于表达主旨有不同的表义，以“聊骚”这一敏感词内容为例，所涉及内容在社区网站是否视为违禁，取决于网站运营者基于自身价值观导向所制定网站规准。又例如当用户在社区中发表对美丽向往又不裸露的“性感”内容时，如果单凭机器思维统一以违禁方式进行处理，那么对用户体验而已无异为一场灾难。

在这种场景下，唯有运营者依据制定出合理且大众公认的性暗示程度标尺进行判定，才能达到用户体验和内容安全的和谐平衡。

人工强干预除了保障内容全面风控，其另一重要工作就是引导内容社区的价值观走向。在新时代环境下，网站开发者思考如何遵循政策倡导迭代产品尤为关键。以部分网站中推行的青少年模式为例，就是近年来创新地将产品功能设计与内容运营相结合的成功案例。

经过近年来网信办领导下的一系列整顿后，尤其短视频领域内众多社交媒体内部已建立坚实的内容审核编辑责任制，组织架构上突出“人”在内容风控上的主导地位，如“快手”、“抖音”等社区的内容调性和审核标尺的进步最为直观。

但仍有部分已建立内容审核编辑责任制却落地不到位，拥有较多资源却又在新媒介内容审核上技术投入不足，以致内容审查机制松懈的网站就需要继续努力，肩负起更多的社会责任。仁以为己任，不亦重乎？