可控文本生成技术大图
文本生成（Text Generation）是自然语言处理（Natural Language Processing，NLP）领域的一项重要且具有挑战的任务。顾名思义，文本生成任务的目的是生成近似于自然语言的文本序列，但仍可以根据输入数据进行分类。比如输入结构化数据的 Data-to-text Generation，输入图片的 Image Caption，输入视频的 Video Summarization，输入音频的 Speech Recognition 等。本文我们聚焦于输入文本生成文本的 Text-to-Text 任务，具体地包括神经机器翻译、智能问答、生成式文本摘要等。
随着深度学习的发展，众多新兴的技术已被文本生成任务所采用。比如，为了解决文本生成中的长期依赖、超纲词（Out-of-Vocabulary，OOV）问题，注意力机制（Attention Mechanism），拷贝机制（Copy Mechanism）等应运而出；网络结构上使用了循环神经网络（Recurrent Neural Networks），卷积神经网络（Convolutional Neural Networks），图神经网络（Graph Neural Networks），Transformer 等。为了顺应“预训练-精调”范式的兴起，在海量语料上自监督地训练出的大体量预训练语言模型（Pre-trained Language Model；PLM），也被广泛应用在文本生成任务中。
为了展示上述结构、模型、机制在文本生成任务上的应用，本章第一小节会简要梳理主流文本生成模型的结构，在第二小节会对于文本生成的评价指标的方案进行归纳。
文本生成模型的结构常来自于人类撰写文本的启发。此处按照模型结构的特征，将主流文本生成模型分为如下几种：
图1：各种文本生成模型结构图示
“编码器-解码器框架”首先使用 encoder 编码文本，再使用 decoder 基于原文编码和部分解码输出，自回归地解码（Autoregressively Decoding）出文本。这类似于，人类首先理解素材（源文本、图片、视频等），然后基于对原文的理解和已写出的内容，逐字地撰写出文本。也是目前序列到序列任务中应用最广泛的框架结构
标准的 left-to-right 的单向语言模型，也可以根据前文序列逐字地解码出文本序列，这种依赖于前文语境来建模未来状态的解码过程，叫做自回归解码（Auto-regressive Decoding）。不同于编码器-解码器框架”使用 encoder 编码源文本，用 decoder 编码已预测的部分序列，AR LM 用同一个模型编码源文本和已解码的部分序列。
对于文本素材，人类会先理解单个句子，再理解整篇文本。在撰写文本的过程中，也需要先构思句子的大概方向，再逐字地撰写出内容。这类模型往往需要一个层次编码器对源文本进行 intra-sentence 和 inter-sentence 的编码，对应地进行层次 sentence-level 和 token-level 的解码。在 RNN 时代，层次模型分别建模来局部和全局有不同粒度的信息，往往能够带来性能提升，而 Transformer 和预训练语言模型的时代，全连接的 Self-Attention 弱化了这种优势。
知识增强的文本生成模型，引入了外部知识，因此除了针对源文本的文本编码器外，往往还需要针对外部知识的知识编码器。知识编码器的选择可以依据外部知识的数据结构，引入知识图谱、图片、文本作为外部知识时可以对应地选用图神经网络、卷积神经网络、预训练语言模型等。融合源文本编码与知识编码时，也可以考虑注意力机制，指针生成器网络（Pointer-Generator-Network），记忆网络（Memory Networks）等。
考虑到人工撰写稿件尚不能一次成文，那么文本生成可能同样需要有“修订”的过程。人工修订稿件时，需要基于原始素材和草稿撰写终稿，模型也需要根据源文本和解码出的草稿重新进行编解码。这种考虑了原文和草稿的模型能够产生更加合理的文本内容。当然也会增加计算需求，同时生成效率也会打折扣。
表1：各种文本生成模型结构及其代表性模型
针对文本生成的评价指标，已有多年研究。根据不同的维度，可以对现有评价指标有着不同的分类。比如，部分评价指标仅考虑所生成的文本，来衡量其自身的流畅度、重复性、多样性等；另一部分指标还考虑到了源文本或目标文本，来考察所生成的文本与它们之间的相关性、忠实度、蕴含关系等。
此处，我们从执行评价的主体类型进行分类，来梳理当前常用的文本生成的评价指标：
文本生成的目标是获得人类能够理解的自然语言。因此，邀请专家或受训练的标注者来对生成内容进行评价，或者比较多个模型的输出文本，是最直观的评价方式。人工评价在机器难以判别的角度也能发挥作用，比如：衡量生成文本句间的连贯性（Coherence），衡量生成文本近似于自然语言程度的通顺度（Fluency），衡量生成文本中的内容是否忠实于原文的事实正确度（Factuality），以及风格、格式、语调、冗余等。此外，为了衡量人工打标的可靠性，可以让多个标注者对进行同一样本打标，并使用 IAA（Inter-Annotator Agreement）来对人工评价结果进行评估。常用的是 Fleiss' ，以及 Krippendorff's 。
基于规则统计的无监督自动指标，能够适应大体量测试集上的文本评价。最常见的就是 ROUGE-N（Recall-Oriented Understudy for Gisting Evaluation）和 BLEU-N（BiLingual Evaluation Understudy），这两个指标考虑了 N-gram overlapping 的召回率和精确率，能够衡量文本的通顺度及与源文本的字面一致性。通常，为了衡量文本用词的多样性，Distinct-N 计算仅出现过一次的 N-gram 占生成文本中总 N-gram 个数的百分比。
为了衡量输出文本在语义上的属性，常需要用训练好的判别模型。比如，为了建模目标序列与预测序列之间的相似度，可以使用 BERTScore 先利用 BERT 给出两个文本序列的语境化向量表征，再进行相似度矩阵的计算；GeDi 中使用 RoBERTa 训练出一个 Toxicity Classifier 来判别模型生成的文本是否包含恶意中伤的内容；自然语言推理任务中的文本蕴含（Textual Entailment）模型也可以用于衡量生成的摘要与原文之间在内容上的忠实程度。
表2：各种测评指标的性能优劣势
从上表我们可以看出，人工评价指标虽然灵活，不适合用于对海量样本评价。而无监督的自动评价指标，虽然能低成本地解决评测问题，但能够完成评价的角度甚少。“用模型来衡量模型”则是效率和灵活性之间的 trade-off。
但前提要保证判别模型本身的性能，才能保证测评结果的可靠性。Amazon 的工作证明开箱即用的 NLI 模型并不能保证内容忠实度评测的良好效果，由此看来，该类型的评价指标仍需要向 task-specific 和 data-specific 的方向上深挖，来弥合训练域与应用域之间的鸿沟。
可控文本生成的目标，是控制给定模型基于源文本产生特定属性的文本。特定属性包括文本的风格、主题、情感、格式、语法、长度等。根据源文本生成目标序列的文本生成任务，可以建模为
目前可控文本生成已有大量的相关研究，比较有趣的研究有，SongNet（Tencent）控制输出诗词歌赋的字数、平仄和押韵；StylePTB（CMU）按照控制信号改变句子的语法结构、单词形式、语义等；CTRL（Salesforce）在预训练阶段加入了 control codes 与 prompts 作为控制信号，影响文本的领域、主题、实体和风格。可控文本生成模型等方案也多种多样，此处按照进行可控的着手点和切入角度，将可控文本生成方案分为：构造 Control Codes、设计 Prompt、加入解码策略（Decoding Strategy），以及 Write-then-Edit 共四类。
构造 Control Codes 指的是引入一些符号或文本作为条件，训练条件语言模型；为预训练语言模型设计 Prompt 也能实现对 PLM 所执行文本任务的控制；通过在解码阶段使用采样策略，也能够采样出具有特定属性的文本；最后，Write-then-Edit 指的是 PPLM 引入属性判别模型来根据产生的草稿计算梯度并反向传播，基于更新后的隐含状态来产生最终文本序列。
图2：可控文本生成技术方案类型图示
此处，我们尝试从时间维度来分析可控文本生成技术的发展过程和趋势。
首先，在预训练语言模型的热度高涨之前，使用解码策略来控制文本属性的方案较为流行，比如，引入多个判别器影响 Beam Search 中的似然得分的 L2W，以及改进解码采样策略的 Nucleur Sampling（2019）。
随着 GPT-2（2019）、T5（2019）的提出，使得基于 Prompt 来控制同一预训练语言模型来完成多种任务成为可能。因其能够更有效地利用模型在预训练阶段习得的知识，Prompting LM 的方式受到了学术界的重视，Prefix-Tuning（2021）等也推动基于 Prompt 的文本生成向前一步。
而针对于如何基于预训练语言模型做可控文本生成，学术界也一直往“低数据依赖、低算力需求、低时间消耗”方向上推进。CTRL（2019）凭借海量数据和大体量结构成为文本生成领域的代表性模型；PPLM （2019）则引入属性判别器，仅需精调小部分参数起到了“四两拨千斤”的效果；而 GeDi（2020） 为了解决 PPLM 多次反传导致的解码效率低下，直接在解码阶段加入属性判别器来控制解码输出；CoCon（2021）同样仅精调插入 GPT-2 中的 CoCon 层来提高训练效率，并通过精巧的目标函数的设计来增强可控性能。
在本章，我们将针对上述提到的方案思路和模型细节，进行详细的介绍。
由于预训练任务与下游任务之间存在差距，为了充分利用模型在预训练阶段习得的知识，可以通过设计 prompt 的方法，将下游任务建模为预训练任务。下面是 Prompting PLM 在非生成任务上的应用，可以清晰地理解 prompt 相对于 fine-tuning 的价值。
我们对在 Masked Language Model 任务上预训练出的 BERT进行精调，做实体类型识别（Entity Typing）任务。常规地，需要向 BERT 输入
将训练数据嵌入 prompt，下游的分类任务即可被转化为预训练的 MLM 任务。通过向模型输入 
Prompting 在非生成类任务上常用 Cloze-style 的 prompts 来适应用 MLM 预训练任务。而对于生成类任务，更常用的是 Prefix-style 的 prompts。相对于前者更侧重于充分利用 PLM，后者还能够对文本生成的任务实现可控。
GPT-2 作为通用的多任务模型，不仅要考虑源文本的信息，还要考虑将执行的任务，故被建模为
T5 希望将多个自然语言处理任务整合成 text-to-text 的形式，来统一模型在预训练、精调阶段的任务。为了向 T5 模型明确所需执行的任务，源文本需要被嵌入模板。比如，输入
图3：不同任务下常用的 prompts，[X] 是源文本，[Z] 是以期生成的答案
此处，Control Codes 指的是输入模型的控制信号。控制信号的数据类型选择非常广泛，包括符号、单词、文本段落等。为了使得模型在训练阶段能捕捉并拟合控制信号的作用，进而能泛化到推理阶段，控制信号需要与目标序列高度相关。
GSum（Guided Summarization）引入了四种控制信号，包括重要句子、关键单词、显著实体三元组，以及检索到的相关摘要。结构上，GSum 基于 Transformer 改进。源文本和文本类型的控制信号共享编码器，在编码器顶层两者各自有一层专属编码器。解码器部分包含两个 Multihead Cross Attention 分别关注源文本编码和引导信号编码。
图4：GSum 模型结构图
为了保证控制信号与目标序列中存在可被捕捉的联系，实现摘要内容的可控，如何获取控制信号就显得尤为重要，即所构造的控制信号必须与目标序列高度相关。GSum 的训练和测试数据集中的控制信号的获取方式如下表所示：
表2：GSum 的训练、测试集上中控制信号的构造方法
通过构造与目标序列高度相关的控制信号作为训练数据，模型实现了内容上的可控。然而，如果将训练数据集中控制信号的构造方法替换为上述测试集的方法，导致模型性能下降。究其原因是相较于训练阶段的控制信号的构造方法，推理阶段的方案获得的控制信号与目标序列之间的联系更弱了。更强的控制信号与目标序列属性之间的相关性，可能带来更好的控制性能。
类似地，CTRLsum 为了控制输出摘要的和内容长度，也考虑了如何在控制信号中体现目标序列的长度属性。针对内容可控，CTRLsum 首先根据原文中的句子与目标序列之间的 ROUGE 得分抽取出关键句子，然后筛选出关键句子与目标序列中的最长公共子序列，去除重复和停用词后获得关键词作为控制信号。
但 CTRLsum 并没有显式地给定控制信号，而是通过关键词的个数来“暗示”。首先，将训练集中的样本按照目标摘要的长度排序后平分为 5 桶；然后，统计各桶中的平均关键词个数。
在训练样本中，仅保留目标摘要所在桶所对应个数的关键词作为控制信号，测试阶段即可利用所输入关键词的个数来控制摘要长度，利用关键词的内容来控制摘要内容。
通过设计损失函数来建模控制条件与目标输出之间联系的典型例子，是 CoCon（Content Conditioner）。结构上，CoCon 在 GPT-2 medium 的前 7 层和后 17 层之间一个 CoCon block，包括 Layer Normalization、Multihead Cross Attention 和 Feed Forward Networks。模型整体接受源文本输入后，利用 CoCon 模块引入控制条件信息，再做自回归解码以生成文本。
图5：CoCon 模型结构图
为了构造训练数据，CoCon 从 GPT-2 Output Dataset 中采样出 30 wordpieces 长度的样本，从第 8 到 12 的位置上将文本切分为两段。CoCon 建立控制条件文本与目标文本之间关系的方式，由以下三个巧妙设计的损失函数来实现。为了方便介绍，我们考虑两个文本样本
此处将前半段
将控制条件替换为符号
首先将
另外，在 CoCon 的训练中还有一个 Adversarial Loss，因其与可控无关，故在此不再展开。总体来看，CoCon 在没有对数据集做繁重特征工程的情况下，通过上述的损失函数，就能够习得控制条件对于输出的控制作用。这为可控文本生成也提供了一个非常有趣的思路。
不动预训练语言模型的参数与结构，仅通过解码阶段的策略入手，也能够影响解码输出的结果。切入点有两个，即 Beam Search 中似然得分的计算以及采样策略。
Beam Search 是文本生成任务绕不开的话题。它介于局部最优的 Greedy Search，以及全局最优的 Global Search。Beam Search 在生成完整的预测文本序列的过程中，在每一个解码步都仅维护
其中，Beam Search 中每个 track 的似然得分计算方式如下：
为了控制输出的文本长度，可以在似然得分上对于文本长度做惩罚，增加一个参数长度惩罚系数
此处，
另一类解码策略从单词采样阶段入手，通常通过改变单词表上的概率分布，或根据规则限制候选集合的大小来实现。
单词表上的条件概率分布
温度系数越大则概率分布越平缓，越小则概率分布越尖锐。
除了操控候选集合上的概率分布之外，还可以筛选候选集合中的成员。Top-K Sampling 通过设置候选集容量 
两种采样方式也可以和 Softmax-with-temperature 结合起来使用，通常
L2W（Learn to Write）模型根据格莱斯准则（Grice's Maxims），从 Quantity、Quality、Relation、 Manner 四个维度各引入了判别器，影响解码阶段的 Beam Search 中的似然得分。下表中介绍了 L2W 所引入的四种判别器，及其背后的动机。
表4：L2W 所使用的格莱斯准则所对应引入的判别器及所考虑因素
通过在解码阶段，L2W 通过各个判别器来衡量当前采样的候选结果，影响 Beam Search 的似然得分，鼓励模型生成较少重复、不自相矛盾、忠实于原文，并且用词丰富的文本。
由于训练语料未经严格过滤，预训练语言模型能够学会生成仇恨、偏倚或伤人的负面内容。GeDi（Generative Discriminator）的目标就是为预训练语言模型解毒（Detoxification）。诸如 CTRL 的可控文本生成模型可以学会“生成什么”，但不知道“不生成什么”。GeDi 可以通过计算单词表上的概率分布时，用正反两个类别的概率分布做标准化，从而明确模型鼓励或抑制的内容。
图6：GeDi 生成过程中条件概率分布计算概念图
条件语言模型可以建模为
如此，即可通过类别条件语言模型 GeDi 来引导语言模型 GPT2 进行条件生成，即控制模型向类别
受到 CV 领域 PPGN（Plug and Play Generative Networks）的启发，通过插入属性判别模型来引导模型生成特定属性的文本的 PPLM 应运而生。PPLM 作者按照场景将语言模型进行如下分类：
图7：预训练语言模型的建模方式及其详细信息
可以看到，为了适应下游任务的需求通常需要对预训练语言模型进行 fine-tuning，比如 GPT2。并且为了构造条件语言模型，还需要在条件语料上进行训练，比如 CTRL。而 PPLM 通过使用生成模型
PPLM 使用 GPT-2 Medium 作为基础语言模型，并引入两种属性模型。其一是为各个主题构造词袋模型（Bag of Words，BoW）。对于词袋中的每个单词，将模型输出的其对数似然概率进行求和作为损失；其二是固定住语言模型后在上层添加单层判别器，获得目标类别的似然概率作为损失，对属性模型进行训练。
在推理阶段，使用梯度上升（Gradient Ascending）沿着语言模型
图8：PPLM “预测-反传-修正”的文本生成流程
通过如上图所示的多次“预测-反传-修正”的迭代，即可获得最终的单词表上的概率分布。实验结果表示，PPLM 可以保证在不严重损失语言模型的通顺性的情况下，实现属性可控。
对于控制信号，可以像 L2W 和 PPLM 选择属性判别器的似然概率；也可以同 CTRL 一样设计 Prompts 和 control codes；或者可以像 GSum 引入句、词、段落、三元组等多种形式的内容。对于将控制信号反馈给模型的方式，可以如 PPLM 般基于梯度上升，也可以像 GeDi 直接修改单词表上的概率分布，或者同 Hafez 一样从 Beam Search 入手，将判别器给出的得分反馈到似然得分上。
然而，即使合理地引入了控制信号，也无法保证可控性能。还必须要确保训练数据集中控制信号与目标序列的确存在着某种联系。控制信号作为自变量，输出文本作为因变量，自变量与因变量之间存在相关性，才可能用函数（可能是深度模型）进行拟合。
从 GSum、CTRLSum 的训练数据的构造方式，以及 CoCon 训练目标的设计思路都可以看出：为了实现推理阶段生成文本的属性受控制信号影响，就需要让模型在训练阶段就能够捕捉控制信号，并且能够建模控制信号与目标序列之间的联系。哪怕是像 CTRLSum 中为训练集中的摘要长度分桶后，用桶的标签作为控制信号，这也算是一种隐含的联系。
由此，我们可以总结可控的基本思路是：选择合理的控制信号，以合理的方式将控制信号输入模型，进而对模型造成影响。
从时间上来看，Salesforce 在 2019 年发布的可控文本生成的代表性模型 CTRL，纯依赖于数据来训练条件语言模型。CTRL 首先它学了个 250k 的 BPE 词表，模型层数增加至 48 层，隐层维度为 1280，前馈层内部维度 8192，预训练语料足足 180 Gb，因而训练成本高昂。
同年，UberAI 认为训练完整的条件语言模型代价太大，因此推出了使用小体量的判别器来引导大体量预训练语言模型的 PPLM 来实现可控生成，理论基础是贝叶斯定理。但 PPLM 的问题在于解码过程中多次梯度反传影响隐含状态导致效率太低。
后继在 2020 年，Salesforce 推出的 GeDi 同样根据贝叶斯定理，将条件语言模型分解为语言模型和属性判别模型，属性判别模型直接影响单词表上的概率分布，解决了 PPLM 解码速度慢的问题。
2021 年，NTU 提出的 CoCon，为了通过“文本”作为可控生成的条件。结构上，在 GPT-2 中插入了一层 CoCon Block 来编码文本条件，并设计了四种巧妙的损失函数来训练 CoCon 层的可控性能，而不修改预训练语言模型的参数。
总结来看，这个发展的过程中的目标是：1）对于海量标注数据的依赖；2）精调阶段对计算资源的高需求；3）推理阶段高时耗；4）控制信号的种类限制。
除了最初的 CTRL 需要训练语言模型的全部参数之外，PPLM 固定 GPT2 Medium 的参数，仅训练属性模型；GeDi 中固定语言模型 GPT-XL 的参数，仅训练 GPT2 Medium 作为 CCLM 来引导生成；CoCon 仅训练插入到 GPT2 的前 7 层和后 17 层之间的 CoCon Block，而不调整 GPT2 的参数。并且各工作在实验中也常针对可控生成在不同领域的泛化性进行研究。
可以看出，可控文本生成研究的趋势，并不是针对某个领域、某个主题、某种控制条件，训练出一个完整的条件语言模型做可控生成。而是，不仅要从效率和性能两个角度更好地利用预训练语言模型，更要强调可控的效果和泛化性。
当然，Prompt 相关方案的提出，也是为了拉近预训练阶段的任务与下游任务之间的关系，从而使得在不必精调的情况下，获得下游任务性能的提升。这个思路，同样是为了更有效率地利用预训练语言模型，并以期能够挖掘到“预训练”本身具有而“精调”无法带来的性能增益。
基于搜索日志中 Item-query 之间点击行为来获得的详情页底纹，无法为没有流量访问的长尾商品关联到 query 作为搜索底纹。为了解决长尾商品的数据冷启动问题，这次暑期实习项目中，我们将可控文本生成技术应用于 Query 生成任务，来为基于点击行为来关联商品-query 的方案兜底，并形成了如下的技术框架。
该技术框架其中分为三个模块，首先是基于 BART 训练条件语言模型，使得模型能够根据 control codes 来生成对应实体的 query，实现实体类型可控；其次是召回数量可控，在 Beam Search 采样阶段不仅考虑候选集中元素的似然得分，并考虑上各元素的长度惩罚，使得模型能够采样出更相关、更符合表达习惯且更精炼的 query，从而能够带来更多召回；最后是 Query 价值判别模型，将生成的 Query 输入判别模型获得价值得分后反馈给生成器，从而生成潜在转化价值更高的 query。
我们做可控 Query 生成的动机是：用户在搜索不同类目下的商品时所使用的搜索词中，实体类型的分布不同。用户在搜索电子产品的时候，搜索词中出现型号类型的实体更多；而搜索美妆产品的时候会更侧重于使用方式。此外，针对同一行业，不同类目下的实体类型偏好分布也不同。服装行业下，搜索裙装类目时用户更关注产品的风格，搜索婚纱类目时用户更偏好于材料。
因此，我们考虑，用户看到更符合她/他输入习惯的搜索词后更愿意点击，从而提升详情页搜索底纹模块的渗透率。我们不仅希望为商品生成的 Query 中的实体类型符合用户对该类目的偏好。此处的可控我们考虑两点，一方面是生成 Query 中的实体类型可控，一方面是生成 Query 中实体顺序可控。
此处我们在数据集构造上入手，建立控制信号（实体类型序列）与目标 query（实体序列）之间在类型和顺序上的对应关系。为了加强这种关系，还对训练数据进行了数据增强，包括随机 drop 实体，打乱实体顺序等。在实体内容层面上，考虑不多不少不重不漏的精确匹配率进行评测；在实体顺序层面上，我们使用 Levenshtein Distance 来评价。
此外，我们还考虑获得表达更精简的 Query，能够在倒排索引阶段召回更多商品，供给排序侧能够将更相关的产品推给用户。该需求通过解码阶段的 Beam Search 上增加 Length Penalty 来实现，不仅考虑了似然得分（与标题的内容相关性），还考虑了长度惩罚（Query 表达简洁性）；
另外，我们设计了一个 Query 价值判别模型，为生成内容的潜在价值进行评估。此处考虑了搜索日志中 Query 的点击转化、询盘转化、CVR、CTR 等指标，基于该数据训练了 XLNet-Base 来判别 Query 价值。可以在生成阶段对 Query 价值进行反馈，采样出潜在价值更高的 Query。
此处，我们展示了一些可控 Query 生成的例子，并且与抽取式基线模型进行对比。可以看出，生成的 Query 具有联想相关产品、纠正表达错误、生成常用表达、生成专业表达、明晰实体搭配等特性。我们的可控 query 生成模型能够为行为类方案覆盖不到的商品提供高质量的生成式 Query。
表5：可控文本生成模型与抽取式基线模型提供的 Query，及其召回数量
目前，详情页底纹推荐模块上线的四种方案包括，Item2Query 基于点击行为使用 TF-IDF 关联商品的重要 Query 作为底纹，Item2Item2Query 基于主图相似度关联到的相似商品共享底纹，按照热门实体类型从标题中抽取实体的抽取式基线模型，以及我们的可控 Query 生成模型。上线后的指标也显示，在 CTR 指标上，可控生成提供的 Query 的转化率仅次于 Item2Query 基于行为关联到的 Query。
https://github.com/lvyiwei1/StylePTB/ 2. SongNet：格式可控的宋词生成任务：
https://github.com/lipiji/SongNet 3. GPT-2 Output：可用于构造可控文本生成数据集的大体量语料库：
https://github.com/openai/gpt-2-output-dataset 4. Inverse Prompting：公开领域的诗文生成，公开领域的长篇幅问答数据集：
https://github.com/THUDM/iPrompt 5. GYAFC (Grammarly’s Yahoo Answers Formality Corpus)：雅虎问答形式迁移语料库：
https://github.com/raosudha89/GYAFC-corpus
本文由哈喽比特于3年以前收录，如有侵权请联系我们。
文章来源：https://mp.weixin.qq.com/s/aPR9tvTooddBOxB65HsynQ
京东创始人刘强东和其妻子章泽天最近成为了互联网舆论关注的焦点。有关他们“移民美国”和在美国购买豪宅的传言在互联网上广泛传播。然而，京东官方通过微博发言人发布的消息澄清了这些传言，称这些言论纯属虚假信息和蓄意捏造。
日前，据博主“@超能数码君老周”爆料，国内三大运营商中国移动、中国电信和中国联通预计将集体采购百万台规模的华为Mate60系列手机。
据报道，荷兰半导体设备公司ASML正看到美国对华遏制政策的负面影响。阿斯麦（ASML）CEO彼得·温宁克在一档电视节目中分享了他对中国大陆问题以及该公司面临的出口管制和保护主义的看法。彼得曾在多个场合表达了他对出口管制以及中荷经济关系的担忧。
今年早些时候，抖音悄然上线了一款名为“青桃”的 App，Slogan 为“看见你的热爱”，根据应用介绍可知，“青桃”是一个属于年轻人的兴趣知识视频平台，由抖音官方出品的中长视频关联版本，整体风格有些类似B站。
日前，威马汽车首席数据官梅松林转发了一份“世界各国地区拥车率排行榜”，同时，他发文表示：中国汽车普及率低于非洲国家尼日利亚，每百户家庭仅17户有车。意大利世界排名第一，每十户中九户有车。
近日，一项新的研究发现，维生素 C 和 E 等抗氧化剂会激活一种机制，刺激癌症肿瘤中新血管的生长，帮助它们生长和扩散。
据媒体援引消息人士报道，苹果公司正在测试使用3D打印技术来生产其智能手表的钢质底盘。消息传出后，3D系统一度大涨超10%，不过截至周三收盘，该股涨幅回落至2%以内。
9月2日，坐拥千万粉丝的网红主播“秀才”账号被封禁，在社交媒体平台上引发热议。平台相关负责人表示，“秀才”账号违反平台相关规定，已封禁。据知情人士透露，秀才近期被举报存在违法行为，这可能是他被封禁的部分原因。据悉，“秀才”年龄39岁，是安徽省亳州市蒙城县人，抖音网红，粉丝数量超1200万。他曾被称为“中老年...
9月3日消息，亚马逊的一些股东，包括持有该公司股票的一家养老基金，日前对亚马逊、其创始人贝索斯和其董事会提起诉讼，指控他们在为 Project Kuiper 卫星星座项目购买发射服务时“违反了信义义务”。
据消息，为推广自家应用，苹果现推出了一个名为“Apps by Apple”的网站，展示了苹果为旗下产品（如 iPhone、iPad、Apple Watch、Mac 和 Apple TV）开发的各种应用程序。
特斯拉本周在美国大幅下调Model S和X售价，引发了该公司一些最坚定支持者的不满。知名特斯拉多头、未来基金（Future Fund）管理合伙人加里·布莱克发帖称，降价是一种“短期麻醉剂”，会让潜在客户等待进一步降价。
据外媒9月2日报道，荷兰半导体设备制造商阿斯麦称，尽管荷兰政府颁布的半导体设备出口管制新规9月正式生效，但该公司已获得在2023年底以前向中国运送受限制芯片制造机器的许可。
近日，根据美国证券交易委员会的文件显示，苹果卫星服务提供商 Globalstar 近期向马斯克旗下的 SpaceX 支付 6400 万美元（约 4.65 亿元人民币）。用于在 2023-2025 年期间，发射卫星，进一步扩展苹果 iPhone 系列的 SOS 卫星服务。
据报道，马斯克旗下社交平台𝕏（推特）日前调整了隐私政策，允许 𝕏 使用用户发布的信息来训练其人工智能（AI）模型。新的隐私政策将于 9 月 29 日生效。新政策规定，𝕏可能会使用所收集到的平台信息和公开可用的信息，来帮助训练 𝕏 的机器学习或人工智能模型。
9月2日，荣耀CEO赵明在采访中谈及华为手机回归时表示，替老同事们高兴，觉得手机行业，由于华为的回归，让竞争充满了更多的可能性和更多的魅力，对行业来说也是件好事。
《自然》30日发表的一篇论文报道了一个名为Swift的人工智能（AI）系统，该系统驾驶无人机的能力可在真实世界中一对一冠军赛里战胜人类对手。
近日，非营利组织纽约真菌学会（NYMS）发出警告，表示亚马逊为代表的电商平台上，充斥着各种AI生成的蘑菇觅食科普书籍，其中存在诸多错误。
社交媒体平台𝕏（原推特）新隐私政策提到：“在您同意的情况下，我们可能出于安全、安保和身份识别目的收集和使用您的生物识别信息。”
2023年德国柏林消费电子展上，各大企业都带来了最新的理念和产品，而高端化、本土化的中国产品正在不断吸引欧洲等国际市场的目光。
罗永浩日前在直播中吐槽苹果即将推出的 iPhone 新品，具体内容为：“以我对我‘子公司’的了解，我认为 iPhone 15 跟 iPhone 14 不会有什么区别的，除了序（列）号变了，这个‘不要脸’的东西，这个‘臭厨子’。
