仁科百华种子 英伟达被曝“偷”数据，每天爬取超80年视频数据量
最近的英伟达似乎步入了荡漾不安。
继其最强 AI 芯片被曝量产延期、市值挥发超 3000 亿好意思元之后，英伟达又被 404 Media 曝出，在未经授权的情况下，从 YouTube、Netflix 等平台合手取视频内容，用于考试其尚未对外公布的 AI 视频模子。
里面邮件和 Slack 聊天记载涌现，尽管英伟达职工对使用这些数据集的正当性和伦理问题建议了质疑，但公司摆布层暗意这些行动已得到高层批准，并辩称其行动相宜版权法。
值得一提的是，在 2 月末的里面商量中，英伟达说起了其正在使用的多个数据集，其中就包括 HD-VG-130M。
后者是一个包含 1.3 亿个 YouTube 视频的数据集，由北京大学的连络东谈主员构建而成，而其使用许可讲明确规定仅限于学术连络。
英伟达的作念法更像是当下大多数 AI 公司的一个缩影。
当用户依然被视作“数据支款机”，除非里面东谈主士曝光，不然外界着实是难以领略你我的作品是否依然沦为 AI 考试的养料。
简言之，东谈主类依旧是食品链尖端的花费者，但咱们也不行幸免成为了 AI 发展供应链中的一员。
以下为外媒 404 Media 的爆料原文，由 GPT-4o 翻译，enjoy it~
用 YouTube 视频喂养模子，每寰宇载格外于 80 年的视频量
404 Media 得回的里面 Slack 聊天记载、电子邮件和文献涌现，英伟达从 YouTube 和其他多个来源合手取视频，以为其 AI 产品编译考试数据。当被问及使用受版权保护内容考试 AI 模子的法律和伦理问题时，英伟达辩称其作念法“完全相宜版权法的字面和精神。”
404 Media 检讨过的英伟达里面对话涌现，当职工对使用由学者为连络方针编制的数据集和 YouTube 视频可能带来的法律问题建议疑问时，司理告诉他们，公司高层已批准使用这些内容。
一位前英伟达职工（404 Media 授予匿名权以商量英伟达里面进程）暗意，职工被要求从 Netflix、YouTube 和其他来源合手取视频，以考试英伟达的 Omniverse 3D 寰球生成器、自动驾驶汽车系统和“数字东谈主”产品的 AI 模子。
该神志里面称呼为 Cosmos（但与公司现存的 Cosmos 深度学习产品不同），尚未公诱骗布。
来自神志领导的电子邮件涌现，Cosmos 的方针是构建一个来源进的视频基础模子，“将光传输、物理和智能的模拟集中于一处，以诱骗对英伟达要津的各式卑劣应用。”
一张通过 404 Media 得回的电子邮件展示的图表涌现，Cosmos 模子若何应用于不同的英伟达产品。
公司为该神志确立的频谈内的 Slack 音书涌现，职工使用一种名为 yt-dlp 的开源 YouTube 视频下载器，结合假造机刷新 IP 地址，以幸免被 YouTube 繁芜。
据音书涌现，他们尝试从包括 Netflix 在内的多个来源下载完满的视频，但主要贴近在 YouTube 视频。
404 Media 检讨过的电子邮件涌现，神志司理商量使用 20 到 30 台 Amazon Web Services 的假造机每寰宇载格外于 80 年的视频量。
英伟达连络副总裁兼 Cosmos 神志细腻东谈主刘洺堉在 5 月的一封电子邮件中暗意：“咱们正在完成 v1 数据管谈的终末定稿，并确保饱和的计较资源，以构建一个视频数据工场，每天生成格外于东谈主类一世视觉体验的数据量。”
英伟达里面的对话和领导涌现，职工商量了公司在遐想芯片和 API 时的法律和伦理考量，这些芯片和 API 推动了生成式 AI 的兴起，使其成为寰球上最有价值的上市公司之一。
这也凸显了行业内最大的公司，如 Runway 和 OpenAI，敌手脚考试 AI 模子数据的内容有着难以感奋的需求。
英伟达的一位发言东谈主在给 404 Media 的一封电子邮件中暗意：
咱们尊重系数内容创作家的职权，并确信咱们的模子和连络使命完全相宜版权法的字面要乞降精神。版权法保护特定的抒发模式，但不保护事实、不雅点、数据或信息。任何东谈主王人可以从其他来源学习事实、不雅点、数据或信息，并用它们来创造我方的抒发。合理使用也保护将作品用于变革性方针的职权，举例模子考试。
当被问及英伟达使用 YouTube 视频手脚模子的考试数据时，Google 的一位发言东谈主告诉 404 Media，该公司的“此前的驳倒仍然适用”。
其中 YouTube 首席实施官 Neal Mohan 暗意，要是 OpenAI 使用 YouTube 视频来优化其 AI 视频生成器 Sora，这将明确违犯 YouTube 的使用条件。
Netflix 的一位发言东谈主告诉 404 Media，Netflix 与英伟达没相关于内容获取的契约，何况该平台的服务条件不允许合手取数据。
参与该神志的职工建议的相关法律问题的疑问时常被神志司理驳回，他们暗意在未经许可的情况下合手取视频的决定是“高层决定”，职工无需惦念，对于什么组成对受版权保护内容和学术、非交易用途数据集的自制、伦理使用的话题被视为一个“未惩处的法律问题”，他们会在畴昔惩处。
咱们的窥伺凸显了这些科技公司在将大王人受版权保护的内容合手取到数据贴近，用于考试寰球上最有价值的 AI 模子时的“不问自取”作风。
英伟达高管提议，北大学术数据集也遭滥用
2024 年 2 月，英伟达的首席科学家 Francesco Ferroni 在名为 #cosmos-dataset-creation 的英伟达公司 Slack 频谈中写谈：
“大师好，@Sanja Fidler 向我提到了一个团员大王人精选视频数据集以进行生成建模的倡议。咱们觉得，滥觞汇总系数里面可用的（公开或里面下载）的视频数据集，以幸免叠加做事，是很有真谛的。”
（审视：Sanja Fidler 是英伟达的 AI 连络副总裁。）
随后，Ferroni 赓续了一个包含数据集赓续的电子表格，其中包括 MovieNet（一个包含 6 万个电影预报片的数据库）、WebVid（一个由 Github 上的素材图片编译的视频数据集，其后因 Shutterstock 的罢手见告而被其创建者删除）、InternVid-10M（一个在 Github 上的包含 1000 万个 YouTube 视频 ID 的数据集），以及几个里面拿获的视频游戏画面数据集。404 Media 依然从 Slack 对话的截图中删除了初级职工的姓名。
咱们包括了几位参与该神志的高等工程师和高管的名字，因为他们在 AI 行业中以领导者身份享有公开着名度。
Ferroni 赓续的电子表格展示了神志使用的数据集
在二月份的后续商量中，工程师们谈到他们获取的数据集时仁科百华种子，其中包括 HD-VG-130M，这是一套包含 1.3 亿个 YouTube 视频的数据集。该数据集由中国北京大学的连络东谈主员创建，其使用许可声明指出只可用于学术用途。
该数据集的 Github 页面上写谈：“通过下载或使用数据，您结合、承认并首肯以下契约中的系数条件。”
该页面强调“只可用于学术用途。HD-VG-130M 数据贴近的任何内容仅供学术连络使用。您首肯不复制、交往或用于任何交易方针。谢绝分发。尊重原始来源个东谈主信息的秘密。未经版权领有者的许可，不得对数据集内容进行任何相貌的播送、修改或任何其他访佛行动。”
在系数这个词神志过程中，由连络东谈主员和学者编制并公开的数据集被视为可以开脱使用于英伟达的模子。AI 连络东谈主员越来越良善他们公开的数据集的安妥使用，包括伦理和法律方面的使用。
麻省理工学院数据溯源倡议的 Robert Mahari 告诉 404 Media，在以前的一年中，他们看到连络数据集的非交易使用许可的使用率显赫增多，这标明学者们试图死心他们使命的交易使用。为连络用途编制的数据集与交易用途的数据集在方针上有显赫不同。
“当学者发布全球数据集，尤其是针对特定任务的数据集时，咱们可能不会荒谬检验这些数据是否存在某些类型的偏见或西方中心主义之类的问题。要是这些不是连络的要点，那么就不会进行检验，”Mahari 说。“因此，要是一位学者在许可中注明‘仅供学术使用’或‘请不要以非预期模式使用这些数据’，顺从这些规定是有充分事理的。因为这些数据可能不具备交易用途的质料，也可能在其他类型的环境中阐发欠安。”
与其他许多科技巨头不异，英伟达雇佣了从事并发表学术连络的东谈主员。关联词，404 Media 检讨过的英伟达里面对话标明，Cosmos 的方针是为公司在竞争强烈的 AI 行业中强化其交易产品的勇猛提供维持。
公诱骗布的连络数据集时常以 URL 或 YouTube ID 的相貌分发，原因有二：一是出于施行筹商——分享数百万个完满的视频或图像文献过于繁琐；二是出于法律和伦理筹商。举例，要是有东谈主删除了他们的 YouTube 视频或推文，副本不会在未经系数者知情大致可的情况下赓续存在于数据贴近。
“这有点像通过不分发数据集给外界来绕过法律不休，”华盛顿大学计较谈话学实验室讲明兼主任 Emily Bender 告诉 404 Media。“其他东谈主可以构建数据集，然后用于我方的方针。”
商量细节曝光，英伟达如安在法律边际窃取数据？
三月份，一位连络科学家在 Slack 上发起了对于 OpenAI 的 Sora 视频生成器可能使用《阿凡达》和《指环王》等好莱坞电影手脚考试数据的商量。
“电影施行上是获取游戏般的 3D 连贯性和虚构内容的精湛数据来源，而且质料更高。这些变装王人是完全的 CGI，当今许多真东谈主场景也依然是 CGI，”他们说。有东谈主回复说，团队应该考试 Discovery Channel 的电影数据集。
刘洺堉说：“咱们需要一个志愿者下载系数电影。”
领先建议电影的连络科学家补充谈：“诚然他们正在作念的事情相等明确，但咱们必须相等防卫好莱坞对 AI 的高度明锐，就像 SD [Stable Diffusion] 发布后发生在艺术家社区的情况不异，当今正在好莱坞中发生。”
随后，他们在聊天中贴了两个赓续：一个是 Hollywood Reporter 对于泰勒·佩里在看到 OpenAI 的 Sora 后暂停了8亿好意思元的使命室彭胀的著述，另一个是 Vanity Fair 对于 2023 年 SAG-AFTRA 歇工导甚至命室合同中包含 AI 谈话的著述。
刘洺堉强调谈：“咱们在这里作念的事情不会发表任何连络效果。咱们将使用系数可下载的数据进行实验。鉴于咱们不会发表任何内容，是以不会有负面心思。”与 404 Media 交谈的前职工解释说，“发表”是指连络出书物。
建议“高度明锐性”的阿谁东谈主回复说：“要是咱们在公司范围内开展这么的神志，应当往常疏导，因为展示访佛的实例可能会引起副作用。”刘洺堉回复谈：“会的。”
三月份，Ferroni 在另一个与神志相关的 Slack 频谈中写谈：“发现了一些高优先级的文献需要下载。收尾发现咱们领有的 HDVILA [高差别率视频谈话] 数据贴近繁重 230 万个原始视频！”他们指的是微软的 HD-VILA-100M，这是一个大边界、高差别率和各样化的视频谈话数据集。他们发送了一个 Google Drive 文档赓续，说：“这里是繁重的 YouTube 赓续”，然后说：“让咱们把这个放进下载进程中！”
HD-VILA-100M 的使用许可声明这么写谈：
“您首肯仅将数据用于非交易连络的计较方针。此死情意味着您可以从事非交易连络行径（包括由交易实体进行的或资助的非交易连络），但不得将数据或任何收尾用于任何交易产品，包括手脚您使用或提供给他东谈主的产品或服务的一部分（或用于校正任何产品或服务）。”
“咱们创建一个依然下载的网址数据库吧，”另一位工程师回复谈。“YouTube 视频有独一的 ID，咱们可以用这些 ID 手脚参考（‘?v=’ 后头的 ID）？以后咱们会屡次进行 URL 对比和归拢。”Ferroni 回复说：“是的，咱们当今正在使用 Hive 确立基础设施，”真谛是他们正在将其添加到神志摆布器具 Hive 中。
英伟达的职工还商量了 YouTube 繁芜 IP 地址的问题；要是平台检测到访佛合手取器具的大王人内容下载行动，它们可能会繁芜单个 IP 地址的探望。有东谈主问：“对于 YouTube 繁芜 IP 的问题，你有莫得筹商过访佛 https://brightdata.com/ 的 IP 瓜代？咱们当今正在筹商用它来合手取 LLM 数据，要是你想试试，我可以把你添加到我的账户中。”
他们记号的那位 Omniverse 团队成员回复谈：“咱们在 AWS 上，重新驱动一个 [假造机] 实例会给咱们一个新的全球 IP，鬼父在线观看是以，面前这不是问题。”
开心色播在 #cosmos-dataset-creation 频谈中对于若何寻找最好视频的 Slack 商量中，职工偶尔会提到他们使命的法律和伦理问题。二月份，有东谈主提到使用 Google 编制的 YouTube-8M（一个 YouTube ID 的连络数据集）后，Ferroni 问谈：“咱们不行能将 [YT8M] 用于非连络方针吧？”
YouTube-8M 的论文和神志页面莫得说起版权问题，但论文中如实标明该数据集是为了推动机器学习连络而创建的：“咱们盼望该数据集能够为学术界连络东谈主员提供自制竞争的环境，削弱与大边界标刺眼频数据集的差距，并显赫加快视频结合的连络。咱们但愿这个数据集能成为诱骗新颖的视频暗意学习算法，尤其是有用处理噪声或不完满标签的步伐的测试平台。”
针对 Ferroni 提到的将其用于 Cosmos 神志的问题，一位此前共同创建 ACAV100M 的英伟达职工回答谈：
“是的，从 Google 下载数据的资本相等高。关联词，从英伟达里面调养 10000 个 cores 一直是个挑战。
此外，英伟达到云的带宽死心增多了格外大的变动性，可能会引提问题。在 Google Cloud 凹凸载意味着每个任务王人能得回褂讪、高带宽的团结到 YouTube。”
“更蹙迫的是，下载 YouTube 视频是 YouTube 服务条件所谢绝的。是以不才载 YouTube 8m 时，咱们事前与 Google 和 YouTube 进行了疏导，并以使用 Google Cloud 进行下载手脚诱因。毕竟，时常对于 800 万个视频，他们会得回大王人的告白展示，这些告白在用于考试时下载会导致收入亏蚀，是以他们应该从中得回一些收益。每次下载视频支付 $0.00625 仍然是一个可以的交往。”
“好的，展望这些数据只可用于连络方针？据我所知，Google 的 YouTube API 可以查询每个视频的许可条件，” Ferroni 恢复谈。“你能否也驳倒一下 ACAV100M 和 YouTube8M 的许可条件？”
“据我所知，YouTube 的服务条件谢绝下载，非论许可若何；死心是对于他们失去的告白收入，而不是许可，”另一位职工恢复谈。他们赓续说：
“我不知谈 Google 在创建数据集时过滤了哪若干可条件；咱们仅仅下载了他们列出的包含在数据贴近的内容（他们发布了特征，以及指向原始视频的赓续）。我下载的 YouTube 8m 数据集带有完满的元数据，是以你可以在那边检验每个视频。我仍然需要检讨 ACAV100M 数据集。一般来说，CC 或全球边界天然是最好的。关联词，是否可以将受版权保护的材料用于考试面前是一个悬而未决的法律问题；大多数公司似乎觉得这是合理使用。我信赖咱们的法律团队依然批准了这种用于考试大谈话模子的作念法，并可能也会批准视频考试。”
“我觉得在莫得某东谈主首肯的情况下交易化某物与连络基于公诱骗布内容的生成式 AI 才智之间存在宽绰差距，” MIT 媒体实验室的博士生 Shayne Longpre 告诉 404 Media。在 Cosmos Slack 频谈中对于 YouTube 服务条件的问题并不是法律问题终末一次出现。
其后，另一位职工说，“团队好。咱们是否使用 https://research.google.com/youtube8m/download.html 下载视频？要是是的话，咱们是否有正当批准？在一个神志中，法律部门否决了使用它，因为单个视频的许可优于 yt8m 上分享的许可。” “这是一个行政有计算。咱们有一个涵盖所少见据的总许可，”刘洺堉回复谈。“好的，谢谢！”提问的东谈主回复谈。
Bender 告诉 404 媒体，公司正在诳骗刻下用于考试数据的版权内容所存在的法律灰色地带。“在我看来，肯定存在一种‘要是咱们能获取它，咱们就能使用它’的文化，”她说。“这很猛进度上是基于东谈主们但愿它成为现实，而不是基于对其正当性的仔细连络，或者深刻想考它对东谈主们的影响。”
Mahari 说，使用版权内容进行 AI 考试“完全不是已定的法律”。法律体系尚未细则获取考试数据来诱骗 AI 模子是否具有饱和的变革性，荒谬是因为模子依然涌现出能够记着或回忆考试数据手脚输出。“我的不雅点（部分追思在这篇《科学》著述中）是，考试 AI 模子可能如实组成合理使用，但这并不料味着生成与考试数据中特定神志相似的输出不是侵权。
在这种情况下，尚不澄澈是基础模子的提供者照旧生成输出的特定用户会组成侵权（这可能取决于具体的凹凸文）。”
在五月，一位连络科学家在 Cosmos Slack 频谈中丢了一些 YouTube 频谈的赓续并说，“要是你们仍然惬心接受对于可以下载的 YouTube 频谈的建议，这里有几个可能值得筹商的频谈。”它们包括 Expedia 和 Architectural Digest 的官方频谈，还有一些个东谈主内容创作家，如 The Critical Drinker 和 Marques Brownlee（MKBHD）。一位神志司理感谢他们的建议并暗意会转达给团队，Fidler 回复谈，“你也包括了教程视频了吗？天体裁？医学？”
使用版权作品进行交易基础模子考试的“未决法律问题”可能不会悬而未决太久。
版权持有者对生成式 AI 公司拿起的版权侵权诉讼正在堆积，包括 Getty Images 对 Stable Diffusion 创作家 Stability AI 的诉讼，纽约时报对 OpenAI 的诉讼，以及艺术家和创作家对 Stability、Midjourney、DeviantArt 和 Runway 拿起的集体诉讼。Cosmos 考试数据团队还商量了使用 Netflix 来考试生成器。
“今天的会议上，咱们得回了下载各式数据的许可。咱们应该下载系数这个词 Netflix 吗？咱们该若何将其操作化？”刘在 Slack 频谈中说。“咱们应该下载系数这个词探索频谈！”
有东谈主回复谈。“咱们需要一个神志信息融合员。谁惬心在看系数电影的同期进行屏幕捕捉？”刘说。“咱们应该从中得回许多高质料的东谈主脸视频，”刘赓续说谈。来自 Omniverse 基础设施团队的某东谈主在商量串中被记号，并指出他们惬心匡助“将其操作化”，因为他们在“其他大公司构建大型数据集方面有训诫。”
团队还筹商了若何最好地将视频游戏画面添加到考试数据中。英伟达的高等连络科学家 Jim Fan 提到，捕捉现场游戏视频时遭受了“工程和监管”方面的进犯。
“更新：我依然与 GeForce Now（GFN）的东谈认识过面，并将与他们沿途制定数据诡计。咱们将与 GFN 和相关工程团队邃密融合，建立及时游戏数据捕捉，扩大管谈边界，并处理这些数据以进行考试。高质料的游戏视频将是咱们 Sora 神志相等有用的补充，”Fan 写谈。“咱们面前还莫得统计数据或视频文献，因为基础设施尚未建立起来以捕捉大王人的现场游戏视频和动作。咱们需要克服工程和监管方面的进犯。但是，一朝清算和处理后的 GFN 数据到达，咱们将尽快将其添加到 team-vfm 中。”
三月，该神志达到了一个里程碑：在两周内下载了 10 万个视频。一个职工在商量这个里程碑的线程中提到，Ferroni 领有他们正在使用的一个下载器，Ferroni 证据他们一直不才载音频和视频。“惊东谈主的进展。当今的问题是咱们若何得回大王人高质料的 URL，”刘回复谈。
五月下旬，一封对于视频数据的数据策略的电子邮件发给了神志团队的成员，晓喻他们依然编制了 3850 万个视频 URL。“字据咱们的方针散布，畴昔一周的要点仍然专注于电影、无东谈主机画面、第一视角视频以及一些旅游和天然视频，”电子邮件写谈。邮件中还包含了一个涌现他们下载的内容类型百分比的图表。
在那封电子邮件中，一位产品司理建议将另外四个数据集添加到模子的考试数据中。他们写谈：
1. Ego-Exo4D：一个各样化的大边界多模态、多视角视频数据集和基准测试，由 740 位录像机佩带者在全球 13 个城市网罗，捕捉了 1286.3 小时的熟识东谈主类行径视频。
2. Ego4D：一个大边界的第一视角数据集和基准测试套件，在全球 74 个方位和 9 个国度网罗，高出 3670 小时的日常生计行径视频。
3. HOI4D：一个大边界的四维第一视角数据集，带有丰富的审视，以促进类别级东谈主类-物体互动的连络。
4. GeForce Now：游戏数据。
HOI4D 由清华大学、北京大学和上海期智连络院的连络东谈主员创建，采用 CC BY-NC 4.0 许可证，不允许交易用途。
“在我看来，要是一家公司使用一个仅用于连络方针的数据集，并将其用于连络，他们仍然罢职该数据集的许可，”Bender 说。
“但为了确保这少许，他们必须相等防卫肠在他们进行的连络和他们在产品诱骗中的使命之间建立防火墙。”
在五月的另一封更新电子邮件中，刘说，“连络团队当今正在用许多不同的设立考试一个领有 10 亿参数的模子，每个设立有 16 个节点。这是进一步彭胀前的蹙迫调试范例。咱们诡计在几周内得出论断，然后彭胀到 100 亿参数的模子。”
英伟达的 CEO 黄仁勋在那封电子邮件中回复谈，“很棒的更新。许多公司必须构建视频基础模子。咱们可以提供一个完全加快的管谈。”
六月，职工们商量了模子中哪些类型的内容对英伟达的产品最有用，以保持在 AI 行业中的竞争力。
“英伟达领有大多数内容公司莫得的机器东谈主、自动驾驶汽车、Omniverse 和 Avatar。为了对公司产生最大的影响，咱们运筹帷幄的数据必须能够很好地应用于这些杀手级应用，”刘说。
“我了解对机器东谈主和自动驾驶汽车有影响的数据。谁能分享对 Omniverse 和 Avatar 用例有影响的数据的详确信息？”一位产品司理回复谈。“这将是对于东谈主类若何与物体互动的视频。比如产品安设，切生果，叠穿着，”刘回答谈。
AI 模子的越过是否建立在你我的创作上？
诚然英伟达如实为学术连络作出孝顺，但 404 Media 得回的对话和电子邮件涌现，Cosmos 团队正在连络的模子旨在用于其多个产品的交易用途。
在若何编制考试数据方面建造法律前例之前，或者公司被要求对这些数据透明之前，公司将赓续诳骗合手取版权考试数据的法律灰色地带。像这么的里面对话泄漏是东谈主们独一能够知谈他们的作品是否被用来考试模子，让英伟达或 Runway 或 OpenAI 等公司赚取数十亿好意思元的模式。
多年来，不管是通过政府监管照旧行业模范，AI 行业一直在推动更多的透明度。
本年早些时分，MIT 的 Jack Hardinges、Elena Simperl 和 Nigel Shadbolt 写谈：“了解用于考试模子的数据贴近的内容过头编制模式至关蹙迫。莫得这些信息，诱骗东谈主员、连络东谈主员和伦理学家惩处偏见或从数据中移除无益内容的使命将受到封闭。
考试数据的信息对于立法者评估基础模子是否摄入了个东谈主数据或版权材料也至关蹙迫。不才游，要是 AI 系统的预期操作员和受其使用影响的东谈主了解它们是若何诱骗的，他们更有可能信任这些系统。”
昨年，立法者建议了几项法案来惩处这个问题，包括在十二月建议的《AI 基础模子透明法案》，该法案要求创建基础 AI 模子的公司与联邦机构（如 FTC 和版权局）融合制定透明度模范，包括要求他们向花费者公开某些信息。
本年四月建议的《生成式 AI 版权透露法案》将要求数据集制作家向注册员提交“任何受版权保护的作品的充分详确摘录”，不然将濒临罚金。
“从时代上讲，细则你的作品是否被用于考试如实很难，”Mahari 说。“在公司里面，最好的策略是不要告诉东谈主们你用什么考试仁科百华种子，因为任何第三方王人很难的确进行审计并发现。因此，只有你不告诉任何东谈主，就很难讲明。”