模型杂谈：遭遇“下架风波”的首个国产语言大模型元语（ChatYuan）

FROM nvcr.io/nvidia/pytorch:23.01-py3

RUN pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

RUN git clone https://github.com/huggingface/transformers.git --depth=1 --branch=main && \
    pip install ./transformers && \
    rm -rf transformers && \
    pip install sentencepiece

RUN cat > /get-models.py <<EOF
from transformers import T5Tokenizer, T5ForConditionalGeneration
tokenizer = T5Tokenizer.from_pretrained("ClueAI/ChatYuan-large-v1")
model = T5ForConditionalGeneration.from_pretrained("ClueAI/ChatYuan-large-v1")
EOF

RUN python /get-models.py && \
    rm -rf /get-models.py

docker run --gpus all --ipc=host --ulimit memlock=-1  -it --rm chatyuan python

from transformers import T5Tokenizer, T5ForConditionalGeneration
import torch

model_name = "ClueAI/ChatYuan-large-v1"
tokenizer = T5Tokenizer.from_pretrained(model_name)
device = torch.device('cuda')
model = T5ForConditionalGeneration.from_pretrained(model_name).to(device)

def trim(text):
  return text.replace("\\n", "\n").replace("\\t", "\t")

def answer(text, top_p=1, temperature=0.7):
  text = trim(text)
  encoding = tokenizer(text=[text], truncation=True, padding=True, max_length=768, return_tensors="pt").to(device) 
  out = model.generate(**encoding, return_dict_in_generate=True, output_scores=False, max_new_tokens=512, do_sample=True, top_p=top_p, temperature=temperature, no_repeat_ngram_size=3)
  out_text = tokenizer.batch_decode(out["sequences"], skip_special_tokens=True)
  return trim(out_text[0])

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 525.78.01    Driver Version: 525.78.01    CUDA Version: 12.0     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  NVIDIA GeForce ...  Off  | 00000000:01:00.0 Off |                  Off |
| 31%   36C    P2    64W / 450W |   3543MiB / 24564MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
                                                                               
+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|    0   N/A  N/A      1291      G   /usr/lib/xorg/Xorg                  9MiB |
|    0   N/A  N/A      1404      G   /usr/bin/gnome-shell               10MiB |
|    0   N/A  N/A     38552      C   python                           3518MiB |
+-----------------------------------------------------------------------------+

def hey(prompt):
    prompt = "用户：" + prompt + "\n小元："
    result = answer(prompt)
    print(f"{prompt}{result}")
    return

hey("如何定义什么是好的开源项目")

>>> 
>>> def hey(prompt):
...     prompt = "用户：" + prompt + "\n小元："
...     result = answer(prompt)
...     print(f"{prompt}{result}")
...     return
... 
>>> hey("如何定义什么是好的开源项目")
用户：如何定义什么是好的开源项目
小元：一个好的开源项目应该是有比较好的开源社区，并且具有强大的技术实力。一个好的开源社区应该拥有自己的技术团队，并且能够提供开源社区的技术支持，以帮助开发者更好的开发自己的开源项目。此外，一个开源社区还应该拥有优秀的开源技术，可以支持开发者更好的把代码发布到其他开源社区。
>>> 

hey("帮助国足冲出亚洲，走向世界，制定十条可行战略")

hey("编写一个 Golang Web 服务，监听 8080 端口，包含一个接口，能够将文本文件按照换行切分为数组，并输出不为空的内容。")

def classify(prompt, options):
    prompt = "分类任务：\n" + prompt + "\n选项：" + options + "\n答案："
    result = answer(prompt)
    print(f"{prompt}{result}")
    return

classify("最近一段时间，ChatGPT一直是全民热点，占据各种科技新闻的头条。在社交媒体上，也是人人都在谈论ChatGPT，关于ChatGPT的讨论声浪一波又一波，在移动互联网的大潮之后，还没有一个概念像ChatGPT火爆过。", "财经，娱乐，时政，股票，科技")

classify("国师见郭襄竟然无恙，也是一呆。周伯通正架着他的手臂，右眼向一灯一眨，左眼向黄药师一闪，做了个鬼脸。东邪、南帝双手齐出，国师右胁左胸同时中指。若换作别人，虽点正他要害，也决计闭不了他穴道，但东邪、南帝这两根手指，当今之世再无第三根及得，一是精微奥妙的“弹指神通”，一是玄功通神的“一阳指”，国师如何受得？“嘿”的一声，身子晃了一下。周伯通伸手在他背心“至阳穴”上补了一拳，笑道：“躺下罢！”国师正为郭襄生还而狂喜，心神大荡之际，冷不防要害接连中招，双腿一软，缓缓坐倒。一灯等三人对望一眼，心中均各骇然：“这和尚当真厉害，身上连中三下重手，居然仍不摔倒。", "财经，散文，娱乐，时政，武侠，小说，股票，科技")

def correct(prompt):
    prompt = "文本纠错：\n" + prompt + "\n答案："
    result = answer(prompt)
    print(f"{prompt}{result}\n")
    return

correct("经过小明的不懈努力，终于追回了小王家拖欠了十多年的线。")
correct("现在浮夸的开源运营，真的是要了我的老伞了。")
correct("温度骤降，街上白茫茫的一篇，热心的小明拿起扫帚扫雷。")

context = ""
def chat(prompt):
    global context
    prompt = "用户：" + prompt + "\n小元："
    context = context + "\n" + prompt
    result = answer(context, top_p=0.9)
    print(f"{prompt}{result}\n")
    return

chat("天空为什么是蓝色的？")

chat("海洋为什么是蓝色的？")

chat("阿凡达为什么是蓝色的？")

chat("养猫好还是养狗好？")
chat("你没有回答我的问题，我需要明确的选项，是养“猫”好还是养“狗”好？")