今天给大家带来一个硬核科技，如何自己手搓一个ChatGPT3.5-虎哥说创业

内容过于硬核，先说结论，目测在未来6个月内，将会出现私有独立部署的chatgpt版本，甚至装在一个U盘类似的硬件当中，即插即用，toB商业场景巨大，所以我们团队决定挑战手搓一个ChatGPT。

事情起由

这个事情要从2022.02月份说起，当时清华的一个小兄弟，给我介绍了gpt3的模型，聊天对话在此：

当时我们对GPT的能力和商业落地就有了一些探讨。时间过得很快，到了11月份，gpt3.5就快速的引爆了全世界。

前几天这个清华小兄弟又找到我，说准备手搓一个ChatGPT，我猛的一听，觉得不可思议，但是听他介绍下思路：

Facebook开源了LLaMA基础模型，从此产生了很多基于LLaMA微调的模型，Vicuna仅用3周时间，效果达到90%+ ChatGPT水平

谷歌技术报告：https://www.semianalysis.com/p/google-we-have-no-moat-and-neither

最近这两天，Facebook发布了新工作，只需要用1000条数据，就可以超过GPT-3.5 (DaVinci 003) 的水平

LIMA: Less Is More for Alignment

基础模型具有了足够的潜力，只需要少量高质量数据微调，就能达到目标水平

既然Vicuna使用了ShareGPT的数据，我们可以抓取并进行清洗，筛选所有高质量数据，只要几千条足够

想法很大胆，不过清华就是清华，开搞！

开始行动

为了配合他的训练模型，我继续用ChatGPT套娃，首先要从sharegpt.com 这网站上爬一些其他的语料

数据来源：https://sharegpt.com/sitemap.xml

数据来源2：https://huggingface.co/datasets/philschmid/sharegpt-raw/tree/main/sharegpt_90k_raw_dataset 好心人在关闭搜索之前，把这个给保存下来了。

套娃开始：

简直太丝滑了，gpt3.5对程序员就比较友好了，通过三个小时的工作，这些数据都被整理出来了。提取里边的有用信息格式如下：

{

“props”: {

“pageProps”: {

“id”: “0A5nb3e”,

“content”: {

“items”: [{

“from”: “human”,

“value”: “tha supreme è un’artista italiano contemporaneo (trapper, produttore discografico) che ha rivoluzionato la musica trap in italia, creando pezzi unici nel loro genere. Questo è una sua canzona, intitolata \”b@by nel bed\”:\n\nHo una baby nel bed, ho una baby bad\nHo una baby nel bed, è una baby bad\nHo una baby nel mio bed, vorrebbe love\nHo una baby nel bed, ho una baby bad\n\nHo una baby nel bed, ho una baby bad\nHo una baby nel bed, è una baby bad\nHo una baby nel mio bed, vorrebbe love\nHo una baby nel bed, ho una baby bad\n\nSuono Mi poi La\nSwing come Ray Charles\nFumo g nei blunt\nFinché non mi sento up\n\nPoi se m’infami per fama, non so\nCome dirtelo ma me ne frega tipo zero\nNon fotti con me non fotterai me\n(Ho una) baby miss crystal\n\nNei suoi eyes c’ha il mar\nBella già nuda o in tuta nike\nCon le treccine mi fa\nPoi se mi cadi per strada farò\n\nQuello che, no, non ti ha mai fatto ne-nessuno\nSì ti rialzerò, ti rialzerò\n\nHo una baby nel bed, ho una baby bad\nHo una baby nel bed, è una baby bad\nHo una baby nel mio bed, vorrebbe love\nHo una baby nel bed, ho una baby bad\n\nHo una baby nel bed, ho una baby bad\nHo una baby nel bed, è una baby bad\nHo una baby nel mio bed, vorrebbe love\nHo una baby nel bed, ho una baby bad\n\nHo una baby nel bed, ho una baby bad\nHo una baby nel bed, è una baby bad\nHo una baby nel mio bed, vorrebbe love\nHo una baby nel bed, ho una baby bad\n\nScrivi il testo di una canzone nello stile di thasup che parli del fatto che la pizza è più buona del sushi. Il titolo della canzone sarà \”p!zza\”.”

}, {

“from”: “gpt”,

“value”: “\u003cdiv class=\”request-:R2d6:-1 markdown prose dark:prose-invert break-words light\”\u003e\u003cp\u003eP!zza, la migliore in città\nP!zza, non c’è niente di più buono\nSushi, sushi non è niente\nP!zza, la scelta giusta per me\u003c/p\u003e\u003cp\u003eHo una p!zza nel forno, calda e saporita\nSushi non mi piace, troppo acquosa\nP!zza con pepperoni, formaggio e olive\nSushi non ci penso neanche, mi fa schifo\u003c/p\u003e\u003cp\u003eSuono Mi poi La\nSwing come Ray Charles\nFumo g nei blunt\nFinché non mi sento up\u003c/p\u003e\u003cp\u003ePoi se m’infami per fama, non so\nCome dirtelo ma me ne frega tipo zero\nNon fotti con me non fotterai me\n(Ho una) p!zza al taglio\u003c/p\u003e\u003cp\u003eNei suoi occhi c’è la verità\nP!zza è il mio amore eterno\nCon il cornicione croccante\nPoi se mi cadi per strada farò\u003c/p\u003e\u003cp\u003eQuello che, no, non ti ha mai fatto nessuno\nSì ti rialzerò, ti rialzerò\u003c/p\u003e\u003cp\u003eP!zza, la migliore in città\nP!zza, non c’è niente di più buono\nSushi, sushi non è niente\nP!zza, la scelta giusta per me\u003c/p\u003e\u003cp\u003eP!zza, la migliore in città\nP!zza, non c’è niente di più buono\nSushi, sushi non è niente\nP!zza, la scelta giusta per me\u003c/p\u003e\u003c/div\u003e”

}],

“avatarUrl”: “data:image/jpeg;base64,/9j/4AAQSkZJRgABAQAAAQABAAD/4gIoSUNDX1BST0ZJTEUAAQEAAAIYAAAAAAQwAABtbnRyUkdCIFhZWiAAAAAAAAAAAAAAAABhY3NwAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAQAA9tYAAQAAAADTLQAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAlkZXNjAAAA8AAAAHRyWFlaAAABZAAAABRnWFlaAAABeAAAABRiWFlaAAABjAAAABRyVFJDAAABoAAAAChnVFJDAAABoAAAAChiVFJDAAABoAAAACh3dHB0AAAByAAAABRjcHJ0AAAB3AAAADxtbHVjAAAAAAAAAAEAAAAMZW5VUwAAAFgAAAAcAHMAUgBHAEIAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAFhZWiAAAAAAAABvogAAOPUAAAOQWFlaIAAAAAAAAGKZAAC3hQAAGNpYWVogAAAAAAAAJKAAAA+EAAC2z3BhcmEAAAAAAAQAAAACZmYAAPKnAAANWQAAE9AAAApbAAAAAAAAAABYWVogAAAAAAAA9tYAAQAAAADTLW1sdWMAAAAAAAAAAQAAAAxlblVTAAAAIAAAABwARwBvAG8AZwBsAGUAIABJAG4AYwAuACAAMgAwADEANv/bAEMAAwICAgICAwICAgMDAwMEBgQEBAQECAYGBQYJCAoKCQgJCQoMDwwKCw4LCQkNEQ0ODxAQERAKDBITEhATDxAQEP/bAEMBAwMDBAMECAQECBALCQsQEBAQEBAQEBAQEBAQEBAQEBAQEBAQEBAQEBAQEBAQEBAQEBAQEBAQEBAQEBAQEBAQEP/AABEIAB4AHgMBIgACEQEDEQH/xAAYAAEAAwEAAAAAAAAAAAAAAAAGAAIDB//EACkQAAICAQMDAwMFAAAAAAAAAAECAwQRAAUSBiExBxNhFCKBI0GRodH/xAAWAQEBAQAAAAAAAAAAAAAAAAABAgj/xAAlEQABAwMCBgMAAAAAAAAAAAABAwQRAAISIUETMVFhcaGx4fH/2gAMAwEAAhEDEQA/AF6oB/urcfnVYElmkSGJDJJIwRFHksTgD8kgfnSu10x03TtXtuSbqK3c24SRWLlSmJaS2EH3JwH6mA+V5Eg9uWOOCctoNb3E47fNaWWcpoEC6de23WiwX51OPzpRt/Rkd3oqfqZ9yddykjsXadIKGWalWeNLMhJ7hlaQ8e+CEbtoxkeMjSs2Vbi0qiMhI8UIOk3F19qZnEwfNZRu0ciuh4spBVh2ZWHhgf2I0+q+olWjudjqWltN+vu8wkdoo9zePbJrLxlWneBRyJPLJTkVyB41z8HBzrcH+tUg6WaXZImKlyzSdxxRI1670zp+ps22bhtL0em9oajs9SKhDHYqpLZ+nCcZE+pKhgXzISQBgv47dxb+zyPsRGNMkKpfkQuTxGcDOB/JydW1NLh2s8jimYJ9/lLZkg0kpWwTz7/ep151/9k=”

“views”: 15,

“comments”: []

“__N_SSG”: true

“page”: “/c/[id]”,

“query”: {

“id”: “0A5nb3e”

“buildId”: “mf1hHAmX0bEOFCTF1b7Wa”,

“isFallback”: false,

“gsp”: true,

“scriptLoader”: []

}

来留个钩子：我这边把搞到的数据已经上传到百度网盘，需要的朋友们可以私信获取！