ZHAI YU

Thinking will not overcome fear but action will.

Llm 剪枝与低秩训练

内存优化技术 首先，如果用4bit量化，时间换空间实现了，推理速度也会相应的下降很多。因此，如果GPU充足，最好可以在训练的时候用fp16精度加载参数，时间会相对快很多，24GB勉强够用。（2024年5月7日感悟） 当然,业界还有一些其他的内存优化技术,比如Colossal-AI和LoRA。它们各有特点，相比之下, GaLore，Gradient Low-Rank Projection...

Posted by ZHAI YU on April 10, 2024

Encoder-Decoder、Encoder-only和Decoder-only架构的区别

大语言模型底层架构系列

Encoder-Decoder、Encoder-only和Decoder-only架构的区别 首先，语言模型最底层的行事逻辑就是对现实生活中的信息进行近似模拟，即发现数据内部的一般模式（以参数的形式进行存储），从而达到可以模仿训练数据的目的。比如可以把语言模型看成是一个小孩，我们输入一些翻译的例子，语言模型的终极目标就是模拟学习人类给出给的翻译例子的特征，从而面对新的句子也能基于习得经验进行...

Posted by ZHAI YU on February 21, 2024

大语言模型综述

大语言模型底层架构系列

tutorial： 一个很好用的大语言模型可视化网站： https://bbycroft.net/llm 讲解LLM量化/无GPU运行LLM比较出彩的台湾博客： https://blog.darkthread.net/blog/llama-cpp/ 紧跟着上一个博客，另一个将量化解释的比较全面的博客： ht...

Posted by ZHAI YU on December 22, 2023

图床制作教程

layout: post title: 图床制作教程 subtitle: 丝滑图床 date: 2023-09-01 co-author: AYU header-img: img/post-bg-2015.jpg catalog: true tags: 图床 在云服务器创建图床可以让自建网站的图片得以实时传输，一般基于github建的个...

Posted by ZHAI YU on September 1, 2023

一句话总结contrastive learning 的精髓

What contrastive learning loss do when calculating: min distance between augmented positive samples and same class samples max distance between negative samples and augmented positive + same_cl...

Posted by ZHAI YU on April 10, 2023

算法语料标注

基于Doccano实现基于算法的自动标注！

2022年11月28日星期一 日志 算法反刍：基于Doccano的自动标注 1. 算法反刍：基于Doccano的自动标注 doccano平台有AutoLabeling功能，直接调用自己的实体识别API，可以实现语料预标注，标注后的语料又可以作用于算法训练，从此完成算法反刍。 步骤如下： 首先，新建一个doccano项目（此步省略），管理员身份进入set...

Posted by ZHAI YU on November 28, 2022

Transpose和矩阵相乘

1. Question start： when doing contrastive learning between image and text, one has to project all the embeddings of images and texts into one length space and calculate their dot-product, but whil...

Posted by ZHAI YU on July 10, 2022

Python Property 和 Atrribute的区别

用英语怎么说访问attribute引发的chain of thought

On preparing for tomorrows’ lab seminar, I encountered some issue about how can I say in English about get the property and attribute value. Then I searched and found an interesting issue that I ha...

Posted by ZHAI YU on June 18, 2022

tqdm

经常跟在with torch no grad后面的tqdm是什么？怎么用？

只要是可以for的object，都可以用tqdm监测循环遍历（ interate）的进度。 class tqdm(): """ Decorate an iterable object, returning an iterator which acts exactly like the original iterable, but prints a dynamically updati...

Posted by ZHAI YU on March 10, 2021

FEATURED TAGS
大语言模型 LLM
ABOUT ME

Goals determine what you going to be!

✉️ tonyanayu@gmail.com/tonyayu.zhai@connect.polyu.hk

FRIENDS