ZHAI YU

Thinking will not overcome fear but action will.

Transpose和矩阵相乘

1. Question start： when doing contrastive learning between image and text, one has to project all the embeddings of images and texts into one length space and calculate their dot-product, but whil...

Posted by ZHAI YU on April 10, 2024

tqdm

经常跟在with torch no grad后面的tqdm是什么

只要是可以for的object，都可以用tqdm监测循环遍历（ interate）的进度。 class tqdm(): """ Decorate an iterable object, returning an iterator which acts exactly like the original iterable, but prints a dynamically updati...

Posted by ZHAI YU on April 10, 2024

Forward函数 Torch.nn Model class都在干什么

Posted by ZHAI YU on April 10, 2024

Contrastive learning 在pytorch中的表现

What contrastive learning loss do when calculating: min distanc btwn augmntd positive samples and sam class sampls max distanc btwn ngativ sampls and augmntd positiv+sim_class+sampl_anchor

Posted by ZHAI YU on April 10, 2024

Decoder Encoder and bi Encoder Decoder and encoder only

Posted by ZHAI YU on April 10, 2024

Llm 剪枝与低秩训练

内存优化技术 首先，如果用4bit量化，时间换空间实现了，推理速度也会相应的下降很多。因此，如果GPU充足，最好可以在训练的时候用fp16精度加载参数，时间会相对快很多，24GB勉强够用。（2024年5月7日感悟） 当然,业界还有一些其他的内存优化技术,比如Colossal-AI和LoRA。它们各有特点，相比之下, GaLore，Gradient Low-Rank Projection...

Posted by ZHAI YU on April 9, 2024

大语言模型综述

tutorial： 一个很好用的大语言模型可视化网站： https://bbycroft.net/llm 讲解LLM量化/无GPU运行LLM比较出彩的台湾博客： https://blog.darkthread.net/blog/llama-cpp/ 紧跟着上一个博客，另一个将量化解释的比较全面的博客： ht...

Posted by ZHAI YU on February 21, 2024

图床制作教程

layout: post title: 图床制作教程 subtitle: 丝滑图床 date: 2024-02-20 co-author: AYU header-img: img/post-bg-2015.jpg catalog: true tags: 图床 github+picgo图床教程：https://developer.aliy...

Posted by ZHAI YU on February 20, 2024

Python Property 和 Atrribute的区别

用英语怎么说访问attribute引发的chain of thought

On preparing for tomorrows’ lab seminar, I encountered some issue about how can I say in English about get the property and attribute value. Then I searched and found an interesting issue that I ha...

Posted by ZHAI YU on February 20, 2024

算法语料标注

基于Doccano实现基于算法的自动标注！

2022年11月28日星期一 日志 算法反刍：基于Doccano的自动标注 1. 算法反刍：基于Doccano的自动标注 doccano平台有AutoLabeling功能，直接调用自己的实体识别API，可以实现语料预标注，标注后的语料又可以作用于算法训练，从此完成算法反刍。 步骤如下： 首先，新建一个doccano项目（此步省略），管理员身份进入set...

Posted by ZHAI YU on November 28, 2022

FEATURED TAGS
开源框架 算法平台 AutoML Paas
ABOUT ME

Goals determine what you going to be!

✉️ zhaiyu@stu.pku.edu.cn

FRIENDS