Skye's Notebook/Blog

世界坐标系保存了世界内物体相对的几何关系，可以理解为世界与在其中的人类以及人类活动，人类与世界的交互（类比世界观） 模型坐标系保存模型内部的几何关系。（类比每个人内部三观） 模型变换矩阵是对模型坐标系的变换，将模型坐标系内的坐标变为世界坐标系的坐标。 坐标系之间位置的转换，其实是把事件按时间还原了，状态回流。矩阵本身表示的是关系 绑定：本物体顶点坐标变换到父节点所在的坐标系内。一直保持和父节点有某种旋转之类的几何关系（也可以理解为事件按时间还原或状态回流）。 模型变换矩阵是坐标系之间位置的转换，精确定义：模型变到父节点坐标系，只不过有些父节点是世界坐标系 因此world变化矩阵是将物体以及所有上层节点的模型矩阵顺序相乘：一直乘到根节点 view矩阵（摄像机坐标系）：右手系，默认看向自己摄像机坐标系的负z轴。 因此，摄像机也好物体也好都是object，只要是object就有矩阵变换父节点等等概念。 ！反过来想，摄像机world matrix的逆矩阵就是将世界坐标转到了摄像机坐标系。 旋转矩阵最后一列前三个数是物体xyz的平移运动，前三列的对应前三个是物体所在模型坐标 ...

语言模型是对token顺序的概率预测或是处理，模型告诉我们一个标记序列到底好不好 序列的常见联合概率写法是概率的链式法则，这和diffusion，lstm，以及各类的时间序列算法相似 像是一个接一个的链表（给定上一个生成下一个），这个叫做自回归 像是快排有一个分界点的那种类似二叉树，给左边遍历顺序要求右边，这个是非自回归（严格来说，是给定序列生成另一个序列） 大部分预测只基于最后n-1个字符，不是整个历史，n-1是窗口。transformer窗口是整体被输入可以理解是无限窗口，lstm和n-gram都是是有限窗口 llama创新点：前置层归一化（Pre-normalization）, RMSNorm归一化函数[可学习的缩放因子] SwiGLU[维度消减] 旋转位置嵌入（RoP）[向量乘法旋转] CPT2的架构 Stanford Alpaca：LLaMA基础上使用52K指令数据精调的预训练模型 一句话解释涌现与复杂系统论：整个社会风向或是群众智慧或是联邦学习 GQA和MQA都是注意力的变体，其中多个查询头关注相同的键和值头，以减少推理过程中 KV 缓存的大小，并可以显 ...

双指针+链表这类题目第一步永远是指定头节点，有两种指定方法 虚拟头节点[需要新开链表存储结果]或是指定现有的输入头节点[不需要新开，比如快慢指针]，还有两种结合的 12345# 虚拟头节点 #指定现有的输入头节点dummy = ListNode(-1)p = dummyp1 = l1p2 = l2 12# 快慢指针fast, slow = head, head 开始遍历，一般while（90%）或for（1%）里再套一个if else 1234while fast and fast.next: # 慢指针走一步，快指针走两步 slow = slow.next fast = fast.next.next 判断是否有结束条件[例如判断有环会有结束条件，判断中点没有] 备注： 哪有什么环会相遇算什么k减一，一句话：不是直线的情况下有速度差大概率会相遇。大道至简不就完了吗？ 少写几行否则会超时 双指针+数组区别： 不是p=head 而是定义起始的索引slow=0 fast=1 while后面的语法变了（数组用数组的表 ...

论文标题Multisite learning of high-dimensional heterogeneous data with applications to opioid use disorder study of 15,000 patients across 5 clinical sites 链接：Multisite learning of high-dimensional heterogeneous data with applications to opioid use disorder study of 15,000 patients across 5 clinical sites | Scientific Reports (nature.com) 论文背景关于数据在多个机构之间的共享或是共同计算方法 详细： 大量的数据在多个机构之间分布（其中比较典型的就是医疗患者的数据）受不同的共享条例管理，开放程度也不一致，没有办法进行统一调用然后放入计算模型或是其他的一些下游应用中。 虽然机构之间在尽力发展一个通用的计算框架但是效果进展较慢。因此，有不少基于联邦学习的方法来解决这 ...