• Input Embedding

Input Embedding

Q: Embedding层包含哪些参数？

A: 这部分参数包括输入和输出的 token embeddings 以及 positional encodings。token embeddings将 tokens 映射到高维空间，而 positional encodings 则为模型提供序列中每个元素的位置信息。在大型模型中，由于词汇表的大小和序列长度的增加，这部分参数量会占据相当的比例。当然位置编码不一定增加参数量，要看是固定函数生成还是训练得到的参数。

• 源起

源起

一条推特讨论了 ChatGPT API 的收入和成本：

收入很明确，官网定价，童叟无欺，$0.002 / 1K tokens。

• Shell
• Python

Shell

curl https://api.openai.com/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -H 'Authorization: Bearer $OPENAI_API_KEY' \
  -d '{
  "model": "gpt-3.5-turbo",
  "messages": [{"role": "user", "content": "Hello!"}]
}'

Python

这里介绍了三个角色，完整的用法是三个都用，正如 Assistant Role 代码所示。

• 电影推荐系统

电影推荐系统

推荐系统的文献汗牛充栋，大家对此应该都不陌生。之所以选这个题目一是简单，在一周多晚上十点以后的自由时间里，只有选简单的题目才能完成，即便如此，依然捉襟见肘；二是希望好好研究下数据，一步步推到推荐系统的设计，而不是像以前直奔算法，当然也是时间原因，这里对数据的探索也是远远不够的。

本文前面探索阶段所用的数据集太大，导致多个分析运行一天也出不了结果，所以后面在推荐系统的建模中，又换成了较小的 MovieLens 1M 数据集。

注：该文是上了开智学堂数据科学入门班的课后做的笔记，主讲人是肖凯老师。

机器学习初步

机器学习基本概念

机器学习、统计模型和数据挖掘有什么异同？

机器学习和统计模型区别不是很大，机器学习和统计模型中的回归都一样，底层算法都是差不多的，只是侧重点不一样，在统计学的角度，回归主要解决的问题侧重点在于模型的解释能力，关注的是 x 和 y 之间的关系，关注的更多是系数，从机器学习的角度看，关注的重点是预测的准确性。

1. 写一个函数，能将一个多类别变量转为多个二元虚拟变量，不能使用 sklearn 库。

注：该文是根据开智学堂数据科学入门班的讲课内容整理而成，主讲人是肖凯老师。

线性模型

主要学习用 statsmodels 模块进行线性回归、逻辑回归和时间序列分析。

线性模型基本概念

多个因素的定量化计算，是线性模型的最主要用途。

1. 学习理解如何用最小二乘法的矩阵公式来得到线性回归的解，并使用numpy库来实现该算法。

在研究一个问题时，从某种理论或假定出发，得到一个模型。根据这个模型，我们感兴趣的某个量有其理论值，同时可以对这个量进行实际观测，而得出其观测值。由于种种原因，如模型不完全正确以及观测有误差，理论值与观测值会有差距，这差距的平方和