数组是最基本的数据结构之一，它在内存中占据连续的空间，所有元素必须是相同类型。数组支持随机访问，通过下标可以在O(1)时间内访问任意元素。但数组的大小固定，插入和删除操作效率较低，平均时间复杂度为O(n)。
链表由一系列节点组成，每个节点包含数据和指向下一个节点的指针。链表分为单链表、双链表和循环链表。相比数组，链表的内存不需要连续，插入删除操作效率高(O(1))，但随机访问效率低(O(n))。链表常用于实现栈、队列等数据结构。
栈是一种后进先出(LIFO)的数据结构，只允许在栈顶进行插入和删除操作。栈的基本操作包括push(入栈)、pop(出栈)和peek(查看栈顶元素)。栈的应用场景包括函数调用栈、表达式求值、括号匹配等。
队列是先进先出(FIFO)的线性表，只允许在队尾插入元素，在队头删除元素。队列的基本操作包括enqueue(入队)和dequeue(出队)。队列的变种包括双端队列、优先队列等。队列常用于广度优先搜索、缓冲处理等场景。
树是一种层次化的非线性数据结构。二叉树是最常用的树结构，每个节点最多有两个子节点。二叉搜索树保持左子树小于根节点，右子树大于根节点的性质。平衡二叉树(AVL树、红黑树)通过旋转操作保持平衡，确保操作效率为O(log n)。
图由顶点和边组成，分为有向图和无向图。图的表示方法包括邻接矩阵和邻接表。图的遍历算法有深度优先搜索(DFS)和广度优先搜索(BFS)。图算法包括最短路径(Dijkstra、Floyd)、最小生成树(Prim、Kruskal)等。
Java是强类型语言，所有变量必须先声明后使用。基本数据类型包括byte、short、int、long、float、double、char、boolean。Java支持各种运算符和流程控制语句(if-else、switch、for、while等)。Java采用面向对象编程范式，所有代码都必须写在类中。
Java是完全面向对象的语言，支持封装、继承和多态三大特性。类(class)是对象的模板，包含字段和方法。继承使用extends关键字，支持单继承。接口(interface)定义行为规范，类可以实现多个接口。多态通过方法重写和方法重载实现。
Java集合框架位于java.util包中，包含List(有序可重复)、Set(无序不重复)、Map(键值对)三大类接口。常用实现类包括ArrayList、LinkedList、HashSet、TreeSet、HashMap、TreeMap等。集合框架提供了丰富的算法，如排序、搜索等。
Java异常分为检查型异常(必须处理)和非检查型异常。try-catch-finally块用于捕获和处理异常。可以自定义异常类继承Exception或RuntimeException。Java 7引入try-with-resources语句自动管理资源。
Java通过Thread类和Runnable接口支持多线程编程。synchronized关键字实现同步，volatile保证可见性。Java 5引入java.util.concurrent包，提供线程池、并发集合等高级并发工具。线程安全是Java编程的重要考量。
Java IO分为字节流(InputStream/OutputStream)和字符流(Reader/Writer)。File类表示文件和目录路径。NIO(New IO)提供了非阻塞IO和通道(Channel)机制。Java 7引入Files和Paths类简化文件操作。
Java源代码编译为字节码，由JVM解释执行，实现"一次编写，到处运行"。JVM针对不同平台有不同的实现，但字节码格式统一。这种设计使Java成为跨平台开发的理想选择。
Java通过垃圾回收器(GC)自动管理内存，程序员无需手动释放对象内存。GC采用分代收集算法，针对新生代和老年代使用不同的回收策略。System.gc()可建议JVM执行垃圾回收，但不保证立即执行。
Java标准库包含数千个类，涵盖网络编程、数据库连接、图形界面、安全、XML处理等各个方面。第三方库生态系统也非常丰富，如Spring框架、Hibernate ORM等。
Java拥有全球最大的开发者社区之一，Stack Overflow、GitHub等平台上有大量Java相关资源和解决方案。Oracle和OpenJDK社区持续推动Java语言发展。
Python是动态类型语言，变量无需声明类型。支持多种数据类型：数字(int, float)、字符串(str)、布尔(bool)、列表(list)、元组(tuple)、字典(dict)、集合(set)。Python使用缩进表示代码块，支持if-elif-else条件判断和for/while循环结构。
列表(list)是可变序列，支持索引和切片操作。元组(tuple)是不可变序列。字典(dict)存储键值对，查找效率高。集合(set)存储唯一元素，支持集合运算。Python还提供collections模块中的高级数据结构如defaultdict、Counter等。
Python函数使用def定义，支持默认参数、可变参数和关键字参数。lambda表达式创建匿名函数。装饰器(@decorator)用于修改函数行为。生成器(yield)实现惰性求值。Python支持函数式编程特性如map、filter、reduce。
Python完全支持面向对象编程。类(class)定义使用class关键字，继承机制支持多继承。特殊方法(__init__, __str__等)实现运算符重载。@property装饰器创建属性。Python的多态是"鸭子类型"，不依赖继承关系。
Python使用open()函数打开文件，支持多种模式(r/w/a等)。with语句自动管理文件资源，确保正确关闭。标准库提供os和shutil模块进行文件和目录操作。pickle模块实现对象序列化，json模块处理JSON数据。
NumPy提供高性能多维数组和矩阵运算。Pandas构建在NumPy之上，提供DataFrame数据结构，支持数据清洗、转换和分析。这两个库是Python数据科学生态系统的核心。
Matplotlib是Python最基础的绘图库，支持各种静态图表。Seaborn基于Matplotlib，提供更高级的统计图表接口。Plotly支持交互式可视化。这些工具使数据探索和结果展示更加直观。
Django是"全栈式"Web框架，包含ORM、模板引擎、路由系统等。Flask是轻量级微框架，更灵活。FastAPI是新兴的高性能API框架。这些框架使Python成为Web开发的高效选择。
Scikit-learn提供各种机器学习算法实现，适合传统机器学习任务。TensorFlow和PyTorch是主流深度学习框架。这些库使Python成为AI领域的首选语言。
微积分是研究变化率和累积量的数学分支。微分学包括极限、导数和微分，用于研究函数的变化率。积分学包括不定积分和定积分，用于计算面积、体积等累积量。级数理论研究无穷级数的收敛性和求和。微积分在物理、工程、经济学等领域有广泛应用。
线性代数研究向量空间和线性映射。矩阵是线性代数的重要工具，用于表示线性变换和线性方程组。行列式用于判断矩阵是否可逆。特征值和特征向量揭示线性变换的本质特性。线性代数在计算机图形学、机器学习等领域至关重要。
概率论研究随机现象的数学规律，包括概率分布、期望、方差等概念。统计学研究数据收集、分析和解释，包括参数估计、假设检验、回归分析等方法。概率统计是数据分析、机器学习的基础，广泛应用于社会科学和自然科学。
微分方程描述未知函数及其导数之间的关系。常微分方程(ODE)涉及单变量函数，偏微分方程(PDE)涉及多变量函数。微分方程在物理、工程、生物学中建模各种动态系统。解法包括分离变量法、特征线法、数值解法等。
数值分析研究数学问题的数值解法。插值法(如拉格朗日插值)构造通过给定数据点的函数。数值积分(如辛普森法)近似计算定积分。方程求解包括迭代法(如牛顿法)和矩阵分解法。数值分析为计算机解决数学问题提供算法基础。
复变函数研究复数域上的函数。解析函数(全纯函数)满足柯西-黎曼方程，具有良好性质。复积分使用留数定理计算。傅里叶变换和拉普拉斯变换是重要的积分变换，广泛应用于信号处理和控制系统。
优化理论研究在约束条件下寻找最优解。线性规划使用单纯形法求解。非线性规划包括梯度下降、牛顿法等迭代算法。凸优化研究凸集上的优化问题，具有良好性质。优化理论在运筹学、机器学习等领域有重要应用。
图论研究由顶点和边组成的图结构。网络分析研究图的连通性、流量等问题。最短路径算法(如Dijkstra算法)解决路径优化问题。图论在计算机网络、社交网络分析、交通规划等领域有广泛应用。
HTTP协议是爬虫的基础，需要理解请求方法(GET/POST)、状态码、请求头等概念。HTML解析涉及DOM树结构和XPath/CSS选择器语法。Requests库是最常用的HTTP请求库，提供简洁的API发送请求和处理响应。Urllib是Python内置库，功能全面但API较复杂。Aiohttp支持异步HTTP请求，适合高并发场景。
BeautifulSoup提供简单的API解析HTML/XML文档，支持多种解析器(如lxml)。PyQuery提供jQuery风格的语法进行文档查询。lxml是高性能的XML/HTML处理库，XPath表达式功能强大。解析库的选择取决于项目需求，平衡易用性和性能。
Scrapy是功能完善的爬虫框架，包含下载器、调度器、中间件等组件，支持分布式爬取。PySpider是国产轻量级框架，提供Web界面管理爬虫。框架封装了常见功能，开发者只需关注核心逻辑，适合中大型项目。
应对反爬机制需要多管齐下：轮换UserAgent模拟不同浏览器；使用代理IP池避免IP被封；处理验证码可使用OCR识别或第三方打码平台；设置合理的请求间隔；模拟登录获取Cookies。高级技巧包括分析JavaScript渲染、处理动态参数等。
异步爬取大幅提升效率：协程(asyncio)实现单线程高并发；多线程/多进程利用多核CPU；分布式爬虫(如Scrapy-Redis)横向扩展。异步IO(aiohttp)避免网络请求阻塞。消息队列(RabbitMQ/Kafka)解耦爬取和处理。
结构化数据适合存入关系型数据库(MySQL/PostgreSQL)；非结构化数据适合文档数据库(MongoDB)；简单数据可存储为CSV/JSON文件；大数据量考虑分布式存储(HBase)。存储方案应考虑查询需求和数据量级。
数据清洗确保数据质量：正则表达式提取关键信息；字符串处理(去除空格、特殊字符)；数据去重(基于唯一标识)；异常值处理；格式标准化。Pandas提供强大的数据清洗工具，适合结构化数据处理。
