没有必要考虑是否数据加载到内存中，直接使用数据库处理即可；从描述的内容看，只是判断转换的操作，则坚定使用数据库没有任何问题；需要做多张表的关联操作，这属于很正常的，关键是要关联的条件和索引等合理。
一、数据量很大，逻辑不能在内存里做怎么办
没有必要考虑是否数据加载到内存中，直接使用数据库处理即可；
从描述的内容看，只是判断转换的操作，则坚定使用数据库没有任何问题；
需要做多张表的关联操作，这属于很正常的，关键是要关联的条件和索引等合理；
对于你的描述不会如你所言超过5，6百行的语句；
最后，提供完整的SQL语句才好给出准确的优化建议，重点是SQL语句如何写，索引如何创建。
延伸阅读：
二、什么是数据库和数据库管理系统
数据库的应用非常广泛，举个例子，我们平时在浏览器上搜索内容，就要用到数据库去检索我们的关键字。以前我们可能会用数组、集合、文件等来存储数据，但是接下来我们就会面临一个问题，当存储的数据或内容过多的时候，我们如何去精准的找到我们需要的东西，这时候数据库管理系统就派上了用场。除此之外，数据库管理系统还能永久的储存我们的数据。
为了便于大家理解，这里先给大家讲解几个概念
DB数据库（database)：存储数据的“仓库”。它保存了一系列有组织的数据。
DBMS数据库管理系统（Database Management System)：数据库是通过DBMS创建和操作的容器。
SQL，结构化查询语言（Structured Query Language）用一句话概括，SQL是一种特殊目的的编程语言，一种专门用来与数据库通信的语言。在数据库中，数据被结构化并存储在不同的表中，从而简化了访问，更新和操作数据的过程。该表由列和行组成。数据库中的表可以在关系的帮助下进行连接。要在数据库中执行与数据相关的任务，可以使用SQL。SQL代表结构化查询语言，旨在在特定RDBMS内创建，修改和管理数据库中的数据。
SQL优点：
1、不是某个特定数据库供应商专有的语言，几乎所有DBMS（数据库管理系统）都支持SQL
2、简单易学
3、虽然简单，但实际上是一种强有力的语言，灵活使用其语言元素，可以进行非常复杂和高级的数据库操作。
