first commit
This commit is contained in:
Gitea
@@ -0,0 +1 @@
|
|||||||
|
AZURE_OPENAI_KEY=o20WLCQfubbGTo0SnkS70lefG0tHvdZlzcUGHOPDmww0igy94Up0JQQJ99CEAC77bzfXJ3w3AAAAACOGIUYb
|
||||||
@@ -0,0 +1 @@
|
|||||||
|
/node_modules
|
||||||
@@ -0,0 +1,723 @@
|
|||||||
|
require("dotenv").config();
|
||||||
|
|
||||||
|
const fs = require("fs");
|
||||||
|
const path = require("path");
|
||||||
|
|
||||||
|
// ======================
|
||||||
|
// SUPPRESS PDF WARNINGS
|
||||||
|
// ======================
|
||||||
|
const originalWarn = console.warn;
|
||||||
|
|
||||||
|
console.warn = (
|
||||||
|
message,
|
||||||
|
...args
|
||||||
|
) => {
|
||||||
|
if (
|
||||||
|
typeof message ===
|
||||||
|
"string" &&
|
||||||
|
(
|
||||||
|
message.includes(
|
||||||
|
"UnknownErrorException"
|
||||||
|
) ||
|
||||||
|
message.includes(
|
||||||
|
"TT:"
|
||||||
|
)
|
||||||
|
)
|
||||||
|
) {
|
||||||
|
return;
|
||||||
|
}
|
||||||
|
|
||||||
|
originalWarn(
|
||||||
|
message,
|
||||||
|
...args
|
||||||
|
);
|
||||||
|
};
|
||||||
|
|
||||||
|
// ======================
|
||||||
|
// PDF.js
|
||||||
|
// ======================
|
||||||
|
const pdfjsLib = require(
|
||||||
|
"pdfjs-dist/legacy/build/pdf.mjs"
|
||||||
|
);
|
||||||
|
|
||||||
|
// ======================
|
||||||
|
// Transformers
|
||||||
|
// ======================
|
||||||
|
const {
|
||||||
|
pipeline,
|
||||||
|
} = require("@xenova/transformers");
|
||||||
|
|
||||||
|
// ======================
|
||||||
|
// Qdrant
|
||||||
|
// ======================
|
||||||
|
const {
|
||||||
|
QdrantClient,
|
||||||
|
} = require("@qdrant/js-client-rest");
|
||||||
|
|
||||||
|
// ======================
|
||||||
|
// QDRANT CONFIG
|
||||||
|
// ======================
|
||||||
|
const qdrant = new QdrantClient({
|
||||||
|
url: "http://20.40.61.65:6333",
|
||||||
|
checkCompatibility: false,
|
||||||
|
timeout: 30000,
|
||||||
|
});
|
||||||
|
|
||||||
|
const COLLECTION_NAME =
|
||||||
|
"pdf_rag";
|
||||||
|
|
||||||
|
let embedder;
|
||||||
|
|
||||||
|
// ======================
|
||||||
|
// LOAD MODEL
|
||||||
|
// ======================
|
||||||
|
async function loadModel() {
|
||||||
|
console.log(
|
||||||
|
"⏳ Loading embedding model..."
|
||||||
|
);
|
||||||
|
|
||||||
|
embedder = await pipeline(
|
||||||
|
"feature-extraction",
|
||||||
|
"Xenova/all-MiniLM-L6-v2"
|
||||||
|
);
|
||||||
|
|
||||||
|
console.log(
|
||||||
|
"✅ Embedding model loaded"
|
||||||
|
);
|
||||||
|
}
|
||||||
|
|
||||||
|
// ======================
|
||||||
|
// SMART CHUNKING
|
||||||
|
// ======================
|
||||||
|
function chunkText(
|
||||||
|
text,
|
||||||
|
chunkSize = 800,
|
||||||
|
overlap = 150
|
||||||
|
) {
|
||||||
|
const chunks = [];
|
||||||
|
|
||||||
|
text = text
|
||||||
|
.replace(/\s+/g, " ")
|
||||||
|
.trim();
|
||||||
|
|
||||||
|
let start = 0;
|
||||||
|
|
||||||
|
while (
|
||||||
|
start < text.length
|
||||||
|
) {
|
||||||
|
let end =
|
||||||
|
start + chunkSize;
|
||||||
|
|
||||||
|
// Try sentence ending
|
||||||
|
if (
|
||||||
|
end < text.length
|
||||||
|
) {
|
||||||
|
const lastPeriod =
|
||||||
|
text.lastIndexOf(
|
||||||
|
".",
|
||||||
|
end
|
||||||
|
);
|
||||||
|
|
||||||
|
if (
|
||||||
|
lastPeriod >
|
||||||
|
start
|
||||||
|
) {
|
||||||
|
end =
|
||||||
|
lastPeriod +
|
||||||
|
1;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
const chunk = text
|
||||||
|
.slice(start, end)
|
||||||
|
.trim();
|
||||||
|
|
||||||
|
if (
|
||||||
|
chunk.length > 50
|
||||||
|
) {
|
||||||
|
chunks.push(
|
||||||
|
chunk
|
||||||
|
);
|
||||||
|
}
|
||||||
|
|
||||||
|
start =
|
||||||
|
end - overlap;
|
||||||
|
}
|
||||||
|
|
||||||
|
return chunks;
|
||||||
|
}
|
||||||
|
|
||||||
|
// ======================
|
||||||
|
// CREATE EMBEDDING
|
||||||
|
// ======================
|
||||||
|
async function createEmbedding(
|
||||||
|
text
|
||||||
|
) {
|
||||||
|
const output =
|
||||||
|
await embedder(text, {
|
||||||
|
pooling: "mean",
|
||||||
|
|
||||||
|
normalize: true,
|
||||||
|
});
|
||||||
|
|
||||||
|
return Array.from(
|
||||||
|
output.data
|
||||||
|
);
|
||||||
|
}
|
||||||
|
|
||||||
|
// ======================
|
||||||
|
// CREATE COLLECTION
|
||||||
|
// ======================
|
||||||
|
async function createCollection() {
|
||||||
|
try {
|
||||||
|
await qdrant.getCollection(
|
||||||
|
COLLECTION_NAME
|
||||||
|
);
|
||||||
|
|
||||||
|
console.log(
|
||||||
|
"ℹ️ Collection already exists"
|
||||||
|
);
|
||||||
|
} catch (err) {
|
||||||
|
console.log(
|
||||||
|
"⏳ Creating collection..."
|
||||||
|
);
|
||||||
|
|
||||||
|
await qdrant.createCollection(
|
||||||
|
COLLECTION_NAME,
|
||||||
|
{
|
||||||
|
vectors: {
|
||||||
|
size: 384,
|
||||||
|
|
||||||
|
distance:
|
||||||
|
"Cosine",
|
||||||
|
},
|
||||||
|
}
|
||||||
|
);
|
||||||
|
|
||||||
|
console.log(
|
||||||
|
"✅ Collection created"
|
||||||
|
);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// ======================
|
||||||
|
// EXTRACT TEXT FROM PDF
|
||||||
|
// ======================
|
||||||
|
async function extractTextFromPDF(
|
||||||
|
filePath
|
||||||
|
) {
|
||||||
|
try {
|
||||||
|
const dataBuffer =
|
||||||
|
fs.readFileSync(
|
||||||
|
filePath
|
||||||
|
);
|
||||||
|
|
||||||
|
const uint8Array =
|
||||||
|
new Uint8Array(
|
||||||
|
dataBuffer
|
||||||
|
);
|
||||||
|
|
||||||
|
const loadingTask =
|
||||||
|
pdfjsLib.getDocument(
|
||||||
|
{
|
||||||
|
data: uint8Array,
|
||||||
|
}
|
||||||
|
);
|
||||||
|
|
||||||
|
const pdf =
|
||||||
|
await loadingTask.promise;
|
||||||
|
|
||||||
|
let fullText = "";
|
||||||
|
|
||||||
|
console.log(
|
||||||
|
`📄 Pages: ${pdf.numPages}`
|
||||||
|
);
|
||||||
|
|
||||||
|
for (
|
||||||
|
let i = 1;
|
||||||
|
i <= pdf.numPages;
|
||||||
|
i++
|
||||||
|
) {
|
||||||
|
const page =
|
||||||
|
await pdf.getPage(i);
|
||||||
|
|
||||||
|
const content =
|
||||||
|
await page.getTextContent();
|
||||||
|
|
||||||
|
const pageText =
|
||||||
|
content.items
|
||||||
|
.map(
|
||||||
|
(item) =>
|
||||||
|
item.str
|
||||||
|
)
|
||||||
|
.join(" ");
|
||||||
|
|
||||||
|
fullText +=
|
||||||
|
pageText + "\n";
|
||||||
|
}
|
||||||
|
|
||||||
|
return fullText;
|
||||||
|
} catch (error) {
|
||||||
|
console.log(
|
||||||
|
"❌ PDF extraction error:",
|
||||||
|
error
|
||||||
|
);
|
||||||
|
|
||||||
|
return "";
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// ======================
|
||||||
|
// PROCESS PDF
|
||||||
|
// ======================
|
||||||
|
async function processPDF(filePath, fileName) {
|
||||||
|
try {
|
||||||
|
const dataBuffer = fs.readFileSync(filePath);
|
||||||
|
|
||||||
|
const pdf = await pdfjsLib
|
||||||
|
.getDocument({
|
||||||
|
data: new Uint8Array(dataBuffer),
|
||||||
|
})
|
||||||
|
.promise;
|
||||||
|
|
||||||
|
console.log(
|
||||||
|
`📄 ${fileName} - ${pdf.numPages} pages`
|
||||||
|
);
|
||||||
|
|
||||||
|
const batchSize = 50;
|
||||||
|
let batchPoints = [];
|
||||||
|
let globalChunkIndex = 0;
|
||||||
|
|
||||||
|
for (
|
||||||
|
let pageNum = 1;
|
||||||
|
pageNum <= pdf.numPages;
|
||||||
|
pageNum++
|
||||||
|
) {
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
console.log(
|
||||||
|
`📖 Processing page ${pageNum}/${pdf.numPages}`
|
||||||
|
);
|
||||||
|
|
||||||
|
const page =
|
||||||
|
await pdf.getPage(pageNum);
|
||||||
|
|
||||||
|
const content =
|
||||||
|
await page.getTextContent();
|
||||||
|
|
||||||
|
const pageText =
|
||||||
|
content.items
|
||||||
|
.map((item) => item.str)
|
||||||
|
.join(" ");
|
||||||
|
|
||||||
|
if (
|
||||||
|
!pageText ||
|
||||||
|
pageText.trim().length === 0
|
||||||
|
) {
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
|
||||||
|
const chunks = chunkText(
|
||||||
|
pageText,
|
||||||
|
1200,
|
||||||
|
250
|
||||||
|
);
|
||||||
|
|
||||||
|
for (const chunk of chunks) {
|
||||||
|
const embedding =
|
||||||
|
await createEmbedding(chunk);
|
||||||
|
|
||||||
|
batchPoints.push({
|
||||||
|
id: Number(
|
||||||
|
`${Date.now()}${globalChunkIndex}`
|
||||||
|
),
|
||||||
|
|
||||||
|
vector: embedding,
|
||||||
|
|
||||||
|
payload: {
|
||||||
|
file: fileName,
|
||||||
|
page: pageNum,
|
||||||
|
chunk: globalChunkIndex,
|
||||||
|
text: chunk,
|
||||||
|
created_at:
|
||||||
|
new Date().toISOString(),
|
||||||
|
},
|
||||||
|
});
|
||||||
|
|
||||||
|
globalChunkIndex++;
|
||||||
|
|
||||||
|
if (
|
||||||
|
batchPoints.length >= batchSize
|
||||||
|
) {
|
||||||
|
console.log(
|
||||||
|
`⬆️ Uploading ${batchPoints.length} vectors`
|
||||||
|
);
|
||||||
|
|
||||||
|
await qdrant.upsert(
|
||||||
|
COLLECTION_NAME,
|
||||||
|
{
|
||||||
|
wait: true,
|
||||||
|
points: batchPoints,
|
||||||
|
}
|
||||||
|
);
|
||||||
|
|
||||||
|
batchPoints = [];
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
if (batchPoints.length > 0) {
|
||||||
|
console.log(
|
||||||
|
`⬆️ Uploading final ${batchPoints.length} vectors`
|
||||||
|
);
|
||||||
|
|
||||||
|
await qdrant.upsert(
|
||||||
|
COLLECTION_NAME,
|
||||||
|
{
|
||||||
|
wait: true,
|
||||||
|
points: batchPoints,
|
||||||
|
}
|
||||||
|
);
|
||||||
|
}
|
||||||
|
|
||||||
|
console.log(
|
||||||
|
`✅ ${fileName} indexed successfully`
|
||||||
|
);
|
||||||
|
} catch (error) {
|
||||||
|
console.log(
|
||||||
|
`❌ Error processing ${fileName}:`,
|
||||||
|
error
|
||||||
|
);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// ======================
|
||||||
|
// MAIN
|
||||||
|
// ======================
|
||||||
|
async function main() {
|
||||||
|
try {
|
||||||
|
await loadModel();
|
||||||
|
|
||||||
|
await createCollection();
|
||||||
|
|
||||||
|
const folder =
|
||||||
|
path.join(
|
||||||
|
__dirname,
|
||||||
|
"uploads"
|
||||||
|
);
|
||||||
|
|
||||||
|
if (
|
||||||
|
!fs.existsSync(
|
||||||
|
folder
|
||||||
|
)
|
||||||
|
) {
|
||||||
|
console.log(
|
||||||
|
"❌ uploads folder not found"
|
||||||
|
);
|
||||||
|
|
||||||
|
return;
|
||||||
|
}
|
||||||
|
|
||||||
|
const files =
|
||||||
|
fs
|
||||||
|
.readdirSync(
|
||||||
|
folder
|
||||||
|
)
|
||||||
|
.filter((file) =>
|
||||||
|
file.endsWith(
|
||||||
|
".pdf"
|
||||||
|
)
|
||||||
|
);
|
||||||
|
|
||||||
|
if (
|
||||||
|
files.length === 0
|
||||||
|
) {
|
||||||
|
console.log(
|
||||||
|
"⚠️ No PDFs found"
|
||||||
|
);
|
||||||
|
|
||||||
|
return;
|
||||||
|
}
|
||||||
|
|
||||||
|
console.log(
|
||||||
|
`📚 Found ${files.length} PDFs`
|
||||||
|
);
|
||||||
|
|
||||||
|
for (const file of files) {
|
||||||
|
const filePath =
|
||||||
|
path.join(
|
||||||
|
folder,
|
||||||
|
file
|
||||||
|
);
|
||||||
|
|
||||||
|
console.log(
|
||||||
|
`\n📄 Processing ${file}`
|
||||||
|
);
|
||||||
|
|
||||||
|
await processPDF(
|
||||||
|
filePath,
|
||||||
|
file
|
||||||
|
);
|
||||||
|
}
|
||||||
|
|
||||||
|
console.log(
|
||||||
|
"\n🎉 All PDFs indexed successfully"
|
||||||
|
);
|
||||||
|
} catch (err) {
|
||||||
|
console.error(
|
||||||
|
"❌ MAIN ERROR:",
|
||||||
|
err
|
||||||
|
);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
main();
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
// require("dotenv").config();
|
||||||
|
// const fs = require("fs");
|
||||||
|
// const path = require("path");
|
||||||
|
// const crypto = require("crypto");
|
||||||
|
|
||||||
|
// // ─── Suppress PDF warnings ────────────────────────────────────────────────────
|
||||||
|
// const _warn = console.warn;
|
||||||
|
// console.warn = (msg, ...a) => {
|
||||||
|
// if (typeof msg === "string" && (msg.includes("UnknownErrorException") || msg.includes("TT:"))) return;
|
||||||
|
// _warn(msg, ...a);
|
||||||
|
// };
|
||||||
|
|
||||||
|
// const pdfjsLib = require("pdfjs-dist/legacy/build/pdf.mjs");
|
||||||
|
// const { pipeline } = require("@xenova/transformers");
|
||||||
|
// const { QdrantClient } = require("@qdrant/js-client-rest");
|
||||||
|
|
||||||
|
// // ─── Config ───────────────────────────────────────────────────────────────────
|
||||||
|
// const QDRANT_URL = process.env.QDRANT_URL || "http://20.40.61.65:6333";
|
||||||
|
// const COLLECTION_NAME = "pdf_rag";
|
||||||
|
// const VECTOR_SIZE = 384;
|
||||||
|
// const CHUNK_SIZE = 1200;
|
||||||
|
// const CHUNK_OVERLAP = 250;
|
||||||
|
// const BATCH_SIZE = 100; // points per upsert call
|
||||||
|
// const EMBED_CONCURRENCY = 8; // parallel embeddings at once
|
||||||
|
// const MAX_RETRIES = 3;
|
||||||
|
|
||||||
|
// const qdrant = new QdrantClient({ url: QDRANT_URL, checkCompatibility: false, timeout: 60000 });
|
||||||
|
// let embedder;
|
||||||
|
|
||||||
|
// // ─── Semaphore ─────────────────────────────────────────────────────────────────
|
||||||
|
// class Semaphore {
|
||||||
|
// constructor(n) { this.n = n; this.queue = []; }
|
||||||
|
// acquire() {
|
||||||
|
// return new Promise(res => {
|
||||||
|
// if (this.n > 0) { this.n--; res(); }
|
||||||
|
// else this.queue.push(res);
|
||||||
|
// });
|
||||||
|
// }
|
||||||
|
// release() {
|
||||||
|
// if (this.queue.length) this.queue.shift()();
|
||||||
|
// else this.n++;
|
||||||
|
// }
|
||||||
|
// }
|
||||||
|
|
||||||
|
// // ─── Retry helper ─────────────────────────────────────────────────────────────
|
||||||
|
// async function withRetry(fn, retries = MAX_RETRIES, delay = 500) {
|
||||||
|
// for (let i = 0; i <= retries; i++) {
|
||||||
|
// try { return await fn(); }
|
||||||
|
// catch (err) {
|
||||||
|
// if (i === retries) throw err;
|
||||||
|
// console.warn(` ⚠️ Retry ${i + 1}/${retries} after error: ${err.message}`);
|
||||||
|
// await new Promise(r => setTimeout(r, delay * 2 ** i));
|
||||||
|
// }
|
||||||
|
// }
|
||||||
|
// }
|
||||||
|
|
||||||
|
// // ─── Deterministic UUID from content hash ────────────────────────────────────
|
||||||
|
// // Prevents duplicates if you re-run indexing on the same file
|
||||||
|
// function makePointId(fileName, page, chunkIndex) {
|
||||||
|
// const hash = crypto
|
||||||
|
// .createHash("sha256")
|
||||||
|
// .update(`${fileName}::${page}::${chunkIndex}`)
|
||||||
|
// .digest("hex");
|
||||||
|
// // Qdrant supports UUID strings or unsigned ints; use hex slice as UUID-like string
|
||||||
|
// return `${hash.slice(0,8)}-${hash.slice(8,12)}-${hash.slice(12,16)}-${hash.slice(16,20)}-${hash.slice(20,32)}`;
|
||||||
|
// }
|
||||||
|
|
||||||
|
// // ─── Chunking ─────────────────────────────────────────────────────────────────
|
||||||
|
// function chunkText(text, size = CHUNK_SIZE, overlap = CHUNK_OVERLAP) {
|
||||||
|
// const chunks = [];
|
||||||
|
// text = text.replace(/\s+/g, " ").trim();
|
||||||
|
// let start = 0;
|
||||||
|
// while (start < text.length) {
|
||||||
|
// let end = start + size;
|
||||||
|
// if (end < text.length) {
|
||||||
|
// const last = text.lastIndexOf(".", end);
|
||||||
|
// if (last > start) end = last + 1;
|
||||||
|
// }
|
||||||
|
// const chunk = text.slice(start, end).trim();
|
||||||
|
// if (chunk.length > 50) chunks.push(chunk);
|
||||||
|
// start = end - overlap;
|
||||||
|
// }
|
||||||
|
// return chunks;
|
||||||
|
// }
|
||||||
|
|
||||||
|
// // ─── Embedding ────────────────────────────────────────────────────────────────
|
||||||
|
// async function embed(text) {
|
||||||
|
// const out = await embedder(text, { pooling: "mean", normalize: true });
|
||||||
|
// return Array.from(out.data);
|
||||||
|
// }
|
||||||
|
|
||||||
|
// // Embed multiple texts with bounded parallelism
|
||||||
|
// async function embedBatch(texts) {
|
||||||
|
// const sem = new Semaphore(EMBED_CONCURRENCY);
|
||||||
|
// return Promise.all(
|
||||||
|
// texts.map(async (text) => {
|
||||||
|
// await sem.acquire();
|
||||||
|
// try { return await embed(text); }
|
||||||
|
// finally { sem.release(); }
|
||||||
|
// })
|
||||||
|
// );
|
||||||
|
// }
|
||||||
|
|
||||||
|
// // ─── Qdrant helpers ───────────────────────────────────────────────────────────
|
||||||
|
// async function ensureCollection() {
|
||||||
|
// try {
|
||||||
|
// await qdrant.getCollection(COLLECTION_NAME);
|
||||||
|
// console.log("ℹ️ Collection already exists");
|
||||||
|
// } catch {
|
||||||
|
// console.log("⏳ Creating collection...");
|
||||||
|
// await qdrant.createCollection(COLLECTION_NAME, {
|
||||||
|
// vectors: { size: VECTOR_SIZE, distance: "Cosine" },
|
||||||
|
// // Optimizers: tune for bulk ingest speed, re-enable indexing after
|
||||||
|
// optimizers_config: { indexing_threshold: 0 },
|
||||||
|
// });
|
||||||
|
// console.log("✅ Collection created");
|
||||||
|
// }
|
||||||
|
// }
|
||||||
|
|
||||||
|
// // Upload a batch with retry
|
||||||
|
// async function upsertBatch(points) {
|
||||||
|
// await withRetry(() =>
|
||||||
|
// qdrant.upsert(COLLECTION_NAME, { wait: true, points })
|
||||||
|
// );
|
||||||
|
// }
|
||||||
|
|
||||||
|
// // After bulk ingest, re-enable HNSW indexing
|
||||||
|
// async function enableIndexing() {
|
||||||
|
// await qdrant.updateCollection(COLLECTION_NAME, {
|
||||||
|
// optimizers_config: { indexing_threshold: 20000 },
|
||||||
|
// });
|
||||||
|
// console.log("🔧 HNSW indexing re-enabled");
|
||||||
|
// }
|
||||||
|
|
||||||
|
// // ─── Check if file already indexed ───────────────────────────────────────────
|
||||||
|
// async function isFileIndexed(fileName) {
|
||||||
|
// try {
|
||||||
|
// const result = await qdrant.scroll(COLLECTION_NAME, {
|
||||||
|
// filter: { must: [{ key: "file", match: { value: fileName } }] },
|
||||||
|
// limit: 1,
|
||||||
|
// with_payload: false,
|
||||||
|
// with_vector: false,
|
||||||
|
// });
|
||||||
|
// return result.points.length > 0;
|
||||||
|
// } catch { return false; }
|
||||||
|
// }
|
||||||
|
|
||||||
|
// // ─── Process a single PDF ─────────────────────────────────────────────────────
|
||||||
|
// async function processPDF(filePath, fileName) {
|
||||||
|
// console.log(`\n📄 ${fileName}`);
|
||||||
|
|
||||||
|
// if (await isFileIndexed(fileName)) {
|
||||||
|
// console.log(` ⏭️ Already indexed — skipping`);
|
||||||
|
// return;
|
||||||
|
// }
|
||||||
|
|
||||||
|
// const pdf = await pdfjsLib
|
||||||
|
// .getDocument({ data: new Uint8Array(fs.readFileSync(filePath)) })
|
||||||
|
// .promise;
|
||||||
|
|
||||||
|
// console.log(` 📖 ${pdf.numPages} pages`);
|
||||||
|
|
||||||
|
// const allChunks = []; // { text, page, chunkIndex }
|
||||||
|
|
||||||
|
// // 1️⃣ Extract all text first (fast, sequential is fine for I/O)
|
||||||
|
// for (let p = 1; p <= pdf.numPages; p++) {
|
||||||
|
// const page = await pdf.getPage(p);
|
||||||
|
// const content = await page.getTextContent();
|
||||||
|
// const text = content.items.map(i => i.str).join(" ");
|
||||||
|
// if (!text.trim()) continue;
|
||||||
|
// const chunks = chunkText(text);
|
||||||
|
// chunks.forEach((chunk, ci) => allChunks.push({ text: chunk, page: p, chunkIndex: allChunks.length }));
|
||||||
|
// }
|
||||||
|
|
||||||
|
// console.log(` 🧩 ${allChunks.length} chunks — embedding with concurrency=${EMBED_CONCURRENCY}`);
|
||||||
|
|
||||||
|
// // 2️⃣ Embed all chunks in parallel (bounded by semaphore)
|
||||||
|
// const start = Date.now();
|
||||||
|
// const vectors = await embedBatch(allChunks.map(c => c.text));
|
||||||
|
// const elapsed = ((Date.now() - start) / 1000).toFixed(1);
|
||||||
|
// console.log(` ⚡ Embedding done in ${elapsed}s`);
|
||||||
|
|
||||||
|
// // 3️⃣ Build points
|
||||||
|
// const points = allChunks.map((c, i) => ({
|
||||||
|
// id: makePointId(fileName, c.page, c.chunkIndex),
|
||||||
|
// vector: vectors[i],
|
||||||
|
// payload: {
|
||||||
|
// file: fileName,
|
||||||
|
// page: c.page,
|
||||||
|
// chunk: c.chunkIndex,
|
||||||
|
// text: c.text,
|
||||||
|
// created_at: new Date().toISOString(),
|
||||||
|
// },
|
||||||
|
// }));
|
||||||
|
|
||||||
|
// // 4️⃣ Batch upsert with progress
|
||||||
|
// let uploaded = 0;
|
||||||
|
// for (let i = 0; i < points.length; i += BATCH_SIZE) {
|
||||||
|
// const batch = points.slice(i, i + BATCH_SIZE);
|
||||||
|
// await upsertBatch(batch);
|
||||||
|
// uploaded += batch.length;
|
||||||
|
// process.stdout.write(`\r ⬆️ ${uploaded}/${points.length} vectors uploaded`);
|
||||||
|
// }
|
||||||
|
// console.log(`\n ✅ ${fileName} indexed`);
|
||||||
|
// }
|
||||||
|
|
||||||
|
// // ─── Main ─────────────────────────────────────────────────────────────────────
|
||||||
|
// async function main() {
|
||||||
|
// console.log("⏳ Loading embedding model...");
|
||||||
|
// embedder = await pipeline("feature-extraction", "Xenova/all-MiniLM-L6-v2");
|
||||||
|
// console.log("✅ Model loaded\n");
|
||||||
|
|
||||||
|
// await ensureCollection();
|
||||||
|
|
||||||
|
// const folder = path.join(__dirname, "uploads");
|
||||||
|
// if (!fs.existsSync(folder)) return console.log("❌ uploads/ folder not found");
|
||||||
|
|
||||||
|
// const pdfs = fs.readdirSync(folder).filter(f => f.endsWith(".pdf"));
|
||||||
|
// if (!pdfs.length) return console.log("⚠️ No PDFs found");
|
||||||
|
|
||||||
|
// console.log(`📚 Found ${pdfs.length} PDF(s)\n`);
|
||||||
|
|
||||||
|
// const t0 = Date.now();
|
||||||
|
// for (const file of pdfs) {
|
||||||
|
// await processPDF(path.join(folder, file), file);
|
||||||
|
// }
|
||||||
|
|
||||||
|
// await enableIndexing(); // re-enable HNSW after bulk load
|
||||||
|
|
||||||
|
// console.log(`\n🎉 Done in ${((Date.now() - t0) / 1000).toFixed(1)}s`);
|
||||||
|
// }
|
||||||
|
|
||||||
|
// main().catch(err => { console.error("❌ Fatal:", err); process.exit(1); });
|
||||||
Generated
+2565
File diff suppressed because it is too large
Load Diff
@@ -0,0 +1,28 @@
|
|||||||
|
{
|
||||||
|
"name": "server",
|
||||||
|
"version": "1.0.0",
|
||||||
|
"description": "",
|
||||||
|
"main": "index.js",
|
||||||
|
"scripts": {
|
||||||
|
"test": "echo \"Error: no test specified\" && exit 1",
|
||||||
|
"start": "nodemon server.js"
|
||||||
|
},
|
||||||
|
"keywords": [],
|
||||||
|
"author": "",
|
||||||
|
"license": "ISC",
|
||||||
|
"type": "commonjs",
|
||||||
|
"dependencies": {
|
||||||
|
"@qdrant/js-client-rest": "^1.18.0",
|
||||||
|
"@xenova/transformers": "^2.17.2",
|
||||||
|
"axios": "^1.16.0",
|
||||||
|
"cors": "^2.8.6",
|
||||||
|
"dotenv": "^17.4.2",
|
||||||
|
"express": "^5.2.1",
|
||||||
|
"multer": "^2.1.1",
|
||||||
|
"ollama": "^0.6.3",
|
||||||
|
"openai": "^6.42.0",
|
||||||
|
"pdf2pic": "^3.2.0",
|
||||||
|
"pdfjs-dist": "^5.7.284",
|
||||||
|
"tesseract.js": "^7.0.0"
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -0,0 +1,958 @@
|
|||||||
|
// //
|
||||||
|
// require("dotenv").config();
|
||||||
|
|
||||||
|
// const express = require("express");
|
||||||
|
// const cors = require("cors");
|
||||||
|
// const OpenAI = require("openai");
|
||||||
|
|
||||||
|
// const {
|
||||||
|
// pipeline,
|
||||||
|
// } = require("@xenova/transformers");
|
||||||
|
|
||||||
|
// const {
|
||||||
|
// QdrantClient,
|
||||||
|
// } = require("@qdrant/js-client-rest");
|
||||||
|
|
||||||
|
// const app = express();
|
||||||
|
|
||||||
|
// app.use(cors());
|
||||||
|
// app.use(express.json());
|
||||||
|
|
||||||
|
// // ======================
|
||||||
|
// // AZURE OPENAI
|
||||||
|
// // ======================
|
||||||
|
|
||||||
|
// const azureEndpoint =
|
||||||
|
// "https://cpmindiayoda-resource.services.ai.azure.com";
|
||||||
|
|
||||||
|
// const deploymentName = "gpt-4o-mini";
|
||||||
|
|
||||||
|
// const apiVersion =
|
||||||
|
// "2024-08-01-preview";
|
||||||
|
|
||||||
|
// const llm = new OpenAI({
|
||||||
|
// baseURL:
|
||||||
|
// `${azureEndpoint}/openai/deployments/${deploymentName}`,
|
||||||
|
|
||||||
|
// apiKey:
|
||||||
|
// process.env.AZURE_OPENAI_KEY,
|
||||||
|
|
||||||
|
// defaultHeaders: {
|
||||||
|
// "api-key":
|
||||||
|
// process.env.AZURE_OPENAI_KEY,
|
||||||
|
// },
|
||||||
|
|
||||||
|
// defaultQuery: {
|
||||||
|
// "api-version":
|
||||||
|
// apiVersion,
|
||||||
|
// },
|
||||||
|
// });
|
||||||
|
|
||||||
|
// // ======================
|
||||||
|
// // QDRANT
|
||||||
|
// // ======================
|
||||||
|
|
||||||
|
// const qdrant = new QdrantClient({
|
||||||
|
// url: "http://20.40.61.65:6333",
|
||||||
|
// checkCompatibility: false,
|
||||||
|
// timeout: 30000,
|
||||||
|
// });
|
||||||
|
|
||||||
|
// const COLLECTION_NAME =
|
||||||
|
// "pdf_rag";
|
||||||
|
|
||||||
|
// let embedder;
|
||||||
|
|
||||||
|
// // ======================
|
||||||
|
// // LOAD EMBEDDING MODEL
|
||||||
|
// // ======================
|
||||||
|
|
||||||
|
// async function loadModel() {
|
||||||
|
// console.log(
|
||||||
|
// "Loading MiniLM model..."
|
||||||
|
// );
|
||||||
|
|
||||||
|
// embedder = await pipeline(
|
||||||
|
// "feature-extraction",
|
||||||
|
// "Xenova/all-MiniLM-L6-v2"
|
||||||
|
// );
|
||||||
|
|
||||||
|
// console.log(
|
||||||
|
// "Embedding model loaded"
|
||||||
|
// );
|
||||||
|
// }
|
||||||
|
|
||||||
|
// // ======================
|
||||||
|
// // EMBEDDING
|
||||||
|
// // ======================
|
||||||
|
|
||||||
|
// async function createEmbedding(
|
||||||
|
// text
|
||||||
|
// ) {
|
||||||
|
// const output =
|
||||||
|
// await embedder(text, {
|
||||||
|
// pooling: "mean",
|
||||||
|
// normalize: true,
|
||||||
|
// });
|
||||||
|
|
||||||
|
// return Array.from(output.data);
|
||||||
|
// }
|
||||||
|
|
||||||
|
// // ======================
|
||||||
|
// // HEALTH
|
||||||
|
// // ======================
|
||||||
|
|
||||||
|
// app.get("/", (req, res) => {
|
||||||
|
// res.json({
|
||||||
|
// success: true,
|
||||||
|
// message:
|
||||||
|
// "Qdrant + Azure GPT RAG Running",
|
||||||
|
// });
|
||||||
|
// });
|
||||||
|
|
||||||
|
// // ======================
|
||||||
|
// // ASK API
|
||||||
|
// // ======================
|
||||||
|
|
||||||
|
// app.post(
|
||||||
|
// "/ask",
|
||||||
|
// async (req, res) => {
|
||||||
|
// try {
|
||||||
|
// const { question } =
|
||||||
|
// req.body;
|
||||||
|
|
||||||
|
// if (!question) {
|
||||||
|
// return res
|
||||||
|
// .status(400)
|
||||||
|
// .json({
|
||||||
|
// success: false,
|
||||||
|
// error:
|
||||||
|
// "Question is required",
|
||||||
|
// });
|
||||||
|
// }
|
||||||
|
|
||||||
|
// console.log(
|
||||||
|
// "Question:",
|
||||||
|
// question
|
||||||
|
// );
|
||||||
|
|
||||||
|
// // ======================
|
||||||
|
// // CREATE EMBEDDING
|
||||||
|
// // ======================
|
||||||
|
|
||||||
|
// const embedding =
|
||||||
|
// await createEmbedding(
|
||||||
|
// question
|
||||||
|
// );
|
||||||
|
|
||||||
|
// // ======================
|
||||||
|
// // SEARCH QDRANT
|
||||||
|
// // ======================
|
||||||
|
|
||||||
|
// const searchResult =
|
||||||
|
// await qdrant.search(
|
||||||
|
// COLLECTION_NAME,
|
||||||
|
// {
|
||||||
|
// vector: embedding,
|
||||||
|
// limit: 20,
|
||||||
|
// }
|
||||||
|
// );
|
||||||
|
// const filteredResults = searchResult.filter(
|
||||||
|
// item => item.score >= 0.10
|
||||||
|
// );
|
||||||
|
|
||||||
|
// console.log(
|
||||||
|
// "Results:",
|
||||||
|
// filteredResults.length,
|
||||||
|
|
||||||
|
|
||||||
|
// );
|
||||||
|
|
||||||
|
// if (
|
||||||
|
// !filteredResults.length
|
||||||
|
// ) {
|
||||||
|
// return res.json({
|
||||||
|
// success: true,
|
||||||
|
// answer:
|
||||||
|
// "No relevant information found.",
|
||||||
|
// sources: [],
|
||||||
|
// });
|
||||||
|
// }
|
||||||
|
|
||||||
|
// // ======================
|
||||||
|
// // CONTEXT
|
||||||
|
// // ======================
|
||||||
|
|
||||||
|
// const context =
|
||||||
|
// filteredResults
|
||||||
|
// .map(
|
||||||
|
// (item, index) => `
|
||||||
|
// Result ${index + 1}
|
||||||
|
|
||||||
|
// File:
|
||||||
|
// ${item.payload?.file || ""}
|
||||||
|
|
||||||
|
// Content:
|
||||||
|
// ${item.payload?.text || ""}
|
||||||
|
// `
|
||||||
|
// )
|
||||||
|
// .join("\n\n");
|
||||||
|
|
||||||
|
// // ======================
|
||||||
|
// // GPT CALL
|
||||||
|
// // ======================
|
||||||
|
|
||||||
|
// const completion =
|
||||||
|
// await llm.chat.completions.create(
|
||||||
|
// {
|
||||||
|
// model:
|
||||||
|
// deploymentName,
|
||||||
|
|
||||||
|
// temperature: 0,
|
||||||
|
|
||||||
|
// messages: [
|
||||||
|
// {
|
||||||
|
// role: "system",
|
||||||
|
// content: `
|
||||||
|
// You are CPM AI Assistant.
|
||||||
|
|
||||||
|
// Rules:
|
||||||
|
// - Answer ONLY from the provided context.
|
||||||
|
// - If information is not found, say:
|
||||||
|
// "❌ I could not find this information in the uploaded documents."
|
||||||
|
|
||||||
|
// Response Style:
|
||||||
|
// - Use emojis where appropriate.
|
||||||
|
// - Use markdown formatting.
|
||||||
|
// - Use headings.
|
||||||
|
// - Use bullet points.
|
||||||
|
// - Make answers professional and easy to read.
|
||||||
|
// - Highlight important information using **bold** text.
|
||||||
|
// - Never mention the context or document chunks.
|
||||||
|
|
||||||
|
// Example Format:
|
||||||
|
|
||||||
|
// # 📋 Dress Code Policy
|
||||||
|
|
||||||
|
// ## 🎯 Overview
|
||||||
|
// Brief summary here.
|
||||||
|
|
||||||
|
// ## ✅ Key Points
|
||||||
|
// • Point 1
|
||||||
|
// • Point 2
|
||||||
|
// • Point 3
|
||||||
|
|
||||||
|
// ## ⚠️ Important Notes
|
||||||
|
// • Note 1
|
||||||
|
// • Note 2
|
||||||
|
|
||||||
|
// ## 📝 Conclusion
|
||||||
|
// Short conclusion.
|
||||||
|
// `,
|
||||||
|
// },
|
||||||
|
// {
|
||||||
|
// role: "user",
|
||||||
|
// content: `
|
||||||
|
// Context:
|
||||||
|
// ${context}
|
||||||
|
|
||||||
|
// Question:
|
||||||
|
// ${question}
|
||||||
|
// `,
|
||||||
|
// },
|
||||||
|
// ]
|
||||||
|
// }
|
||||||
|
// );
|
||||||
|
|
||||||
|
// const answer =
|
||||||
|
// completion.choices[0]
|
||||||
|
// .message.content;
|
||||||
|
|
||||||
|
// return res.json({
|
||||||
|
// success: true,
|
||||||
|
|
||||||
|
// question,
|
||||||
|
|
||||||
|
// answer,
|
||||||
|
|
||||||
|
// sources:
|
||||||
|
// filteredResults.map(
|
||||||
|
// (item) => ({
|
||||||
|
// score:
|
||||||
|
// item.score,
|
||||||
|
|
||||||
|
// file:
|
||||||
|
// item.payload
|
||||||
|
// ?.file,
|
||||||
|
|
||||||
|
// chunk:
|
||||||
|
// item.payload
|
||||||
|
// ?.chunk,
|
||||||
|
// })
|
||||||
|
// ),
|
||||||
|
// });
|
||||||
|
// } catch (error) {
|
||||||
|
// console.error(
|
||||||
|
// "ERROR:",
|
||||||
|
// error
|
||||||
|
// );
|
||||||
|
|
||||||
|
// return res
|
||||||
|
// .status(500)
|
||||||
|
// .json({
|
||||||
|
// success: false,
|
||||||
|
// error:
|
||||||
|
// error.message,
|
||||||
|
// });
|
||||||
|
// }
|
||||||
|
// }
|
||||||
|
// );
|
||||||
|
|
||||||
|
// // ======================
|
||||||
|
// // START SERVER
|
||||||
|
// // ======================
|
||||||
|
|
||||||
|
// async function startServer() {
|
||||||
|
// try {
|
||||||
|
// await loadModel();
|
||||||
|
|
||||||
|
// app.listen(
|
||||||
|
// process.env.PORT ||
|
||||||
|
// 5000,
|
||||||
|
// () => {
|
||||||
|
// console.log(
|
||||||
|
// "Server running on port",
|
||||||
|
// process.env.PORT ||
|
||||||
|
// 5000
|
||||||
|
// );
|
||||||
|
// }
|
||||||
|
// );
|
||||||
|
// } catch (error) {
|
||||||
|
// console.error(
|
||||||
|
// "Startup Error:",
|
||||||
|
// error
|
||||||
|
// );
|
||||||
|
// }
|
||||||
|
// }
|
||||||
|
|
||||||
|
// startServer();
|
||||||
|
|
||||||
|
// require("dotenv").config();
|
||||||
|
|
||||||
|
// const express = require("express");
|
||||||
|
// const cors = require("cors");
|
||||||
|
// const OpenAI = require("openai");
|
||||||
|
// const { pipeline } = require("@xenova/transformers");
|
||||||
|
// const { QdrantClient } = require("@qdrant/js-client-rest");
|
||||||
|
|
||||||
|
// // ─── Config ───────────────────────────────────────────────────────────────────
|
||||||
|
// const CONFIG = {
|
||||||
|
// azure: {
|
||||||
|
// endpoint: process.env.AZURE_OPENAI_ENDPOINT || "https://cpmindiayoda-resource.services.ai.azure.com",
|
||||||
|
// deployment: process.env.AZURE_DEPLOYMENT || "gpt-4o-mini",
|
||||||
|
// apiVersion: process.env.AZURE_API_VERSION || "2024-08-01-preview",
|
||||||
|
// apiKey: process.env.AZURE_OPENAI_KEY,
|
||||||
|
// },
|
||||||
|
// qdrant: {
|
||||||
|
// url: process.env.QDRANT_URL || "http://20.40.61.65:6333",
|
||||||
|
// collection: process.env.QDRANT_COLLECTION || "pdf_rag",
|
||||||
|
// },
|
||||||
|
// search: {
|
||||||
|
// topK: 20,
|
||||||
|
// minScore: 0.10,
|
||||||
|
// maxContextDocs: 10,
|
||||||
|
// },
|
||||||
|
// port: process.env.PORT || 5000,
|
||||||
|
// };
|
||||||
|
|
||||||
|
// // ─── Clients ──────────────────────────────────────────────────────────────────
|
||||||
|
// const llm = new OpenAI({
|
||||||
|
// baseURL: `${CONFIG.azure.endpoint}/openai/deployments/${CONFIG.azure.deployment}`,
|
||||||
|
// apiKey: CONFIG.azure.apiKey,
|
||||||
|
// defaultHeaders: { "api-key": CONFIG.azure.apiKey },
|
||||||
|
// defaultQuery: { "api-version": CONFIG.azure.apiVersion },
|
||||||
|
// });
|
||||||
|
|
||||||
|
// const qdrant = new QdrantClient({
|
||||||
|
// url: CONFIG.qdrant.url,
|
||||||
|
// checkCompatibility: false,
|
||||||
|
// timeout: 30000,
|
||||||
|
// });
|
||||||
|
|
||||||
|
// // ─── Embedding model (singleton, lazy-init) ───────────────────────────────────
|
||||||
|
// let _embedder = null;
|
||||||
|
// async function getEmbedder() {
|
||||||
|
// if (!_embedder) {
|
||||||
|
// console.log("⏳ Loading MiniLM model...");
|
||||||
|
// _embedder = await pipeline("feature-extraction", "Xenova/all-MiniLM-L6-v2");
|
||||||
|
// console.log("✅ Embedding model ready");
|
||||||
|
// }
|
||||||
|
// return _embedder;
|
||||||
|
// }
|
||||||
|
|
||||||
|
// async function createEmbedding(text) {
|
||||||
|
// const model = await getEmbedder();
|
||||||
|
// const out = await model(text, { pooling: "mean", normalize: true });
|
||||||
|
// return Array.from(out.data);
|
||||||
|
// }
|
||||||
|
|
||||||
|
// // ─── Qdrant search ────────────────────────────────────────────────────────────
|
||||||
|
// async function searchQdrant(embedding, { topK, minScore, maxContextDocs } = CONFIG.search) {
|
||||||
|
// const results = await qdrant.search(CONFIG.qdrant.collection, {
|
||||||
|
// vector: embedding,
|
||||||
|
// limit: topK,
|
||||||
|
// with_payload: true,
|
||||||
|
// score_threshold: minScore, // let Qdrant filter — faster than client-side
|
||||||
|
// });
|
||||||
|
|
||||||
|
// // Re-rank by score, cap to maxContextDocs
|
||||||
|
// return results
|
||||||
|
// .sort((a, b) => b.score - a.score)
|
||||||
|
// .slice(0, maxContextDocs);
|
||||||
|
// }
|
||||||
|
|
||||||
|
// // ─── Build LLM context string ─────────────────────────────────────────────────
|
||||||
|
// function buildContext(results) {
|
||||||
|
// return results
|
||||||
|
// .map((item, i) =>
|
||||||
|
// `[${i + 1}] File: ${item.payload?.file ?? "unknown"} | Page: ${item.payload?.page ?? "?"}\n${item.payload?.text ?? ""}`
|
||||||
|
// )
|
||||||
|
// .join("\n\n---\n\n");
|
||||||
|
// }
|
||||||
|
|
||||||
|
// // ─── LLM call ─────────────────────────────────────────────────────────────────
|
||||||
|
// const SYSTEM_PROMPT = `
|
||||||
|
// You are CPM AI Assistant.
|
||||||
|
|
||||||
|
// Rules:
|
||||||
|
// - Answer only from the provided information.
|
||||||
|
// - If the answer is not available, reply exactly:
|
||||||
|
// "❌ I could not find this information in the uploaded documents."
|
||||||
|
// - Do not make up information.
|
||||||
|
// - Do not mention documents, context, or chunks.
|
||||||
|
|
||||||
|
// Response Style:
|
||||||
|
// - Use simple English.
|
||||||
|
// - Keep answers short and clear.
|
||||||
|
// - Use headings and bullet points.
|
||||||
|
// - Highlight important words in **bold**.
|
||||||
|
// - Use emojis in headings.
|
||||||
|
|
||||||
|
// Format:
|
||||||
|
|
||||||
|
// # 📋 Topic
|
||||||
|
|
||||||
|
// ## 🎯 Summary
|
||||||
|
// Short answer in 1-2 sentences.
|
||||||
|
|
||||||
|
// ## ✅ Details
|
||||||
|
// - Point 1
|
||||||
|
// - Point 2
|
||||||
|
// - Point 3
|
||||||
|
|
||||||
|
// ## ⚠️ Notes
|
||||||
|
// - Extra information (if available).
|
||||||
|
// `.trim();
|
||||||
|
|
||||||
|
// async function askLLM(question, context) {
|
||||||
|
// const completion = await llm.chat.completions.create({
|
||||||
|
// model: CONFIG.azure.deployment,
|
||||||
|
// temperature: 0,
|
||||||
|
// max_tokens: 1500,
|
||||||
|
// messages: [
|
||||||
|
// { role: "system", content: SYSTEM_PROMPT },
|
||||||
|
// { role: "user", content: `Context:\n${context}\n\nQuestion:\n${question}` },
|
||||||
|
// ],
|
||||||
|
// });
|
||||||
|
|
||||||
|
// return completion.choices[0].message.content;
|
||||||
|
// }
|
||||||
|
|
||||||
|
// // ─── Express app ──────────────────────────────────────────────────────────────
|
||||||
|
// const app = express();
|
||||||
|
// app.use(cors());
|
||||||
|
// app.use(express.json({ limit: "1mb" }));
|
||||||
|
|
||||||
|
// // Request logger middleware
|
||||||
|
// app.use((req, _res, next) => {
|
||||||
|
// console.log(`→ ${req.method} ${req.path}`);
|
||||||
|
// next();
|
||||||
|
// });
|
||||||
|
|
||||||
|
// // ─── Routes ───────────────────────────────────────────────────────────────────
|
||||||
|
// app.get("/health", (_req, res) => {
|
||||||
|
// res.json({ status: "ok", model: CONFIG.azure.deployment, collection: CONFIG.qdrant.collection });
|
||||||
|
// });
|
||||||
|
|
||||||
|
// app.post("/ask", async (req, res) => {
|
||||||
|
// const { question } = req.body ?? {};
|
||||||
|
|
||||||
|
// if (!question?.trim()) {
|
||||||
|
// return res.status(400).json({ success: false, error: "question is required" });
|
||||||
|
// }
|
||||||
|
|
||||||
|
// const t0 = Date.now();
|
||||||
|
|
||||||
|
// try {
|
||||||
|
// // 1. Embed question
|
||||||
|
// const embedding = await createEmbedding(question.trim());
|
||||||
|
|
||||||
|
// // 2. Semantic search
|
||||||
|
// const results = await searchQdrant(embedding);
|
||||||
|
|
||||||
|
// if (!results.length) {
|
||||||
|
// return res.json({
|
||||||
|
// success: true,
|
||||||
|
// question,
|
||||||
|
// answer: "❌ I could not find this information in the uploaded documents.",
|
||||||
|
// sources: [],
|
||||||
|
// ms: Date.now() - t0,
|
||||||
|
// });
|
||||||
|
// }
|
||||||
|
|
||||||
|
// // 3. Build context + call LLM
|
||||||
|
// const context = buildContext(results);
|
||||||
|
// const answer = await askLLM(question, context);
|
||||||
|
|
||||||
|
// return res.json({
|
||||||
|
// success: true,
|
||||||
|
// question,
|
||||||
|
// answer,
|
||||||
|
// sources: results.map(r => ({
|
||||||
|
// score: +r.score.toFixed(4),
|
||||||
|
// file: r.payload?.file,
|
||||||
|
// page: r.payload?.page,
|
||||||
|
// chunk: r.payload?.chunk,
|
||||||
|
// })),
|
||||||
|
// ms: Date.now() - t0,
|
||||||
|
// });
|
||||||
|
|
||||||
|
// } catch (err) {
|
||||||
|
// console.error("❌ /ask error:", err);
|
||||||
|
// return res.status(500).json({ success: false, error: err.message });
|
||||||
|
// }
|
||||||
|
// });
|
||||||
|
|
||||||
|
// app.post("/ask/stream", async (req, res) => {
|
||||||
|
// const { question } = req.body ?? {};
|
||||||
|
|
||||||
|
// if (!question?.trim()) {
|
||||||
|
// return res.status(400).json({ success: false, error: "question is required" });
|
||||||
|
// }
|
||||||
|
|
||||||
|
// // ── SSE headers ────────────────────────────────────────────────────────────
|
||||||
|
// res.setHeader("Content-Type", "text/event-stream");
|
||||||
|
// res.setHeader("Cache-Control", "no-cache");
|
||||||
|
// res.setHeader("Connection", "keep-alive");
|
||||||
|
// res.flushHeaders(); // send headers immediately
|
||||||
|
|
||||||
|
// const send = (event, data) => res.write(`event: ${event}\ndata: ${JSON.stringify(data)}\n\n`);
|
||||||
|
|
||||||
|
// try {
|
||||||
|
// // 1. Embed
|
||||||
|
// send("status", { message: "🔍 Searching documents..." });
|
||||||
|
// const embedding = await createEmbedding(question.trim());
|
||||||
|
|
||||||
|
// // 2. Search Qdrant
|
||||||
|
// const results = await searchQdrant(embedding);
|
||||||
|
|
||||||
|
// if (!results.length) {
|
||||||
|
// send("token", { token: "❌ I could not find this information in the uploaded documents." });
|
||||||
|
// send("done", { sources: [] });
|
||||||
|
// return res.end();
|
||||||
|
// }
|
||||||
|
|
||||||
|
// // 3. Send sources early so UI can show them while streaming answer
|
||||||
|
// const sources = results.map(r => ({
|
||||||
|
// score: +r.score.toFixed(4),
|
||||||
|
// file: r.payload?.file,
|
||||||
|
// page: r.payload?.page,
|
||||||
|
// chunk: r.payload?.chunk,
|
||||||
|
// }));
|
||||||
|
// send("sources", { sources });
|
||||||
|
|
||||||
|
// // 4. Stream LLM tokens
|
||||||
|
// send("status", { message: "💬 Generating answer..." });
|
||||||
|
|
||||||
|
// const context = buildContext(results);
|
||||||
|
// const stream = await llm.chat.completions.create({
|
||||||
|
// model: CONFIG.azure.deployment,
|
||||||
|
// temperature: 0,
|
||||||
|
// max_tokens: 1500,
|
||||||
|
// stream: true, // ← key change
|
||||||
|
// messages: [
|
||||||
|
// { role: "system", content: SYSTEM_PROMPT },
|
||||||
|
// { role: "user", content: `Context:\n${context}\n\nQuestion:\n${question}` },
|
||||||
|
// ],
|
||||||
|
// });
|
||||||
|
|
||||||
|
// for await (const chunk of stream) {
|
||||||
|
// const token = chunk.choices[0]?.delta?.content ?? "";
|
||||||
|
// if (token) send("token", { token });
|
||||||
|
// }
|
||||||
|
|
||||||
|
// send("done", { sources });
|
||||||
|
|
||||||
|
// } catch (err) {
|
||||||
|
// console.error("❌ /ask/stream error:", err);
|
||||||
|
// send("error", { error: err.message });
|
||||||
|
// }
|
||||||
|
|
||||||
|
// res.end();
|
||||||
|
// });
|
||||||
|
|
||||||
|
|
||||||
|
// app.use((_req, res) => res.status(404).json({ success: false, error: "Not found" }));
|
||||||
|
|
||||||
|
// // ─── Start ────────────────────────────────────────────────────────────────────
|
||||||
|
// async function start() {
|
||||||
|
// await getEmbedder();
|
||||||
|
|
||||||
|
// app.listen(CONFIG.port, () => {
|
||||||
|
// console.log(`Server running on port ${CONFIG.port}`);
|
||||||
|
// });
|
||||||
|
// }
|
||||||
|
|
||||||
|
// start().catch(err => {
|
||||||
|
// console.error("Fatal startup error:", err);
|
||||||
|
// process.exit(1);
|
||||||
|
// });
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
require("dotenv").config();
|
||||||
|
|
||||||
|
const express = require("express");
|
||||||
|
const cors = require("cors");
|
||||||
|
const OpenAI = require("openai");
|
||||||
|
const { pipeline } = require("@xenova/transformers");
|
||||||
|
const { QdrantClient } = require("@qdrant/js-client-rest");
|
||||||
|
|
||||||
|
|
||||||
|
// ─── Config ───────────────────────────────────────────────────────────────────
|
||||||
|
const CONFIG = {
|
||||||
|
azure: {
|
||||||
|
endpoint: process.env.AZURE_OPENAI_ENDPOINT || "https://cpmindiayoda-resource.services.ai.azure.com",
|
||||||
|
deployment: process.env.AZURE_DEPLOYMENT || "gpt-4o-mini",
|
||||||
|
apiVersion: process.env.AZURE_API_VERSION || "2024-08-01-preview",
|
||||||
|
apiKey: process.env.AZURE_OPENAI_KEY,
|
||||||
|
},
|
||||||
|
qdrant: {
|
||||||
|
url: process.env.QDRANT_URL || "http://20.40.61.65:6333",
|
||||||
|
collection: process.env.QDRANT_COLLECTION || "pdf_rag",
|
||||||
|
},
|
||||||
|
search: {
|
||||||
|
topK: 20,
|
||||||
|
minScore: 0.10,
|
||||||
|
maxContextDocs: 10,
|
||||||
|
},
|
||||||
|
port: process.env.PORT || 5000,
|
||||||
|
};
|
||||||
|
|
||||||
|
// ─── Clients ──────────────────────────────────────────────────────────────────
|
||||||
|
const llm = new OpenAI({
|
||||||
|
baseURL: `${CONFIG.azure.endpoint}/openai/deployments/${CONFIG.azure.deployment}`,
|
||||||
|
apiKey: CONFIG.azure.apiKey,
|
||||||
|
defaultHeaders: { "api-key": CONFIG.azure.apiKey },
|
||||||
|
defaultQuery: { "api-version": CONFIG.azure.apiVersion },
|
||||||
|
});
|
||||||
|
|
||||||
|
const qdrant = new QdrantClient({
|
||||||
|
url: CONFIG.qdrant.url,
|
||||||
|
checkCompatibility: false,
|
||||||
|
timeout: 30000,
|
||||||
|
});
|
||||||
|
|
||||||
|
// ─── Embedding model (singleton, lazy-init) ───────────────────────────────────
|
||||||
|
let _embedder = null;
|
||||||
|
async function getEmbedder() {
|
||||||
|
if (!_embedder) {
|
||||||
|
console.log("⏳ Loading MiniLM model...");
|
||||||
|
_embedder = await pipeline("feature-extraction", "Xenova/all-MiniLM-L6-v2");
|
||||||
|
console.log("✅ Embedding model ready");
|
||||||
|
}
|
||||||
|
return _embedder;
|
||||||
|
}
|
||||||
|
|
||||||
|
async function createEmbedding(text) {
|
||||||
|
const model = await getEmbedder();
|
||||||
|
const out = await model(text, { pooling: "mean", normalize: true });
|
||||||
|
return Array.from(out.data);
|
||||||
|
}
|
||||||
|
|
||||||
|
// ─── Qdrant search ────────────────────────────────────────────────────────────
|
||||||
|
async function searchQdrant(embedding, { topK, minScore, maxContextDocs } = CONFIG.search) {
|
||||||
|
const results = await qdrant.search(CONFIG.qdrant.collection, {
|
||||||
|
vector: embedding,
|
||||||
|
limit: topK,
|
||||||
|
with_payload: true,
|
||||||
|
score_threshold: minScore,
|
||||||
|
});
|
||||||
|
|
||||||
|
return results
|
||||||
|
.sort((a, b) => b.score - a.score)
|
||||||
|
.slice(0, maxContextDocs);
|
||||||
|
}
|
||||||
|
|
||||||
|
// ─── Build LLM context string ─────────────────────────────────────────────────
|
||||||
|
function buildContext(results) {
|
||||||
|
return results
|
||||||
|
.map((item, i) =>
|
||||||
|
`[${i + 1}] File: ${item.payload?.file ?? "unknown"} | Page: ${item.payload?.page ?? "?"}\n${item.payload?.text ?? ""}`
|
||||||
|
)
|
||||||
|
.join("\n\n---\n\n");
|
||||||
|
}
|
||||||
|
|
||||||
|
// ─── LLM call ─────────────────────────────────────────────────────────────────
|
||||||
|
const SYSTEM_PROMPT = `
|
||||||
|
You are CPM AI Assistant.
|
||||||
|
|
||||||
|
Rules:
|
||||||
|
- Answer only from the provided information.
|
||||||
|
- If the answer is not available, reply exactly:
|
||||||
|
"❌ I could not find this information in the uploaded documents."
|
||||||
|
- Do not make up information.
|
||||||
|
- Do not mention documents, context, or chunks.
|
||||||
|
|
||||||
|
Response Style:
|
||||||
|
- Use simple English.
|
||||||
|
- Keep answers short and clear.
|
||||||
|
- Use headings and bullet points.
|
||||||
|
- Highlight important words in **bold**.
|
||||||
|
- Use emojis in headings.
|
||||||
|
|
||||||
|
Format:
|
||||||
|
|
||||||
|
# 📋 Topic
|
||||||
|
|
||||||
|
## 🎯 Summary
|
||||||
|
Short answer in 1-2 sentences.
|
||||||
|
|
||||||
|
## ✅ Details
|
||||||
|
- Point 1
|
||||||
|
- Point 2
|
||||||
|
- Point 3
|
||||||
|
|
||||||
|
## ⚠️ Notes
|
||||||
|
- Extra information (if available).
|
||||||
|
`.trim();
|
||||||
|
|
||||||
|
async function askLLM(question, context) {
|
||||||
|
const completion = await llm.chat.completions.create({
|
||||||
|
model: CONFIG.azure.deployment,
|
||||||
|
temperature: 0,
|
||||||
|
max_tokens: 1500,
|
||||||
|
messages: [
|
||||||
|
{ role: "system", content: SYSTEM_PROMPT },
|
||||||
|
{ role: "user", content: `Context:\n${context}\n\nQuestion:\n${question}` },
|
||||||
|
],
|
||||||
|
});
|
||||||
|
|
||||||
|
return completion.choices[0].message.content;
|
||||||
|
}
|
||||||
|
|
||||||
|
// ─── Express app ──────────────────────────────────────────────────────────────
|
||||||
|
const app = express();
|
||||||
|
app.use(cors());
|
||||||
|
app.use(express.json({ limit: "1mb" }));
|
||||||
|
app.use(express.urlencoded({ extended: true }));
|
||||||
|
|
||||||
|
app.use((req, _res, next) => {
|
||||||
|
console.log(`→ ${req.method} ${req.path}`);
|
||||||
|
next();
|
||||||
|
});
|
||||||
|
|
||||||
|
// ─── Routes ───────────────────────────────────────────────────────────────────
|
||||||
|
app.get("/health", (_req, res) => {
|
||||||
|
res.json({ status: "ok", model: CONFIG.azure.deployment, collection: CONFIG.qdrant.collection });
|
||||||
|
});
|
||||||
|
|
||||||
|
app.post("/ask", async (req, res) => {
|
||||||
|
const { question } = req.body ?? {};
|
||||||
|
|
||||||
|
if (!question?.trim()) {
|
||||||
|
return res.status(400).json({ success: false, error: "question is required" });
|
||||||
|
}
|
||||||
|
|
||||||
|
const t0 = Date.now();
|
||||||
|
|
||||||
|
try {
|
||||||
|
const embedding = await createEmbedding(question.trim());
|
||||||
|
const results = await searchQdrant(embedding);
|
||||||
|
|
||||||
|
if (!results.length) {
|
||||||
|
return res.json({
|
||||||
|
success: true,
|
||||||
|
question,
|
||||||
|
answer: "❌ I could not find this information in the uploaded documents.",
|
||||||
|
sources: [],
|
||||||
|
ms: Date.now() - t0,
|
||||||
|
});
|
||||||
|
}
|
||||||
|
|
||||||
|
const context = buildContext(results);
|
||||||
|
const answer = await askLLM(question, context);
|
||||||
|
|
||||||
|
return res.json({
|
||||||
|
success: true,
|
||||||
|
question,
|
||||||
|
answer,
|
||||||
|
sources: results.map(r => ({
|
||||||
|
score: +r.score.toFixed(4),
|
||||||
|
file: r.payload?.file,
|
||||||
|
page: r.payload?.page,
|
||||||
|
chunk: r.payload?.chunk,
|
||||||
|
})),
|
||||||
|
ms: Date.now() - t0,
|
||||||
|
});
|
||||||
|
|
||||||
|
} catch (err) {
|
||||||
|
console.error("❌ /ask error:", err);
|
||||||
|
return res.status(500).json({ success: false, error: err.message });
|
||||||
|
}
|
||||||
|
});
|
||||||
|
|
||||||
|
// ─── /ask/stream — word-by-word SSE ──────────────────────────────────────────
|
||||||
|
// The LLM streams tokens (which may be partial words or multi-word chunks).
|
||||||
|
// We split every incoming token on whitespace and emit each word as a separate
|
||||||
|
// SSE "token" event so the frontend can animate them one-by-one.
|
||||||
|
app.post("/ask/stream", async (req, res) => {
|
||||||
|
const { question } = req.body ?? {};
|
||||||
|
|
||||||
|
if (!question?.trim()) {
|
||||||
|
return res.status(400).json({ success: false, error: "question is required" });
|
||||||
|
}
|
||||||
|
|
||||||
|
res.setHeader("Content-Type", "text/event-stream");
|
||||||
|
res.setHeader("Cache-Control", "no-cache");
|
||||||
|
res.setHeader("Connection", "keep-alive");
|
||||||
|
res.flushHeaders();
|
||||||
|
|
||||||
|
const send = (event, data) => res.write(`event: ${event}\ndata: ${JSON.stringify(data)}\n\n`);
|
||||||
|
|
||||||
|
try {
|
||||||
|
send("status", { message: "🔍 Searching documents..." });
|
||||||
|
const embedding = await createEmbedding(question.trim());
|
||||||
|
|
||||||
|
const results = await searchQdrant(embedding);
|
||||||
|
|
||||||
|
if (!results.length) {
|
||||||
|
send("token", { token: "❌", isWord: true });
|
||||||
|
send("token", { token: "I", isWord: true });
|
||||||
|
send("token", { token: "could", isWord: true });
|
||||||
|
send("token", { token: "not", isWord: true });
|
||||||
|
send("token", { token: "find", isWord: true });
|
||||||
|
send("token", { token: "this", isWord: true });
|
||||||
|
send("token", { token: "information", isWord: true });
|
||||||
|
send("token", { token: "in", isWord: true });
|
||||||
|
send("token", { token: "the", isWord: true });
|
||||||
|
send("token", { token: "uploaded", isWord: true });
|
||||||
|
send("token", { token: "documents.", isWord: true });
|
||||||
|
send("done", { sources: [] });
|
||||||
|
return res.end();
|
||||||
|
}
|
||||||
|
|
||||||
|
const sources = results.map(r => ({
|
||||||
|
score: +r.score.toFixed(4),
|
||||||
|
file: r.payload?.file,
|
||||||
|
page: r.payload?.page,
|
||||||
|
chunk: r.payload?.chunk,
|
||||||
|
}));
|
||||||
|
send("sources", { sources });
|
||||||
|
|
||||||
|
send("status", { message: "💬 Generating answer..." });
|
||||||
|
|
||||||
|
const context = buildContext(results);
|
||||||
|
const stream = await llm.chat.completions.create({
|
||||||
|
model: CONFIG.azure.deployment,
|
||||||
|
temperature: 0,
|
||||||
|
max_tokens: 1500,
|
||||||
|
stream: true,
|
||||||
|
messages: [
|
||||||
|
{ role: "system", content: SYSTEM_PROMPT },
|
||||||
|
{ role: "user", content: `Context:\n${context}\n\nQuestion:\n${question}` },
|
||||||
|
],
|
||||||
|
});
|
||||||
|
|
||||||
|
// Buffer to handle tokens that may be split mid-word
|
||||||
|
let wordBuffer = "";
|
||||||
|
|
||||||
|
for await (const chunk of stream) {
|
||||||
|
const rawToken = chunk.choices[0]?.delta?.content ?? "";
|
||||||
|
if (!rawToken) continue;
|
||||||
|
|
||||||
|
wordBuffer += rawToken;
|
||||||
|
|
||||||
|
// Split on whitespace — emit complete words, keep trailing partial
|
||||||
|
// We preserve newlines/markdown as separate tokens so markdown renders correctly
|
||||||
|
const parts = wordBuffer.split(/(\s+)/);
|
||||||
|
|
||||||
|
// Last element might be an incomplete word — buffer it
|
||||||
|
wordBuffer = parts.pop() ?? "";
|
||||||
|
|
||||||
|
for (const part of parts) {
|
||||||
|
if (part) {
|
||||||
|
send("token", { token: part, isWord: /\S/.test(part) });
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// Flush any remaining buffered text
|
||||||
|
if (wordBuffer) {
|
||||||
|
send("token", { token: wordBuffer, isWord: true });
|
||||||
|
}
|
||||||
|
|
||||||
|
send("done", { sources });
|
||||||
|
|
||||||
|
} catch (err) {
|
||||||
|
console.error("❌ /ask/stream error:", err);
|
||||||
|
send("error", { error: err.message });
|
||||||
|
}
|
||||||
|
|
||||||
|
res.end();
|
||||||
|
});
|
||||||
|
|
||||||
|
app.use((_req, res) => res.status(404).json({ success: false, error: "Not found" }));
|
||||||
|
|
||||||
|
// ─── Start ────────────────────────────────────────────────────────────────────
|
||||||
|
async function start() {
|
||||||
|
await getEmbedder();
|
||||||
|
|
||||||
|
app.listen(CONFIG.port, () => {
|
||||||
|
console.log(`Server running on port ${CONFIG.port}`);
|
||||||
|
});
|
||||||
|
}
|
||||||
|
|
||||||
|
start().catch(err => {
|
||||||
|
console.error("Fatal startup error:", err);
|
||||||
|
process.exit(1);
|
||||||
|
});
|
||||||
Binary file not shown.
Binary file not shown.
Binary file not shown.
Binary file not shown.
Reference in New Issue
Block a user