Als eines von vielen Arbeitslagern, die in der letzten Kriegsphase in Südwestdeutschland entstanden und in der Regel dem KZ Natzweiler im Elsass unterstanden, diente das KZ Bisingen der Rüstungsproduktion. Von August 1944 bis März 1945 wurden insgesamt 4150 Männer nach Bisingen deportiert, darunter rund 1500 Juden. Sie stammten aus fast allen europäischen Ländern und kamen in mehreren Transporten auf dem Bahnhof an. Bisingen war dabei für die meisten Häftlinge nur eine Station auf einem langen Leidensweg, der sie über die großen Konzentrations- und Vernichtungslager Dachau, Auschwitz, Danzig-Stutthof und Buchenwald in die Lager des Unternehmens „Wüste“ brachte.

Als die ersten Tausend Häftlinge am 24. August 1944 von Auschwitz nach Bisingen deportiert wurden, stand das Lager noch nicht. Die Häftlinge mussten Baracken, Wachtürme und Stacheldrahtzaun errichten, eine Wasserleitung legen und das Ölschieferwerk im Kuhloch aufbauen. Im dortigen "Wüste-Werk 2" und auf dem zweiten Abbaugelände bei Engstlatt („Wüste 3) mussten die Gefangenen mit einfachsten Werkzeugen das Schiefergestein aus dem Felsen brechen. Erst am 23. Februar 1945 wurde hier der erste "Meiler" gezündet und Öl aus dem Schiefer geschwelt. Die Ausbeute war gering; bis zur Auflösung des Lagers wurde nur wenig Treibstoff gewonnen.

Außer zum Schieferabbau wurden die Häftlinge zu weiteren Arbeiten eingesetzt. Einige Männer wurden an die Keller'sche Schuhfabrik "ausgeliehen", reparierten das bei einem Luftangriff beschädigte Kirchendach oder räumten Trümmer aus zerbombten Häusern. Bei diesen Gelegenheiten konnte die Bisinger Bevölkerung einen Eindruck vom Elend der Häftlinge gewinnen, aber auch bei ihrem täglichen Marsch ins Wüste-Werk 3, der die Gefangenen zweimal am Tag die Hauptsraße entlang führte. Einzelne Bisinger versuchten, den abgemagerten Häftlingen zu helfen, indem sie dort Lebensmittel deponierten.

Die schwere Arbeit im Ölschieferwerk, die Mangelernährung und die unhygienischen Bedingungen im Lager forderten vor allem im nassen Herbst und Winter 1944/45 viele Opfer. Die Häftlinge versanken bis zu den Knien im Schlamm, sie konnten sich nicht trocken und sauber halten, Epidemien brachen aus. Täglich starben viele Gefangene an Krankheiten, Schwäche, Unterernährung und Misshandlungen. Bei Strafaktionen und zur Abschreckung wurden Häftlinge aus zumeist nichtigem Anlass von SS-Männern erschossen oder erhängt.

Die ersten 29 Toten des Lagers wurden im Krematorium in Reutlingen verbrannt, später mussten zwei Bisinger Männer die Leichen mit Pferdekarren zu Massengräbern im Gewann Ludenstall fahren, wo sie verscharrt wurden. In den nur acht Monaten seines Bestehens forderte das KZ Bisingen mindestens 1187 Opfer, davon liegen 1158 auf dem heutigen KZ-Friedhof begraben. Nach dem Befehl des Reichsführers der SS, Heinrich Himmler, alle Lager vor Heranrücken der Alliierten zu evakuieren, löste die SS im April 1945 das KZ Bisingen auf, schickte 769 Häftlinge in zwei Transporten nach Dachau-Allach und den Rest zu Fuß auf den "Todesmarsch" in Richtung Oberschwaben und Bayern, bei dem viele umkamen. Die überlebenden KZ-Häftlinge wurden in Dachau bzw. bei Ostrach, Altshausen oder Garmisch-Partenkirchen befreit.

Nach dem Ende des Zweiten Weltkrieges ordnete die französische Besatzungsmacht an, die Toten des Bisinger Massengrabes zu exhumieren und einzeln in Särgen auf dem neu angelegten Friedhof zu beerdigen. Diese Arbeit wurde von Insassen des Reutlinger und Balinger Kriegsverbrecherlagers verrichtet. Ehemalige NS-Funktionäre aus allen Landkreisen des französisch besetzten Gebietes wurden nach Bisingen gebracht, um sich von den Greueln im KZ Bisingen zu überzeugen. Der Bisinger KZ-Friedhof wurde im April 1947 eingeweiht. Er markiert den ersten – und lange Zeit einzigen – Schritt des Gedenkens an die Geschichte des Konzentrationslagers Bisingen und seiner Opfer.