{
"cells": [
{
"cell_type": "markdown",
"id": "500b07b7-5f43-40c0-ba80-bc6cd759f9f4",
"metadata": {},
"source": [
"# Gekachelte Bildverarbeitung, ein schneller Durchlauf\n",
"\n",
"In diesem Notebook werden wir einen gro\u00dfen Datensatz verarbeiten, der im zarr-Format gespeichert wurde, um Zellen in einzelnen Kacheln mit Hilfe von [dask](https://docs.dask.org/en/stable/) und [zarr](https://zarr.readthedocs.io/en/stable/) zu z\u00e4hlen. Die zugrunde liegenden Prinzipien werden in den n\u00e4chsten Abschnitten erkl\u00e4rt."
]
},
{
"cell_type": "code",
"execution_count": 1,
"id": "e6a9300d-1f11-4a3b-94bb-a136ba69f09d",
"metadata": {},
"outputs": [],
"source": [
"import zarr\n",
"import dask.array as da\n",
"import numpy as np\n",
"from skimage.io import imread\n",
"import pyclesperanto_prototype as cle\n",
"from pyclesperanto_prototype import imshow\n",
"from numcodecs import Blosc"
]
},
{
"cell_type": "markdown",
"id": "8959f8d4-a6d6-4a2d-b4b7-9378d2ceec01",
"metadata": {},
"source": [
"Zu Demonstrationszwecken verwenden wir einen Datensatz, der von Theresa Suckert, OncoRay, Universit\u00e4tsklinikum Carl Gustav Carus, TU Dresden, zur Verf\u00fcgung gestellt wurde. Der Datensatz ist unter der [Lizenz: CC-BY 4.0](https://creativecommons.org/licenses/by/4.0/) lizenziert. Wir verwenden hier eine zugeschnittene Version, die als 8-Bit-Bild neu gespeichert wurde, um sie mit dem Notebook bereitstellen zu k\u00f6nnen. Das vollst\u00e4ndige 16-Bit-Bild im CZI-Dateiformat finden Sie [online](https://zenodo.org/record/4276076#.YX1F-55BxaQ). Der biologische Hintergrund wird in [Suckert et al. 2020](https://www.sciencedirect.com/science/article/abs/pii/S0167814020301043) erkl\u00e4rt, wo wir auch einen \u00e4hnlichen Workflow angewendet haben. \n",
"\n",
"Wenn Sie mit gro\u00dfen Datenmengen arbeiten, werden Sie wahrscheinlich bereits ein Bild im richtigen Format vorliegen haben. Zu Demonstrationszwecken speichern wir hier ein Testbild im zarr-Format, das h\u00e4ufig zur Verarbeitung gro\u00dfer Bilddaten verwendet wird."
]
},
{
"cell_type": "code",
"execution_count": 2,
"id": "cc2eeeb8-eb5e-49fc-8569-cdff5e143e5e",
"metadata": {},
"outputs": [],
"source": [
"# Resave a test image into tiled zarr format\n",
"input_filename = '../../data/P1_H_C3H_M004_17-cropped.tif'\n",
"zarr_filename = '../../data/P1_H_C3H_M004_17-cropped.zarr'\n",
"image = imread(input_filename)[1]\n",
"compressor = Blosc(cname='zstd', clevel=3, shuffle=Blosc.BITSHUFFLE)\n",
"zarray = zarr.array(image, chunks=(100, 100), compressor=compressor)\n",
"zarr.convenience.save(zarr_filename, zarray)"
]
},
{
"cell_type": "markdown",
"id": "d76246fe-7358-4e0c-8112-1f1fd0af4108",
"metadata": {},
"source": [
"## Laden des zarr-gest\u00fctzten Bildes\n",
"Dask bietet integrierte Unterst\u00fctzung f\u00fcr das zarr-Dateiformat. Wir k\u00f6nnen dask-Arrays direkt aus einer zarr-Datei erstellen."
]
},
{
"cell_type": "code",
"execution_count": 3,
"id": "2132d10e-1ec5-43eb-9c3c-a4d9358919cc",
"metadata": {},
"outputs": [
{
"data": {
"text/html": [
"
\n",
"
\n",
"
\n",
"
\n",
" \n",
"
\n",
"
\n",
"
Array
\n",
"
Chunk
\n",
"
\n",
" \n",
" \n",
" \n",
"
\n",
"
Bytes
\n",
"
9.54 MiB
\n",
"
9.77 kiB
\n",
"
\n",
" \n",
"
\n",
"
Shape
\n",
"
(2000, 5000)
\n",
"
(100, 100)
\n",
"
\n",
"
\n",
"
Count
\n",
"
1001 Tasks
\n",
"
1000 Chunks
\n",
"
\n",
"
\n",
"
Type
\n",
"
uint8
\n",
"
numpy.ndarray
\n",
"
\n",
" \n",
"
\n",
"
\n",
"
\n",
" \n",
"
\n",
"
\n",
"
"
],
"text/plain": [
"dask.array"
]
},
"execution_count": 3,
"metadata": {},
"output_type": "execute_result"
}
],
"source": [
"zarr_image = da.from_zarr(zarr_filename)\n",
"zarr_image"
]
},
{
"cell_type": "markdown",
"id": "c2721aa7-947e-4855-9325-c3e2b4746226",
"metadata": {},
"source": [
"Wir k\u00f6nnen die Bildverarbeitung direkt auf diesen gekachelten Datensatz anwenden."
]
},
{
"cell_type": "markdown",
"id": "84fd34c2-68fe-4eeb-8f2b-d213226086e0",
"metadata": {},
"source": [
"## Z\u00e4hlen von Zellkernen\n",
"Zum Z\u00e4hlen der Zellkerne erstellen wir einen einfachen Bildverarbeitungsworkflow. Er gibt ein Bild zur\u00fcck, das einen einzelnen Pixel enth\u00e4lt, der die Anzahl der Zellkerne im gegebenen Eingabebild angibt. Diese einzelnen Pixel werden zu einer Pixelz\u00e4hlkarte zusammengesetzt; ein Bild mit viel weniger Pixeln als das Originalbild, aber mit dem Vorteil, dass wir es anschauen k\u00f6nnen - es sind keine gro\u00dfen Daten mehr.cle.exclude_labels_with_map_values_within_range"
]
},
{
"cell_type": "code",
"execution_count": 4,
"id": "713fcb46-9e8c-4090-a73e-a4d3b60dae24",
"metadata": {},
"outputs": [],
"source": [
"def count_nuclei(image):\n",
" \"\"\"\n",
" Label objects in a binary image and produce a pixel-count-map image.\n",
" \"\"\"\n",
" # Count nuclei including those which touch the image border\n",
" labels = cle.voronoi_otsu_labeling(image, spot_sigma=3.5)\n",
" label_intensity_map = cle.mean_intensity_map(image, labels)\n",
" \n",
" high_intensity_labels = cle.exclude_labels_with_map_values_within_range(label_intensity_map, labels, maximum_value_range=20)\n",
" nuclei_count = high_intensity_labels.max()\n",
" \n",
" # Count nuclei including those which touch the image border\n",
" labels_without_borders = cle.exclude_labels_on_edges(high_intensity_labels)\n",
" nuclei_count_excluding_borders = labels_without_borders.max()\n",
" \n",
" # Both nuclei-count including and excluding nuclei at image borders \n",
" # are no good approximation. We should exclude the nuclei only on \n",
" # half of the borders to get a good estimate.\n",
" # Alternatively, we just take the average of both counts.\n",
" result = np.asarray([[(nuclei_count + nuclei_count_excluding_borders) / 2]])\n",
" \n",
" return result"
]
},
{
"cell_type": "markdown",
"id": "6b5420e4-f405-4ab9-b385-87be0b0750ce",
"metadata": {},
"source": [
"Bevor wir mit der Berechnung beginnen k\u00f6nnen, m\u00fcssen wir die asynchrone Ausf\u00fchrung von Operationen in pyclesperanto deaktivieren. [Siehe auch zugeh\u00f6riges Problem](https://github.com/clEsperanto/pyclesperanto_prototype/issues/163)."
]
},
{
"cell_type": "code",
"execution_count": 5,
"id": "00cf9b77-0baa-492a-bc63-edf5e798c636",
"metadata": {},
"outputs": [],
"source": [
"cle.set_wait_for_kernel_finish(True)"
]
},
{
"cell_type": "markdown",
"id": "251e38da-f93f-4e1b-85bc-d4fb9181c680",
"metadata": {},
"source": [
"F\u00fcr die Verarbeitung von Kacheln mit dask richten wir Verarbeitungsbl\u00f6cke ohne \u00dcberlappung ein."
]
},
{
"cell_type": "code",
"execution_count": 6,
"id": "eeba9ded-3fb3-4dba-81f3-6212c1251cbc",
"metadata": {},
"outputs": [
{
"data": {
"text/html": [
"